Von „Content Grabbern” und „Harvestern”

Im Internet sind nicht nur die Suchmaschinen-Bots unterwegs, um Webseiten zu indizieren. „Content Grabber“ oder „Harvester“ suchen im Netz nicht nur nach E-Mail-Adressen für Spam-Nachrichten, sondern auch nach Content. Der kann sich dann als Matrix in Google-Anzeigen oder Affiliate-Links wiederfinden.

Verfügt der Homepage-Betreiber über einen eigenen Server, kann er solche Programme mit Hilfe der Datei robots.txt aussperren, die als schwarze Liste fungiert. Auch eine Sperre per .htaccess ist möglich, da zahlreiche Bots über den http-User-Agent-Header identifiziert werden können. Will das Programm den Webseiten-Inhalt speichern, erhält es eine Fehlermeldung. Ein Tool, mit dem Sie die Dateien generieren können, finden Sie beispielsweise hier. Wichtig ist, dass Sie die schwarze Liste immer aktuell halten, sonst haben neue Bots wieder Zugriff auf die Inhalte.

Lesen Sie in der Fortsetzung, wie Sie Content-Diebstahl im Netz aufspüren können.

 

Foto: Thomas Jans, Fotolia.com

Kategorie: Tipps
0 Kommentare0