MSN Bot wird aktiver – mit robots.txt ausbremsen

25. April 2008 – 16:30

Aktuellerer Index

Der Microsoft Suchmaschine LIVE! kündigt an, dass in den nächsten Wochen der Suchbot aktiver auf Websites zugreifen wird, um den Index der LIVE! Suchmaschine aktueller zu halten. Wie lange der Bot aktiver wird hat Microsoft nicht bekannt gegeben. Sollte der Bot allerdings zu viel Traffic verursachen bietet sich die die crawl-delay Funktion für die Robots.txt Datei an.

Trubleshooting MSNBot

Sollte es mit dem MSN Bot auf Ihren Inhalten Probleme auftreten bietet Microsoft ein Diskussionsforum an, in dem Sie Ihr Feedback geben und Fragen zum MSNBot stellen können. Das Forum ist allerdings nur in Englisch verfügbar.

Sollte zu viel Traffic verursachen werden geben wir Ihnen hier zwei Beispiele für die crawl-delay Funktion:

Langsam (5 Sekunden Pause zwischen den Anfragen)

User-agent: msnbot
Crawl-delay: 5

Sehr langsam (10 Sekunden Pause zwischen den Anfragen)

User-agent: msnbot
Crawl-delay: 10

Tags: , ,

Sorry, die Kommentarfunktion ist z.Zt. abgeschaltet.