Crawling – wie Suchmaschinen Websites entdecken

Crawling beschreibt den Prozess, bei dem Suchmaschinen wie Google oder Bing deine Website automatisch durchsuchen. Dabei nutzen sie spezielle Programme, sogenannte Crawler oder Bots, die wie ein Besucher von Seite zu Seite gehen und alle Inhalte erfassen.

Das Ziel des Crawlings ist es, neue oder geänderte Inhalte zu entdecken und später für die Indexierung vorzubereiten. Ohne Crawling wissen Suchmaschinen nicht, dass es deine Seite gibt oder dass sich Inhalte geändert haben.

Damit Crawler effizient arbeiten können, hilft eine XML-Sitemap. Sie gibt den Bots eine Liste deiner wichtigsten Seiten. Gleichzeitig kannst du über die robots.txt steuern, welche Bereiche durchsucht werden dürfen und welche nicht.

Wird eine Seite durch fehlende Verlinkung oder Blockierungen nicht gecrawlt, kann sie auch nicht in den Suchergebnissen erscheinen.