Crawling und Indexierung sind die zwei Schritte, die vor jedem Google-Ranking passieren: Erst muss der Googlebot deine Webseite finden und besuchen (Crawling), dann muss Google die Inhalte verstehen und in seinen Suchindex aufnehmen (Indexierung). Erst danach kann eine Seite überhaupt für eine Suchanfrage erscheinen. Viele Betriebe stecken Zeit in Texte und Fotos, ohne zu wissen, dass ihre Seite diese beiden Hürden nie nimmt. Ich zeige dir, wie Crawling und Indexierung konkret ablaufen, woran sie am häufigsten scheitern und wie du in der Google Search Console in fünf Minuten selbst nachprüfst, ob deine Seiten überhaupt im Rennen sind.
Letzte Aktualisierung: Oktober 2026
Ich sehe das bei Handwerksbetrieben öfter als man denkt: eine Webseite existiert seit Monaten, sieht gut aus, hat Texte zu jeder Leistung, taucht bei Google aber trotzdem nicht auf. Die Ursache liegt fast nie am Design. Sie liegt am technischen Unterbau, den niemand sieht, solange er funktioniert, und der sofort zum Problem wird, wenn er es nicht tut.
Das Thema klingt nach etwas für Entwickler, betrifft aber direkt den Geschäftserfolg: Eine Leistungsseite, die nicht im Suchindex steht, bringt genau null Anfragen über Google, egal wie gut der Text geschrieben ist oder wie hübsch das Foto aussieht. Bevor du also über Keywords, Textlänge oder Bilder nachdenkst, lohnt sich ein Blick auf diese Grundlage.
Crawling und Indexierung: die zwei Schritte vor jedem Ranking
Bevor eine Suchmaschine eine Seite überhaupt bewerten kann, muss sie zwei Hürden überwinden. Erst die Entdeckung, dann die Aufnahme in die Datenbank, aus der Suchergebnisse zusammengestellt werden. Fällt eine Seite bei einer der beiden Stufen durch, ist jede weitere SEO-Arbeit daran wirkungslos, weil Google die Seite schlicht nicht in Betracht zieht.
Was ist Crawling?
Crawling ist der Prozess, mit dem automatisierte Programme, bei Google der Googlebot genannt, neue und veränderte Seiten im Internet aufspüren. Der Bot folgt dabei Links von bereits bekannten Seiten zu neuen, liest XML-Sitemaps aus und lädt den Inhalt einer Seite herunter, inklusive HTML, Bildern und oft auch per JavaScript nachgeladenen Elementen. Google beschreibt diesen Ablauf in der eigenen Dokumentation zur Funktionsweise der Google-Suche im Detail.
Was ist Indexierung?
Indexierung ist der Schritt danach: Google analysiert den heruntergeladenen Inhalt, erkennt Thema, Überschriften und Bildbeschreibungen und entscheidet, ob die Seite in den Suchindex aufgenommen wird. Der Suchindex ist die riesige Datenbank, aus der später jede Suchanfrage beantwortet wird. Gecrawlt zu werden heißt also noch nicht, indexiert zu sein, das sind zwei getrennte Zustände.
Für deinen lokalen SEO-Auftritt heißt das konkret: Eine neue Leistungsseite, die du anlegst, muss zuerst gefunden, dann verstanden und erst danach überhaupt in die Rangliste für dein Zielkeyword aufgenommen werden. Jeder dieser Schritte kann einzeln kippen.
Warum deine Webseite vielleicht gar nicht gecrawlt wird
Der häufigste Grund, warum eine Seite bei Google unsichtbar bleibt, ist fehlende Entdeckung, nicht schlechter Text. Der Bot findet die Seite schlicht nicht, weil ihr der Weg dorthin fehlt.
- Keine internen Links: Eine neue Unterseite, die von nirgendwo auf der eigenen Webseite verlinkt wird, ist für den Bot praktisch unsichtbar, selbst wenn sie online ist.
- Fehlende oder veraltete Sitemap: Ohne XML-Sitemap muss Google jede Seite über Zufallsfunde entdecken, das kann Wochen dauern.
- Blockierende robots.txt-Regel: Eine einzelne falsch gesetzte Disallow-Zeile kann ganze Verzeichnisse vom Crawling ausschließen, oft unbemerkt bei einem Relaunch übernommen.
- Serverfehler oder lange Ladezeit: Antwortet der Server häufig mit Fehlercodes oder zu langsam, drosselt Google die Besuchsfrequenz, man spricht von Crawl-Budget.
Besonders der dritte Punkt passiert öfter als man vermutet: Nach einem Baukasten-Wechsel oder einer technischen Umstellung der Webseite bleibt manchmal eine Testeinstellung aktiv, die eigentlich nur während der Bauphase Suchmaschinen aussperren sollte.
Sitemap und robots.txt richtig einsetzen
Zwei kleine Dateien steuern einen großen Teil davon, wie gut eine Webseite gecrawlt wird. Beide liegen meist im Hauptverzeichnis der Domain und werden von den wenigsten Betrieben je angesehen.
Die XML-Sitemap ist eine strukturierte Liste aller wichtigen URLs einer Domain. Sie ersetzt für den Googlebot das Suchen nach Links und liefert stattdessen eine direkte Übersicht, welche Seiten es gibt und wann sie zuletzt geändert wurden. Die meisten gängigen Homepage-Systeme erzeugen diese Datei automatisch, entscheidend ist, dass sie tatsächlich bei Google eingereicht wurde.
Die robots.txt funktioniert umgekehrt: Sie listet auf, welche Bereiche einer Domain der Bot nicht besuchen soll, etwa interne Suchergebnisseiten oder den Admin-Bereich. Problematisch wird es, wenn eine Regel versehentlich zu weit gefasst ist und ganze Leistungsseiten mit ausschließt. Ein kurzer Blick auf deinedomain.de/robots.txt im Browser zeigt sofort, was dort aktuell eingetragen ist, das kostet keine zwei Minuten.
Crawl-Budget: Warum Google nicht jede Seite gleich oft besucht
Google nennt es Crawl-Budget: die Anzahl an Seiten, die der Bot innerhalb eines bestimmten Zeitraums für eine Domain abruft. Bei einer kleinen Betriebswebseite mit zwanzig bis fünfzig Seiten spielt das Budget praktisch keine Rolle, es reicht locker aus. Relevant wird es erst bei sehr großen Seiten mit tausenden URLs, etwa bei Online-Shops oder Portalen mit vielen Filterkombinationen. Für die meisten Handwerksbetriebe ist Crawl-Budget also kein Problem, das eigene Zeit verdient, wichtiger sind die oben genannten Blockierer.
