Crawling und Indexierung sind die zwei Schritte, die vor jedem Google-Ranking passieren: Erst muss der Googlebot deine Webseite finden und besuchen (Crawling), dann muss Google die Inhalte verstehen und in seinen Suchindex aufnehmen (Indexierung). Erst danach kann eine Seite überhaupt für eine Suchanfrage erscheinen. Viele Betriebe stecken Zeit in Texte und Fotos, ohne zu wissen, dass ihre Seite diese beiden Hürden nie nimmt. Ich zeige dir, wie Crawling und Indexierung konkret ablaufen, woran sie am häufigsten scheitern und wie du in der Google Search Console in fünf Minuten selbst nachprüfst, ob deine Seiten überhaupt im Rennen sind.
Letzte Aktualisierung: Oktober 2026
Ich sehe das bei Handwerksbetrieben öfter als man denkt: eine Webseite existiert seit Monaten, sieht gut aus, hat Texte zu jeder Leistung, taucht bei Google aber trotzdem nicht auf. Die Ursache liegt fast nie am Design. Sie liegt am technischen Unterbau, den niemand sieht, solange er funktioniert, und der sofort zum Problem wird, wenn er es nicht tut.
Das Thema klingt nach etwas für Entwickler, betrifft aber direkt den Geschäftserfolg: Eine Leistungsseite, die nicht im Suchindex steht, bringt genau null Anfragen über Google, egal wie gut der Text geschrieben ist oder wie hübsch das Foto aussieht. Bevor du also über Keywords, Textlänge oder Bilder nachdenkst, lohnt sich ein Blick auf diese Grundlage.
Crawling und Indexierung: die zwei Schritte vor jedem Ranking
Bevor eine Suchmaschine eine Seite überhaupt bewerten kann, muss sie zwei Hürden überwinden. Erst die Entdeckung, dann die Aufnahme in die Datenbank, aus der Suchergebnisse zusammengestellt werden. Fällt eine Seite bei einer der beiden Stufen durch, ist jede weitere SEO-Arbeit daran wirkungslos, weil Google die Seite schlicht nicht in Betracht zieht.
Was ist Crawling?
Crawling ist der Prozess, mit dem automatisierte Programme, bei Google der Googlebot genannt, neue und veränderte Seiten im Internet aufspüren. Der Bot folgt dabei Links von bereits bekannten Seiten zu neuen, liest XML-Sitemaps aus und lädt den Inhalt einer Seite herunter, inklusive HTML, Bildern und oft auch per JavaScript nachgeladenen Elementen. Google beschreibt diesen Ablauf in der eigenen Dokumentation zur Funktionsweise der Google-Suche im Detail.
Was ist Indexierung?
Indexierung ist der Schritt danach: Google analysiert den heruntergeladenen Inhalt, erkennt Thema, Überschriften und Bildbeschreibungen und entscheidet, ob die Seite in den Suchindex aufgenommen wird. Der Suchindex ist die riesige Datenbank, aus der später jede Suchanfrage beantwortet wird. Gecrawlt zu werden heißt also noch nicht, indexiert zu sein, das sind zwei getrennte Zustände.
Für deinen lokalen SEO-Auftritt heißt das konkret: Eine neue Leistungsseite, die du anlegst, muss zuerst gefunden, dann verstanden und erst danach überhaupt in die Rangliste für dein Zielkeyword aufgenommen werden. Jeder dieser Schritte kann einzeln kippen.
Warum deine Webseite vielleicht gar nicht gecrawlt wird
Der häufigste Grund, warum eine Seite bei Google unsichtbar bleibt, ist fehlende Entdeckung, nicht schlechter Text. Der Bot findet die Seite schlicht nicht, weil ihr der Weg dorthin fehlt.
- Keine internen Links: Eine neue Unterseite, die von nirgendwo auf der eigenen Webseite verlinkt wird, ist für den Bot praktisch unsichtbar, selbst wenn sie online ist.
- Fehlende oder veraltete Sitemap: Ohne XML-Sitemap muss Google jede Seite über Zufallsfunde entdecken, das kann Wochen dauern.
- Blockierende robots.txt-Regel: Eine einzelne falsch gesetzte Disallow-Zeile kann ganze Verzeichnisse vom Crawling ausschließen, oft unbemerkt bei einem Relaunch übernommen.
- Serverfehler oder lange Ladezeit: Antwortet der Server häufig mit Fehlercodes oder zu langsam, drosselt Google die Besuchsfrequenz, man spricht von Crawl-Budget.
Besonders der dritte Punkt passiert öfter als man vermutet: Nach einem Baukasten-Wechsel oder einer technischen Umstellung der Webseite bleibt manchmal eine Testeinstellung aktiv, die eigentlich nur während der Bauphase Suchmaschinen aussperren sollte.
Sitemap und robots.txt richtig einsetzen
Zwei kleine Dateien steuern einen großen Teil davon, wie gut eine Webseite gecrawlt wird. Beide liegen meist im Hauptverzeichnis der Domain und werden von den wenigsten Betrieben je angesehen.
Die XML-Sitemap ist eine strukturierte Liste aller wichtigen URLs einer Domain. Sie ersetzt für den Googlebot das Suchen nach Links und liefert stattdessen eine direkte Übersicht, welche Seiten es gibt und wann sie zuletzt geändert wurden. Die meisten gängigen Homepage-Systeme erzeugen diese Datei automatisch, entscheidend ist, dass sie tatsächlich bei Google eingereicht wurde.
Die robots.txt funktioniert umgekehrt: Sie listet auf, welche Bereiche einer Domain der Bot nicht besuchen soll, etwa interne Suchergebnisseiten oder den Admin-Bereich. Problematisch wird es, wenn eine Regel versehentlich zu weit gefasst ist und ganze Leistungsseiten mit ausschließt. Ein kurzer Blick auf deinedomain.de/robots.txt im Browser zeigt sofort, was dort aktuell eingetragen ist, das kostet keine zwei Minuten.
Crawl-Budget: Warum Google nicht jede Seite gleich oft besucht
Google nennt es Crawl-Budget: die Anzahl an Seiten, die der Bot innerhalb eines bestimmten Zeitraums für eine Domain abruft. Bei einer kleinen Betriebswebseite mit zwanzig bis fünfzig Seiten spielt das Budget praktisch keine Rolle, es reicht locker aus. Relevant wird es erst bei sehr großen Seiten mit tausenden URLs, etwa bei Online-Shops oder Portalen mit vielen Filterkombinationen. Für die meisten Handwerksbetriebe ist Crawl-Budget also kein Problem, das eigene Zeit verdient, wichtiger sind die oben genannten Blockierer.
Crawling und Indexierung nach einem Relaunch besonders im Blick behalten
Der Moment, in dem Crawling und Indexierung am häufigsten kippen, ist ein Relaunch oder Anbieterwechsel. Alte URLs ändern sich, Weiterleitungen fehlen oder zeigen ins Leere, und Google muss die komplette Domain neu bewerten. Wer das unterschätzt, verliert sichtbare Positionen, die über Jahre aufgebaut wurden, innerhalb wenige Wochen.
Wichtig ist dabei vor allem eine lückenlose 301-Weiterleitung von jeder alten auf die passende neue URL, eine aktualisierte Sitemap direkt zum Livegang und ein kurzer Check im URL-Prüftool für die wichtigsten Seiten in den ersten Tagen danach. Eine ausführliche Schritt-für-Schritt-Übersicht für diesen Fall findest du in der Relaunch Checkliste. Wer diese Punkte vorher einplant, statt erst nach dem Sichtbarkeitseinbruch zu reagieren, spart sich im Zweifel Wochen an verlorener Sichtbarkeit.
Vom Crawling zur Indexierung: was dazwischen passiert
Hat der Bot eine Seite erfolgreich besucht, prüft Google in einem zweiten Durchgang, ob sich das Rendern lohnt, also das Ausführen von JavaScript, damit die Seite so verarbeitet wird, wie sie ein Browser auch darstellen würde. Dieser zweite Durchgang kann zeitverzögert passieren, bei technisch komplexen Seiten mitunter erst Tage nach dem ersten Besuch.
Ein Detail wird dabei oft übersehen: Für die Indexierung zieht Google heute fast ausschließlich die mobile Ansicht einer Seite heran, nicht die Desktop-Version. Fehlen auf dem Smartphone Inhalte, die auf dem Desktop vorhanden sind, etwa weil ein Menüpunkt mobil ausgeblendet wird, sieht Google am Ende genau diese gekürzte Version. Ein kurzer Test der eigenen Seite auf dem eigenen Handy, Leistung für Leistung, deckt solche Lücken meist sofort auf.
Danach folgt die Qualitätsprüfung. Seiten mit sehr wenig eigenem Inhalt, sogenannter Thin Content, oder Seiten, die inhaltlich fast identisch mit einer anderen Seite der eigenen Domain sind, werden häufig gar nicht erst indexiert. Google bündelt ähnliche Seiten zu einem Cluster und wählt eine einzige kanonische Version aus, die in den Suchergebnissen erscheint. Die übrigen Varianten bleiben im Index unsichtbar, selbst wenn sie technisch erreichbar sind.
94 Prozent der Handwerksbetriebe in Deutschland nutzen eine eigene Webseite.
Quelle: Bitkom Research im Auftrag des Digitalverbands Bitkom, Studienbericht "Digitalisierung des Handwerks", Erhebungsjahr 2025, telefonische Befragung von 504 Handwerksunternehmen in Deutschland
Fast jeder Betrieb hat also bereits eine Webseite. Ob diese Seite auch tatsächlich im Suchindex steht und für die richtigen Begriffe gefunden wird, ist eine ganz andere Frage, und genau die wird in der Praxis selten geprüft.
| Phase | Was passiert | Typisches Problem |
|---|---|---|
| Crawling | Googlebot entdeckt und lädt die Seite herunter | Keine Verlinkung, robots.txt blockiert, Serverfehler |
| Indexierung | Google analysiert Inhalt und speichert ihn im Suchindex | Thin Content, Duplicate Content, noindex-Tag versehentlich aktiv |
| Ranking | Google ordnet indexierte Seiten für eine Suchanfrage | Seite ist indexiert, aber inhaltlich schwächer als die Konkurrenz |
Google Search Console: So prüfst du Crawling und Indexierung selbst
Du musst nicht raten, ob deine Seite gecrawlt oder indexiert ist. Die Google Search Console zeigt beides kostenlos an, wenn du deine Domain dort einmal bestätigt hast.
- URL-Prüftool nutzen: Gib eine einzelne Adresse ein, du siehst sofort, ob sie gecrawlt und ob sie indexiert ist, inklusive Datum des letzten Googlebot-Besuchs.
- Abdeckungsbericht lesen: Zeigt an, wie viele Seiten deiner Domain im Index sind und bei welchen Seiten etwas dagegen spricht, etwa ein versehentlich aktiver noindex-Tag.
- Sitemap einreichen: Unter "Sitemaps" lädst du die Adresse deiner XML-Sitemap hoch, das beschleunigt die Entdeckung neuer Seiten deutlich.
- Indexierung aktiv anfragen: Nach einer größeren Änderung kannst du im URL-Prüftool eine erneute Indexierung anstoßen, statt auf den nächsten automatischen Besuch zu warten.
Wer tiefer einsteigen will, wie KI-Suchmaschinen wie ChatGPT oder Perplexity eine Seite überhaupt als Quelle nutzen können, findet dazu mehr im Artikel zur KI-Sichtbarkeit in der Google Search Console. Die technische Grundlage ist dieselbe: ohne Indexierung keine Zitierfähigkeit.
Die häufigsten Fehler, die Crawling und Indexierung verhindern
Die meisten Probleme, die ich bei Betriebswebseiten sehe, sind klein, aber mit großer Wirkung. Keiner davon braucht Programmierkenntnisse, um ihn zu finden oder zu beheben.
- Noindex-Tag aus der Bauphase: Viele Baukasten-Systeme setzen während der Entwicklung automatisch ein noindex, das nach dem Launch vergessen wird und die ganze Seite unsichtbar hält.
- Canonical-Tag zeigt auf die falsche Seite: Passiert oft nach einem Relaunch, wenn alte URLs technisch noch existieren und Google verwirren, welche Version die richtige ist.
- Doppelte Inhalte auf mehreren URLs: Dieselbe Leistungsseite unter zwei Adressen erreichbar, etwa mit und ohne Schrägstrich am Ende, teilt die Relevanz statt sie zu bündeln.
- Zu wenig interne Verlinkung: Seiten, die nur über die Sitemap, aber von keiner anderen Seite verlinkt sind, bekommen seltener und langsamer einen Crawling-Besuch.
Ein Blick in die Google Search Console reicht in den meisten Fällen, um den Übeltäter innerhalb von Minuten zu finden. Das Beheben selbst dauert danach oft nur wenige Klicks im Seiteneditor.
Ein Fehler, der besonders häufig unbemerkt bleibt, betrifft Bilder: Fehlt der Alt-Text komplett oder beschreibt er nicht, was auf dem Bild zu sehen ist, verschenkst du Signale, die Google bei der inhaltlichen Einordnung der Seite helfen. Das ist kein Grund, weshalb eine Seite nicht indexiert wird, aber ein Grund, weshalb sie bei verwandten Suchanfragen schlechter abschneidet, sobald sie einmal im Index steht. Dasselbe gilt für fehlende Überschriftenstruktur, wenn eine Seite nur aus Fließtext ohne H2 und H3 besteht, tut sich Google schwerer, Thema und Unterthemen klar zuzuordnen.
Warum das für dein Geschäft zählt, nicht nur für die Statistik
Crawling und Indexierung wirken technisch und abstrakt, bis man sich klarmacht, wer am Ende der Kette steht: ein Kunde, der nach einem Betrieb sucht.
26 Prozent der Verbraucher in Deutschland klicken sich auf der Suche nach einem passenden Handwerksbetrieb durch die Webseiten möglicher Anbieter.
Quelle: Bitkom Research im Auftrag des Digitalverbands Bitkom, Presseinformation "Handwerkersuche: Persönliches Gespräch schlägt Infos im Netz", Erhebungsjahr 2025, repräsentative Befragung von 1.004 Personen ab 16 Jahren in Deutschland
Jeder vierte potenzielle Kunde schaut sich also aktiv Webseiten an, bevor er einen Betrieb kontaktiert. Steht deine Seite nicht im Suchindex oder taucht nur für die falschen Begriffe auf, verlierst du genau diesen Teil der Nachfrage, ohne es überhaupt zu merken, weil in der Analyse schlicht nichts ankommt, was man messen könnte.
In der Praxis sieht das oft so aus: Ein Betrieb bekommt über Empfehlungen und das eigene Google-Unternehmensprofil weiterhin Anfragen und hält die eigene Online-Präsenz deshalb für ausreichend. Gleichzeitig verschwindet die separate Leistungsseite, die vor einem Jahr für ein bestimmtes Stichwort gut platziert war, leise aus dem Index, zum Beispiel nach einem technischen Umzug auf einen anderen Server. Niemand merkt das sofort, weil die übrigen Kanäle den Rückgang kaschieren. Erst ein Blick in die Suchanfragen-Statistik der Search Console zeigt den tatsächlichen Einbruch bei diesem einen Begriff.
Das semantische Umfeld rund um Crawling und Indexierung umfasst Begriffe wie Suchindex, Crawl-Budget, Sitemap, Canonical-Tag, Rendering und URL-Inspektion. Wer diese Begriffe einmal verstanden hat, liest auch die eigene Onpage-SEO-Checkliste mit anderen Augen, weil klar wird, welche Punkte die Entdeckung betreffen und welche erst danach die eigentliche Platzierung.
Häufige Fragen zu Crawling und Indexierung
Wie lange dauert es, bis Google eine neue Seite crawlt?
Bei einer etablierten Domain mit aktiver Sitemap und interner Verlinkung reicht das von wenigen Stunden bis zu einigen Tagen. Bei einer neuen Domain ohne Backlinks und ohne eingereichte Sitemap kann es dagegen Wochen dauern, bis der erste Besuch überhaupt stattfindet. Je mehr bereits indexierte Seiten auf die neue Seite verlinken, desto schneller findet der Bot sie.
Bedeutet gecrawlt automatisch auch indexiert?
Nein. Crawling ist nur der Besuch, Indexierung die tatsächliche Aufnahme in die Datenbank, aus der Suchergebnisse gebildet werden. Eine Seite kann wiederholt besucht und trotzdem nie indexiert werden, etwa wegen Thin Content, eines Duplicate-Content-Problems oder eines versehentlich gesetzten noindex-Tags. Beide Zustände lassen sich einzeln im URL-Prüftool der Google Search Console nachlesen.
Wie finde ich heraus, ob eine bestimmte Seite indexiert ist?
Am zuverlässigsten mit dem URL-Prüftool in der Google Search Console, das Crawling- und Indexierungsstatus getrennt anzeigt. Eine grobe erste Einschätzung liefert auch die Sucheingabe site:deinedomain.de/pfad direkt in der Google-Suche, erscheint dort kein Ergebnis, ist die Seite aktuell nicht im Index.
Kann ich Google zwingen, eine Seite schneller zu indexieren?
Erzwingen nicht, aber beschleunigen. Eine aktuelle Sitemap, interne Links von bereits indexierten Seiten und die manuelle Indexierungsanfrage im URL-Prüftool verkürzen die Wartezeit deutlich. Am Ende entscheidet trotzdem Google selbst, ob die Qualitätsprüfung für eine Aufnahme in den Index ausreicht.
Fazit: Crawling und Indexierung sind die Basis, nicht das Ziel
Crawling und Indexierung entscheiden, ob deine Webseite im Rennen um eine Suchanfrage überhaupt mitspielt. Erst wenn beide Stufen sauber laufen, lohnt sich die Arbeit an Inhalten, Keywords und Backlinks. Ein kurzer Check in der Google Search Console zeigt dir in wenigen Minuten, wo deine Seiten heute stehen. Wenn du lieber direkt mit jemandem sprechen willst, der sich das für dich ansieht, buch dir ein kostenloses Erstgespräch, dann schauen wir uns deine Webseite gemeinsam an.
