Viele Website-Betreiber glauben, dass es ausreicht, ein paar Regeln in der robots.txt-Datei zu hinterlegen, um zu steuern, welche Bereiche von Google gecrawlt werden.
Manchmal stimmt das jedoch nicht.
Google hat kürzlich einen häufigen Konfigurationsfehler erklärt, durch den Googlebot bestimmte Regeln in der robots.txt-Datei ignorieren kann. Das Ergebnis: Seiten, die eigentlich nicht in den Suchergebnissen erscheinen sollen, können trotzdem von Google indexiert werden.
So sah der Fall aus.
Ein Shopify-Shop stellte fest, dass Spam-URLs aus den internen Suchseiten in den Google-Suchergebnissen auftauchten.
Der Website-Betreiber sperrte den Pfad /search in der robots.txt-Datei.
Trotzdem wurden diese URLs weiterhin von Google indexiert.
Der Grund war überraschend einfach.
Die robots.txt-Datei enthielt zwei separate Bereiche:
User-agent: Googlebot
und
User-agent: *
Googlebot befolgte ausschließlich die Regeln im Abschnitt User-agent: Googlebot und ignorierte die Regeln unter User-agent: *, da die spezifischere Anweisung immer Vorrang hat.
Daraus lässt sich noch eine weitere wichtige Erkenntnis ableiten.
Viele gehen davon aus, dass die robots.txt-Datei verhindert, dass Seiten indexiert werden.
Das ist jedoch nicht ihre Aufgabe.
Die robots.txt steuert ausschließlich das Crawling.
Wenn Google eine URL bereits über interne Links, externe Verweise oder eine XML-Sitemap kennt, kann diese Seite trotz einer Crawling-Sperre weiterhin indexiert werden.
Wenn Sie verhindern möchten, dass eine Seite im Google-Index erscheint, sollten Sie stattdessen Folgendes verwenden:
- Ein noindex-Meta-Tag
- Nicht benötigte Seiten entfernen oder weiterleiten
- Die Ursache der unerwünschten URLs beheben
Für Shopify-Suchseiten empfiehlt Google ausdrücklich, ein noindex-Meta-Tag einzusetzen, anstatt sich ausschließlich auf die robots.txt-Datei zu verlassen.
Kurze SEO-Checkliste
✔ Überprüfen Sie Ihre robots.txt-Datei regelmäßig.
✔ Kontrollieren Sie, ob mehrere User-agent-Abschnitte vorhanden sind.
✔ Stellen Sie sicher, dass wichtige Regeln auch im Abschnitt User-agent: Googlebot enthalten sind.
✔ Verwenden Sie noindex, wenn Seiten nicht indexiert werden sollen.
✔ Überwachen Sie die Google Search Console, um unerwünschte indexierte URLs frühzeitig zu erkennen.
SEO-Probleme entstehen nicht immer durch Google-Updates.
Oft reicht bereits ein kleiner technischer Konfigurationsfehler aus, um die Sichtbarkeit einer Website erheblich zu beeinträchtigen.
Möchten Sie sicherstellen, dass Ihre technische SEO Ihre Website unterstützt und nicht ausbremst? Dann besuchen Sie Matrixe, Unsere Experten unterstützen Sie mit technischen SEO-Audits, KI-optimierten Strategien und datenbasierten Maßnahmen, damit Ihre Website sowohl in der Google-Suche als auch in Google KI Overviews, ChatGPT, Gemini und anderen KI-gestützten Suchsystemen langfristig sichtbar bleibt.
