Sitemap, Robots.txt und Cache-Header steuern, welche Seiten Suchmaschinen finden, was sie ignorieren sollen und wie oft sie wiederkommen. Sauber gepflegt sparen sie Ressourcen und beschleunigen Indexierung. Häufigster Fehler 2026 ist eine überalterte Sitemap mit toten URLs oder eine Robots.txt, die versehentlich kritische Bereiche sperrt — beides passiert bei Relaunches regelmäßig.
Was gehört in eine aktuelle Sitemap?
Eine Sitemap zeigt Suchmaschinen, welche URLs Sie als indexierungswürdig betrachten. Sie ersetzt die Erkundung nicht, macht sie aber effizienter.
- Ausschließlich URLs, die Statuscode 200 liefern und indexierbar sind.
- Kein noindex, kein Canonical auf eine andere URL, kein Redirect.
- Aktuelles lastmod-Datum bei tatsächlichen inhaltlichen Änderungen — nicht bei jedem Deploy.
- Getrennte Sitemaps für Kernseiten, Beiträge und mediale Inhalte, verknüpft über eine Index-Sitemap.
Welche Regeln in der Robots.txt sind heute relevant?
Robots.txt regelt, welche Bereiche Suchmaschinen anfassen dürfen. Die Datei ist eine Bitte, kein Zaun — für Zugangsbeschränkung braucht es andere Mittel.
Zwei häufige Fehler: erstens das versehentliche Blockieren des gesamten Auftritts nach einem Staging-Rollout, zweitens das Blockieren von CSS- oder JS-Dateien, die zur korrekten Darstellung nötig sind. Beides führt zu massiven Sichtbarkeitseinbrüchen.
Was leisten Cache-Header konkret?
Cache-Header sagen Browsern und Zwischenspeichern, wie lange sie Inhalte behalten dürfen. Richtig gesetzt reduzieren sie Serverlast, beschleunigen wiederholte Besuche und verbessern Core Web Vitals — falsch gesetzt zeigen Nutzer veraltete Inhalte.
- Statische Assets (Schriften, Bilder mit Hash im Dateinamen): lange Cache-Zeiten, bis zu einem Jahr.
- HTML-Seiten: kurze Cache-Zeiten oder Validierung per ETag.
- API-Antworten: je nach Aktualitätsanspruch — nie ohne Konfiguration ausliefern.
Welche Prüfungen gehören in den Monatszyklus?
Ein monatlicher Kontrollpunkt reicht: Ist die Sitemap in der Search Console aktuell? Sind Anzahl gemeldeter und indexierter URLs stabil? Zeigt Robots.txt keine ungewollten Sperren? Sind Cache-Header für die Kernressourcen unverändert? Diese vier Punkte lassen sich in weniger als einer Viertelstunde beantworten.
Wer Sitemap und Robots-Regeln nicht pflegt, überlässt Suchmaschinen die Interpretation — meist zum eigenen Nachteil.