Was es ist
robots.txt ist eine reine Textdatei, die ganz im Root (der obersten Ebene) einer Website liegt (unter einer Adresse wie deinedomain.de/robots.txt) und Anweisungen für Suchmaschinen-Crawler enthält — die automatisierten Programme, die Websites besuchen, um deren Seiten zu lesen und zu indexieren. Sie sagt üblicherweise Dinge wie "du darfst diese ganze Website crawlen" oder listet bestimmte Bereiche auf, die nicht gecrawlt werden sollen, etwa einen internen Adminbereich oder eine Suchergebnisseite, die nicht bei Google auftauchen muss.
Es handelt sich eher um höfliche Bitten als um eine Sicherheitsschranke — gut erzogene Crawler (wie die von Google und Bing) halten sich daran, aber sie hindern niemanden tatsächlich daran, eine Seite direkt aufzurufen, wenn er bereits die Adresse kennt.
Warum es wichtig ist
Ohne robots.txt-Datei gehen die meisten Crawler einfach davon aus, dass sie alles auf der Website crawlen dürfen — für eine kleine Website ohne Ausnahmen ist das oft völlig in Ordnung. Aber ihr Fehlen bedeutet auch, dass du in dieser Sache gar kein Mitspracherecht hast: Gibt es doch einmal einen Bereich, der nicht gecrawlt werden soll (ein internes Tool, ein versehentlich öffentlich gelassener Staging-Bereich, doppelter Inhalt durch die interne Suche), gibt es keine Datei, die das festlegt.
Suchmaschinen prüfen diese Datei außerdem als eine der ersten Amtshandlungen, wenn sie eine neue Website entdecken, und sie wird häufig genutzt, um Crawler auf deine Sitemap hinzuweisen, wodurch deine anderen Seiten schneller gefunden und indexiert werden.
So behebst du es
- Erstelle eine reine Textdatei mit genau dem Namen
robots.txt(komplett kleingeschrieben). - Füge mindestens
User-agent: *gefolgt vonAllow: /ein, um allen Crawlern ausdrücklich Zugriff auf deine gesamte Website zu erlauben. - Gibt es bestimmte Bereiche, die nicht indexiert werden sollen, füge für jeden eine Zeile wie
Disallow: /admin/hinzu. - Füge eine Zeile hinzu, die auf deine Sitemap verweist, z. B.
Sitemap: https://deinedomain.de/sitemap.xml, damit Crawler deine anderen Seiten schneller finden. - Lade die Datei in den Root-Ordner deiner Website hoch (nicht in einen Unterordner), damit sie unter
deinedomain.de/robots.txterreichbar ist — die meisten Website-Baukästen haben dafür ein eigenes Einstellungsfeld statt eines Datei-Uploads. - Ruf diese Adresse danach in einem Browser auf, um zu bestätigen, dass die Datei lädt und deine Regeln als reinen Text anzeigt.