Die robots.txt-Datei ist eine Textdatei, die auf einer Website gespeichert wird und Suchmaschinenbots Anweisungen darüber gibt, welche Teile einer Website indexiert werden dürfen und welche nicht. Die robots.txt-Datei ist kein rechtlich bindendes Dokument, aber die meisten Suchmaschinen befolgen die Anweisungen, die in dieser Datei enthalten sind.
Wenn ein Suchmaschinenbot eine Website besucht, prüft es zuerst, ob eine robots.txt-Datei vorhanden ist. Wenn ja, liest es die Anweisungen in der Datei und indexiert die entsprechenden Teile der Website oder überspringt sie. Diese Funktion ist hilfreich, um zu verhindern, dass unerwünschte oder duplizierte Inhalte in den Suchergebnissen angezeigt werden, oder um sensible Bereiche einer Website, wie beispielsweise Administratorenbereiche, vor Suchmaschinenbots zu schützen.
Robots.txt-Syntax
Die robots.txt-Datei ist eine Textdatei, die Webcrawlern Anweisungen gibt, wenn sie eine Website scannen. Jede Zeile besteht aus zwei durch einen Doppelpunkt getrennten Feldern, wobei die erste Zeile den Webcrawler beschreibt, an den sich die folgenden Regeln richten. Die Syntax der robots.txt besteht aus Anweisungen in einem bestimmten Format, das von Suchmaschinenbots verstanden wird. Hier ist ein Beispiel für eine einfache robots.txt-Datei:
User-agent: [Bot-Name]
Disallow: [Pfad-zu-Verzeichnis-oder-Seite]
Die Zeile User-agent gibt an, für welchen Suchmaschinenbot die nachfolgenden Anweisungen gelten. Der Eintrag Disallow gibt an, welche Teile der Website nicht indexiert werden sollen.
Zum Beispiel, um alle Suchmaschinenbots zu blockieren, von indexierendem Zugriff auf ein Verzeichnis /private zu blockieren, könnte die robots.txt-Datei folgendermaßen aussehen:
User-agent: * Disallow: /private/
Jede Anweisung sollte in einer neuen Zeile stehen und die Pfade, die in den Disallow-Einträgen angegeben werden, sind relativ zum Wurzelverzeichnis der Website. Die Anweisungen in der robots.txt-Datei werden von Suchmaschinenbots in der Reihenfolge ausgeführt, in der sie in der Datei angegeben werden. Daher ist es wichtig, die Anweisungen in der richtigen Reihenfolge zu schreiben, um sicherzustellen, dass sie korrekt ausgeführt werden.
Wenn Sie beispielsweise möchten, dass eine bestimmte Seite nicht indexiert wird, aber ihre Unterseiten zulässig sind, sollten Sie sicherstellen, dass die Anweisung, die die Indexierung der Unterseiten erlaubt, vor der Anweisung steht, die die Indexierung der Hauptseite verbietet. Hier ist ein Beispiel:
User-agent: *
Disallow: /private/
Allow: /private/page1/
In diesem Beispiel wird die Indexierung der Unterseiten von /private/page1/ erlaubt, während die Indexierung der Hauptseite /private/ verboten wird.
Wie lässt sich die robots.txt in WordPress bearbeiten?
Die Robots.txt ist eine Textdatei, die sich im Stammverzeichnis einer (Sub-)Domain befindet und unter http://yourwebsite.com/robots.txt zugänglich ist. Sie lässt sich mit WordPress beispielsweise wie folgt bearbeiten:
- Das Plugins Rank Math verwenden: Rank Math ist ein SEO-Plugin für WordPress, das eine einfache Möglichkeit bietet, die robots.txt-Datei Ihrer Website zu bearbeiten. Sie können die Datei über das WordPress-Dashboard bearbeiten, indem Sie zu „Rank Math“ > „Allgemeine Einstellungen“ > „Bearbeiten der Robots.txt“ gehen und die Anweisungen hinzufügen oder bearbeiten.
- SFTP als Dateitransfer nutzen: Eine weitere Möglichkeit, die robots.txt-Datei in WordPress zu bearbeiten, besteht darin, auf die Datei über eine SFTP-Verbindung zuzugreifen. Sie müssen einen SFTP-Client wie FileZilla verwenden, um eine Verbindung zu Ihrem Server herzustellen und die robots.txt-Datei im Wurzelverzeichnis Ihrer WordPress-Website zu finden. Überprüfen Sie die Änderungen, bevor Sie die Datei speichern, um sicherzustellen, dass Sie keine Fehler machen, die zu Problemen führen können.
Wie lässt sich der Zugriff auf spezielle Dateien blockieren?
Sie können die Disallow-Direktive in Ihrer robots.txt-Datei verwenden, um den Zugriff auf einen bestimmten Ordner oder eine bestimmte Datei zu blockieren. Die Syntax der Disallow-Direktive lautet wie folgt:
User-agend: *
Disallow: [path-to-directory-or-file]
Um zum Beispiel den Zugriff auf die Datei /private/secret.html zu blockieren, würde die robots.txt-Datei folgendermaßen aussehen:
User-agent: *
Disallow: /private/secret.html
Beachten Sie, dass die User-agent-Zeile die Suchmaschinen-Bots angibt, für die die Disallow-Direktive gilt, und dass das Platzhalterzeichen * für alle Bots gilt. Der in der Disallow-Direktive angegebene Pfad muss relativ zum Stammverzeichnis der Website sein.
Schutz vertraulicher Daten und Seiten
Die Datei robots.txt ist ein nützliches Tool, um zu steuern, welche Seiten oder Bereiche einer Website gecrawlt und indexiert werden. Sich ausschließlich auf die Datei robots.txt zu verlassen, reicht jedoch möglicherweise nicht aus, um vertrauliche Informationen zu schützen oder zu verhindern, dass sensible Seiten in den Suchergebnissen erscheinen.
Enthält eine Website vertrauliche Daten oder sensible Seiten, müssen neben der Sperrung im robots.txt-Datei, um sicherzustellen, dass nicht unrechtmäßig darauf zugegriffen werden kann. Diese Seiten sollten auch mit zusätzlichen Methoden wie Passwortschutz oder serverseitiger Authentifizierung geschützt werden, um sicherzustellen, dass sie nicht von unbefugten Benutzern, einschließlich Suchmaschinen-Bots, aufgerufen werden können.
Wenn eine Website Entwürfe oder Testseiten enthält, die nicht von Suchmaschinen indexiert werden sollen, blockieren Sie diese Seiten zunächst in der robots.txt Datei. Dies ist jedoch nicht ausreichend. Stattdessen sind zusätzliche Methoden wie das Hinzufügen des Meta-Tags noindex oder das Setzen eines noindex HTTP-Header erforderlich, um die Indizierung durch Suchmaschinen zu verhindern.
Wie lassen sich verschiedene Regeln für verschiedene Bots erstellen?
Sie können unterschiedliche Regeln für verschiedene Suchmaschinen-Bots erstellen, indem Sie die User-agent-Direktive für jeden Bot angeben. Die Syntax der User-agent-Direktive lautet wie folgt:
User-agent: [bot-name]
Disallow: [path-to-directory-or-file]
Um beispielsweise Googlebot den Zugriff auf das Verzeichnis /private zu verwehren, aber allen anderen Bots den Zugriff zu erlauben, würde die robots.txt-Datei wie folgt aussehen:
User-agent: Googlebot
Disallow: /private/
User-agent: *
Disallow:
In diesem Beispiel gilt die erste Gruppe von Regeln nur für Googlebot, die zweite Gruppe von Regeln gilt für alle anderen Bots. Die Disallow:-Direktive ohne Pfadangabe erlaubt den Zugriff auf alle Dateien und Verzeichnisse für alle anderen Bots.
Wieder gilt es zu beachten, dass Suchmaschinen-Bots die Regeln in der robots.txt-Datei ignorieren können und dass die Datei nur ein Vorschlag und keine Garantie dafür ist, dass ein Bot nicht auf einen bestimmten Ordner oder eine bestimmte Datei zugreifen wird.
Checkliste
Hier sind einige wichtige Dinge zu beachten, wenn Sie Ihre robots.txt-Datei optimieren möchten:
- Vermeiden Sie, wichtige Inhalte zu blockieren: Stellen Sie sicher, dass wichtige Seiten Ihrer Website nicht von Suchmaschinen ausgeschlossen werden.
- Überprüfen Sie die robots.txt-Datei regelmäßig: Überprüfen Sie die robots.txt-Datei regelmäßig auf Fehler oder Änderungen, die Auswirkungen auf die Indexierung Ihrer Website haben können.
- Verwenden Sie das korrekte Format: Stellen Sie sicher, dass Sie das korrekte Format für die robots.txt-Datei verwenden, um Fehler bei der Übermittlung von Anweisungen an Suchmaschinen zu vermeiden.
- Vermeiden Sie übermäßige Blockierungen: Übermäßige Blockierungen können dazu führen, dass Suchmaschinen Schwierigkeiten haben, Ihre Website richtig zu indexieren. Vermeiden Sie daher unbedingt unnötige Blockierungen.
- Verwenden Sie das X-Robots-Tag: Das X-Robots-Tag ermöglicht es Ihnen, Indexierungsanweisungen für einzelne Seiten oder Dateien bereitzustellen, ohne dass Sie eine robots.txt-Datei verwenden müssen.
- Verwenden Sie das korrekte User-Agent-Format: Stellen Sie sicher, dass Sie das richtige User-Agent-Format verwenden, um Anweisungen an bestimmte Suchmaschinenbots zu richten.
- Verwenden Sie Sitemaps: Sitemaps können Suchmaschinen dabei helfen, Ihre Website vollständiger zu indexieren, auch wenn bestimmte Teile durch die robots.txt-Datei blockiert sind.
- Vermeiden Sie Wildcard-Blockierungen: Vermeiden Sie Wildcard-Blockierungen, bei denen alle Unterseiten einer bestimmten URL-Struktur blockiert werden, da dies unerwartete Auswirkungen auf die Indexierung Ihrer Website haben kann.
- Überwachen Sie die Fehlerprotokolle: Überwachen Sie die Fehlerprotokolle Ihrer Website, um sicherzustellen, dass Suchmaschinen Ihre robots.txt-Datei korrekt lesen und interpretieren können.
- Verwenden Sie Rel-Canonical-Tags: Verwenden Sie Rel-Canonical-Tags, um Suchmaschinen anzuweisen, welche Version einer Seite als die Hauptversion betrachtet werden soll, wenn mehrere Versionen einer Seite vorhanden sind.
