Ihre Datei „robots.txt“ anpassen

Robots.txt-Dateien werden von Suchmaschinen herangezogen, um Ihren Website-Content zu indexieren. Sie kann nützlich sein, damit bestimmte Inhalte, z. B. ein Content-Angebot, das nur über ein Formular zugänglich ist, nicht in den Ergebnissen von Suchmaschinen erscheinen.

Bitte beachten: Google und andere Suchmaschinen können Seiten nicht nachträglich aus den Suchergebnissen entfernen, nachdem Sie die Änderungen an der Datei „robots.txt“ umgesetzt haben. Zwar werden Bots angewiesen, eine Seite nicht zu katalogisieren, Suchmaschinen können jedoch Ihre Inhalte weiterhin indexieren, wenn eingehende Links von anderen Websites auf Ihre Seite vorhanden sind. Wenn Ihre Seite bereits indexiert wurde und sie nachträglich aus Suchmaschinen entfernt werden soll, empfiehlt es sich, die Methode mit dem Meta-Tag „No Index“ zu verwenden. 

Funktionsweise der Datei „robots.txt“

Ihre Datei „robots.txt“ gibt vor, wie Suchmaschinen die Seiten auf Ihrer Website katalogisiert. Die Datei „robots.txt“ enthält die folgenden beiden Hauptkomponenten:

• User-agent: Legt die Suchmaschine oder den Webbot fest, für die bzw. den eine Regel gilt. Bei User-agent kann ein Sternchen (*) kann als Platzhalter verwendet werden, um alle Suchmaschinen anzugeben. 
• Disallow: Gibt einer Suchmaschine vor, eine Datei, eine Seite oder ein Verzeichnis nicht zu katalogisieren und indexieren.

Weitere Informationen zur Einrichtung Ihrer Datei „robots.txt“ für Google-Suchergebnisse finden Sie in der Entwickler-Dokumentation von Google. Sie können auch einen robots.txt-Generator verwenden, um Ihre Datei zu erstellen. 

Bitte beachten: Um eine Datei in Ihrem Datei-Manager zu sperren, passen Sie die Datei so an, dass sie in einer Ihrer Domains gehostet wird. Sie können dann die Datei-URL zu Ihrer Datei „robots.txt“ hinzufügen. 

Datei „robots.txt“ in HubSpot aktualisieren

• Klicken Sie in Ihrem HubSpot-Account in der Hauptnavigationsleiste auf das Zahnradsymbol settings, um die Einstellungen aufzurufen.

• Navigieren Sie in linken Seitenleiste zu Website > Seiten.

• Verwenden Sie das Dropdown-Menü Änderung, um die zu aktualisierende Domain auszuwählen.

• Klicken Sie auf die Registerkarte SEO & Crawler.
• Scrollen Sie nach unten zum Abschnitt Robots.txt, um nehmen Sie im Textfeld die gewünschten Änderungen an Ihrer Datei „robots.txt“ vor.

• Klicken Sie auf „Speichern“.

Bitte beachten: Wenn Sie das HubSpot-Modul für die Website-Suche auf Ihrer Website verwenden, verhindert ein Sternchen im User-Agent-Feld, dass die Suchfunktion Ihre Website katalogisieren kann. Sie müssen HubSpotContentSearchBot als User-Agent in Ihrer Datei „robots.txt“ einschließen, damit die Suchfunktion Ihre Seiten katalogisieren kann.