Ihre Datei „robots.txt“ anpassen

Die Datei „robots.txt“ wird von Suchmaschinen herangezogen, um Ihren Website-Content zu indexieren. Sie kann nützlich sein, damit bestimmte Inhalte, z. B. ein Content-Angebot, das nur über ein Formular zugänglich ist, nicht in den Ergebnissen von Suchmaschinen erscheinen.

In diesem Artikel erfahren Sie mehr über die Funktionsweise der Datei „robots.txt“ und wie Sie die Datei „robots.txt“ in der HubSpot-Software aktualisieren.

Bitte beachten: Google und andere Suchmaschinen können Seiten nicht nachträglich aus den Suchergebnissen entfernen, nachdem Sie die Änderungen an der Datei „robots.txt“ umgesetzt haben. Zwar werden Bots angewiesen, eine Seite nicht zu katalogisieren, Suchmaschinen können jedoch Ihre Inhalte weiterhin indexieren, wenn eingehende Links von anderen Websites auf Ihre Seite vorhanden sind. Wenn Ihre Seite bereits indexiert wurde und sie nachträglich aus Suchmaschinen entfernt werden soll, empfiehlt es sich, die Methode mit dem Meta-Tag „No Index“ zu verwenden. 

Funktionsweise der Datei „robots.txt“

Ihre Datei „robots.txt“ gibt vor, wie Suchmaschinen die Seiten auf Ihrer Website katalogisiert. 

Die Datei „robots.txt“ enthält die folgenden beiden Hauptkomponenten:

• User-agent: Legt die Suchmaschine oder den Webbot fest, für die bzw. den eine Regel gilt. Bei User-agent kann ein Sternchen (*) kann als Platzhalter verwendet werden, um alle Suchmaschinen anzugeben. 
• Disallow: Gibt einer Suchmaschine vor, eine Datei, eine Seite oder ein Verzeichnis nicht zu katalogisieren und indexieren.

Weitere Informationen zur Einrichtung Ihrer Dateien „robots.txt“ erhalten Sie in der Dokumentation der Datei „robots.txt“. Hier finden Sie weitere Einzelheiten zur Funktionsweise der Datei „robots.txt“ und Beispiele. Sie können auch einen robots.txt-Generator verwenden, um Ihre Datei zu erstellen. 

Ihre Datei „robots.txt“ in der HubSpot-Software aktualisieren

• Klicken Sie in Ihrem HubSpot-Account in der Hauptnavigationsleiste auf das Zahnradsymbol settings, um die Einstellungen aufzurufen.
• Gehen Sie im Menü der Seitenleiste links zu Website > Seiten.
• Verwenden Sie das Dropdown-Menü Änderung, um die zu aktualisierende Domain auszuwählen.

• Klicken Sie auf die Registerkarte SEO & Crawler.
• Scrollen Sie nach unten zum Abschnitt Robots.txt, um nehmen Sie im Textfeld die gewünschten Änderungen an Ihrer Datei „robots.txt“ vor.

• Klicken Sie auf Speichern.