Hinweis: Dieser Artikel wird aus Kulanz zur Verfügung gestellt. Er wurde automatisch mit einer Software übersetzt und unter Umständen nicht korrekturgelesen. Die englischsprachige Fassung gilt als offizielle Version und Sie können dort die aktuellsten Informationen finden. Hier können Sie darauf zugreifen.
SEO

Verhindern der Indexierung von Seiten oder Blog-Beiträgen durch Suchmaschinen

Zuletzt aktualisiert am: November 7, 2019

Produkte/Lizenzen

Marketing Hub  Professional, Enterprise
Basic
HubSpot CMS
Es gibt mehrere Optionen, wie Sie eine Indexierung bestimmter Seiten Ihrer Website durch Suchmaschinen verhindern können. Es wird empfohlen, sich mit den Optionen gründlich vertraut zu machen, bevor Sie Änderungen durchführen. So können Sie sicherstellen, dass nur die gewünschten Seiten für Suchmaschinen blockiert werden.

Bitte beachten: Wenn Sie die Methode mit dem Meta-Tag „No Index“ (Keine Indexierung) auswählen, ist darauf zu achten, dass diese nicht mit der Datei „robots.txt“ kombiniert werden darf. Suchmaschinen müssen mit dem Katalogisieren der Seite beginnen, ehe das Meta-Tag „No Index“ erkannt wird. Die Datei „robots.txt“ verhindert die Katalogisierung jedoch komplett.

Datei „Robots.txt“

Die Datei „robots.txt“ ist eine Datei auf Ihrer Website, die von Suchmaschinen-Crawlern gelesen wird, um zu ermitteln, welche Seiten indexiert bzw. nicht indexiert werden sollen. Erfahren Sie, wie Sie Ihre Datei „robots.txt“ in der HubSpot-Software einrichten.

Google und andere Suchmaschinen können Seiten nicht nachträglich aus den Ergebnissen entfernen, nachdem Sie die Methode mit der Datei „robots.txt“ umgesetzt haben. Zwar werden Bots angewiesen, eine Seite nicht zu katalogisieren, Suchmaschinen können jedoch Ihre Inhalte weiterhin indexieren (beispielsweise, wenn eingehende Links von anderen Websites auf Ihre Seite vorhanden sind). Wenn Ihre Seite bereits indexiert wurde und sie nachträglich aus Suchmaschinen entfernt werden soll, empfiehlt es sich, die Methode mit dem Meta-Tag „No Index“ zu verwenden.

Meta-Tag „No Index“

Ein Meta-Tag „No Index“ ist eine Zeichenfolge im Code, die im HTML-Kopfbereich der Seite eingeschlossen ist. Sie teilt Suchmaschinen mit, dass die Seite nicht indexiert werden soll. Diese Methode kann nur für Landing-Pages und Websites verwendet werden, nicht für Blog-Beiträge.

  • Gehen Sie in Ihrem HubSpot-Account zu Ihren Landing-Pages oder Website-Seiten.
  • Klicken Sie auf den Namen einer bestimmten Seite.
  • Klicken Sie im Content-Editor auf die Registerkarte Einstellungen.
  • Klicken Sie auf „Erweiterte Optionen“.
  • Kopieren und fügen Sie folgenden Code im Feld HTML in der Kopfzeile ein:
<meta name="robots" content="noindex">

edit-head-html

 

Google Search Console

Wenn Sie über ein Google Search Console-Konto verfügen, können Sie beantragen, dass eine URL aus den Google-Suchergebnissen entfernt wird. Beachten Sie, dass dies nur für die Suchergebnisse von Google gilt.

Wenn Sie Dateien (z. B. ein PDF-Dokument) in Ihrem HubSpot-Datei-Manager für das Indexieren durch Suchmaschinen blockieren möchten, müssen Sie eine verknüpfte Subdomain für die Datei(en) auswählen und die Datei-URL verwenden, um Web-Crawler zu blockieren.

Behandeln von Benutzer-Agent-Anfragen durch die HubSpot-Software

Wenn Sie einen Benutzer-Agent-String einrichten, um Ihre Website testweise zu katalogisieren, und es wird eine Meldung über die Verweigerung des Zugriffs ausgegeben, ist dieses Verhalten normal. Ihre Website wird von Google noch gecrawlt und indexiert.

Diese Meldung wird angezeigt, weil die HubSpot-Software nur Anfragen des googlebot-Benutzer-Agenten zulässt, die von IPs im Besitz von Google gesendet werden. Zum Schutz der von HubSpot gehosteten Sites vor Angreifern und Spoofern werden Anfragen von anderen IP-Adressen verweigert. Diese HubSpot-Regelung gilt auch für die Crawler anderer Suchmaschinen wie BingBot, MSNBot und Baiduspider.