Hinweis: Dieser Artikel wird aus Kulanz zur Verfügung gestellt. Er wurde automatisch mit einer Software übersetzt und unter Umständen nicht korrekturgelesen. Die englischsprachige Fassung gilt als offizielle Version und Sie können dort die aktuellsten Informationen finden. Hier können Sie darauf zugreifen.
CMS-General

HubSpot-Seiten können nicht mit einem externen Crawler durchsucht werden

Zuletzt aktualisiert am: April 1, 2019

Produkte/Lizenzen

Marketing Hub  Professional, Enterprise
Basic

Wenn Sie versuchen, Ihre HubSpot-Seiten mithilfe eines externen SEO-Tools wie Moz, OnPage oder SEMRush zu durchsuchen, ist ein erfolgreiches Crawling der Seiten u. U. nicht möglich.

Um dieses Problem zu beheben, überprüfen Sie Folgendes:

  1. Robots.txt: Überprüfen Sie, ob Ihre Seiten in den Content-Einstellungen der Datei „robots.txt“ hinzugefügt wurden; dies würde Indexierung und Crawling der Seiten verhindern.
  2. Metatags: Überprüfen Sie, ob Code wie „noindex“ dem Kopfzeilen-HTML Ihrer Seiten hinzugefügt wurde; dies würde Indexierung und Crawling der Seiten verhindern.
  3. Googlebot: Die HubSpot-Software lässt kein Crawling von HubSpot-Seiten aus dem Googlebot von Nicht-Google-IP-Adressen zu. Bei einem Crawling-Versuch Ihrer HubSpot-Website mit Googlebot wird wahrscheinlich ein 403-Fehler ausgegeben.

Sie können Ihre Einstellungen auch so anpassen, dass bestimmte Seiten nicht indexiert oder durchsucht werden

Bitte beachten: Wenn Sie Ihre Website mit SEMRush überprüfen und ein Timeout-Fehler auftritt, vergewissern Sie sich, dass Sie die spezifische, bei HubSpot gehostete Subdomain und nicht die Root-Domain überprüfen.

 

Warum wird ein SEO-Fehler für meinen von HubSpot gehosteten Content angezeigt?

Externe SEO-Tools geben beim Durchsuchen des von HubSpot gehosteten Content häufig Fehler zurück. So können beispielsweise 401-Fehler oder -Warnungen für Ihre Blog-Listing-Seite oder die Blog-RSS-Feeds auftreten. Beide Links ändern sich bei Veröffentlichung eines neuen Beitrags, und demzufolge werden diese Links als abgelaufen festgelegt. Externe SEO-Tools können diese Links nicht erneut durchsuchen und kennzeichnen diese daher als Fehler. Zudem ist eine gesonderte Indexierung des RSS-Feeds nicht erforderlich, da es sich hierbei um denselben Content wie den handelt, der im eigentlichen Blog-Beitrag aktiv ist. Dieser Fehler kann wie folgt aussehen:

Blockierte Ressourcen > https://mydomain.com/_hcms/rss/feed?feedId=

Zudem können externe SEO-Tools derartige Ressourcenblockierungs-Fehler für HubSpot-Ressourcen ausgeben, die nicht indexiert werden müssen. Es gibt beispielsweise Skripts, mit denen das HubSpot-Symbol-Kontextmenü geladen wird, über das Sie zum Seiten-Editor oder zum HubSpot-Tracking-Code gelangen, die nicht durchsucht werden, da sie als Suchergebnis nicht aufgeführt werden und zum Verstehen des Seiten-Contents nicht benötigt werden. Diese Ressourcen können zwar blockiert oder gekennzeichnet sein, das heißt jedoch nicht, dass die Seite selbst nicht durchsucht wurde.Dieser Fehler kann wie folgt aussehen:

Blockierte Ressourcen > https://js.hs-scripts.com