Zum Hauptinhalt
Hinweis: Dieser Artikel wird aus Kulanz zur Verfügung gestellt. Er wurde automatisch mit einer Software übersetzt und unter Umständen nicht korrekturgelesen. Die englischsprachige Fassung gilt als offizielle Version und Sie können dort die aktuellsten Informationen finden. Hier können Sie darauf zugreifen.
SEO

SEO-Crawling-Fehler verstehen

Zuletzt aktualisiert am: September 30, 2021

Produkte/Lizenzen

Marketing Hub Professional, Enterprise
CMS Hub Starter, Professional, Enterprise
Ehemaliges Marketing Hub Basic

Wenn ein SEO-Crawler eine Seite nicht indizieren kann, gibt er einen Crawling-Fehler zurück. Dies kann sowohl mit den Crawlern in den SEO-Tools von HubSpot als auch mit externen Crawlern wie Semrush geschehen. Die Schritte zur Behebung eines Crawling-Fehlers hängen von der Art des Fehlers und dem Ort ab, an dem die Seite gehostet wird. 

Die SEO-Tools von HubSpot crawlen eine HubSpot-Seite

Sie können SEO-Empfehlungen auf der Registerkarte " Optimierung" der Leistungsdetailseiner Seite oder eines Beitrags anzeigen. Wenn es Probleme beim Crawlen der Seite gibt, können Sie eine der folgenden Fehlermeldungen sehen: 

  • Status 301: Moved Permanently - eine 301-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann
  • Status 302: Objekt verschoben - eine 302 (temporäre) Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann.
  • Status 403: Verboten - der Server kann erreicht werden, aber der Zugriff auf den Inhalt wird verweigert.
  • Status 404: Nicht gefunden - der Crawler kann keine Live-Version des Inhalts finden, da dieser gelöscht oder verschoben wurde.
  • Crawl von [Site] durch robots.txt blockiert - eine robots.txt-Datei blockiert die Indizierung des Inhalts. 

Die SEO-Tools von HubSpot crawlen eine externe Seite

Wenn Sie versucht haben, externe Seiten mit den SEO-Tools von HubSpot zu crawlen, kann einer dieser Fehler auftreten: 

  • Scan blockiert durch robots.txt-Datei: Wenn Ihre externe Seite durch Ihre robots.txt-Datei von der Indizierung ausgeschlossen ist, fügen Sie den User-Agent unseres Crawlers "HubSpot Crawler" als Ausnahme hinzu. Erfahren Sie mehr über die Arbeit mit einer robots.txt-Datei hier 
  • Die robots.txt-Datei konnte nicht abgerufen werden: Wenn die Crawler von HubSpot nicht auf die robots.txt-Datei Ihrer Site zugreifen können, überprüfen Sie, ob die robots.txt-Datei zugänglich ist und sich im Hauptverzeichnis Ihrer Site befindet. Erfahren Sie mehr über die Arbeit mit einer robots.txt-Datei hier 

Wenn die SEO-Tools von HubSpot einen allgemeinen Crawling-Fehler anzeigen, befolgen Sie diese Schritte, um das Problem zu beheben: 

  • Überprüfen Sie, ob die URL korrekt eingegeben wurde
  • Vergewissern Sie sich, dass die Seite, die gecrawlt werden soll, derzeit aktiv ist.
  • Überprüfen Sie, ob DNS die URL auflösen kann. Weitere Informationen zur Behebung von DNS-Fehlern finden Sie in der Dokumentation von Google 
  • Wenden Sie sich an Ihren Website-Administrator und bitten Sie ihn, den Benutzer-Agenten unseres Crawlers, "HubSpot Crawler", als Ausnahme in die Liste der zulässigen Benutzer aufzunehmen

Ein externes SEO-Tool crawlt eine HubSpot-Seite

Wenn Sie versucht haben, Ihre HubSpot-Seiten mit einem externen SEO-Tool wie Moz oder Semrush zu crawlen, werden Sie möglicherweise feststellen, dass Sie Ihre Seiten nicht erfolgreich crawlen können.

Häufige Ursachen für dieses Problem sind: 

  • Die Aufnahme Ihrer Seiten in die robots.txt-Datei verhindert, dass sie indiziert oder gecrawlt werden. 
  • Ein noindex-Meta-Tag im Head-HTML Ihrer Seiten verhindert, dass sie indiziert oder gecrawlt werden. 
  • Das Auditing einer Root-Domain und nicht der mit HubSpot verbundenen Subdomain führt zu einem Timeout-Fehler.
  • Links für RSS-Feeds und Blog-Listenseiten laufen ab, wenn neue Blog-Einträge veröffentlicht werden, was zu Fehlern bei blockierten Ressourcen führen kann.
  • Unwichtige Ressourcen, wie z. B. die Skripte, die das HubSpot Sprocket-Menü laden, können zu Fehlern bei blockierten Ressourcen führen. Dies verhindert jedoch nicht, dass der Rest der Seite gecrawlt wird.