SEO-Crawling-Fehler verstehen

Wenn ein SEO-Crawler eine Seite nicht indizieren kann, gibt er einen Crawling-Fehler zurück. Dies kann sowohl mit den Crawlern in den SEO- und Import-Tools von HubSpot als auch mit externen Crawlern wie Semrush geschehen. Die Schritte zur Behebung eines Crawling-Fehlers hängen von der Art des Fehlers und dem Ort ab, an dem die Seite gehostet wird. 

Die SEO-Tools von HubSpot crawlen eine HubSpot-Seite

Sie können SEO-Empfehlungen auf der Registerkarte " Optimierung" der Leistungsdetailseiner Seite oder eines Beitrags anzeigen. Wenn es Probleme beim Crawlen der Seite gibt, können Sie eine der folgenden Fehlermeldungen sehen: 

• Status 301: Moved Permanently: eine 301-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann. 
• Status 302: Object moved: eine 302 (temporäre) Weiterleitung hindert den Crawler am Zugriff auf den Inhalt.
• Status 403: Forbidden: Der Server kann erreicht werden, aber der Zugriff auf den Inhalt wird verweigert.
• Status 404: Not Found: Der Crawler kann keine aktuelle Version des Inhalts finden, da dieser gelöscht oder verschoben wurde.
• Crawl von [site] blockiert durch robots.txt: eine robots.txt-Datei blockiert die Indizierung des Inhalts. 

Die SEO-Tools von HubSpot crawlen eine externe Seite

Wenn Sie versucht haben, externe Seiten mit den SEO-Tools von HubSpot zu crawlen oder externe Inhalte in HubSpot zu importieren, kann einer dieser Fehler auftreten: 

• Scan blockiert durch robots.txt-Datei: Wenn Ihre externe Seite durch Ihre robots.txt-Datei von der Indizierung ausgeschlossen ist, fügen Sie den Benutzeragenten des HubSpot-Crawlers "HubSpot Crawler" als Ausnahme hinzu. Erfahren Sie mehr über und die Arbeit mit einer robots.txt-Datei.
• Die Datei robots.txt konnte nicht abgerufen werden: Wenn die Crawler von HubSpot nicht auf die Datei robots.txt Ihrer Site zugreifen können, überprüfen Sie, ob die Datei robots.txt zugänglich ist und sich im obersten Verzeichnis Ihrer Site befindet. Erfahren Sie mehr über und die Arbeit mit einer robots.txt-Datei.
• Der Crawler ist nicht in der Lage, diese URL zu scannen: Wenn die Crawler von HubSpot eine bestimmte URL nicht crawlen können, versuchen Sie die folgenden Schritte zur Fehlerbehebung:
  • Überprüfen Sie, ob die URL korrekt eingegeben wurde.
  • Vergewissern Sie sich, dass die Seite, die gecrawlt werden soll, derzeit aktiv ist.
  • Überprüfen Sie, ob DNS die URL auflösen kann. Weitere Informationen zur Behebung von DNS-Fehlern finden Sie in der Google-Dokumentation .
  • Wenden Sie sich an Ihren Website-Administrator und bitten Sie ihn, den Benutzer-Agenten unseres Crawlers, "HubSpot Crawler", als Ausnahme in die Liste der zulässigen Benutzer aufzunehmen. 

Ein externes SEO-Tool, das eine HubSpot-Seite crawlt

Wenn Sie versucht haben, Ihre HubSpot-Seiten mit einem externen SEO-Tool wie Moz oder Semrush zu crawlen, stellen Sie möglicherweise fest, dass Sie Ihre Seiten nicht erfolgreich crawlen können.

Häufige Ursachen für dieses Problem sind: 

• Die Aufnahme Ihrer Seiten in die robots.txt-Datei verhindert, dass sie indiziert oder gecrawlt werden. 
• Ein "noindex" meta tag im head HTML Ihrer Seiten verhindert, dass sie indiziert oder gecrawlt werden. 
• Die Prüfung einer Root Domain und nicht der Subdomain , die mit HubSpot verbunden ist, verursacht einen Timeout-Fehler.
• Links für RSS-Feeds und Blog-Listenseiten laufen ab, wenn neue Blog-Einträge veröffentlicht werden, was zu Fehlern bei blockierten Ressourcen führen kann.
• Unwichtige Ressourcen, wie z. B. die Skripte, die das HubSpot-Symbol-Menü laden, können zu Fehlern bei blockierten Ressourcen führen. Dies verhindert jedoch nicht, dass der Rest der Seite gecrawlt wird.