SEO-Crawling-Fehler verstehen

Wenn ein SEO-Crawler eine Seite nicht indizieren kann, gibt er einen Crawling-Fehler zurück. Dies kann sowohl mit den Crawlern in den SEO-Tools von HubSpot als auch mit externen Crawlern wie Semrush geschehen. Die Schritte zur Behebung eines Crawling-Fehlers hängen von der Art des Fehlers und dem Ort ab, an dem die Seite gehostet wird. 

Die SEO-Tools von HubSpot crawlen eine HubSpot-Seite

Sie können SEO-Empfehlungen auf der Registerkarte " Optimierung" der Leistungsdetailseiner Seite oder eines Beitrags anzeigen. Wenn es Probleme beim Crawlen der Seite gibt, können Sie eine der folgenden Fehlermeldungen sehen: 

• Status 301: Moved Permanently - eine 301-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann
• Status 302: Objekt verschoben - eine 302 (temporäre) Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann.
• Status 403: Verboten - der Server kann erreicht werden, aber der Zugriff auf den Inhalt wird verweigert.
• Status 404: Nicht gefunden - der Crawler kann keine Live-Version des Inhalts finden, da dieser gelöscht oder verschoben wurde.
• Crawl von [Site] durch robots.txt blockiert - eine robots.txt-Datei blockiert die Indizierung des Inhalts. 

Die SEO-Tools von HubSpot crawlen eine externe Seite

Wenn Sie versucht haben, externe Seiten mit den SEO-Tools von HubSpot zu crawlen, kann einer dieser Fehler auftreten: 

• Scan blockiert durch robots.txt-Datei: Wenn Ihre externe Seite durch Ihre robots.txt-Datei von der Indizierung ausgeschlossen ist, fügen Sie den User-Agent unseres Crawlers "HubSpot Crawler" als Ausnahme hinzu. Erfahren Sie mehr über die Arbeit mit einer robots.txt-Datei hier 
• Die robots.txt-Datei konnte nicht abgerufen werden: Wenn die Crawler von HubSpot nicht auf die robots.txt-Datei Ihrer Site zugreifen können, überprüfen Sie, ob die robots.txt-Datei zugänglich ist und sich im Hauptverzeichnis Ihrer Site befindet. Erfahren Sie mehr über die Arbeit mit einer robots.txt-Datei hier 

Wenn die SEO-Tools von HubSpot einen allgemeinen Crawling-Fehler anzeigen, befolgen Sie diese Schritte, um das Problem zu beheben: 

• Überprüfen Sie, ob die URL korrekt eingegeben wurde
• Vergewissern Sie sich, dass die Seite, die gecrawlt werden soll, derzeit aktiv ist.
• Überprüfen Sie, ob DNS die URL auflösen kann. Weitere Informationen zur Behebung von DNS-Fehlern finden Sie in der Dokumentation von Google 
• Wenden Sie sich an Ihren Website-Administrator und bitten Sie ihn, den Benutzer-Agenten unseres Crawlers, "HubSpot Crawler", als Ausnahme in die Liste der zulässigen Benutzer aufzunehmen

Ein externes SEO-Tool crawlt eine HubSpot-Seite

Wenn Sie versucht haben, Ihre HubSpot-Seiten mit einem externen SEO-Tool wie Moz oder Semrush zu crawlen, werden Sie möglicherweise feststellen, dass Sie Ihre Seiten nicht erfolgreich crawlen können.

Häufige Ursachen für dieses Problem sind: 

• Die Aufnahme Ihrer Seiten in die robots.txt-Datei verhindert, dass sie indiziert oder gecrawlt werden. 
• Ein noindex-Meta-Tag im Head-HTML Ihrer Seiten verhindert, dass sie indiziert oder gecrawlt werden. 
• Das Auditing einer Root-Domain und nicht der mit HubSpot verbundenen Subdomain führt zu einem Timeout-Fehler.
• Links für RSS-Feeds und Blog-Listenseiten laufen ab, wenn neue Blog-Einträge veröffentlicht werden, was zu Fehlern bei blockierten Ressourcen führen kann.
• Unwichtige Ressourcen, wie z. B. die Skripte, die das HubSpot Sprocket-Menü laden, können zu Fehlern bei blockierten Ressourcen führen. Dies verhindert jedoch nicht, dass der Rest der Seite gecrawlt wird.