SEO-Crawling-Fehler verstehen

Wenn ein SEO-Crawler eine Seite nicht indizieren kann, wird ein Crawling-Fehler zurückgegeben. Dies kann mit den Crawlern in den SEO- und Import-Tools von HubSpot sowie mit externen Crawlern wie Semrush geschehen. Die Schritte zur Behebung eines Durchforstungsfehlers hängen von dem Fehler und davon ab, wo die Seite gehostet wird. 

SEO-Tools von HubSpot zum Durchforsten einer HubSpot-Seite

Sie können SEO-Empfehlungen auf der Registerkarte Optimierung einer Seite oder den Leistungsdetails eines Beitrags anzeigen. Wenn es Probleme beim Durchforsten der Seite gibt, wird möglicherweise eine der folgenden Fehlermeldungen angezeigt: 

• Status 301: Dauerhaft verschoben - Eine 301-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreift. 
• Status 302: Objekt verschoben - Ein (temporäre) 302-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreift.
• Status 403: Verboten - Der Server ist erreichbar, aber der Zugriff auf Inhalte wird verweigert.
• Status 404: Nicht gefunden - Der Crawler kann keine Live-Version des Inhalts finden, da dieser gelöscht oder verschoben wurde.
• Durchsuchen von [Site] durch robots.txt verhindert - eine robots.txt-Datei verhindert, dass der Inhalt indiziert wird. 

SEO-Tools von HubSpot zum Durchforsten einer externen Seite

Wenn Sie versuchen, externe Seiten mithilfe der SEO-Tools von HubSpot zu durchsuchen oder externe Inhalte in HubSpot zu importieren, kann einer der folgenden Fehler auftreten: 

• Scan blockiert durch robots.txt-Datei: Wenn Ihre externe Seite von der Indizierung durch Ihre robots.txt-Datei ausgeschlossen ist, fügen Sie den Benutzeragenten unseres Crawlers "HubSpot Crawler" als Ausnahme hinzu. Erfahren Sie hier mehr über das Arbeiten mit einer robots.txt-Datei . 
• Robots.txt-Datei konnte nicht abgerufen werden: Wenn die Crawler von HubSpot nicht auf die robots.txt-Datei Ihrer Website zugreifen können, vergewissern Sie sich, dass auf die robots.txt-Datei zugegriffen werden kann und sich im Hauptverzeichnis Ihrer Website befindet. Erfahren Sie hier mehr über das Arbeiten mit einer robots.txt-Datei. 
• Der Crawler kann diese URL nicht scannen: Wenn die Crawler von HubSpot eine bestimmte URL nicht crawlen können, versuchen Sie die folgenden Schritte zur Fehlerbehebung: 
  • Überprüfen Sie, ob die URL korrekt eingegeben wurde. 
  • Stellen Sie sicher, dass die zu durchforstende Seite aktuell live ist.
  • Stellen Sie sicher, dass DNS die URL auflösen kann. Erfahren Sie in der Google-Dokumentation mehr über das Beheben von DNS-Fehlern. 
  • Wenden Sie sich an Ihren Website-Administrator und fordern Sie ihn auf, als Ausnahme den Benutzeragenten unseres Crawlers, "HubSpot Crawler", zur Zulassungsliste hinzuzufügen. 

Ein externes SEO-Tool zum Durchforsten einer HubSpot-Seite

Wenn Sie versuchen, Ihre HubSpot-Seiten mithilfe eines externen SEO-Tools wie Moz oder Semrush zu durchsuchen, ist ein erfolgreiches Crawling der Seiten u. U. nicht möglich.

Häufige Ursachen für dieses Problem: 

• Die Aufnahme Ihrer Seiten in die Datei „robots.txt“ verhindert, dass sie indexiert oder durchsucht werden. 
• Ein Noindex-Meta-Tag im Kopfzeilen-HTML Ihrer Seiten verhindert, dass sie indexiert oder durchforstet werden. 
• Das Überprüfen einer Root-Domain anstelle der mit HubSpot verbundenen Subdomain verursacht einen Timeout-Fehler.
• Links für RSS-Feeds und Blog-Listing-Seiten laufen ab, wenn neue Blog-Posts veröffentlicht werden, die blockierte Ressourcenfehler generieren können.
• Nicht wesentliche Ressourcen, z. B. die Skripte, die das HubSpot-Ritzelmenü laden, können blockierte Ressourcenfehler verursachen. Dies verhindert nicht, dass der Rest der Seite gekrochen wird.