SEO-Crawling-Fehler verstehen
Zuletzt aktualisiert am: März 8, 2022
Wenn ein SEO-Crawler eine Seite nicht indizieren kann, gibt er einen Crawling-Fehler zurück. Dies kann sowohl mit den Crawlern in den SEO-Tools von HubSpot als auch mit externen Crawlern wie Semrush geschehen. Die Schritte zur Behebung eines Crawling-Fehlers hängen von der Art des Fehlers und dem Ort ab, an dem die Seite gehostet wird.
Die SEO-Tools von HubSpot crawlen eine HubSpot-Seite
Sie können SEO-Empfehlungen auf der Registerkarte " Optimierung" der Leistungsdetailseiner Seite oder eines Beitrags anzeigen. Wenn es Probleme beim Crawlen der Seite gibt, können Sie eine der folgenden Fehlermeldungen sehen:
- Status 301: Moved Permanently - eine 301-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann
- Status 302: Objekt verschoben - eine 302 (temporäre) Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreifen kann.
- Status 403: Verboten - der Server kann erreicht werden, aber der Zugriff auf den Inhalt wird verweigert.
- Status 404: Nicht gefunden - der Crawler kann keine Live-Version des Inhalts finden, da dieser gelöscht oder verschoben wurde.
- Crawl von [Site] durch robots.txt blockiert - eine robots.txt-Datei blockiert die Indizierung des Inhalts.
Die SEO-Tools von HubSpot crawlen eine externe Seite
Wenn Sie versucht haben, externe Seiten mit den SEO-Tools von HubSpot zu crawlen, kann einer dieser Fehler auftreten:
- Scan blockiert durch robots.txt-Datei: Wenn Ihre externe Seite durch Ihre robots.txt-Datei von der Indizierung ausgeschlossen ist, fügen Sie den User Agent unseres Crawlers "HubSpot Crawler" als Ausnahme hinzu. Erfahren Sie mehr über die Arbeit mit einer robots.txt-Datei hier
- Die robots.txt-Datei konnte nicht abgerufen werden: Wenn die Crawler von HubSpot nicht auf die robots.txt-Datei Ihrer Site zugreifen können, überprüfen Sie, ob die robots.txt-Datei zugänglich ist und sich im Hauptverzeichnis Ihrer Site befindet. Erfahren Sie mehr über die Arbeit mit einer robots.txt-Datei hier
- Der Crawler ist nicht in der Lage, diese URL zu scannen: Wenn die Crawler von HubSpot eine bestimmte URL nicht crawlen können, versuchen Sie die folgenden Schritte zur Fehlerbehebung
- Überprüfen Sie, ob die URL korrekt eingegeben wurde
- Vergewissern Sie sich, dass die Seite, die gecrawlt werden soll, derzeit aktiv ist.
- Überprüfen Sie, ob DNS die URL auflösen kann. Weitere Informationen zur Behebung von DNS-Fehlern finden Sie in der Dokumentation von Google
- Wenden Sie sich an Ihren Website-Administrator und bitten Sie ihn, den Benutzer-Agenten unseres Crawlers, "HubSpot Crawler", als Ausnahme in die Liste der zulässigen Benutzer aufzunehmen
Diese Fehlermeldungen können auch beim Import von Inhalten in HubSpot auftreten
Ein externes SEO-Tool crawlt eine HubSpot-Seite
Wenn Sie versucht haben, Ihre HubSpot-Seiten mit einem externen SEO-Tool wie Moz oder Semrush zu crawlen, stellen Sie möglicherweise fest, dass Sie Ihre Seiten nicht erfolgreich crawlen können.
Häufige Ursachen für dieses Problem sind:
- Die Aufnahme Ihrer Seiten in die robots.txt-Datei verhindert, dass sie indiziert oder gecrawlt werden.
- Ein noindex-Meta-Tag im Head-HTML Ihrer Seiten verhindert, dass sie indiziert oder gecrawlt werden.
- Das Auditing einer Root-Domäne und nicht der mit HubSpot verbundenen Subdomäne führt zu einem Timeout-Fehler.
- Links für RSS-Feeds und Blog-Listenseiten laufen ab, wenn neue Blog-Einträge veröffentlicht werden, was zu Fehlern bei blockierten Ressourcen führen kann.
- Unwichtige Ressourcen, wie z. B. die Skripte, die das HubSpot Sprocket-Menü laden, können zu Fehlern bei blockierten Ressourcen führen. Dies verhindert jedoch nicht, dass der Rest der Seite gecrawlt wird.
Thank you for your feedback, it means a lot to us.
Verwandte Artikel
-
SEO-Empfehlungen verstehen
Im SEO-Tool, im Content-Editor und in den Seitendetails können Sie Ihre Inhalte auf SEO-Empfehlungen scannen....
Wissensdatenbank -
Aktivieren der Integration der Google Search Console in HubSpot
Durch die Integration von HubSpot mit Google Search Console können Sie Daten aus Google-Suchanfragen in Ihrem...
Wissensdatenbank -
Verhindern, dass Inhalte in den Suchergebnissen angezeigt werden
Sie können verhindern, dass neue Inhalte in den Ergebnissen erscheinen, indem Sie den URL-Slug in eine ...
Wissensdatenbank