SEO-Crawling-Fehler verstehen
Zuletzt aktualisiert am: Januar 19, 2023
Wenn ein SEO-Crawler eine Seite nicht indizieren kann, wird ein Crawling-Fehler zurückgegeben. Dies kann mit den Crawlern in den SEO- und Import-Tools von HubSpot sowie mit externen Crawlern wie Semrush geschehen. Die Schritte zur Behebung eines Durchforstungsfehlers hängen von dem Fehler und davon ab, wo die Seite gehostet wird.
SEO-Tools von HubSpot zum Durchforsten einer HubSpot-Seite
Sie können SEO-Empfehlungen auf der Registerkarte Optimierung einer Seite oder den Leistungsdetails eines Beitrags anzeigen. Wenn es Probleme beim Durchforsten der Seite gibt, wird möglicherweise eine der folgenden Fehlermeldungen angezeigt:
- Status 301: Dauerhaft verschoben - Eine 301-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreift.
- Status 302: Objekt verschoben - Ein (temporäre) 302-Weiterleitung verhindert, dass der Crawler auf den Inhalt zugreift.
- Status 403: Verboten - Der Server ist erreichbar, aber der Zugriff auf Inhalte wird verweigert.
- Status 404: Nicht gefunden - Der Crawler kann keine Live-Version des Inhalts finden, da dieser gelöscht oder verschoben wurde.
- Durchsuchen von [Site] durch robots.txt verhindert - eine robots.txt-Datei verhindert, dass der Inhalt indiziert wird.
SEO-Tools von HubSpot zum Durchforsten einer externen Seite
Wenn Sie versuchen, externe Seiten mithilfe der SEO-Tools von HubSpot zu durchsuchen oder externe Inhalte in HubSpot zu importieren, kann einer der folgenden Fehler auftreten:
- Scan blockiert durch robots.txt-Datei: Wenn Ihre externe Seite von der Indizierung durch Ihre robots.txt-Datei ausgeschlossen ist, fügen Sie den Benutzeragenten unseres Crawlers "HubSpot Crawler" als Ausnahme hinzu. Erfahren Sie hier mehr über das Arbeiten mit einer robots.txt-Datei .
- Robots.txt-Datei konnte nicht abgerufen werden: Wenn die Crawler von HubSpot nicht auf die robots.txt-Datei Ihrer Website zugreifen können, vergewissern Sie sich, dass auf die robots.txt-Datei zugegriffen werden kann und sich im Hauptverzeichnis Ihrer Website befindet. Erfahren Sie hier mehr über das Arbeiten mit einer robots.txt-Datei.
- Der Crawler kann diese URL nicht scannen: Wenn die Crawler von HubSpot eine bestimmte URL nicht crawlen können, versuchen Sie die folgenden Schritte zur Fehlerbehebung:
- Überprüfen Sie, ob die URL korrekt eingegeben wurde.
- Stellen Sie sicher, dass die zu durchforstende Seite aktuell live ist.
- Stellen Sie sicher, dass DNS die URL auflösen kann. Erfahren Sie in der Google-Dokumentation mehr über das Beheben von DNS-Fehlern.
- Wenden Sie sich an Ihren Website-Administrator und fordern Sie ihn auf, als Ausnahme den Benutzeragenten unseres Crawlers, "HubSpot Crawler", zur Zulassungsliste hinzuzufügen.
Ein externes SEO-Tool zum Durchforsten einer HubSpot-Seite
Wenn Sie versuchen, Ihre HubSpot-Seiten mithilfe eines externen SEO-Tools wie Moz oder Semrush zu durchsuchen, ist ein erfolgreiches Crawling der Seiten u. U. nicht möglich.
Häufige Ursachen für dieses Problem:
- Die Aufnahme Ihrer Seiten in die Datei „robots.txt“ verhindert, dass sie indexiert oder durchsucht werden.
- Ein Noindex-Meta-Tag im Kopfzeilen-HTML Ihrer Seiten verhindert, dass sie indexiert oder durchforstet werden.
- Das Überprüfen einer Root-Domain anstelle der mit HubSpot verbundenen Subdomain verursacht einen Timeout-Fehler.
- Links für RSS-Feeds und Blog-Listing-Seiten laufen ab, wenn neue Blog-Posts veröffentlicht werden, die blockierte Ressourcenfehler generieren können.
- Nicht wesentliche Ressourcen, z. B. die Skripte, die das HubSpot-Ritzelmenü laden, können blockierte Ressourcenfehler verursachen. Dies verhindert nicht, dass der Rest der Seite gekrochen wird.
Verwandte Artikel
-
SEO-Empfehlungen verstehen
Im SEO-Tool, im Content-Editor und in den Seitendetails können Sie Ihre Inhalte auf SEO-Empfehlungen scannen....
Wissensdatenbank -
E-Mail-Zustellbarkeit verbessern
Die E-Mail-Zustellbarkeit ist eine Feedback-Schleife, mit der Sie ermitteln, ob Sie die richtigen Inhalte zum...
Wissensdatenbank -
Vorschau und Optimierung der Darstellung Ihrer E-Mails auf verschiedenen Clients und Geräten
Während Sie Ihre Marketing-E-Mails entwerfen, können Sie in der Vorschau sehen, wie sie auf verschiedenen...
Wissensdatenbank