Capire gli errori di crawling SEO

Se un crawler SEO non può indicizzare una pagina, restituirà un errore di crawling. Questo può accadere con i crawler degli strumenti SEO di HubSpot, così come con crawler esterni come Semrush. I passi per risolvere un errore di crawling dipendono dall'errore e da dove la pagina è ospitata.

Gli strumenti SEO di HubSpot che scansionano una pagina HubSpot

È possibile visualizzare le raccomandazioni SEO nella schedaOttimizzazionedei dettagli delle prestazioni di una pagina o di un post. Se ci sono problemi nella scansione della pagina, potresti vedere uno dei seguenti messaggi di errore:

• Stato 301: spostato in modo permanente - un reindirizzamento 301 sta impedendo al crawler di accedere al contenuto.
• Stato 302: Oggetto spostato - un reindirizzamento 302 (temporaneo) sta impedendo al crawler di accedere al contenuto.
• Stato 403: Forbidden - il server può essere raggiunto, ma l'accesso al contenuto è negato.
• Stato 404: Not Found - il crawler non è in grado di trovare una versione live del contenuto perché è stato cancellato o spostato.
• Crawl di [sito] bloccato da robots.txt - unfile robots.txt sta bloccando l'indicizzazione del contenuto.

Gli strumenti SEO di HubSpot eseguono la scansione di una pagina esterna

Se hai tentato di scansionare pagine esterne usando gli strumenti SEO di HubSpot, potresti incontrare uno di questi errori:

• Scansione bloccata dal file robots.txt:se la tua pagina esterna è esclusa dall'indicizzazione dal tuo file robots.txt, aggiungi l'user agent del nostro crawler "HubSpot Crawler" come esenzione .Scopri di più su come lavorare con un file robots.txt qui.
• Il file robots.txt non può essere recuperato: se i crawler di HubSpot non possono accedere al file robots.txt del tuo sito, verifica che il file robots.txt sia accessibile e nella directory di primo livello del tuo sito. Scopri di più su come lavorare con un file robots.txt qui.

Se gli strumenti SEO di HubSpot restituiscono un errore generale di crawling, segui questi passi per risolverlo:

• Verificare che l'URL sia stato inserito correttamente.
• Verificare che la pagina sottoposta a crawling sia attualmente attiva.
• Verificare che il DNS possa risolvere l'URL. Per saperne di più sulla risoluzione degli errori DNS nella documentazione di Google.
• Contatta l'amministratore del tuo sito e richiedi che aggiunga l'agente utente del nostro crawler, "HubSpot Crawler", alla lista delle autorizzazioni come esenzione.

Uno strumento SEO esterno che scansiona una pagina HubSpot

Se hai tentato di scansionare le tue pagine HubSpot utilizzando uno strumento SEO esterno come Moz o Semrush, potresti scoprire che non sei in grado di scansionare le tue pagine con successo.

Le cause comuni di questo problema includono:

• L'inclusione delle vostre pagine nel file robots.txt sta impedendo loro di essere indicizzate o scansionate.
• Un meta tag noindex nell'head HTML delle vostre pagine impedisce loro di essere indicizzate o scansionate.
• L'audit di un dominio principale, piuttosto che il sottodominio collegato a HubSpot, sta causando un errore di timeout.
• I link per i feed RSS e le pagine di elenchi di blog scadono quando vengono pubblicati nuovi post, il che può generare errori di risorse bloccate.
• Le risorse non essenziali, come gli script che caricano il menu sprocket di HubSpot, possono generare errori di risorse bloccate. Questo non impedisce al resto della pagina di essere scansionata.