Se un crawler SEO non riesce a indicizzare una pagina, restituisce un errore di crawling. Questo può accadere con i crawler degli strumenti SEO e di importazione di HubSpot, ma anche con crawler esterni come Semrush. I passaggi per risolvere un errore di crawling dipendono dall'errore e da dove è ospitata la pagina.
Strumenti SEO di HubSpot che effettuano il crawling di una pagina HubSpot
È possibile visualizzare le raccomandazioni SEO nella scheda Ottimizzazione dei dettagli delle prestazioni di una pagina o di un post. In caso di problemi di crawling della pagina, è possibile che venga visualizzato uno dei seguenti messaggi di errore:
- Stato 301: spostato in modo permanente: un reindirizzamento 301 impedisce al crawler di accedere al contenuto.
- Stato 302: Oggetto spostato: un reindirizzamento 302 (temporaneo) impedisce al crawler di accedere al contenuto.
- Stato 403: Forbidden: il server può essere raggiunto, ma l'accesso al contenuto è negato.
- Stato 404: Not Found: il crawler non è in grado di trovare una versione live del contenuto perché è stato cancellato o spostato.
- Crawl di [sito] bloccato da robots.txt: un file robots.txt blocca l'indicizzazione dei contenuti.
Gli strumenti SEO di HubSpot stanno effettuando il crawling di una pagina esterna
Se si è tentato di eseguire il crawling di pagine esterne utilizzando gli strumenti SEO di HubSpot o si sta importando contenuto esterno in HubSpot, è possibile che si verifichi uno di questi errori:
- Scansione bloccata dal file robots.txt: se la pagina esterna è esclusa dall'indicizzazione dal file robots.txt, aggiungete l'agente utente del crawler di HubSpot "HubSpot Crawler" come esenzione. Per saperne di più su come lavorare con un file robots.txt.
- Impossibilerecuperare il file robots.txt: se i crawler di HubSpot non riescono ad accedere al file robots.txt del vostro sito, verificate che il file robots.txt sia accessibile e si trovi nella directory di primo livello del vostro sito. Per saperne di più su come lavorare con un file robots.txt.
- Il crawler non è in grado di eseguire la scansione di questo URL: se i crawler di HubSpot non riescono a eseguire la scansione di un URL specifico, provare a eseguire le seguenti operazioni di risoluzione dei problemi:
- Verificare che l'URL sia stato inserito correttamente.
- Verificare che la pagina oggetto di crawling sia attualmente attiva.
- Verificare che il DNS sia in grado di risolvere l'URL. Per saperne di più sulla risoluzione degli errori DNS, consultare la documentazione di Google.
- Contattate l'amministratore del sito e chiedete di aggiungere l'agente utente del nostro crawler, "HubSpot Crawler", all'elenco dei permessi come esenzione.
Uno strumento SEO esterno che effettua il crawling di una pagina HubSpot
Se si è tentato di eseguire il crawling delle pagine di HubSpot utilizzando uno strumento SEO esterno come Moz o Semrush, è possibile che non si riesca a eseguire il crawling delle pagine con successo.
Le cause più comuni di questo problema sono
- L'inclusione delle pagine nel file robots.txt impedisce l'indicizzazione o il crawling.
- Un meta tag "noindex" nella testa HTML delle pagine impedisce l'indicizzazione o il crawling.
- L'audit di un dominio principale, anziché del sottodominio collegato a HubSpot, causa un errore di timeout.
- I link per i feed RSS e le pagine degli elenchi dei blog scadono quando vengono pubblicati nuovi post, il che può generare errori di risorse bloccate.
- Le risorse non essenziali, come gli script che caricano il menu sprocket di HubSpot, possono generare errori di risorse bloccate. Ciò non impedisce il crawling del resto della pagina.