Comprendere gli errori di crawling SEO

Se un crawler SEO non riesce a indicizzare una pagina, restituisce un errore di crawling. Questo può accadere con i crawler degli strumenti SEO e di importazione di HubSpot, ma anche con crawler esterni come Semrush. I passaggi per risolvere un errore di crawling dipendono dall'errore e da dove è ospitata la pagina.

Strumenti SEO di HubSpot che effettuano il crawling di una pagina HubSpot

È possibile visualizzare le raccomandazioni SEO nella scheda Ottimizzazione dei dettagli delle prestazioni di una pagina o di un post. In caso di problemi di crawling della pagina, è possibile che venga visualizzato uno dei seguenti messaggi di errore:

• Stato 301: spostato in modo permanente - un reindirizzamento 301 impedisce al crawler di accedere al contenuto.
• Stato 302: Oggetto spostato - un reindirizzamento 302 (temporaneo) impedisce al crawler di accedere al contenuto.
• Stato 403: Forbidden - il server può essere raggiunto, ma l'accesso al contenuto è negato.
• Stato 404: Not Found - il crawler non è in grado di trovare una versione live del contenuto perché è stato cancellato o spostato.
• Crawl di [sito] bloccato da robots.txt - un file robots.txt blocca l'indicizzazione dei contenuti.

Gli strumenti SEO di HubSpot stanno effettuando il crawling di una pagina esterna

Se si è tentato di eseguire il crawling di pagine esterne utilizzando gli strumenti SEO di HubSpot o si sta importando contenuto esterno in HubSpot, è possibile che si verifichi uno di questi errori:

• Scansione bloccata dal file robots.txt: se la pagina esterna è esclusa dall'indicizzazione dal vostro file robots.txt, aggiungete l'user agent del nostro crawler "HubSpot Crawler" come esenzione.Per saperne di più su come lavorare con un file robots.txt, cliccate qui.
• Impossibile recuperare il file robots.txt: Se i crawler di HubSpot non riescono ad accedere al file robots.txt del vostro sito, verificate che il file robots.txt sia accessibile e si trovi nella directory di primo livello del vostro sito. Per saperne di più su come lavorare con un file robots.txt , cliccate qui.
• Il crawler non è in grado di eseguire la scansione di questo URL: Se i crawler di HubSpot non riescono a eseguire la scansione di un URL specifico, provare a eseguire le seguenti operazioni di risoluzione dei problemi:
  • Verificare che l'URL sia stato inserito correttamente.
  • Verificare che la pagina da crawlare sia attualmente attiva.
  • Verificare che il DNS sia in grado di risolvere l'URL. Per saperne di più sulla risoluzione degli errori DNS, consultare la documentazione di Google.
    
  • Contattate l'amministratore del sito e chiedete di aggiungere l'agente utente del nostro crawler, "HubSpot Crawler", all'elenco dei permessi come esenzione.

Uno strumento SEO esterno che effettua il crawling di una pagina HubSpot

Se si è tentato di eseguire il crawling delle pagine di HubSpot utilizzando uno strumento SEO esterno come Moz o Semrush, è possibile che non si riesca a eseguire il crawling delle pagine con successo.

Le cause più comuni di questo problema sono

• L'inclusione delle pagine nel file robots.txt impedisce l'indicizzazione o il crawling.
• Un meta tag noindex nella testa HTML delle pagine impedisce l'indicizzazione o il crawling delle stesse.
• L'audit di un dominio principale, anziché del sottodominio collegato a HubSpot, causa un errore di timeout.
• I link per i feed RSS e le pagine degli elenchi dei blog scadono quando vengono pubblicati nuovi post, il che può generare errori di risorse bloccate.
• Le risorse non essenziali, come gli script che caricano il menu sprocket di HubSpot, possono generare errori di risorse bloccate. Ciò non impedisce il crawling del resto della pagina.