Zrozumienie błędów indeksowania SEO

Jeśli crawler SEO nie może zaindeksować strony, zwróci błąd indeksowania. Może się to zdarzyć w przypadku crawlerów w narzędziach SEO i importu HubSpot, a także zewnętrznych crawlerów, takich jak Semrush. Kroki, które należy podjąć, aby rozwiązać problem błędu indeksowania, zależą od błędu i miejsca, w którym strona jest hostowana.

Narzędzia SEO firmy HubSpot indeksujące stronę HubSpot

Zalecenia SEO można zobaczyć na karcie Optymalizacja w szczegółach wydajności strony lub postu. Jeśli wystąpią problemy z indeksowaniem strony, może zostać wyświetlony jeden z następujących komunikatów o błędach:

• Status 301: Moved Permanently - przekierowanie 301 uniemożliwia crawlerowi dostęp do treści.
• Status 302: Object moved - przekierowanie 302 (tymczasowe) uniemożliwia crawlerowi dostęp do treści.
• Status 403: Forbidden - serwer może być osiągnięty, ale dostęp do treści jest odrzucony.
• Status 404: Not Found - crawler nie jest w stanie znaleźć żywej wersji treści, ponieważ została ona usunięta lub przeniesiona.
• Crawl of [site] blocked by robots.txt - plik robots.txt blokuje indeksowanie treści.

Narzędzia SEO firmy HubSpot indeksują zewnętrzną stronę

Jeśli próbowałeś crawlować zewnętrzne strony za pomocą narzędzi SEO HubSpot lub importujesz zewnętrzną zawartość do HubSpot, możesz napotkać jeden z tych błędów:

• Scan blocked by robots.txt file: jeśli Twoja strona zewnętrzna jest wyłączona z indeksowania przez Twój plik robots.txt, dodaj agenta użytkownika naszego crawlera "HubSpot Crawler" jako wyłączenie.Dowiedz się więcej o pracy z plikiem robots.txt tutaj.
• Plik robots.txt nie mógł zostać pobrany: jeśli roboty HubSpot nie mogą uzyskać dostępu do pliku robots.txt Twojej witryny, sprawdź, czy plik robots.txt jest dostępny i znajduje się w katalogu najwyższego poziomu Twojej witryny. Dowiedz się więcej o pracy z plikiem robots.txt tutaj.
• Program indeksujący nie jest w stanie przeskanować tego adresu URL: . Jeśli program indeksujący HubSpot nie może przeskanować określonego adresu URL, spróbuj wykonać następujące czynności związane z rozwiązywaniem problemów:
  • Zweryfikuj, czy URl został wprowadzony poprawnie.
  • Sprawdź, czy indeksowana strona jest aktualnie dostępna.
  • Sprawdź, czy DNS może rozwiązać adres URL. Dowiedz się więcej o rozwiązywaniu błędów DNS w dokumentacji Google.
    
  • Skontaktuj się z administratorem witryny i poproś o dodanie agenta użytkownika naszego crawlera, "HubSpot Crawler", do listy dozwolonych wyjątków.

Zewnętrzne narzędzie SEO przeszukujące stronę HubSpot

Jeśli próbowałeś indeksować swoje strony HubSpot za pomocą zewnętrznego narzędzia SEO, takiego jak Moz lub Semrush, może się okazać, że nie można pomyślnie indeksować stron.

Częste przyczyny tego problemu obejmują:

• Włączenie Twoich stron do pliku robots.txt uniemożliwia ich indeksowanie lub indeksowanie.
• Meta tag noindex w nagłówku HTML Twoich stron uniemożliwia ich indeksowanie lub indeksowanie.
• Audyt domeny głównej, a nie subdomeny podłączonej do systemu HubSpot , powoduje błąd przekroczenia czasu.
• Łącza do kanałów RSS i stron z listami blogów wygasają po opublikowaniu nowych postów, co może generować błędy zablokowanych zasobów.
• Zasoby nieistotne, takie jak skrypty ładujące menu zębatki HubSpot, mogą powodować błędy zablokowanych zasobów. Nie uniemożliwia to indeksowania pozostałej części strony.