SEO 크롤러가 페이지를 색인화할 수 없는 경우 크롤링 오류가 반환됩니다. 이는 HubSpot의 SEO 및 가져오기 도구의 크롤러뿐만 아니라 Semrush와 같은 외부 크롤러에서도 발생할 수 있습니다. 크롤링 오류를 해결하기 위한 단계는 오류와 페이지가 호스팅되는 위치에 따라 다릅니다.
HubSpot 페이지를 크롤링하는 HubSpot의 SEO 도구
페이지 또는 글의 성능 세부정보의 최적화 탭에서 SEO 권장 사항을 볼 수 있습니다. 페이지 크롤링에 문제가 있는 경우 다음 오류 메시지 중 하나가 표시될 수 있습니다:
- 상태 301: 영구적으로 이동됨: 301 리디렉션으로 인해 크롤러가 콘텐츠에 액세스할 수 없습니다.
- 상태 302: 객체가 이동됨: 302(임시) 리디렉션으로 인해 크롤러가 콘텐츠에 액세스할 수 없습니다.
- 상태 403: 금지됨: 서버에 연결할 수 있지만 콘텐츠에 대한 액세스가 거부되었습니다.
- 상태 404: 찾을 수없음: 콘텐츠가 삭제되었거나 이동되어 크롤러가 라이브 버전의 콘텐츠를 찾을 수 없습니다.
- robots.txt에 의해 차단된 [사이트]의 크롤링: robots.txt 파일이 콘텐츠의 색인 생성을 차단하고 있습니다.
외부 페이지를 크롤링하는 HubSpot의 SEO 도구
HubSpot의 SEO 도구를 사용하여 외부 페이지를 크롤링하려고 시도했거나 외부 콘텐츠를 HubSpot으로 가져오는 경우 이러한 오류 중 하나가 발생할 수 있습니다:
- robots.txt 파일에 의해 스캔이 차단됨: 외부 페이지가 robots.txt 파일에 의해 인덱싱에서 제외된 경우, HubSpot 크롤러의 사용자 에이전트인 "HubSpot 크롤러"를 예외로 추가하세요. robots.txt 파일 작업에 대해 자세히 알아보세요.
- Robots.txt 파일을 검색할 수 없음: HubSpot 크롤러가 사이트의 robots.txt 파일에 액세스할 수 없는 경우, 사이트의 최상위 디렉터리에 robots.txt 파일에 액세스할 수 있는지 확인합니다. robots.txt 파일 작업에 대해 자세히 알아보세요.
- 크롤러가 이 URL을 스캔할 수 없음: HubSpot의 크롤러가 특정 URL을 크롤링할 수 없는 경우 다음 문제 해결 단계를 시도해 보세요:
- URL이 올바르게 입력되었는지 확인합니다.
- 크롤링 중인 페이지가 현재 라이브 상태인지 확인합니다.
- DNS가 URL을 확인할 수 있는지 확인합니다. Google 문서에서 DNS 오류 해결에 대해 자세히 알아보세요.
- 사이트 관리자에게 연락하여 크롤러의 사용자 에이전트인 "HubSpot 크롤러"를 허용 목록에 예외로 추가하도록 요청하세요.
HubSpot 페이지를 크롤링하는 외부 SEO 도구
Moz 또는 Semrush와 같은 외부 SEO 도구를 사용하여 HubSpot 페이지를 크롤링하려고 시도한 경우 페이지를 성공적으로 크롤링하지 못할 수 있습니다.
이 문제의 일반적인 원인은 다음과 같습니다:
- robots.txt 파일에 페이지가 포함되어 있어 색인 또는 크롤링이 되지 않는 경우.
- 페이지의 헤드 HTML에 있는 "noindex" 메타태그로 인해 페이지가 색인되거나 크롤링되지 않습니다.
- HubSpot에 연결된 하위 도메인이 아닌 루트 도메인을 감사하면 시간 초과 오류가 발생합니다.
- 새 블로그 글이 게시되면 RSS 피드 및 블로그 목록 페이지의 링크가 만료되어 차단된 리소스 오류가 발생할 수 있습니다.
- HubSpot 스프로킷 메뉴를 로드하는 스크립트와 같이 필수적이지 않은 리소스는 차단된 리소스 오류를 표시할 수 있습니다. 그렇다고 해서 페이지의 나머지 부분이 크롤링되는 것을 막지는 못합니다.
