robots.txt 파일에 URL 슬러그를 추가하여 새 콘텐츠가 검색 결과에 표시되지 않도록 할 수 있습니다. 검색 엔진은 이 파일을 사용하여 웹사이트 콘텐츠의 색인을 생성하는 방법을 이해합니다. hs-sites가 포함된HubSpot 시스템 도메인의 콘텐츠는 항상 robots.txt 파일에서 인덱스 없음으로 설정됩니다.
검색 엔진이 이미 콘텐츠를 인덱싱한 경우 콘텐츠의 헤드 HTML에 "noindex" 메타 태그를 추가할 수 있습니다. 이렇게 하면 검색 엔진에 검색 결과에 표시되지 않도록 지시할 수 있습니다.
참고: HubSpot에 연결된 도메인에서 호스팅되는 콘텐츠만 robots.txt 파일에서 차단할 수 있습니다. 파일 도구에서 파일 URL 사용자 지정에 대해 자세히 알아보세요.
robot.txt 파일 사용
검색 엔진에서 아직 색인화되지 않은 콘텐츠를 robots.txt 파일에 추가하여 검색 결과에 표시되지 않도록 할 수 있습니다.
HubSpot에서 robots.txt 파일을 편집하려면 다음과 같이 하세요:
- SEO 및 크롤러 탭을 클릭합니다.
- Robots.txt 섹션에서 파일의 콘텐츠를 편집합니다. robots.txt 파일에는 두 부분이 있습니다.
- 사용자 에이전트: 규칙이 적용되는 검색 엔진 또는 웹 봇을 정의합니다. 기본적으로 별표(*)로 표시된 모든 검색 엔진을 포함하도록 설정되어 있지만 여기에서 특정 검색 엔진을 지정할 수 있습니다. HubSpot의 사이트 검색 모듈을 사용하는 경우 별도의 사용자 에이전트로 HubSpotContentSearchBot을 포함해야 합니다. 이렇게 하면 검색 기능이 페이지를 크롤링할 수 있습니다.
-
- 허용 안 함: 검색 엔진에 특정 URL 슬러그를 사용하여 파일이나 페이지를 크롤링 및 색인화하지 않도록 지시합니다. robots.txt 파일에 추가하려는 각 페이지에 대해 허용 안 함을 입력합니다 :/url-slug를 입력합니다(예: www.hubspot.com/welcome는 허용 안 함: /welcome로 표시됨).
Google 개발자 문서에서 robots.txt 파일 포맷에 대해 자세히 알아보세요.
"noindex" 메타 태그 사용
콘텐츠가 이미 검색 엔진에 의해 색인된 경우 "noindex" 메타 태그를 추가하여 검색 엔진에 향후 색인 생성을 중지하도록 지시할 수 있습니다.
참고: 이 방법은 검색 엔진에서 "noindex" 태그를 볼 수 없으므로 robots.txt 방법과 함께 사용해서는 안 됩니다.
페이지 및 글에 "noindex" 메타 태그 추가하기
-
콘텐츠로 이동합니다:
- 웹사이트 페이지: HubSpot 계정에서 콘텐츠 > 웹사이트 페이지로 이동합니다.
- 랜딩 페이지: HubSpot 계정에서 콘텐츠 > 랜딩 페이지로 이동합니다.
- 블로그HubSpot 계정에서 콘텐츠 > 블로그로 이동합니다.
- 콘텐츠의 이름을 클릭합니다.
- 콘텐츠 편집기에서 설정 메뉴를 클릭하고 고급을 선택합니다.
- 대화 상자의 추가 코드 조각 섹션에서 헤드 HTML 필드에 다음 코드를 추가합니다:
<meta name="robots" content="noindex">.
- 이 변경 사항을 적용하려면 오른쪽 상단의 업데이트를 클릭합니다.
지식창고 문서에 "noindex" 메타 태그 추가하기
- 콘텐츠의 이름을 클릭합니다.
- 문서 편집기에서 설정 탭을 클릭한 다음 고급 옵션을 클릭합니다.
- 추가 코드 조각 섹션에서 헤드 HTML 필드에 다음 코드를 추가합니다.
<meta name="robots" content="noindex">.
- 오른쪽 상단에서 업데이트를 클릭하여 이 변경 사항을 적용합니다.
Google Search Console 계정이 있는 경우 Google의 제거 도구를 사용하여 Google 검색 결과에 대한 이 프로세스를 가속화할 수 있습니다.
Blog
Knowledge Base
Website Pages
Account Management
