베타HubSpot 데이터를 Amazon S3에 동기화하기

Amazon S3 연동 기능을 사용하여 HubSpot CRM 데이터를 본인이 소유한 Amazon S3 버킷으로 동기화할 수 있습니다. HubSpot 내에서 동기화할 객체, 연관 관계 및 이벤트를 선택하고, 정기 동기화 일정을 설정하며, 동기화 상태를 모니터링할 수 있습니다.

동기화할 때마다 선택한 데이터의 전체 스냅샷이 Parquet 형식으로 Amazon S3 버킷에 내보내집니다. 이후 AWS Glue, Amazon Athena, Amazon EMR, Spark, Databricks 또는 Python 노트북과 같은 분석 및 데이터 처리 도구에서 동기화된 데이터를 활용할 수 있습니다.

참고: Amazon S3 연동 기능은 기존 Amazon S3 연동 기능을 사용하지 않는 신규 Amazon S3 사용자에게 제공됩니다. 슈퍼 관리자(Super Admin)인 경우, 계정을 새로운 Amazon S3 연동 베타 버전에 등록할 수 있습니다.

시작하기 전에

Amazon S3로 데이터 동기화를 시작하기 전에 다음 요구 사항 및 제한 사항을 확인하십시오.

요구 사항 파악

• 슈퍼 관리자인 경우, 계정을 Amazon S3 통합 베타에 등록하십시오.
• HubSpot 계정과 연결된 AWS IAM(Identity and Access Management) 역할을 생성해야 합니다.

제한 사항 및 고려 사항 파악

• 베타 기간 동안 데이터는 Parquet 형식으로만 동기화됩니다.
• 동기화할 때마다 선택한 데이터의 전체 스냅샷이 생성됩니다.
• HubSpot은 동기화할 때마다 새 폴더를 생성하며, S3 버킷에서 이전 동기화 데이터를 삭제하지 않습니다.
• 민감한 데이터는 동기화되지 않습니다.

AWS에서 IAM 역할 생성

AWS 관리 콘솔에서 HubSpot에 대한 액세스 권한을 구성하려면:

1. AWS 관리 콘솔에 로그인합니다.
2. 홈 대시보드에서 서비스 > 보안, ID 및 규정 준수 > IAM을 클릭합니다.
3. 왼쪽 사이드바에서 '역할'을 클릭합니다.
4. '역할 생성'을 클릭합니다.
5. '신뢰할 수 있는 엔터티 유형' 섹션에서 귀하의 AWS 계정을 선택하십시오.
6. 'AWS 계정' 섹션에서 '다른 AWS 계정'을 선택하고 본인의 AWS 계정 ID를 입력합니다. 나중에 HubSpot에 액세스 권한을 부여하기 위해 신뢰 관계를 변경하게 됩니다.
7. '외부 ID 필요'를 선택하고 0000과 같은 자리 표시자 ID를 입력합니다. 나중에 IAM 역할의 신뢰 관계를 변경하고 스토리지 통합을 위한 외부 ID를 지정하게 됩니다. 외부 ID는 HubSpot과 같은 타사 앱에 AWS 리소스에 대한 액세스 권한을 부여하는 데 사용됩니다.

8. '다음'을 클릭합니다.
9. '역할 세부 정보 ' 섹션에서 역할을 식별할 수 있도록 '역할 이름 '과 '설명 '을 입력합니다.
10. '역할 생성'을 클릭합니다.
11. '요약' 페이지에서 ARN 값을 복사합니다. 이 값은 다음 단계에서 사용하게 됩니다.

HubSpot과 AWS S3 연결

1. HubSpot 계정에서 상단 탐색 모음의 마켓플레이스 아이콘 를 클릭한 다음 HubSpot 마켓플레이스를 선택합니다.
2. 검색 창에서 Amazon S3를 검색하여 선택합니다.
3. '설치'를 클릭합니다.
4. AWS IAM 역할을 선택한 다음 ‘설치’를 클릭합니다.
5. '다음'을 클릭합니다.
6. 'Role ARN' 필드에 AWS IAM 역할의 ARN 값을 입력합니다.
7. 'Amazon S3에 연결'을 클릭합니다.

버킷 권한 구성

HubSpot이 폴더 및 하위 폴더 내의 파일에 액세스하려면 AWS S3 버킷 및 폴더에 대해 다음 권한이 필요합니다:

• s3:GetBucketLocation
• s3:GetObject
• s3:GetObjectVersion
• s3:ListBucket
• s3:PutObject
• s3:DeleteObject

앱을 연결한 후, HubSpot이 S3 버킷으로 데이터를 동기화할 수 있도록 권한을 부여하십시오.

1. HubSpot 계정에서 상단 탐색 모음에 있는 설정 아이콘을 클릭합니다. 왼쪽 사이드바 메뉴에서 통합 > 연결된 앱으로 이동합니다.
2. Amazon S3를 클릭합니다.
3. 오른쪽 패널에서 데이터를 동기화할 Amazon S3 계정의 [ 선택 ]을 클릭합니다.
4. ‘권한’ 페이지에서 ‘복사’를 클릭하여 예시 권한 정책을 복사한 다음, 앞서 생성한 AWS IAM 역할에 연결하십시오. 권한 정책에서 버킷 이름을 본인의 버킷 이름으로 업데이트해야 한다는 점에 유의하십시오.

5. AWS 관리 콘솔에 로그인하십시오.
6. 홈 대시보드에서 [서비스 ] > [보안, ID 및 규정 준수] > [IAM]을 클릭하십시오.
7. 왼쪽 사이드바에서 ‘계정 설정’을 클릭합니다.
8. '보안 토큰 서비스 (STS)' 섹션에서 AWS 계정이 위치한 리전과 일치하는 AWS 리전을 찾으십시오. 스위치를 클릭하여 켜고 해당 리전을 활성화하십시오.
9. 왼쪽 사이드 패널에서 ‘정책’을 클릭합니다.
10. '정책 생성'을 클릭합니다.
11. JSON 탭에서 ‘새 문장 추가’를 클릭합니다.
12. 4단계에서 복사한 정책을 추가하여, HubSpot이 단일 버킷 및 폴더 경로를 사용하여 데이터를 로드하거나 언로드하는 데 필요한 권한을 부여하십시오.

13. '다음'을 클릭합니다.
14. '검토 및 생성' 섹션에서 정책 이름과 선택 사항인 설명을 입력합니다.
15. '정책 생성'을 클릭합니다.

대상 버킷 구성

1. HubSpot의 '권한' 페이지로 돌아가서 '버킷' 필드에 버킷 이름을 입력합니다.
2. '연결 테스트'를 클릭합니다.

3. 연결 테스트가 성공하면 '다음'을 클릭합니다.

동기화 설정

1. '데이터 소스' 페이지에서 동기화할 데이터를 선택합니다.
2. HubSpot에서 Amazon S3로 동기화할 개체, 연관 관계 및 이벤트의 확인란 을 선택합니다.

3. '다음'을 클릭합니다.
4. '세부 정보' 페이지에서 '동기화 빈도' 드롭다운 메뉴를 클릭하고 HubSpot에서 Amazon S3로 데이터를 동기화할 빈도를 선택합니다.

5. '동기화 시작'을 클릭합니다.

동기화 관리

동기화를 설정하고 HubSpot에서 Amazon S3로 데이터 동기화가 시작되면, 상태를 확인하거나, 오류를 파악하거나, 설정을 업데이트하거나, 동기화를 보관할 수 있습니다.

동기화를 확인하고 관리하려면:

1. HubSpot 계정에서 더 보기를 클릭한 다음 데이터 관리 > 데이터 통합으로 이동하세요. 더 보기가 계정에 표시되지 않으면 바로 데이터 관리 > 데이터 통합으로 이동하세요.
2. '앱 동기화 ' 탭으로 이동하여 표에서 Amazon S3 동기화 항목을 찾으세요.
3. 동기화 상태를 확인하세요:

• • 동기화 중: 동기화 작업이 진행 중입니다.
  • 동기화됨: 마지막 동기화가 성공적으로 완료되었습니다.
  • 실패: 마지막 동기화에서 오류가 발생했습니다.
  • 보관됨: 동기화 구성이 제거되었습니다.

4. 동기화 이름을 클릭하면 성공적으로 동기화된 레코드 및 실패한 레코드를 포함한 자세한 내용을 확인할 수 있습니다.

동기화를 편집하거나 제거하려면:

1. 표에서 Amazon S3 동기화를 클릭합니다.
2. 오른쪽 상단의 '작업' 드롭다운 메뉴를 클릭한 다음, 다음 중 하나를 선택하십시오:

• • 동기화 편집: 동기화 설정을 업데이트합니다.
  • 동기화 보관: 동기화 구성을 삭제합니다.

HubSpot과 Amazon S3 간 동기화를 위한 데이터 형식

동기화 가능한 데이터

HubSpot에서 AWS S3로 다음 데이터를 동기화할 수 있습니다:

• 객체: 연락처, 회사, 티켓, 제품 등과 같은 표준 및 사용자 지정 객체.
• 레코드: 개별 객체 레코드.
• 속성: 속성 이력을 포함하여 객체 레코드의 속성 및 해당 값.
• 연관 관계: 모든 연관 관계 유형 및 연관된 레코드.
• 이벤트: 선택한 표준 HubSpot 이벤트 및 사용자 정의 행동 이벤트(선택한 이벤트 속성 포함).

다양한 유형의 객체 데이터는 다음 두 가지 방식으로 구성 및 제공됩니다:

• 개별: 각 객체 유형은 별도의 테이블에 저장되며, 동일한 객체 유형의 레코드만 포함합니다. 예를 들어, objects_contacts 연락처 레코드만 포함됩니다.
• 통합: 모든 객체 유형에 대한 모든 레코드가 하나의 데이터베이스 객체로 통합됩니다. 따라서 쿼리를 실행할 때는 “WHERE objectTypeId=’0-1’

사용자 정의 객체에는 생성 시 ID가 할당되며, 2-unique_ID 형식으로 식별됩니다. 예: 2-12345.

S3 폴더 구조

HubSpot은 성공적으로 동기화된 각 데이터를 다음 구조를 사용하여 Amazon S3 버킷 내 HubSpot에서 관리하는 접두사 아래에 기록합니다:

s3://<bucket-name>/hubspot-dataout/<account-id>/<run-id>/<table-name>/<file-name>

예:

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

동기화가 수행될 때마다 새로운 run-id 폴더가 생성됩니다. HubSpot은 이전 동기화 실행에서 생성된 데이터를 삭제하지 않습니다.

이전 동기화 데이터를 자동으로 제거하려면 버킷 또는 접두사에 대한 Amazon S3 라이프사이클 정책을 구성하십시오.

HubSpot은 각 동기화 실행에 대해 파일 이름을 생성하며, 파일 이름은 동기화 실행마다 다를 수 있습니다. 특정 파일 이름에 의존하도록 다운스트림 프로세스를 구성하지 마십시오. 대신, 처리하려는 내보내기 실행에 해당하는 table-name 폴더 내의 모든 파일을 읽어들이십시오.

객체 파일

객체 데이터를 선택하면 HubSpot은 다음 폴더를 내보냅니다.

OBJECTS_PROPERTIES

오브젝트 속성 값당 한 행씩 포함됩니다.

OBJECT_WITH_OBJECT_PROPERTIES

오브젝트 레코드당 한 행이며, 선택한 속성 값이 하나의 PROPERTIES 열로 그룹화됩니다.

이 폴더에서 특정 객체 유형을 읽으려면 OBJECTTYPEID로 필터링하십시오.

연관 파일

연관 데이터를 선택하면 HubSpot은 연관 레코드와 연관 정의를 동기화합니다.

ASSOCIATIONS

두 개체 레코드 간의 선택된 연관 관계 하나당 한 행이 표시됩니다.

ASSOCIATION_DEFINITIONS선택한 연관 정의 하나당 한 행이 표시됩니다.

선택한 연관 관계 정의 하나당 한 행이 표시됩니다.

ASSOCIATIONS_<FROM_OBJECT_TYPE>_TO_<TO_OBJECT_TYPE>

선택된 연관성 쌍의 경우, HubSpot은 ASSOCIATIONS_CONTACTS_TO_COMPANIES와 같은 특정 연관성 쌍에 대한 폴더도 동기화합니다. 이 폴더에는 연관성 레코드와 관련 정의 메타데이터가 포함되어 있습니다.

이벤트 파일

이벤트 데이터를 선택하면 HubSpot은 이벤트 유형별로 하나의 폴더를 내보냅니다. 폴더 이름은 EVENTS_<EVENT_NAME> 형식을 따르며, 예를 들어 EVENTS_VISITED_PAGE와 같습니다.

각 이벤트 폴더에는 표준 이벤트 열과 설정 과정에서 선택한 각 이벤트 속성에 대한 열이 포함됩니다.