ベータHubSpotのデータをAmazon S3に同期する

Amazon S3 連携機能を使用して、HubSpot CRM のデータを、ご自身が所有する Amazon S3 バケットに同期します。HubSpot内から、同期するオブジェクト、関連付け、イベントを選択したり、定期的な同期スケジュールを設定したり、同期状況を監視したりすることができます。

同期を行うたびに、選択されたデータの完全なスナップショットがParquet形式でAmazon S3バケットにエクスポートされます。その後、同期されたデータを、AWS Glue、Amazon Athena、Amazon EMR、Spark、Databricks、Pythonノートブックなどのアナリティクスツールやデータ処理ツールで利用できます。

ご注意： Amazon S3 連携機能は、従来の Amazon S3 連携機能を利用していない、Amazon S3 の新規ユーザーのみがご利用いただけます。スーパー管理者の方は、ご自身のアカウントを新しいAmazon S3連携ベータ版に登録することができます。

始める前に

Amazon S3 へのデータ同期を開始する前に、以下の要件と制限事項を確認してください。

要件を理解する

• スーパー管理者の方は、アカウントをAmazon S3連携のベータ版に参加させてください。
• HubSpotアカウントに関連付けられたAWS Identity and Access Management（IAM）ロールを作成する必要があります。

制限事項と考慮事項について

• ベータ版では、データはParquet形式でのみ同期されます。
• 同期が行われるたびに、選択されたデータの完全なスナップショットが作成されます。
• HubSpot は同期ごとに新しいフォルダを作成し、S3 バケットから以前の同期データを削除することはありません。
• センシティブデータの同期はサポートされていません。

AWSでIAM役割を作成する

AWS Management Console で HubSpot のアクセス権限を設定するには：

1. AWS Management Console にログインします。
2. ホームダッシュボードで、[サービス ]> [ セキュリティ]、[ID]、& [コンプライアンス] > [IAM ] の順にクリックします。
3. 左側のサイドバーで、「役割」をクリックします。
4. [ ロールの作成 ] をクリックします。
5. 「信頼済みエンティティの種類」セクションで、ご自身のAWSアカウントを選択してください。
6. 「AWSアカウント」セクションで、「別のAWSアカウント」を選択し、ご自身のAWSアカウントIDを入力してください。後で信頼関係を変更して、HubSpotへのアクセス権を付与します。
7. 「外部IDを必須にする」を選択し、0000のようなプレースホルダーIDを入力してください。後でIAM役割の信頼関係を変更し、ストレージ連携の外部IDを指定する。外部IDは、HubSpotのようなサードパーティーアプリにAWSリソースへのアクセスを許可するために使用されます。

8. ［次へ］をクリックします。
9. 「ロールの詳細」セクションで、そのロールを識別するための「ロール名」と「説明」を入力してください。
10. [ ロールの作成 ] をクリックします。
11. [ 概要 ] ページで、ARNの値をコピーします。この値は次のステップで使用する。

HubSpot と AWS S3 を連携する

1. HubSpotアカウントにて、上部のナビゲーションバーに表示されるマーケットプレイスアイコン をクリックし、［HubSpotマーケットプレイス］を選択します。
2. 検索バーで「Amazon S3」を検索し、選択してください。
3. ［インストール］をクリックします。
4. AWS IAMロールを選択し、「インストール」をクリックしてください。
5. ［次へ］をクリックします。
6. 「Role ARN」フィールドに、AWS IAM ロールのARN 値を入力してください。
7. 「Amazon S3に接続」をクリックします。

バケットのアクセス権を設定する

HubSpotがフォルダーとサブフォルダー内のファイルにアクセスするには、AWS S3バケットとフォルダーに以下の権限が必要です：

• s3:GetBucketLocation
• s3:GetObject
• s3:GetObjectVersion
• s3:リストバケット
• s3:PutObject
• s3:DeleteObject

アプリを連携したら、HubSpot に S3 バケットへのデータ同期を許可してください。

1. HubSpotアカウントにて、上部のナビゲーションバーに表示される設定アイコンをクリックします。左側のサイドバーメニューで、［連携］＞［接続されたアプリ］の順に進みます。
2. 「Amazon S3」をクリックしてください。
3. 右側のパネルで、データを同期したいAmazon S3アカウントの「選択」をクリックします。
4. [ 権限 ] ページで、[コピー]をクリックして、サンプル権限ポリシーをコピーし、先ほど作成した AWS IAM ロールに紐付けます。権限ポリシーを、ご自身のバケット名に合わせて更新してください。

5. AWS Management Console にログインします。
6. ホームダッシュボードで、[サービス ]> [ セキュリティ]、[ID]、& [コンプライアンス] > [IAM ] の順にクリックします。
7. 左側のサイドバーで、「アカウント設定」をクリックします。
8. 「セキュリティ・トークン・サービス（STS）」セクションで、ご自身のAWSアカウントが所在するリージョンに対応するAWSリージョンを探してください。クリックしてスイッチを切り替えるで地域をアクティブにする。
9. 左側のパネルで、「ポリシー」をクリックします。
10. [ ポリシーの作成 ] をクリックします。
11. [JSON ] タブで、[ 新しいステートメントを追加 ] をクリックします。
12. 手順 4 でコピーしたポリシーを追加します。このポリシーにより、HubSpot は単一のバケットおよびフォルダパスを使用してデータを読み込んだり書き出したりするために必要な権限を取得します。

13. ［次へ］をクリックします。
14. 「確認と作成」セクションで、ポリシー名と（必要に応じて）説明を入力します。
15. [ ポリシーの作成 ] をクリックします。

宛先バケットを設定する

1. HubSpotの「権限」ページに戻り、「バケット」フィールドにバケット名を入力します。
2. [ 接続テスト ] をクリックします。

3. 接続テストが成功した場合は、「次へ」をクリックしてください。

同期を設定

1. [ データソース ] ページで、同期したいデータを選択します。
2. HubSpot から Amazon S3 へ同期したいオブジェクト、関連付け、およびイベントのチェックボックスを選択してください。

3. ［次へ］をクリックします。
4. 「詳細」ページで、「同期頻度」のドロップダウンメニューをクリックし、HubSpotからAmazon S3へデータを同期する頻度を選択します。

5. 「同期を開始」をクリックしてください。

同期を管理する

同期を設定し、HubSpotからAmazon S3へのデータの同期が開始された後は、そのステータスを確認したり、エラーを特定したり、設定を更新したり、同期をアーカイブしたりすることができます。

同期を確認および管理するには、次の手順に従います。

1. HubSpotアカウントで、［その他］をクリックし、［データ管理］＞［データ連携］に移動します。アカウントに［その他］が表示されない場合は、［データ管理］＞［データ連携］に直接移動します。
2. [ アプリの同期 ] タブに移動し、テーブルの中から Amazon S3 の同期項目を見つけてください。
3. 同期ステータスを次のように確認します。

• • 同期中:同期の実行が進行中です。
  • 同期済み:前回の同期が正常に完了しました。
  • 失敗:前回の同期でエラーが発生しました。
  • アーカイブ済み:同期設定が削除されました。

4. 同期名 をクリックすると、正常に同期されたレコードや失敗したレコードなどの詳細が表示されます。

同期を編集または削除するには：

1. 表の中で、「Amazon S3同期」をクリックしてください。
2. 右上にある [アクション ]ドロップダウンメニューをクリックし、次のいずれかを選択します。

• • 同期を編集:同期設定を更新します。
  • アーカイブ同期:同期設定を削除します。

HubSpotとAmazon S3間の同期におけるデータ形式

同期できるデータ

以下のデータをHubSpotからAWS S3に同期できます：

• オブジェクト：標準オブジェクトとカスタムオブジェクト（コンタクト、会社、チケット、製品など）。
• レコード：個々のオブジェクトレコード。
• プロパティー：オブジェクトレコードのプロパティーとそれぞれの値（プロパティー履歴を含む）。
• 関連付け：全ての関連付けタイプと、関連付けられているレコード。
• イベント：特定の標準HubSpotイベントおよびカスタム行動イベント。これには、特定のイベントプロパティーも含まれます。

各種のオブジェクトデータは、次の2つの方法で整理されて使用可能になります。

• 個別：各オブジェクト型は独自のテーブルに格納され、そのテーブルには同じオブジェクト型のレコードのみが含まれます。たとえば、objects_contactsコンタクトレコードのみが含まれています。
• 統合：すべてのオブジェクトタイプのレコードが、1つのデータベースオブジェクトに統合されます。したがって、クエリーを実行するときには、「WHERE objectTypeId='0-1'」のようなフィルターを指定する必要があります。

カスタムオブジェクトには作成時にIDが割り当てられ、「2-unique_ID」として識別されます。例えば、2-12345。

S3のフォルダ構造

HubSpotは、正常に同期された各データを、Amazon S3バケット内のHubSpotが管理するプレフィックスに、以下の構造に従って書き込みます：

s3://<bucket-name>/hubspot-dataout/<account-id>/<run-id>/<table-name>/<file-name>

例えば、次のような使い方が考えられます。

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

同期を行うたびに、新しい run-idフォルダが作成されます。HubSpotは、過去の同期実行で取得したデータを削除することはありません。

古い同期データを自動的に削除したい場合は、バケットまたはプレフィックスに対してAmazon S3ライフサイクルポリシーを設定してください。

HubSpot は、同期の実行ごとにファイル名を生成するため、同期の実行ごとにファイル名が異なる場合があります。下流のプロセスが特定のファイル名に依存するように設定しないでください。その代わりに、処理したいエクスポート実行のtable-nameエクスポート実行時のフォルダ内のすべてのファイルを読み込んでください。

オブジェクトファイル

オブジェクトデータを選択すると、HubSpotは以下のフォルダをエクスポートします。

OBJECTS_PROPERTIES

オブジェクトのプロパティー値ごとに1行ずつ。

OBJECT_WITH_OBJECT_PROPERTIES

オブジェクトレコードごとに1行ずつ表示され、選択されたプロパティー値は「PROPERTIES」列にまとめて表示されます。

このフォルダから特定のオブジェクトタイプを読み取るには、OBJECTTYPEIDでフィルタリングしてください。

協会関連ファイル

関連データを選択すると、HubSpotは関連付けレコードと関連付け定義を同期します。

協会

2つのオブジェクトレコード間の選択された関連付けについて、1行ずつ表示されます。

ASSOCIATION_DEFINITIONS

選択した関連付け定義ごとに1行ずつ。

ASSOCIATIONS_ <FROM_OBJECT_TYPE>_TO_ <TO_OBJECT_TYPE>

選択された関連付けのペアについては、HubSpotはASSOCIATIONS_CONTACTS_TO_COMPANIESなどの特定の関連付けのペアに対応するフォルダも同期します。これらのフォルダには、関連付けレコードと、それに関連する定義メタデータが含まれています。

イベントファイル

イベントデータを選択すると、HubSpotはイベントタイプごとに1つのフォルダをエクスポートします。フォルダ名は「EVENTS_ <EVENT_NAME>」という形式で、例えば「EVENTS_VISITED_PAGE」といったようになります。

各イベントフォルダには、標準のイベント列に加え、セットアップ時に選択された各イベントプロパティーに対応する列が含まれています。