HubSpotとGoogle BigQueryの接続

HubSpotとGoogle BigQueryを接続し、HubSpotのデータをGoogle BigQueryインスタンスに同期する方法をご紹介します。 

注: HubSpot は Google BigQuery に HIPAA データを共有し ません 。

HubSpotとBigQueryの接続

HubSpotとGoogle BigQueryを接続するには、以下の手順を順番に実行する必要があります：

1. HubSpotアプリマーケットプレイスからGoogle BigQueryをインストールします。
2. Google Cloud PlatformでカスタムIAM役割を作成する
3. Googleサービスアカウントにカスタム役割を割り当てる。
4. HubSpotが作成したGoogle BigQueryアカウントに、BigQueryテーブルを変更する権限を付与します。
5. HubSpotの完全設定

1. HubSpotアプリマーケットプレイスからGoogle BigQueryをインストールします。

2つのアプリを接続される際は、HubSpotアカウントとGoogle BigQueryアカウントを別々のタブで開いておくことをお勧めします。 

1. HubSpotアカウントが このベータにオプトインされていることを確認してください: Google BigQueryでのHubSpotデータへのアクセス 
2. こちらのリンク からHubSpotアカウントを選択してください。 
3. 右上の［アプリをインストール］をクリックします。
4. バケット URIとプロジェクト IDを入力してください。 
5. ［次へ］をクリックします。 

6. Google ServiceとBigQueryのアカウントは次のステップで必要になるので、確認してメモしておく。その後、Google Cloudコンソールに移動して次のステップを完了します。 

2. Google Cloud PlatformでカスタムIAM役割を作成する

1. Google Cloud コンソールにログインします。 
2. 左のナビゲーション メニューをクリックし、IAM & Admin > Rolesを選択する。 
3. 上部で、「作成」 Roleをクリックします。
4. 役割のタイトル、任意説明、 IDを入力する。 
5. 権限を追加するをクリックする。 

6. 表で以下の権限を選択し、「追加」をクリックする：

bigquery.datasets.create
bigquery.datasets.get
bigquery.datasets.getIamPolicy
bigquery.jobs.create
bigquery.tables.create
bigquery.tables.createIndex
bigquery.tables.createSnapshot
bigquery.tables.createTagBinding
bigquery.tables.delete
bigquery.tables.deleteIndex
bigquery.tables.deleteSnapshot
bigquery.tables.update
bigquery.tables.get
storage.buckets.get
storage.objects.create
storage.objects.delete
storage.objects.get
storage.objects.list

7. ［作成］をクリックします。 

3.Google サービス アカウントに Cloud Storage バケットへのアクセス権限を付与する

1. 左のナビゲーション メニューをクリックし、Cloud Storage > Bucketsを選択する。 
2. バケットを選択して設定する。 
3. 権限タブをクリックする。
4. 「校長による表示」タブで、「アクセスの許可」をクリックします。

5. 右側のパネルの[新しいプリンシパル ]フィールドに、ステップ1のGoogleサービスアカウント 名を入力します。

注: BigQuery アカウントではなく、必ず Google サービス アカウント割り当てるてください。

6. [割り当てる roles] セクションでドロップダウン メニュー をクリックし、[Custom > <role> ] を選択します。 <role> はステップ 2 で作成したカスタム IAM 役割です。 
7. ［保存］をクリックします。Google サービスアカウントがStorage 「オブジェクト」 Viewer役割に追加されます。 

4. HubSpotが作成したGoogle BigQueryアカウントに、BigQueryテーブルを変更する権限を付与します。

1. 左のナビゲーションメニューをクリックし、IAM & Admin > IAMを選択します。 
2. アクセス許可をクリックする。
3. 右側のパネルの[新規プリンシパル ]フィールドに、ステップ1で HubSpotが生成したGoogle BigQueryアカウント を入力します。
4. [割り当てる roles] セクションでドロップダウン メニュー をクリックし、[Custom > <role> ] を選択します。 <role> はステップ 2 で作成したカスタム IAM 役割です。 

5. HubSpotの完全設定

1. HubSpotアカウントで、「接続されたアプリを接続」をクリック。 

2. ダイアログボックスで、 チェックボックスを選択してから、[許可してインストール]をクリックします。 

HubSpotとGoogle BigQueryによるデータ同期フォーマット

使用可能な同期先データ

以下のデータをHubSpotからGoogle BigQueryに同期できます： 

• オブジェクト:コンタクト、会社、チケット、製品などの標準およびカスタムオブジェクト。
• レコード:個々のオブジェクトのレコード。 
• Associations:全ての関連タイプと関連レコード。
• イベント:標準のHubSpotイベントとカスタム行動イベントの両方のイベントデータ。 
• リスト HubSpotのコンタクトおよび会社リスト。
• 所有者：レコード所有者。 
• パイプライン:取引とチケットのパイプラインとパイプラインステージ。 
• Properties:プロパティー履歴を含む、オブジェクトレコード上のプロパティーとその値。 

さまざまな種類のオブジェクトデータは、2つの方法で整理され、利用することができます。

• Individual: e 各オブジェクトタイプは独自のテーブルに格納され、同じオブジェクトタイプのレコードのみを持つ。例えば、objects_contacts、コンタクトレコードのみを含む。
• Combined:全てのオブジェクトタイプのレコードが1つのデータベースオブジェクトに統合される。したがって、クエリーを行う際には、"WHERE objectTypeId='0-1'"のようなフィルターを指定する必要がある。

カスタムオブジェクトには、作成時にIDが割り当てられ、「2-unique_ID」として識別されます。例えば「2-12345」などです。 

objects_xテーブル

カスタムオブジェクトを含め、利用可能なオブジェクトタイプにはそれぞれ固有のテーブルがある。These tables are named following the format OBJECTS_<object type name> where <object type name> is the plural form label of the objecttype .(Note that if the object type has no plural form, then <object type name> will be the singular form label of the object type name concatenated with “S”).

以下は、使用可能なHubSpotオブジェクトタイプの全リストと、それらが表すデータの簡単な説明、および対応するテーブルです。

object_with_object_properties

このテーブルにはHubSpotレコードのデータが含まれています。オブジェクトタイプ内の各レコードに対して1行を取得することができます（例えば、contactsオブジェクトタイプ内の全てのコンタクトレコード）。 

object_properties_history

この表は過去のプロパティー値を含む。コンタクトの場合、最新の45個の値が含まれています。その他のすべてのオブジェクトでは、最新の20個の値が含まれています。この表には、過去のプロパティー値ごとに行がある。プロパティーの現在値は、プロパティーの履歴の中で最も新しいUPDATEDATタイムスタンプによって決定される。

関連付けクエリ

オブジェクトデータと同様に、関連付けデータも2つの方法で整理される。

• Individual:各関連付けタイプはそれ自身のテーブルに保存され、そのタイプのレコードのみを含む。例えば、associations_contacts_to_deals、コンタクトオブジェクトと取引オブジェクトへの関連付けレコードのみが含まれている。T
• Combined:全ての関連タイプの全てのレコードが1つのテーブルにまとめられる。

x_to_y 

各関連付けタイプは、associations_<association type name>、例えばassociations_contacts_to_deals。 

association_definitions

このテーブルには、HubSpotオブジェクトへの関連付けの種類に関する情報が1種類につき1行ずつ含まれています。

property_definitions

この表には、HubSpotアカウントのオブジェクトプロパティーとイベントプロパティーに関する情報が含まれています。イベントプロパティーには、Eメール開封やクリックなどの標準イベントと、カスタム行動イベントプロパティーがあります。 この情報は、object_propertiesおよびイベントデータにある値を定義する際に役立ちます。

イベント

イベントには、HubSpotの標準イベントとカスタム行動イベントがあります。各イベントにはそれぞれテーブルがあり、events_eventname。

object_and_event_type_definitions

このテーブルには、HubSpotアカウントで使用できる全てのオブジェクトとイベントの定義が含まれています。

同期頻度とデータ構成

HubSpotとGoogle BigQuery間のデータ同期は毎日0600 UTC +0に開始されます。データが同期される日ごとにフォルダーが作成され、テーブルごとに複数のサブフォルダーが作成されます。直近7回の同期がGoogle Cloudプラットフォームで利用可能になり、BigQueryのテーブルは最新のバケットダンプを指すように更新されます。

次の各テーブルは、Parquet 形式のファイルとして使用できます。

ASSOCIATIONS
ASSOCIATION_DEFINITIONS
EVENTS_[Event name]
LISTS
LIST_MEMBERSHIPS
OBJECTS
OBJECT_AND_EVENT_TYPE_DEFINITIONS
OBJECT_PROPERTIES
OBJECT_PROPERTIES_HISTORY
OBJECT_WITH_OBJECT_PROPERTIES
OWNERS
OWNER_TEAM
PIPELINES
PIPELINE_STAGES
PROPERTY_DEFINITIONS
TEAMS