BêtaSynchroniser les données HubSpot avec Amazon S3

Utilisez l’intégration Amazon S3 pour synchroniser les données du CRM HubSpot avec un compartiment Amazon S3 que vous possédez. Vous pouvez choisir les objets, les associations et les événements à synchroniser, configurer un calendrier de synchronisation récurrente et surveiller l’état de la synchronisation depuis HubSpot.

Chaque synchronisation exporte un aperçu complet des données sélectionnées au format Parquet vers votre compartiment Amazon S3. Vous pouvez ensuite utiliser les données synchronisées avec des outils d’analyse et de traitement des données, tels que AWS Glue, Amazon Athena, Amazon EMR, Spark, Databricks ou des blocs-notes Python.

Remarque : L’intégration Amazon S3 est disponible pour les nouveaux utilisateurs Amazon S3 qui n’utilisent pas l’intégration Amazon S3 héritée. Si vous êtes un super administrateur, vous pouvez inscrire votre compte à la nouvelle version bêta de l’intégration Amazon S3.

Avant de commencer

Avant de commencer à synchroniser les données avec Amazon S3, examinez les exigences et limitations suivantes.

Compréhension des exigences

• Si vous êtes un super administrateur, activez votre compte à la version bêta de l’intégration Amazon S3.
• Vous devez créer un rôle AWS de gestion des identités et des accès (IAM) associé à votre compte HubSpot.

Compréhension des limites et des considérations

• Pendant la version bêta, les données sont uniquement synchronisées au format Parquet.
• Chaque synchronisation crée un instantané complet des données sélectionnées.
• HubSpot crée un nouveau dossier pour chaque synchronisation et ne supprime pas les synchronisations précédentes de votre compartiment S3.
• La synchronisation des données sensibles n’est pas prise en charge.

Créer le rôle IAM dans AWS

Pour configurer les autorisations d’accès pour HubSpot dans AWS Management Console :

1. Connectez-vous à AWS Management Console.
2. Dans le tableau de bord d’accueil , cliquez sur > Services Security, Identity, & Compliance > IAM.
3. Dans la barre latérale de gauche, cliquez sur Rôles.
4. Cliquez sur Créer un rôle.
5. Dans la section Type d’entité de confiance , sélectionnez votre compte AWS.
6. Dans la section Compte AWS , sélectionnez Un autre compte AWS et saisissez votre propre ID de compte AWS. Vous modifierez ultérieurement la relation d’approbation pour donner accès à HubSpot.
7. Sélectionnez Exiger un ID externe et saisissez un ID d’espace réservé comme 0000. Vous modifierez ensuite la relation de confiance pour votre rôle IAM et spécifierez l'ID externe pour votre intégration de stockage. Un identifiant externe est utilisé pour accorder l'accès à vos ressources AWS à une application tierce comme HubSpot.

8. Cliquez sur Suivant.
9. Dans la section Détails du rôle , saisissez un nom et une description de rôle pour identifier le rôle.
10. Cliquez sur Créer un rôle.
11. Sur la page Récapitulatif , copiez la valeur ARN. Vous utiliserez cette valeur à l'étape suivante.

Connecter HubSpot et AWS S3

1. Dans votre compte HubSpot, cliquez sur l'icône Marketplace dans la barre de navigation principale, puis sélectionnez Marketplace HubSpot.
2. Dans la barre de recherche, recherchez et sélectionnez Amazon S3.
3. Cliquez sur Installer.
4. Sélectionnez votre rôle AWS IAM , puis cliquez sur Installer.
5. Cliquez sur Suivant.
6. Saisissez la valeur ARN du rôle AWS IAM dans le champ ARN du rôle .
7. Cliquez sur Se connecter à Amazon S3.

Configurer les autorisations de compartiment

HubSpot a besoin des autorisations suivantes sur un seau et un dossier AWS S3 pour accéder aux fichiers du dossier et des sous-dossiers :

• s3:GetBucketLocation
• s3:GetObject
• s3:GetObjectVersion
• s3:ListBucket
• s3:PutObject
• s3:DeleteObject

Après avoir connecté l’application, autorisez HubSpot à synchroniser les données avec votre compartiment S3.

1. Dans votre compte HubSpot, cliquez sur l'icône Paramètres dans la barre de navigation principale. Dans le menu latéral de gauche, accédez à Intégrations > Applications connectées.
2. Cliquez sur Amazon S3.
3. Dans le panneau de droite, cliquez sur Sélectionner pour le compte Amazon S3 avec lequel vous souhaitez synchroniser les données.
4. Sur la page Autorisations , cliquez sur Copier pour copier l’exemple de stratégie d’autorisation et l’attacher au rôle AWS IAM que vous avez créé précédemment. Remarque : Pour mettre à jour la politique d’autorisation avec vos noms de compartiment.

5. Connectez-vous à AWS Management Console.
6. Dans le tableau de bord d’accueil , cliquez sur > Services Security, Identity, & Compliance > IAM.
7. Dans la barre latérale de gauche, cliquez sur Paramètres du compte.
8. Dans la section Security Jeton Service (STS), recherchez la région AWS qui correspond à la région dans laquelle se trouve votre compte AWS. Cliquez pour faire basculer l'interrupteur sur pour activer la région.
9. Dans le panneau latéral de gauche, cliquez sur Politiques.
10. Cliquez sur Créer une politique.
11. Dans l’onglet JSON , cliquez sur Ajouter une nouvelle déclaration.
12. Ajoutez la politique que vous avez copiée à l’étape 4 qui donnera à HubSpot les autorisations dont il a besoin pour charger ou décharger des données à l’aide d’un seul bucket et d’un seul chemin de dossier.

13. Cliquez sur Suivant.
14. Dans la section Vérifier et créer , ajoutez le nom de la stratégie et une description facultative.
15. Cliquez sur Créer une politique.

Configurer le compartiment de destination

1. De retour sur la page Autorisations de HubSpot, dans le champ Compartiment , saisissez le nom du compartiment.
2. Cliquez sur Tester la connexion.

3. Si le test de connexion est concluant, cliquez sur Suivant.

Configurer la synchronisation

1. Sur la page Source de données , sélectionnez les données que vous souhaitez synchroniser.
2. Sélectionnez les cases à cocher des objets, associations et événements que vous souhaitez synchroniser de HubSpot vers Amazon S3.

3. Cliquez sur Suivant.
4. Sur la page Détails , cliquez sur le menu déroulant Fréquence de synchronisation et sélectionnez la fréquence à laquelle vous souhaitez synchroniser les données de HubSpot vers Amazon S3.

5. Cliquez sur Commencer la synchronisation.

Gérer la synchronisation

Après avoir configuré une synchronisation et commencé à synchroniser les données de HubSpot vers Amazon S3, vous pouvez consulter son statut, identifier les erreurs, mettre à jour les paramètres ou archiver la synchronisation.

Pour vérifier et gérer la synchronisation :

1. Dans votre compte HubSpot, cliquez sur Plus, puis accédez à Gestion des données > Intégration des données. Si Plus n'apparaît pas dans votre compte, accédez directement à Gestion des données > Intégration des données.
2. Accédez à l’onglet Synchronisations d’applications et localisez votre synchronisation Amazon S3 dans le tableau.
3. Examiner le statut de la synchronisation :

• • Synchronisation : une synchronisation est en cours.
  • Synchronisé : la dernière synchronisation s’est correctement déroulée.
  • Échec : la dernière synchronisation a rencontré une erreur.
  • Archivé : la configuration de la synchronisation a été supprimée.

4. Cliquez sur le nom de la synchronisation pour afficher plus de détails, notamment les fiches d’informations synchronisées avec succès et celles qui ont échoué.

Pour modifier ou supprimer une synchronisation :

1. Dans le tableau, cliquez sur la synchronisation Amazon S3 .
2. Dans l’angle supérieur droit, cliquez sur le menu déroulant Actions , puis sélectionnez l’un des éléments suivants :

• • Modifier la synchronisation : mettez à jour les paramètres de synchronisation.
  • Archiver la synchronisation : supprimez la configuration de synchronisation.

Format des données pour la synchronisation entre HubSpot et Amazon S3

Données disponibles pour la synchronisation

Vous pouvez synchroniser les données suivantes de HubSpot vers AWS S3 :

• Objets : objets standard et personnalisés, tels que les contacts, les entreprises, les tickets ou les produits.
• Enregistrements : enregistrements d'objets individuels.
• Propriétés : propriétés et leurs valeurs sur les enregistrements de l'objet, y compris l'historique des propriétés.
• Associations : tous les types d'associations et les enregistrements associés.
• Événements : événements standards HubSpot sélectionnés et événements comportementaux personnalisés, y compris les propriétés d’événement sélectionnées.

Les données d'objets de différents types sont organisées et disponibles de deux manières :

• Individuel : chaque type d’objet est stocké dans son propre tableau et ne possède que des fiches d’informations du même type d’objet. Par exemple, objects_contacts contient uniquement des fiches d’informations de contact.
• Combiné : toutes les fiches d’informations de tous les types d’objets sont combinées en un seul objet de base de données. Ainsi, lors de l'interrogation, vous devez spécifier un filtre tel que "WHERE objectTypeId='0-1'"

Un ID sera attribué aux objets personnalisés au moment de leur création. Ils seront identifiés comme 2-unique_ID. Par exemple, 2-12345.

Structure du dossier S3

HubSpot écrit chaque synchronisation réussie avec un préfixe géré par HubSpot dans votre compartiment Amazon S3 selon la structure suivante :

s3://<bucket-name>/hubspot-dataout/<account-id>/<run-id>/<table-name>/<file-name>

Par exemple :

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

Chaque synchronisation crée un nouveau run-id dossier. HubSpot ne supprime pas les données des exécutions de synchronisation précédentes.

Si vous souhaitez supprimer automatiquement l’ancienne synchronisation, configurez une stratégie de cycle de vie Amazon S3 pour le compartiment ou le préfixe.

HubSpot génère des noms de fichiers pour chaque synchronisation et les noms de fichiers peuvent différer d’une synchronisation à l’autre. Ne configurez pas les processus en aval pour qu’ils dépendent de noms de fichiers spécifiques. Au lieu de cela, lisez tous les fichiers du dossier approprié table-name pour le cycle d’exportation que vous souhaitez traiter.

Fichiers d’objets

Si vous sélectionnez Données d’objet, HubSpot exporte les dossiers suivants.

OBJECTS_PROPERTIES

Une ligne par valeur de propriété d’objet.

OBJECT_WITH_OBJECT_PROPERTIES

Une ligne par fiche d’informations d’objet, avec les valeurs de propriété sélectionnées regroupées dans une seule colonne PROPRIÉTÉS .

Pour lire un type d’objet spécifique à partir de ce dossier, filtrez par OBJECTTYPEID.

Fichiers d’association

Si vous sélectionnez Données d’association, HubSpot synchronise les fiches d’informations et les définitions d’association.

ASSOCIATIONS

Une ligne par association sélectionnée entre deux fiches d’informations d’objet.

ASSOCIATION_DEFINITIONS

Une ligne par définition d’association sélectionnée.

ASSOCIATIONS_<FROM_OBJECT_TYPE>_TO_<TO_OBJECT_TYPE>

Pour les paires d’associations sélectionnées, HubSpot synchronise également les dossiers pour des paires d’associations spécifiques, telles que ASSOCIATIONS_CONTACTS_TO_COMPANIES. Ces dossiers contiennent des fiches d’informations d’association et les métadonnées de définition associées.

Fichiers d’événements

Si vous sélectionnez Données d’événement, HubSpot exporte un dossier pour chaque type d’événement. Les noms de dossier utilisent le format EVENTS_<EVENT_NAME>, tel que EVENTS_VISITED_PAGE.

Chaque dossier d’événements contient des colonnes d’événement standard et une colonne pour chaque propriété d’événement sélectionnée lors de la configuration.