BetaSynchronisieren von HubSpot-Daten mit Amazon S3

Verwenden Sie die Amazon S3-Integration, um HubSpot CRM-System-Daten mit einem Amazon S3-Bucket zu synchronisieren, den Sie besitzen. Sie können auswählen, welche Objekte, Zuordnungen und Events synchronisiert werden sollen, einen Zeitplan für die wiederkehrende Synchronisierung konfigurieren und den Synchronisierungsstatus von HubSpot aus überwachen.

Bei jeder Synchronisierung wird ein vollständiger Snapshot der ausgewählten Daten im Parquet-Format in Ihren Amazon S3-Bucket exportiert. Sie können die synchronisierten Daten dann mit Analytics- und Datenverarbeitungstools wie AWS Glue, Amazon Athena, Amazon EMR, Spark, Databricks oder Python-Notebooks verwenden.

Bitte beachten: Die Amazon S3-Integration ist für neue Amazon S3-Benutzer verfügbar, die die alte Amazon S3-Integration nicht verwenden. Wenn Sie ein Super-Admin sind, können Sie Ihren Account für die neue Beta-Version der Amazon S3-Integration anmelden.

Bevor Sie loslegen

Bevor Sie mit der Synchronisierung von Daten mit Amazon S3 beginnen, überprüfen Sie die folgenden Anforderungen und Einschränkungen.

Dies sind die Voraussetzungen:

• Wenn Sie ein Super-Admin sind, melden Sie Ihr Konto für die Beta-Version der Amazon S3-Integration an.
• Sie müssen eine AWS Identity and Access Management (IAM)-Rolle erstellen , die mit Ihrem HubSpot-Konto verknüpft ist.

Einschränkungen und Wissenswertes

• Während der Beta-Version werden die Daten nur im Parquet-Format synchronisiert.
• Bei jeder Synchronisierung wird eine vollständige Momentaufnahme der ausgewählten Daten erstellt.
• HubSpot erstellt für jede Synchronisierung einen neuen Ordner und löscht frühere Synchronisierungen nicht aus Ihrem S3-Bucket.
• Die Synchronisierung vertraulicher Daten wird nicht unterstützt.

Erstellen Sie die IAM-Rolle in AWS

So konfigurieren Sie Zugriffsberechtigungen für HubSpot in der AWS Management Console:

1. Melden Sie sich bei der AWS Management Console an.
2. Klicken Sie auf dem Startseiten-Dashboard auf Services > Security, Identity, & Compliance > IAM.
3. Klicken Sie in der linken Seitenleiste auf Rollen.
4. Klicken Sie auf Rolle erstellen.
5. Wählen Sie im Abschnitt Vertrauenswürdiger Entitätstyp Ihr AWS-Konto aus.
6. Wählen Sie im Abschnitt AWS-Konto die Option Weiteres AWS-Konto aus und geben Sie Ihre eigene AWS-Konto-ID ein. Später ändern Sie das Vertrauensverhältnis, um Zugriff auf HubSpot zu gewähren.
7. Wählen Sie Externe ID erforderlich aus und geben Sie eine Platzhalter-ID wie 0000 ein. Sie werden später die Vertrauensbeziehung für Ihre IAM-Rolle ändern und die externe ID für Ihre Speicherintegration angeben. Eine externe ID wird verwendet, um einer Drittanbieter-App wie HubSpot Zugriff auf Ihre AWS-Ressourcen zu gewähren.

8. Klicken Sie auf „Weiter“.
9. Geben Sie im Abschnitt Rollendetails einen Rollennamen und eine Beschreibung ein, um die Rolle zu identifizieren.
10. Klicken Sie auf Rolle erstellen.
11. Kopieren Sie auf der Seite Zusammenfassung den ARN-Wert. Sie werden diesen Wert im nächsten Schritt verwenden.

HubSpot und AWS S3 verknüpfen

1. Klicken Sie in Ihrem HubSpot-Account in der Hauptnavigationsleiste auf das Marketplace-Symbol und wählen Sie dann HubSpot Marketplace aus.
2. Suchen Sie in der Suchleiste nach Amazon S3 und wählen Sie diese Option aus.
3. Klicken Sie auf Installieren.
4. Wählen Sie Ihre AWS IAM-Rolle aus und klicken Sie dann auf Installieren.
5. Klicken Sie auf „Weiter“.
6. Geben Sie den ARN-Wert aus der AWS IAM-Rolle im Feld Rollen-ARN ein.
7. Klicken Sie auf Mit Amazon S3 verbinden.

Berechtigungen für Buckets konfigurieren

HubSpot benötigt die folgenden Berechtigungen für einen AWS S3-Bucket und -Ordner, um auf Dateien im Ordner und in Unterordnern zuzugreifen:

• s3:GetBucketLocation
• s3:GetObject
• s3:GetObjectVersion
• s3:ListBucket
• s3:PutObject
• s3:DeleteObject

Erteilen Sie HubSpot nach dem Verknüpfen der App die Berechtigung, Daten mit Ihrem S3-Bucket zu synchronisieren.

1. Klicken Sie in Ihrem HubSpot-Account in der Hauptnavigationsleiste auf das Zahnradsymbol , um die Einstellungen aufzurufen. Gehen Sie in der linken Seitenleiste zu Integrationen > Verknüpfte Apps.
2. Klicken Sie auf Amazon S3.
3. Klicken Sie im rechten Bereich auf Auswählen für das Amazon S3-Konto, mit dem Sie Daten synchronisieren möchten.
4. Klicken Sie auf der Seite Berechtigungen auf Kopieren , um die Beispielberechtigungsrichtlinie zu kopieren und an die zuvor erstellte AWS IAM-Rolle anzuhängen. Bitte beachten, um die Berechtigungsrichtlinie mit Ihren Bucket-Namen zu aktualisieren.

5. Melden Sie sich bei der AWS Management Console an.
6. Klicken Sie auf dem Startseiten-Dashboard auf Services > Security, Identity, & Compliance > IAM.
7. Klicken Sie in der linken Seitenleiste auf Kontoeinstellungen.
8. Suchen Sie im Abschnitt Security Token Service (STS) nach der AWS-Region, die der Region entspricht, in der sich Ihr AWS-Konto befindet. Klicken Sie auf den Schalter , um ihn auf umzuschalten und die Region zu aktivieren.
9. Klicken Sie im linken Seitenbereich auf Richtlinien.
10. Klicken Sie auf Richtlinie erstellen.
11. Klicken Sie auf der Registerkarte JSON auf Neue Anweisung hinzufügen.
12. Fügen Sie die in Schritt 4 kopierte Richtlinie hinzu, die HubSpot die Berechtigungen gewährt, die HubSpot benötigt, um Daten mithilfe eines einzigen Bucket- und Ordnerpfads zu laden oder zu entladen.

13. Klicken Sie auf „Weiter“.
14. Fügen Sie im Abschnitt Überprüfen und erstellen den Richtliniennamen und eine optionale Beschreibung hinzu.
15. Klicken Sie auf Richtlinie erstellen.

Konfigurieren des Ziel-Buckets

1. Zurück auf der Seite Berechtigungen in HubSpot geben Sie im Feld Bucket den Namen des Buckets ein.
2. Klicken Sie auf Verbindung testen.

3. Wenn der Verbindungstest erfolgreich ist, klicken Sie auf Weiter.

Die Synchronisierung konfigurieren

1. Wählen Sie auf der Seite Datenquelle die Daten aus, die Sie synchronisieren möchten.
2. Aktivieren Sie die Kontrollkästchen für die Objekte, Zuordnungen und Ereignisse, die Sie von HubSpot mit Amazon S3 synchronisieren möchten.

3. Klicken Sie auf „Weiter“.
4. Klicken Sie auf der Seite Details auf das Dropdown-Menü Synchronisierungshäufigkeit und wählen Sie die Häufigkeit aus, mit der die Daten von HubSpot mit Amazon S3 synchronisiert werden sollen.

5. Klicken Sie auf Synchronisierung starten.

Verwalten Sie die Synchronisierung

Nachdem Sie eine Synchronisierung eingerichtet haben und die Daten von HubSpot mit Amazon S3 synchronisiert werden, können Sie deren Status überprüfen, Fehler identifizieren, Einstellungen aktualisieren oder die Synchronisierung archivieren.

So überprüfen und verwalten Sie die Synchronisierung:

1. Klicken Sie in Ihrem HubSpot-Account auf Mehr und gehen Sie dann zu Datenmanagement > Datenintegration. Wenn Mehr nicht in Ihrem Account angezeigt wird, gehen Sie direkt zu Datenmanagement > Datenintegration.
2. Gehen Sie zur Registerkarte App-Synchronisierungen und suchen Sie Ihre Amazon S3-Synchronisierung in der Tabelle.
3. Überprüfen Sie den Synchronisierungsstatus:

• • Synchronisierung: Ein Synchronisierungslauf wird ausgeführt.
  • Synchronisiert: Die letzte Synchronisierung wurde erfolgreich abgeschlossen.
  • Fehlgeschlagen: Bei der letzten Synchronisierung ist ein Fehler aufgetreten.
  • Archiviert: Die Synchronisierungskonfiguration wurde entfernt.

4. Klicken Sie auf den Namen der Synchronisierung, um weitere Details anzuzeigen, einschließlich erfolgreich synchronisierter und fehlgeschlagener Datensätze.

So bearbeiten oder entfernen Sie eine Synchronisierung:

1. Klicken Sie in der Tabelle auf die Amazon S3-Synchronisierung .
2. Klicken Sie oben rechts auf das Dropdown-Menü Aktionen und wählen Sie dann eine der folgenden Optionen aus:

• • Synchronisierung bearbeiten: Aktualisieren Sie die Synchronisierungseinstellungen.
  • Synchronisierung archivieren: Löschen Sie die Synchronisierungskonfiguration.

Datenformat für die Synchronisierung zwischen HubSpot und Amazon S3

Verfügbare Daten für die Synchronisation

Sie können die folgenden Daten von HubSpot mit AWS S3 synchronisieren:

• Objekte: Standard- und benutzerdefinierte Objekte, wie Kontakte, Unternehmen, Tickets oder Produkte.
• Datensätze: Datensätze zu einzelnen Objekten.
• Eigenschaften: Eigenschaften und ihre Werte in den Datensätzen des Objekts, einschließlich des Eigenschaftsverlaufs.
• Assoziationen: alle Assoziationstypen und zugeordneten Datensätze.
• Events: ausgewählte standardmäßige HubSpot-Events und benutzerdefinierte verhaltensorientierte Events, einschließlich ausgewählter Event-Eigenschaften.

Objektdaten verschiedener Typen sind auf zwei Arten organisiert und verfügbar:

• Einzelperson: Jeder Objekttyp wird in einer eigenen Tabelle gespeichert und verfügt nur über Datensätze desselben Objekttyps. enthält beispielsweise objects_contacts nur Kontaktdatensätze.
• Kombiniert: Alle Datensätze für alle Objekttypen werden in einem Datenbankobjekt zusammengefasst. Daher müssen Sie bei der Abfrage einen Filter wie "WHERE objectTypeId='0-1'" angeben

Benutzerdefinierten Objekten wird zum Zeitpunkt der Erstellung eine ID zugewiesen und sie werden als 2-unique_ID identifiziert. Zum Beispiel 2-12345.

S3-Ordnerstruktur

HubSpot schreibt jede erfolgreiche Synchronisierung in ein von HubSpot verwaltetes Präfix in Ihren Amazon S3-Bucket nach der folgenden Struktur:

s3://<bucket-name>/hubspot-dataout/<account-id>/<run-id>/<table-name>/<file-name>

Zum Beispiel:

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

Bei jeder Synchronisierung wird ein neuer run-id Ordner erstellt. HubSpot löscht keine Daten aus früheren Synchronisierungsläufen.

Wenn Sie ältere Synchronisierungen automatisch entfernen möchten, konfigurieren Sie eine Amazon S3-Lifecycle-Richtlinie für den Bucket oder das Präfix.

HubSpot generiert für jeden Synchronisierungslauf Dateinamen. Die Dateinamen können sich je nach Synchronisierungslauf unterscheiden. Konfigurieren Sie Downstream-Prozesse nicht so, dass sie von bestimmten Dateinamen abhängen. Lesen Sie stattdessen alle Dateien im entsprechenden table-name Ordner für den Exportlauf, den Sie verarbeiten möchten.

Objekt-Dateien

Wenn Sie Objektdaten auswählen, exportiert HubSpot die folgenden Ordner.

OBJECTS_PROPERTIES

Eine Zeile pro Objekt-Eigenschaftswert.

OBJECT_WITH_OBJECT_PROPERTIES

Eine Zeile pro Datensatz, wobei ausgewählte Eigenschaften in einer einzigen PROPERTIES-Spalte gruppiert sind.

Um einen bestimmten Objekttyp aus diesem Ordner zu lesen, filtern Sie nach OBJECTTYPEID.

Zuordnung Dateien

Wenn Sie Zuordnung Daten auswählen, synchronisiert HubSpot Zuordnungen Datensätze und Zuordnungendefinitionen.

VERBÄNDE

Eine Zeile pro ausgewählter Zuordnung zwischen zwei Objektdatensätzen.

ASSOCIATION_DEFINITIONS

Eine Zeile pro ausgewählter Zuordnungsdefinition.

ASSOCIATIONS_<FROM_OBJECT_TYPE>_TO_<TO_OBJECT_TYPE>

Bei ausgewählten Zuordnung Paaren synchronisiert HubSpot auch Ordner für bestimmte Zuordnung Paare, z. B. ASSOCIATIONS_CONTACTS_TO_COMPANIES. Diese Ordner enthalten Zuordnungen Datensätze und die zugehörigen Definitionsmetadaten.

Event-Dateien

Wenn Sie Event-Daten auswählen, exportiert HubSpot einen Ordner für jeden Event-Typ. Ordnernamen verwenden das Format EVENTS_<EVENT_NAME>, z. B. EVENTS_VISITED_PAGE.

Jeder Event-Ordner enthält Standard-Event-Spalten und eine Spalte für jede Event-Eigenschaft, die während der Einrichtung ausgewählt wurde.