Wersja betaSynchronizacja danych z HubSpot z Amazon S3

Skorzystaj z integracji z Amazon S3, aby zsynchronizować dane z HubSpot CRM z należącym do Ciebie zasobnikiem Amazon S3. Możesz wybrać obiekty, powiązania i zdarzenia do synchronizacji, skonfigurować harmonogram synchronizacji cyklicznej oraz monitorować stan synchronizacji bezpośrednio w HubSpot.

Każda synchronizacja powoduje wyeksportowanie pełnej kopii wybranych danych w formacie Parquet do Twojego zasobnika Amazon S3. Zsynchronizowane dane możesz następnie wykorzystać w narzędziach analitycznych i do przetwarzania danych, takich jak AWS Glue, Amazon Athena, Amazon EMR, Spark, Databricks czy notebooki w języku Python.

Uwaga: integracja z Amazon S3 jest dostępna dla nowych użytkowników Amazon S3, którzy nie korzystają ze starszej wersji integracji z Amazon S3. Jeśli jesteś superadministratorem, możesz włączyć swoje konto do nowej wersji beta integracji z Amazon S3.

Zanim zaczniesz

Przed rozpoczęciem synchronizacji danych z Amazon S3 zapoznaj się z poniższymi wymaganiami i ograniczeniami.

Zapoznaj się z wymaganiami

• Jeśli jesteś superadministratorem, włącz swoje konto do wersji beta integracji z Amazon S3.
• Musisz utworzyć rolę AWS Identity and Access Management (IAM) powiązaną z Twoim kontem HubSpot.

Zapoznaj się z ograniczeniami i kwestiami, które należy wziąć pod uwagę

• W trakcie trwania wersji beta dane są synchronizowane wyłącznie w formacie Parquet.
• Każda synchronizacja tworzy kompletną migawkę wybranych danych.
• HubSpot tworzy nowy folder dla każdej synchronizacji i nie usuwa poprzednich synchronizacji z Twojego zasobnika S3.
• Synchronizacjadanych wrażliwych nie jest obsługiwana.

Utwórz rolę IAM w AWS

Aby skonfigurować uprawnienia dostępu dla HubSpot w konsoli zarządzania AWS:

1. Zaloguj się do konsoli zarządzania AWS.
2. Na pulpicie nawigacyjnym strony głównej kliknij Usługi > Bezpieczeństwo, tożsamość i zgodność > IAM.
3. Na pasku bocznym po lewej stronie kliknij opcję Role.
4. Kliknij opcję Utwórz rolę.
5. W sekcji „Typ zaufanego podmiotu ” wybierz swoje konto AWS.
6. W sekcji „Konto AWS ” wybierz opcję „Inne konto AWS ” i wprowadź identyfikator swojego konta AWS. Później zmienisz relację zaufania, aby przyznać dostęp do HubSpot.
7. Wybierz opcję Wymagaj identyfikatora zewnętrznego i wprowadź identyfikator zastępczy, np. 0000. Później zmienisz relację zaufania dla swojej roli IAM i określisz identyfikator zewnętrzny dla integracji z pamięcią masową. Identyfikator zewnętrzny służy do przyznawania dostępu do zasobów AWS aplikacji zewnętrznej, takiej jak HubSpot.

8. Kliknij „Dalej”.
9. W sekcji „Szczegóły roli ” wprowadź nazwę roli i opis, aby zidentyfikować tę rolę.
10. Kliknij „Utwórz rolę”.
11. Na stronie „Podsumowanie ” skopiuj wartość ARN. Ta wartość będzie potrzebna w następnym kroku.

Połącz HubSpot i AWS S3

1. Na koncie HubSpot kliknij ikonę Marketplace w górnym panelu nawigacyjnym, następnie wybierz HubSpot Marketplace.
2. W pasku wyszukiwania wyszukaj i wybierz usługę Amazon S3.
3. Kliknij „Zainstaluj”.
4. Wybierz swoją rolę AWS IAM, a następnie kliknij Zainstaluj.
5. Kliknij „Dalej”.
6. W polu „Role ARN ” wprowadź wartość ARN z roli AWS IAM.
7. Kliknij „Połącz z Amazon S3”.

Skonfiguruj uprawnienia do zasobnika

Aby uzyskać dostęp do plików w folderze i podfolderach, HubSpot potrzebuje następujących uprawnień do zasobnika i folderu w usłudze AWS S3:

• s3:GetBucketLocation
• s3:GetObject
• s3:GetObjectVersion
• s3:ListBucket
• s3:UmieśćObiekt
• s3:UsuńObiekt

Po podłączeniu aplikacji nadaj HubSpot uprawnienia do synchronizacji danych z Twoim zasobnikiem S3.

1. Na koncie HubSpot kliknij ikonę ustawień w górnym pasku nawigacyjnym. W menu na lewym pasku bocznym przejdź do Integracje > Połączone aplikacje.
2. Kliknij opcję Amazon S3.
3. W prawym panelu kliknij opcję Wybierz dla konta Amazon S3, z którym chcesz zsynchronizować dane.
4. Na stronie „Uprawnienia” kliknij przycisk „Kopiuj”, aby skopiować przykładową politykę uprawnień i przypisać ją do utworzonej wcześniej roli AWS IAM. Pamiętaj, aby zaktualizować politykę uprawnień, podając nazwy swoich zasobników.

5. Zaloguj się do konsoli zarządzania AWS.
6. Na pulpicie głównym kliknij Usługi > Bezpieczeństwo, tożsamość i zgodność > IAM.
7. Na pasku bocznym po lewej stronie kliknij opcję Ustawienia konta.
8. W sekcji Usługa tokenów bezpieczeństwa (STS) znajdź region AWS odpowiadający regionowi, w którym znajduje się Twoje konto AWS. Kliknij, aby włączyć przełącznik i aktywować region.
9. W panelu po lewej stronie kliknij opcję Polityki.
10. Kliknij opcję Utwórz politykę.
11. W zakładce JSON kliknij Dodaj nową instrukcję.
12. Dodaj politykę skopiowaną w kroku 4, która zapewni HubSpot uprawnienia niezbędne do ładowania lub wyładowywania danych przy użyciu jednej ścieżki do zasobnika i folderu.

13. Kliknij „Dalej”.
14. W sekcji „Przejrzyj i utwórz ” wprowadź nazwę zasady oraz opcjonalny opis.
15. Kliknij „Utwórz politykę”.

Skonfiguruj zasób docelowy

1. Po powrocie na stronę „Uprawnienia” w HubSpot, w polu „Bucket ” wprowadź nazwę bucketu.
2. Kliknij „Testuj połączenie”.

3. Jeśli test połączenia zakończy się powodzeniem, kliknij Dalej.

Skonfiguruj synchronizację

1. Na stronie Źródło danych wybierz dane, które chcesz zsynchronizować.
2. Zaznacz pola wyboru obok obiektów, powiązań i zdarzeń, które chcesz zsynchronizować z HubSpot do Amazon S3.

3. Kliknij „Dalej”.
4. Na stronie „Szczegóły” kliknij menu rozwijane „Częstotliwość synchronizacji” i wybierz częstotliwość, z jaką chcesz synchronizować dane z HubSpot do Amazon S3.

5. Kliknij „Rozpocznij synchronizację”.

Zarządzaj synchronizacją

Po skonfigurowaniu synchronizacji i rozpoczęciu przesyłania danych z HubSpot do Amazon S3 możesz sprawdzić jej status, zidentyfikować błędy, zaktualizować ustawienia lub zarchiwizować synchronizację.

Aby sprawdzić synchronizację i zarządzać nią:

1. Na koncie HubSpot kliknij Więcej, a następnie przejdź do Zarządzanie danymi > Integracja danych. Jeśli opcja Więcej się nie pojawia, przejdź bezpośrednio do sekcji Zarządzanie danymi > Integracja danych.
2. Przejdź do karty „Synchronizacje aplikacji ” i znajdź w tabeli swoją synchronizację z Amazon S3.
3. Sprawdź status synchronizacji:

• • Synchronizacja: trwa operacja synchronizacji.
  • Zsynchronizowane: ostatnia synchronizacja zakończyła się pomyślnie.
  • Niepowodzenie: podczas ostatniej synchronizacji wystąpił błąd.
  • Zarchiwizowane: konfiguracja synchronizacji została usunięta.

4. Kliknij nazwę synchronizacji, aby wyświetlić więcej szczegółów, w tym rekordy zsynchronizowane pomyślnie i te, których synchronizacja nie powiodła się.

Aby edytować lub usunąć synchronizację:

1. W tabeli kliknij synchronizację z Amazon S3.
2. W prawym górnym rogu kliknij menu rozwijane „Działania”, a następnie wybierz jedną z następujących opcji:

• • Edytuj synchronizację: zaktualizuj ustawienia synchronizacji.
  • Zarchiwizuj synchronizację: usuń konfigurację synchronizacji.

Format danych do synchronizacji między HubSpot a Amazon S3

Dane dostępne do synchronizacji

Z serwisu HubSpot do AWS S3 można synchronizować następujące dane:

• Obiekty: obiekty standardowe i niestandardowe, takie jak kontakty, firmy, zgłoszenia lub produkty.
• Rekordy: poszczególne rekordy obiektów.
• Właściwości: właściwości i ich wartości w rekordach obiektów, w tym historia właściwości.
• Powiązania: wszystkie typy powiązań i powiązane rekordy.
• Zdarzenia: wybrane standardowe zdarzenia HubSpot oraz niestandardowe zdarzenia behawioralne, w tym wybrane właściwości zdarzeń.

Dane obiektów różnych typów są uporządkowane i dostępne na dwa sposoby:

• Indywidualne: każdy typ obiektu jest przechowywany w osobnej tabeli i zawiera wyłącznie rekordy tego samego typu obiektu. Na przykład objects_contacts zawiera wyłącznie rekordy kontaktów.
• Połączone: wszystkie rekordy dla wszystkich typów obiektów są połączone w jeden obiekt bazy danych. Dlatego podczas wysyłania zapytania należy określić filtr w postaci „WHERE objectTypeId=’0-1’

Obiektom niestandardowym zostanie przypisany identyfikator w momencie utworzenia i będą one oznaczone jako 2-unikalny_identyfikator. Na przykład 2-12345.

Struktura folderów w S3

HubSpot zapisuje każdą pomyślnie przeprowadzoną synchronizację w prefiksie zarządzanym przez HubSpot w Twoim zasobniku Amazon S3, stosując następującą strukturę:

s3://<bucket-name>/hubspot-dataout/<account-id>/<run-id>/<table-name>/<file-name>

Na przykład:

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

Każda synchronizacja tworzy nowy folder run-id. HubSpot nie usuwa danych z poprzednich cykli synchronizacji.

Jeśli chcesz automatycznie usuwać starsze synchronizacje, skonfiguruj politykę cyklu życia Amazon S3 dla zasobnika lub prefiksu.

HubSpot generuje nazwy plików dla każdego przebiegu synchronizacji, a nazwy plików mogą się różnić w poszczególnych przebiegach. Nie należy konfigurować procesów następczych tak, aby opierały się na konkretnych nazwach plików. Zamiast tego należy odczytać wszystkie pliki z folderu table-name dla danego przebiegu eksportu, który chcesz przetworzyć.

Pliki obiektów

W przypadku wybrania danych obiektów HubSpot eksportuje następujące foldery.

OBJECTS_PROPERTIES

Jeden wiersz na każdą wartość właściwości obiektu.

OBJECT_WITH_OBJECT_PROPERTIES

Jeden wiersz na rekord obiektu, z wybranymi wartościami właściwości zgrupowanymi w jednej kolumnie PROPERTIES.

Aby odczytać konkretny typ obiektu z tego folderu, należy zastosować filtr według OBJECTTYPEID.

Pliki powiązań

W przypadku wybrania danych powiązań HubSpot synchronizuje rekordy powiązań oraz definicje powiązań.

ASSOCIATIONS

Jeden wiersz na każde wybrane powiązanie między dwoma rekordami obiektów.

ASSOCIATION_DEFINITIONS

Jeden wiersz na każdą wybraną definicję powiązania.

ASSOCIATIONS_<TYP_OBIEKTU_ŹRÓDŁOWEGO>_TO_<TYP_OBIEKTU_CELOWEGO>

W przypadku wybranych par powiązań HubSpot synchronizuje również foldery dla konkretnych par powiązań, takich jak ASSOCIATIONS_CONTACTS_TO_COMPANIES. Foldery te zawierają rekordy powiązań oraz powiązane metadane definicji.

Pliki zdarzeń

W przypadku wybrania danych dotyczących zdarzeń HubSpot eksportuje jeden folder dla każdego typu zdarzenia. Nazwy folderów mają format EVENTS_<NAZWA_ZDARZENIA>, np. EVENTS_VISITED_PAGE.

Każdy folder zdarzeń zawiera standardowe kolumny zdarzeń oraz kolumnę dla każdej właściwości zdarzenia wybranej podczas konfiguracji.