BetaSincronizar dados do HubSpot com o Amazon S3

Use a integração do Amazon S3 para sincronizar dados do CRM da HubSpot com um bucket do Amazon S3 de sua propriedade. Você pode escolher quais objetos, associações e eventos sincronizar, configurar uma programação de sincronização recorrente e monitorar o status de sincronização no HubSpot.

Cada sincronização exporta um snapshot completo dos dados selecionados no formato Parquet para o bucket do Amazon S3. Você pode usar os dados sincronizados com ferramentas de análise e processamento de dados, como AWS Glue, Amazon Athena, Amazon EMR, Spark, Databricks ou blocos de anotações Python.

Observação: a integração do Amazon S3 está disponível para novos usuários do Amazon S3 que não estiverem usando a integração herdada do Amazon S3. Se você for um superadministrador, poderá incluir sua conta na nova versão beta da integração do Amazon S3.

Antes de começar

Antes de começar a sincronizar dados com o Amazon S3, revise os requisitos e limitações a seguir.

Noções básicas sobre os requisitos

• Se você for um superadministrador, inscreva sua conta na versão beta da integração do Amazon S3.
• Você deve criar uma função do AWS Identity and Access Management (IAM) associada à sua conta da HubSpot.

Compreender limitações e considerações

• Durante a versão beta, os dados são sincronizados apenas no formato Parquet.
• Cada sincronização cria um instantâneo completo dos dados selecionados.
• O HubSpot cria uma nova pasta para cada sincronização e não exclui sincronizações anteriores do bucket do S3.
• Dados confidenciais não são compatíveis com a sincronização.

Crie a função IAM na AWS

Para configurar permissões de acesso para o HubSpot no Console de Gerenciamento AWS:

1. Faça login no AWS Management Console.
2. No painel inicial, clique em IAM de Segurança, Identidade, & Conformidade > dos Serviços > .
3. Na barra lateral esquerda, clique em Funções.
4. Clique em Criar função.
5. Na seção Tipo de entidade confiável , selecione sua conta da AWS.
6. Na seção Conta da AWS , selecione Outra conta da AWS e insira seu próprio ID da conta da AWS. Posteriormente, você alterará a relação de confiança para dar acesso ao HubSpot.
7. Selecione Exigir ID externa e insira um ID de espaço reservado, como 0000. Mais tarde, você alterará o relacionamento de confiança para sua função do IAM e especificará o ID externo para sua integração de armazenamento. Um ID externo é usado para conceder acesso aos seus recursos da AWS a um aplicativo de terceiros, como o HubSpot.

8. Clique em Próximo.
9. Na seção Detalhes da função , insira um Nome e uma Descrição da função para identificar a função.
10. Clique em Criar função.
11. Na página Resumo , copie o valor do ARN. Você usará esse valor na próxima etapa.

Conectar o HubSpot e o AWS S3

1. Na sua conta HubSpot, clique no ícone do Marketplace na barra de navegação superior e selecione HubSpot Marketplace.
2. Na barra de pesquisa, pesquise e selecione Amazon S3.
3. Clique emInstalar.
4. Selecione sua função do AWS IAM e clique em Instalar.
5. Clique em Próximo.
6. Insira o valor do ARN da função do AWS IAM no campo ARN da função .
7. Clique em Conectar-se ao Amazon S3.

Configurar permissões de bucket

O HubSpot precisa das seguintes permissões em um bucket e pasta do AWS S3 para acessar arquivos na pasta e subpastas:

• s3:ObterLocalizaçãoBucket
• s3:ObterObjeto
• s3:ObterVersãoDoObjeto
• s3:ListBucket
• s3:ColocarObjeto
• s3:ExcluirObjeto

Depois de conectar o aplicativo, conceda permissão à HubSpot para sincronizar dados com seu bucket do S3.

1. Na sua conta HubSpot, clique no ícone de settings icon na barra de navegação superior. No menu da barra lateral esquerda, acesse <Integrações > Apps conectados.
2. Clique em Amazon S3.
3. No painel direito, clique em Selecionar para a conta do Amazon S3 com a qual deseja sincronizar os dados.
4. Na página Permissões , clique em Copiar para copiar o exemplo de política de permissão e anexá-la à função do AWS IAM que você criou anteriormente. Observe para atualizar a política de permissão com seus nomes de bucket.

5. Faça login no AWS Management Console.
6. No painel inicial, clique em IAM de Segurança, Identidade, & Conformidade > dos Serviços > .
7. Na barra lateral esquerda, clique em Configurações da conta.
8. Na seção Security Token Service (STS), procure a região da AWS que corresponde à região em que sua conta da AWS está localizada. Clique para alternar o interruptor sobre para ativar a região.
9. No painel lateral esquerdo, clique em Políticas.
10. Clique em Criar política.
11. Na guia JSON , clique em Adicionar nova instrução.
12. Adicione a política copiada na Etapa 4 que dará à HubSpot as permissões necessárias para carregar ou descarregar dados usando um único caminho de bucket e pasta.

13. Clique em Próximo.
14. Na seção Revisar e criar , adicione o nome da política e uma descrição opcional.
15. Clique em Criar política.

Configurar o bucket de destino

1. De volta à página Permissões no HubSpot, no campo Bucket , insira o nome do bucket.
2. Clique em Testar conexão.

3. Se o teste de conexão for bem-sucedido, clique em Avançar.

Configurar a sincronização

1. Na página Fonte de dados , selecione os dados que deseja sincronizar.
2. Marque as caixas de seleção dos objetos, associações e eventos que deseja sincronizar do HubSpot para o Amazon S3.

3. Clique em Próximo.
4. Na página Detalhes , clique no menu suspenso Frequência de sincronização e selecione a frequência com que você deseja que os dados sejam sincronizados do HubSpot para o Amazon S3.

5. Clique em Iniciar sincronização.

Gerenciar a sincronização

Depois de configurar uma sincronização e os dados começarem a ser sincronizados do HubSpot para o Amazon S3, você pode revisar seu status, identificar erros, atualizar configurações ou arquivar a sincronização.

Para revisar e gerenciar a sincronização:

1. Na sua conta HubSpot, clique em Mais e navegue até Gerenciamento de dados > Integração de dados. Se Mais não aparecer na sua conta, navegue diretamente para Gerenciamento de dados > Integração de dados.
2. Navegue até a guia Sincronizações de aplicativos e localize sua sincronização do Amazon S3 na tabela.
3. Revise o status de sincronização:

• • Sincronização: uma execução de sincronização está em andamento.
  • Sincronizada: a última sincronização concluída com sucesso.
  • Falha: a última sincronização encontrou um erro.
  • Arquivado: a configuração de sincronização foi removida.

4. Clique no nome da sincronização para ver mais detalhes, incluindo registros sincronizados com sucesso e com falha.

Para editar ou remover uma sincronização:

1. Na tabela, clique em Sincronização do Amazon S3 .
2. No canto superior direito, clique no menu suspenso Ações e selecione uma das seguintes opções:

• • Editar sincronização: atualize as configurações de sincronização.
  • Arquivar sincronização: exclua a configuração de sincronização.

Formato de dados para sincronização entre o HubSpot e o Amazon S3

Dados disponíveis para sincronização

Você pode sincronizar os seguintes dados do HubSpot para o AWS S3:

• Objetos: objetos padrão e personalizados, como contatos, empresas, tickets ou produtos.
• Registros: registros de objetos individuais.
• Propriedades: propriedades e seus valores nos registros de objetos, incluindo o histórico de propriedades.
• Associações: todos os tipos de associação e registros associados.
• Eventos: eventos padrão e eventos comportamentais personalizados selecionados do HubSpot, incluindo propriedades de evento selecionadas.

Dados de objetos de diferentes tipos são organizados e disponíveis de duas maneiras:

• Individual: cada tipo de objeto é armazenado em sua própria tabela e possui apenas registros do mesmo tipo de objeto. Por exemplo, objects_contacts contém apenas registros de contatos.
• Combinado: todos os registros de todos os tipos de objetos são combinados em um único objeto de banco de dados. Portanto, ao consultar, você precisa especificar um filtro como “WHERE objectTypeId='0-1'

Será atribuído um ID aos objetos personalizados no momento da criação, e será identificado como 2-unique_ID. Por exemplo, 2-12345.

Estrutura de pastas do S3

O HubSpot grava cada sincronização bem-sucedida em um prefixo gerenciado pela HubSpot em seu bucket do Amazon S3 usando a seguinte estrutura:

s3://<bucket-name>/hubspot-dataout/<account-id>/<run-id>/<table-name>/<file-name>

Por exemplo:

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

Cada sincronização cria uma nova run-id pasta. O HubSpot não exclui dados de execuções de sincronização anteriores.

Se você quiser remover automaticamente a sincronização mais antiga, configure uma política de ciclo de vida do Amazon S3 para o bucket ou prefixo.

O HubSpot gera nomes de arquivo para cada execução de sincronização, e os nomes de arquivo podem ser diferentes entre as execuções de sincronização. Não configure processos downstream para depender de nomes de arquivo específicos. Em vez disso, leia todos os arquivos na pasta apropriada table-name para a execução de exportação que você deseja processar.

Arquivos de Objeto

Se você selecionar dados do objeto, o HubSpot exportará as pastas a seguir.

OBJECTS_PROPERTIES

Uma linha por objeto propriedade valor.

OBJECT_WITH_OBJECT_PROPERTIES

Uma linha por objeto registro, com valores de propriedade selecionados agrupados em uma única coluna PROPRIEDADES .

Para ler um tipo de objeto específico dessa pasta, filtre por OBJECTTYPEID.

Arquivos de Associação

Se você selecionar dados de associação, o HubSpot sincronizará os registros de associação e as definições de associação.

ASSOCIAÇÕES

Uma linha por associação selecionada entre dois registros de objetos.

ASSOCIATION_DEFINITIONS

Uma linha por definição de associação selecionada.

ASSOCIATIONS_<FROM_OBJECT_TYPE>_TO_<TO_OBJECT_TYPE>

Para pares de associação selecionados, o HubSpot também sincroniza pastas para pares de associação específicos, como ASSOCIATIONS_CONTACTS_TO_COMPANIES. Essas pastas contêm registros de associação e os metadados de definição associados.

Arquivos de eventos

Se você selecionar dados do evento, o HubSpot exportará uma pasta para cada tipo de evento. Os nomes de pasta usam o formato EVENTS_<EVENT_NAME>, como EVENTS_VISITED_PAGE.

Cada pasta de eventos contém colunas de eventos padrão e uma coluna para cada propriedade de evento selecionada durante a configuração.