เบต้าซิงค์ข้อมูล HubSpot กับ Amazon S3

ใช้การผสานรวม Amazon S3 เพื่อซิงค์ข้อมูล HubSpot CRM กับถัง Amazon S3 ที่คุณเป็นเจ้าของ คุณสามารถเลือกวัตถุการเชื่อมโยงและกิจกรรมที่จะซิงค์กำหนดค่ากำหนดการซิงค์ที่เกิดซ้ำและตรวจสอบสถานะการซิงค์จากภายใน HubSpot

การซิงค์แต่ละครั้งจะส่งออกภาพรวมทั้งหมดของข้อมูลที่เลือกในรูปแบบปาร์เก้ไปยังถัง Amazon S3 ของคุณ จากนั้นคุณสามารถใช้ข้อมูลที่ซิงค์กับการวิเคราะห์และเครื่องมือประมวลผลข้อมูลเช่น AWS Glue, Amazon Athena, Amazon EMR, Spark, Databricks หรือสมุดบันทึก Python

โปรดทราบ: การผสานรวม Amazon S3 สามารถใช้ได้กับผู้ใช้ Amazon S3 รายใหม่ที่ไม่ได้ใช้การผสานรวม Amazon S3 แบบเดิม หากคุณเป็นผู้ดูแลระบบระดับสูงคุณสามารถเลือกบัญชีของคุณเข้าสู่เบต้าการผสานรวม Amazon S3 ใหม่ได้

ก่อนที่คุณจะเริ่มต้น

ก่อนที่คุณจะเริ่มซิงค์ข้อมูลกับ Amazon S3 ให้ตรวจสอบข้อกำหนดและข้อจำกัดต่อไปนี้

ทำความเข้าใจข้อกำหนด

• หากคุณเป็นผู้ดูแลระบบระดับสูงให้เลือกบัญชีของคุณเข้าสู่เบต้าการผสานรวม Amazon S3
• คุณต้องสร้างบทบาท AWS Identity and Access Management (IAM) ที่เชื่อมโยงกับบัญชี HubSpot ของคุณ

ทำความเข้าใจข้อจำกัดและข้อพิจารณา

• ในช่วงเบต้าข้อมูลจะถูกซิงค์ในรูปแบบปาร์เก้เท่านั้น
• การซิงค์แต่ละครั้งจะสร้างสแนปชอตที่สมบูรณ์ของข้อมูลที่เลือก
• HubSpot สร้างโฟลเดอร์ใหม่สำหรับการซิงค์แต่ละครั้งและจะไม่ลบการซิงค์ก่อนหน้าออกจากที่เก็บ S3 ของคุณ
• ไม่รองรับการซิงค์ข้อมูลที่ละเอียดอ่อน

สร้างบทบาท IAM ใน AWS

ในการกำหนดค่าสิทธิ์การเข้าถึงสำหรับ HubSpot ใน AWS Management Console:

1. เข้าสู่ระบบ AWS Management Console
2. บนแดชบอร์ดที่พักให้คลิกบริการ > การรักษาความปลอดภัยการระบุตัวตนและการปฏิบัติตามกฎระเบียบ > IAM
3. บนแถบด้านข้างซ้ายให้คลิก บทบาท
4. คลิกสร้างบทบาท
5. ในส่วนประเภทเอนทิตีที่เชื่อถือได้ให้เลือกบัญชี AWS ของคุณ
6. ในส่วนบัญชี AWS ให้เลือกบัญชี AWS อื่นแล้วป้อน ID บัญชี AWS ของคุณเอง ในภายหลังคุณจะเปลี่ยนความสัมพันธ์ของความไว้วางใจเพื่อให้สิทธิ์การเข้าถึง HubSpot
7. เลือกต้องมี ID ภายนอกและป้อน ID ตัวยึดตำแหน่งเช่น 0000 ในภายหลังคุณจะเปลี่ยนความสัมพันธ์ความไว้วางใจสำหรับบทบาท IAM ของคุณและระบุ ID ภายนอกสำหรับการผสานรวมพื้นที่เก็บข้อมูลของคุณ ID ภายนอกจะใช้เพื่อให้สิทธิ์การเข้าถึงทรัพยากร AWS ของคุณไปยังแอปของบุคคลที่สามเช่น HubSpot

8. คลิกถัดไป
9. ในส่วนรายละเอียดบทบาทให้ป้อนชื่อบทบาทและคำอธิบายเพื่อระบุบทบาท
10. คลิกสร้างบทบาท
11. ในหน้าสรุปให้คัดลอกค่า ARN คุณจะใช้ค่านี้ในขั้นตอนถัดไป

เชื่อมต่อ HubSpot และ AWS S3

1. ในบัญชี HubSpot ของคุณ ให้คลิกไอคอนตลาด ในแถบนำทางด้านบน จากนั้นเลือก HubSpot Marketplace
2. ในแถบค้นหาให้ค้นหาและเลือก Amazon S3
3. คลิกติดตั้ง
4. เลือกบทบาท AWS IAM ของคุณจากนั้นคลิกติดตั้ง
5. คลิกถัดไป
6. ป้อนค่า ARN จากบทบาท AWS IAM ในฟิลด์ Role ARN
7. คลิกเชื่อมต่อกับ Amazon S3

กำหนดค่าสิทธิ์ของบักเก็ต

HubSpot ต้องการสิทธิ์ต่อไปนี้ในบักเก็ตและโฟลเดอร์ AWS S3 เพื่อเข้าถึงไฟล์ในโฟลเดอร์และโฟลเดอร์ย่อย:

• s3: GetBucketLocation
• s3: GetObject
• s3: GetObjectVersion
• s3: ListBucket
• s3: PutObject
• s3: ลบวัตถุ

หลังจากเชื่อมต่อแอปแล้วให้สิทธิ์ HubSpot ในการซิงค์ข้อมูลกับที่เก็บข้อมูล S3 ของคุณ

1. ในบัญชี HubSpot ของคุณ คลิก ไอคอนการตั้งค่าในแถบการนำทางด้านบน ในเมนูแถบด้านข้างทางซ้าย ไปที่การผสานการทำงาน > แอปที่เชื่อมต่อ
2. คลิก Amazon S3
3. ในแผงด้านขวาให้คลิกเลือกบัญชี Amazon S3 ที่คุณต้องการซิงค์ข้อมูล
4. ในหน้าสิทธิ์ให้คลิกคัดลอกเพื่อคัดลอกนโยบายการอนุญาตตัวอย่างและแนบไปกับบทบาท AWS IAM ที่คุณสร้างไว้ก่อนหน้านี้ โปรดทราบว่าจะอัพเดทนโยบายการอนุญาตด้วยชื่อกลุ่มของคุณ

5. เข้าสู่ระบบ AWS Management Console
6. บนแดชบอร์ดที่พักให้คลิกบริการ > การรักษาความปลอดภัยการระบุตัวตนและการปฏิบัติตามกฎระเบียบ > IAM
7. คลิกการตั้งค่าบัญชีที่แถบด้านซ้าย
8. ในส่วนบริการโทเค็นความปลอดภัย (STS) ให้มองหาภูมิภาค AWS ที่สอดคล้องกับภูมิภาคที่บัญชี AWS ของคุณตั้งอยู่ คลิกเพื่อเปิดสวิตช์เพื่อเปิดใช้งานภูมิภาค
9. ที่แผงด้านซ้ายให้คลิก นโยบาย
10. คลิกสร้างนโยบาย
11. บนแท็บ JSON ให้คลิกเพิ่มคำสั่งใหม่
12. เพิ่มนโยบายที่คุณคัดลอกในขั้นตอนที่ 4 ซึ่งจะให้สิทธิ์แก่ HubSpot ในการโหลดหรือยกเลิกการโหลดข้อมูลโดยใช้เส้นทางถังและโฟลเดอร์เดียว

13. คลิกถัดไป
14. ในส่วนตรวจสอบและสร้างให้เพิ่มชื่อนโยบายและคำอธิบายที่เลือกระบุได้
15. คลิกสร้างนโยบาย

กำหนดค่าที่เก็บข้อมูลปลายทาง

1. กลับไปที่หน้าสิทธิ์ใน HubSpot ในช่องถังให้ป้อนชื่อถัง
2. คลิกทดสอบการเชื่อมต่อ

3. หากการทดสอบการเชื่อมต่อสำเร็จให้คลิกถัดไป

กำหนดค่าการซิงค์

1. ในหน้าแหล่งข้อมูลให้เลือกข้อมูลที่คุณต้องการซิงค์
2. เลือกช่องทำเครื่องหมายสำหรับวัตถุการเชื่อมโยงและกิจกรรมที่คุณต้องการซิงค์จาก HubSpot ไปยัง Amazon S3

3. คลิกถัดไป
4. ในหน้ารายละเอียดให้คลิกเมนูแบบเลื่อนลงซิงค์ความถี่และเลือกความถี่ที่คุณต้องการซิงค์ข้อมูลจาก HubSpot ไปยัง Amazon S3

5. คลิกเริ่มการซิงค์

จัดการการซิงค์

หลังจากตั้งค่าการซิงค์และข้อมูลจะเริ่มซิงค์จาก HubSpot ไปยัง Amazon S3 คุณสามารถตรวจสอบสถานะระบุข้อผิดพลาดอัปเดตการตั้งค่าหรือเก็บถาวรการซิงค์

วิธีตรวจสอบและจัดการการซิงค์:

1. ในบัญชี HubSpot ของคุณ ให้คลิก เพิ่มเติม จากนั้นไปที่ การจัดการข้อมูล > การผสานการทำงาน หาก เพิ่มเติม ไม่ปรากฏในบัญชีของคุณ ให้ไปที่ การจัดการข้อมูล > การผสานการทำงาน โดยตรง
2. ไปที่แท็บการซิงค์แอปและค้นหาการซิงค์ Amazon S3 ของคุณในตาราง
3. ตรวจสอบสถานะการซิงค์:

• • การซิงค์: กำลังดำเนินการซิงค์
  • ซิงค์: การซิงค์ล่าสุดเสร็จสมบูรณ์แล้ว
  • ล้มเหลว: การซิงค์ครั้งล่าสุดพบข้อผิดพลาด
  • เก็บถาวรแล้ว: การกำหนดค่าการซิงค์ถูกลบออก

4. คลิกชื่อการซิงค์เพื่อดูรายละเอียดเพิ่มเติมรวมถึงการซิงค์เรคคอร์ดที่สำเร็จและล้มเหลว

วิธีแก้ไขหรือลบการซิงค์:

1. ในตารางให้คลิกการซิงค์ Amazon S3
2. ที่ด้านบนขวาให้คลิกเมนูดร็อปดาวน์การดำเนินการจากนั้นเลือกทำอย่างใดอย่างหนึ่งต่อไปนี้:

• • แก้ไขการซิงค์: อัปเดตการตั้งค่าการซิงค์
  • การซิงค์เก็บถาวร: ลบการกำหนดค่าการซิงค์

รูปแบบข้อมูลสำหรับการซิงค์ระหว่าง HubSpot และ Amazon S3

ข้อมูลที่มีอยู่สำหรับการซิงค์

คุณสามารถซิงค์ข้อมูลต่อไปนี้จาก HubSpot ไปยัง AWS S3:

• วัตถุ: วัตถุมาตรฐานและวัตถุที่กำหนดเองเช่นรายชื่อผู้ติดต่อบริษัทตั๋วหรือผลิตภัณฑ์
• เรคคอร์ด: เรคคอร์ดวัตถุแต่ละรายการ
• พร็อพเพอร์ตี้: พร็อพเพอร์ตี้และค่าของพร็อพเพอร์ตี้ในบันทึกวัตถุรวมถึงประวัติพร็อพเพอร์ตี้
• การเชื่อมโยง: ทุกประเภทการเชื่อมโยงและบันทึกที่เกี่ยวข้อง
• กิจกรรม: กิจกรรม HubSpot มาตรฐานที่เลือกและกิจกรรมพฤติกรรมที่กำหนดเองรวมถึงคุณสมบัติกิจกรรมที่เลือก

ข้อมูลวัตถุประเภทต่างๆได้รับการจัดระเบียบและมีให้เลือกสองวิธี:

• บุคคล: วัตถุแต่ละประเภทจะถูกจัดเก็บไว้ในตารางของตัวเองและมีเฉพาะระเบียนของวัตถุประเภทเดียวกันเท่านั้น ตัวอย่างเช่น OBJECTobjects_contactsCONTACT มีเพียงบันทึกการติดต่อเท่านั้น
• รวมกัน: เรคคอร์ดทั้งหมดสำหรับทุกประเภทออบเจ็กต์จะรวมกันเป็นออบเจ็กต์ฐานข้อมูลเดียว ดังนั้นเมื่อสอบถามคุณต้องระบุตัวกรองเช่น “WHERE objectTypeId =' 0 -1 ’

วัตถุที่กำหนดเองจะถูกกำหนด ID ในขณะที่สร้างและจะถูกระบุเป็น 2 - UNIQUE_ID ตัวอย่างเช่น 2 -12345

โครงสร้างโฟลเดอร์ S3

HubSpot เขียนแต่ละซิงค์ที่ประสบความสำเร็จไปยังคำนำหน้าที่มีการจัดการโดย HubSpot ในถัง Amazon S3 ของคุณโดยใช้โครงสร้างต่อไปนี้:

s3:///hubspot-dataout////

ตัวอย่างเช่น:

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/OBJECT_WITH_OBJECT_PROPERTIES/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/EVENTS_VISITED_PAGE/part-000.parquet

s3://my-company-hubspot-data/hubspot-dataout/12345678/98765/ASSOCIATIONS_CONTACTS_TO_COMPANIES/part-000.parquet

การซิงค์แต่ละครั้งจะสร้างโฟลเดrun-idไอดีใหม่ HubSpot จะไม่ลบข้อมูลจากการเรียกใช้การซิงค์ก่อนหน้านี้

หากคุณต้องการลบการซิงค์เก่าโดยอัตโนมัติให้กำหนดค่านโยบายวงจรชีวิต Amazon S3 สำหรับถังหรือคำนำหน้า

HubSpot สร้างชื่อไฟล์สำหรับการเรียกใช้การซิงค์แต่ละครั้งและชื่อไฟล์อาจแตกต่างกันระหว่างการเรียกใช้การซิงค์ อย่ากำหนดค่ากระบวนการดาวน์สตรีมให้ขึ้นอยู่กับชื่อไฟล์เฉพาะ แต่ให้อ่านไฟล์ทั้งหมดในโฟลเดอร์ชื่อตารางที่table-nameสำหรับการเรียกใช้การส่งออกที่คุณต้องการประมวลผล

ไฟล์อ็อบเจกต์

หากคุณเลือกข้อมูลวัตถุ HubSpot จะส่งออกโฟลเดอร์ต่อไปนี้

OBJECT_PROPERTIES

หนึ่งแถวต่อค่าคุณสมบัติออบเจ็กต์

OBJECT_WITH_OBJECT_PROPER

หนึ่งแถวต่อระเบียนวัตถุที่มีค่าที่พักที่เลือกจัดกลุ่มเป็นคอลัมน์ที่พักเดียว

หากต้องการอ่านประเภทวัตถุเฉพาะจากโฟลเดอร์นี้ให้กรองตาม OBJECTTYPEID

ไฟล์การเชื่อมโยง

หากคุณเลือกข้อมูลการเชื่อมโยง HubSpot จะซิงค์บันทึกการเชื่อมโยงและคำจำกัดความของการเชื่อมโยง

สมาคม

หนึ่งแถวต่อการเชื่อมโยงที่เลือกระหว่างระเบียนวัตถุสองรายการ

ASSOCIATION_DEFINIT

หนึ่งแถวต่อหนึ่งคำจำกัดความการเชื่อมโยงที่เลือก

ASSOCIATIONS _< FROM_OBJECT_TYPE >_TO _< TO_OBJECT_TYPE >

สำหรับคู่สมาคมที่เลือก HubSpot ยังซิงค์โฟลเดอร์สำหรับคู่สมาคมที่เฉพาะเจาะจงเช่น ASSOCIATIONS_CONTACTS_TO_COMPANIES โฟลเดอร์เหล่านี้มีระเบียนการเชื่อมโยงและเมต้าดาต้าคำนิยามที่เกี่ยวข้อง

ไฟล์กิจกรรม

หากคุณเลือกข้อมูลกิจกรรม HubSpot จะส่งออกหนึ่งโฟลเดอร์สำหรับแต่ละประเภทกิจกรรม ชื่อโฟลเดอร์ใช้รูปแบบ EVENTS _< EVENTS_NAME > เช่น EVENTS_VISITS_PAGE

แต่ละโฟลเดอร์กิจกรรมมีคอลัมน์กิจกรรมมาตรฐานและคอลัมน์สำหรับแต่ละคุณสมบัติกิจกรรมที่เลือกในระหว่างการตั้งค่า