การรีเฟรชแบบเพิ่มหน่วยใน Dataflow Gen2 (ตัวอย่าง)

ในบทความนี้ เราแนะนําการรีเฟรชข้อมูลแบบเพิ่มหน่วยใน Dataflow Gen2 สําหรับโรงงานข้อมูลของ Microsoft Fabric เมื่อคุณใช้กระแสข้อมูลสําหรับการนําเข้าและแปลงข้อมูล มีสถานการณ์ที่คุณจําเป็นต้องรีเฟรชเฉพาะข้อมูลใหม่หรือข้อมูลที่อัปเดตเท่านั้น โดยเฉพาะอย่างยิ่งเมื่อข้อมูลของคุณยังคงเพิ่มขึ้น คุณลักษณะการรีเฟรชแบบเพิ่มหน่วยจัดการกับความต้องการนี้ โดยช่วยให้คุณสามารถลดเวลาการรีเฟรช เพิ่มความน่าเชื่อถือโดยการหลีกเลี่ยงการดําเนินการที่ใช้เวลานาน และลดการใช้ทรัพยากร

ข้อกำหนดเบื้องต้น

หากต้องการใช้การรีเฟรชแบบเพิ่มหน่วยใน Dataflow Gen2 คุณจําเป็นต้องทําตามข้อกําหนดเบื้องต้นต่อไปนี้:

• คุณต้องมีความจุ Fabric
• แหล่งข้อมูลของคุณสนับสนุน การ พับ (แนะนํา) และจําเป็นต้องมีคอลัมน์วันที่/DateTime ที่สามารถใช้เพื่อกรองข้อมูลได้
• คุณควรมีปลายทางข้อมูลที่สนับสนุนการรีเฟรชแบบเพิ่มหน่วย ดูรายละเอียดเพิ่มเติมได้ที่ ส่วนสนับสนุนปลายทาง
• ก่อนเริ่มต้นใช้งาน ตรวจสอบให้แน่ใจว่าคุณได้ตรวจทานข้อจํากัดของการรีเฟรชแบบเพิ่มหน่วยแล้ว สําหรับข้อมูลเพิ่มเติม โปรดดู ที่ ข้อจํากัด

การสนับสนุนปลายทาง

ปลายทางข้อมูลต่อไปนี้ได้รับการสนับสนุนสําหรับการรีเฟรชแบบเพิ่มหน่วย:

• คลังสินค้าผ้า
• ฐานข้อมูล Azure SQL
• Azure Synapse Analytics

ปลายทางอื่น ๆ เช่น Lakehouse สามารถใช้ร่วมกับการรีเฟรชแบบเพิ่มหน่วยได้โดยใช้คิวรีที่สองที่อ้างอิงข้อมูลที่กําหนดลําดับขั้นเพื่ออัปเดตปลายทางของข้อมูล ด้วยวิธีนี้คุณยังคงสามารถใช้การรีเฟรชแบบเพิ่มหน่วยเพื่อลดจํานวนข้อมูลที่จําเป็นต้องประมวลผลและดึงข้อมูลจากระบบต้นทาง แต่คุณจําเป็นต้องทําการรีเฟรชเต็มรูปแบบจากข้อมูลที่มีลําดับขั้นไปยังปลายทางของข้อมูล

วิธีการใช้การรีเฟรชแบบเพิ่มหน่วย

1. สร้างกระแสข้อมูล Gen2 ใหม่หรือเปิด Dataflow Gen2 ที่มีอยู่

2. ในตัวแก้ไขกระแสข้อมูล ให้สร้างคิวรีใหม่ที่ดึงข้อมูลที่คุณต้องการรีเฟรชทีละน้อย

3. ตรวจสอบการแสดงตัวอย่างข้อมูลเพื่อให้แน่ใจว่าคิวรีส่งกลับข้อมูลที่ประกอบด้วยคอลัมน์ DateTime, Date หรือ DateTimeZone ที่คุณสามารถใช้เพื่อกรองข้อมูลได้

4. ตรวจสอบให้แน่ใจว่าคิวรีถูกพับทั้งหมด ซึ่งหมายความว่าคิวรีจะถูกผลักลงไปที่ระบบต้นทางอย่างสมบูรณ์ ถ้าคิวรีไม่ได้พับอย่างสมบูรณ์ คุณจําเป็นต้องปรับเปลี่ยนคิวรีเพื่อให้สามารถพับได้ทั้งหมด คุณสามารถตรวจสอบให้แน่ใจว่าคิวรีถูกพับโดยการตรวจสอบขั้นตอนคิวรีในตัวแก้ไขคิวรี

   

5. คลิกขวาที่คิวรีและเลือก การรีเฟรชแบบเพิ่มหน่วย

   

6. ระบุการตั้งค่าที่จําเป็นสําหรับการรีเฟรชแบบเพิ่มหน่วย

   

   1. เลือกคอลัมน์ DateTime เพื่อกรองตาม
   2. แยกข้อมูลจากอดีต
   3. ขนาดถัง
   4. แยกข้อมูลใหม่เมื่อค่าสูงสุดในคอลัมน์นี้เปลี่ยนแปลงเท่านั้น

7. กําหนดค่าการตั้งค่าขั้นสูงถ้าจําเป็น

   1. จําเป็นต้องมีคิวรีการรีเฟรชแบบเพิ่มหน่วยเพื่อพับทั้งหมด

8. เลือก ตกลง เพื่อบันทึกการตั้งค่า

9. ในตอนนี้คุณสามารถตั้งค่าปลายทางข้อมูลสําหรับคิวรีได้ตามต้องการ ตรวจสอบให้แน่ใจว่าคุณทําการตั้งค่านี้ก่อนการรีเฟรชแบบเพิ่มหน่วยครั้งแรก มิฉะนั้น ปลายทางของข้อมูลของคุณจะมีเฉพาะข้อมูลที่เปลี่ยนแปลงแบบเพิ่มหน่วยนับตั้งแต่รีเฟรชครั้งล่าสุดเท่านั้น

10. เผยแพร่กระแสข้อมูล Gen2

หลังจากที่คุณกําหนดค่าการรีเฟรชแบบเพิ่มหน่วย กระแสข้อมูลจะรีเฟรชข้อมูลโดยอัตโนมัติตามการตั้งค่าที่คุณให้ไว้ กระแสข้อมูลจะดึงข้อมูลที่มีการเปลี่ยนแปลงตั้งแต่การรีเฟรชครั้งล่าสุดเท่านั้น ดังนั้นกระแสข้อมูลจึงทํางานได้เร็วขึ้นและใช้ทรัพยากรน้อยลง

วิธีการทํางานของการรีเฟรชแบบเพิ่มหน่วยในเบื้องหลัง

การรีเฟรชแบบเพิ่มหน่วยทํางานได้โดยการแบ่งข้อมูลออกเป็นบักเก็ตโดยยึดตามคอลัมน์ DateTime แต่ละกลุ่มข้อมูลประกอบด้วยข้อมูลที่เปลี่ยนแปลงตั้งแต่รีเฟรชครั้งล่าสุด กระแสข้อมูลทราบว่ามีอะไรเปลี่ยนแปลงโดยการตรวจสอบค่าสูงสุดในคอลัมน์ที่คุณระบุ ถ้าค่าสูงสุดมีการเปลี่ยนแปลงสําหรับกลุ่มข้อมูลนั้น กระแสข้อมูลจะดึงบักเก็ตทั้งหมดและแทนที่ข้อมูลในปลายทาง ถ้าค่าสูงสุดไม่ได้เปลี่ยนแปลง กระแสข้อมูลจะไม่เรียกใช้ข้อมูลใด ๆ ส่วนต่อไปนี้ประกอบด้วยภาพรวมระดับสูงของวิธีการทํางานของการรีเฟรชแบบเพิ่มหน่วยทีละขั้นตอน

ขั้นตอนแรก: ประเมินการเปลี่ยนแปลง

เมื่อกระแสข้อมูลทํางาน ระบบจะประเมินการเปลี่ยนแปลงในแหล่งข้อมูลก่อน ซึ่งทําการประเมินนี้โดยการเปรียบเทียบค่าสูงสุดในคอลัมน์ DateTime กับค่าสูงสุดในการรีเฟรชก่อนหน้านี้ ถ้าค่าสูงสุดเปลี่ยนแปลงหรือหากเป็นการรีเฟรชครั้งแรก กระแสข้อมูลจะทําเครื่องหมายบักเก็ตว่ามีการเปลี่ยนแปลงและแสดงรายการสําหรับการประมวลผล ถ้าค่าสูงสุดไม่ได้เปลี่ยนแปลง กระแสข้อมูลจะข้ามบักเก็ตและไม่ประมวลผล

ขั้นตอนที่สอง: เรียกใช้ข้อมูล

ในตอนนี้กระแสข้อมูลก็พร้อมที่จะดึงข้อมูลแล้ว ซึ่งจะดึงข้อมูลสําหรับแต่ละบักเก็ตที่เปลี่ยนแปลง กระแสข้อมูลจะทําการค้นคืนนี้ควบคู่ไปกับการปรับปรุงประสิทธิภาพการทํางาน กระแสข้อมูลจะดึงข้อมูลจากระบบต้นทางและโหลดลงในพื้นที่จัดเตรียม กระแสข้อมูลจะดึงข้อมูลที่อยู่ภายในช่วงบักเก็ตเท่านั้น กล่าวอีกนัยหนึ่งกระแสข้อมูลจะดึงข้อมูลที่มีการเปลี่ยนแปลงตั้งแต่รีเฟรชครั้งล่าสุดเท่านั้น

ขั้นตอนสุดท้าย: แทนที่ข้อมูลในปลายทางของข้อมูล

กระแสข้อมูลจะแทนที่ข้อมูลในปลายทางด้วยข้อมูลใหม่ กระแสข้อมูลใช้ replace วิธีการ เพื่อแทนที่ข้อมูลในปลายทาง นั่นคือ กระแสข้อมูลจะลบข้อมูลในปลายทางสําหรับบักเก็ตก่อน จากนั้นจึงแทรกข้อมูลใหม่ กระแสข้อมูลไม่มีผลต่อข้อมูลที่อยู่นอกช่วงบักเก็ต ดังนั้น ถ้าคุณมีข้อมูลในปลายทางที่เก่ากว่าบักเก็ตแรก การรีเฟรชแบบเพิ่มหน่วยจะไม่ส่งผลกระทบต่อข้อมูลนี้ในทางใดทางหนึ่ง

อธิบายการตั้งค่าการรีเฟรชแบบเพิ่มหน่วย

ในการกําหนดค่าการรีเฟรชแบบเพิ่มหน่วย คุณจําเป็นต้องระบุการตั้งค่าต่อไปนี้

การตั้งค่าทั่วไป

จําเป็นต้องมีการตั้งค่าทั่วไปและระบุการกําหนดค่าพื้นฐานสําหรับการรีเฟรชแบบเพิ่มหน่วย

เลือกคอลัมน์ DateTime เพื่อกรองตาม

การตั้งค่านี้จําเป็นและระบุคอลัมน์ที่กระแสข้อมูลใช้เพื่อกรองข้อมูล คอลัมน์นี้ควรเป็นคอลัมน์ DateTime, Date หรือ DateTimeZone กระแสข้อมูลใช้คอลัมน์นี้เพื่อกรองข้อมูลและดึงข้อมูลที่มีการเปลี่ยนแปลงตั้งแต่รีเฟรชครั้งล่าสุดเท่านั้น

แยกข้อมูลจากอดีต

การตั้งค่านี้จําเป็น และระบุระยะเวลาย้อนกลับในเวลาที่กระแสข้อมูลควรดึงข้อมูล การตั้งค่านี้ใช้เพื่อดึงข้อมูลเริ่มต้น กระแสข้อมูลดึงข้อมูลทั้งหมดจากระบบต้นทางที่อยู่ภายในช่วงเวลาที่ระบุ ค่าที่เป็นไปได้คือ:

• x วัน
• x สัปดาห์
• x เดือน
• x ไตรมาส
• x ปี

ตัวอย่างเช่น ถ้าคุณระบุ 1 เดือน กระแสข้อมูลจะดึงข้อมูลใหม่ทั้งหมดจากระบบต้นทางที่อยู่ภายในเดือนที่ผ่านมา

ขนาดถัง

การตั้งค่านี้จําเป็นและระบุขนาดของบักเก็ตที่กระแสข้อมูลใช้เพื่อกรองข้อมูล กระแสข้อมูลจะแบ่งข้อมูลออกเป็นบักเก็ตโดยยึดตามคอลัมน์ DateTime แต่ละกลุ่มข้อมูลประกอบด้วยข้อมูลที่เปลี่ยนแปลงตั้งแต่รีเฟรชครั้งล่าสุด ขนาดบักเก็ตจะกําหนดปริมาณข้อมูลที่จะประมวลผลในการทําซ้ําแต่ละครั้ง ขนาดบักเก็ตที่เล็กลงหมายความว่ากระแสข้อมูลประมวลผลข้อมูลน้อยลงในการทําซ้ําแต่ละครั้ง แต่ยังหมายความว่าจําเป็นต้องใช้การทําซ้ํามากขึ้นในการประมวลผลข้อมูลทั้งหมด ขนาดบักเก็ตที่ใหญ่กว่าหมายความว่ากระแสข้อมูลประมวลผลข้อมูลเพิ่มเติมในการทําซ้ําแต่ละครั้งแต่ยังหมายความว่าจําเป็นต้องใช้การทําซ้ําน้อยลงในการประมวลผลข้อมูลทั้งหมด

แยกข้อมูลใหม่เมื่อค่าสูงสุดในคอลัมน์นี้เปลี่ยนแปลงเท่านั้น

การตั้งค่านี้จําเป็นและระบุคอลัมน์ที่กระแสข้อมูลใช้เพื่อกําหนดว่าข้อมูลมีการเปลี่ยนแปลงหรือไม่ กระแสข้อมูลเปรียบเทียบค่าสูงสุดในคอลัมน์นี้กับค่าสูงสุดในการรีเฟรชก่อนหน้านี้ หากมีการเปลี่ยนแปลงค่าสูงสุด กระแสข้อมูลจะดึงข้อมูลที่มีการเปลี่ยนแปลงตั้งแต่รีเฟรชครั้งล่าสุด ถ้าไม่มีการเปลี่ยนแปลงค่าสูงสุด กระแสข้อมูลจะไม่เรียกใช้ข้อมูลใด ๆ

แยกข้อมูลสําหรับรอบระยะเวลาที่สรุปเท่านั้น

การตั้งค่านี้เป็นตัวเลือกและระบุว่ากระแสข้อมูลควรแยกข้อมูลสําหรับช่วงเวลาที่สรุปเท่านั้นหรือไม่ หากเปิดใช้งานการตั้งค่านี้ กระแสข้อมูลจะแยกข้อมูลเป็นระยะเวลาที่สรุปได้เท่านั้น ดังนั้นกระแสข้อมูลจะแยกเฉพาะข้อมูลสําหรับช่วงเวลาที่เสร็จสมบูรณ์และไม่มีข้อมูลใดๆ ในอนาคต หากการตั้งค่านี้ถูกปิดใช้งาน กระแสข้อมูลจะแยกข้อมูลในทุกช่วงเวลา รวมถึงช่วงเวลาที่ไม่สมบูรณ์และประกอบด้วยข้อมูลในอนาคต

ตัวอย่างเช่น ถ้าคุณมีคอลัมน์ DateTime ที่ประกอบด้วยวันที่ของธุรกรรม และคุณต้องการรีเฟรชเพียงเดือนที่สมบูรณ์เท่านั้น คุณสามารถเปิดใช้งานการตั้งค่านี้ร่วมกับขนาดบักเก็ตของ monthได้ ดังนั้นกระแสข้อมูลจะแยกข้อมูลสําหรับเดือนที่สมบูรณ์เท่านั้นและไม่แยกข้อมูลสําหรับเดือนที่ไม่สมบูรณ์

การตั้งค่าขั้นสูง

การตั้งค่าบางอย่างถือว่าเป็นขั้นสูงและไม่จําเป็นสําหรับสถานการณ์ส่วนใหญ่

ต้องใช้คิวรีการรีเฟรชแบบเพิ่มหน่วยเพื่อพับทั้งหมด

การตั้งค่านี้เป็นตัวเลือกและระบุว่าคิวรีที่ใช้สําหรับการรีเฟรชแบบเพิ่มหน่วยต้องพับทั้งหมดหรือไม่ ถ้าเปิดใช้งานการตั้งค่านี้ คิวรีที่ใช้สําหรับการรีเฟรชแบบเพิ่มหน่วยต้องพับทั้งหมด กล่าวอีกนัยหนึ่งคิวรีจะต้องถูกผลักลงไปยังระบบต้นทางทั้งหมด ถ้าการตั้งค่านี้ถูกปิดใช้งาน คิวรีที่ใช้สําหรับการรีเฟรชแบบเพิ่มหน่วยไม่จําเป็นต้องพับทั้งหมด ในกรณีนี้ คิวรีสามารถผลักลงไปยังระบบต้นทางได้บางส่วน เราขอแนะนําให้เปิดใช้งานการตั้งค่านี้เพื่อปรับปรุงประสิทธิภาพการทํางานเพื่อหลีกเลี่ยงการดึงข้อมูลที่ไม่จําเป็นและไม่ถูกการกรอง

ข้อจำกัด

รองรับเฉพาะปลายทางข้อมูลตาม SQL เท่านั้น

ในปัจจุบัน เฉพาะปลายทางของข้อมูลตาม SQL เท่านั้นที่ได้รับการสนับสนุนสําหรับการรีเฟรชแบบเพิ่มหน่วย ดังนั้น คุณสามารถใช้ Fabric Warehouse, Azure SQL Database หรือ Azure Synapse Analytics เป็นปลายทางของข้อมูลสําหรับการรีเฟรชแบบเพิ่มหน่วยได้เท่านั้น เหตุผลสําหรับข้อจํากัดนี้คือ ปลายทางข้อมูลเหล่านี้สนับสนุนการดําเนินการตาม SQL ที่จําเป็นสําหรับการรีเฟรชแบบเพิ่มหน่วย เราใช้การดําเนินการลบและแทรกเพื่อแทนที่ข้อมูลในปลายทางข้อมูล ซึ่งไม่สามารถทําได้ควบคู่ไปกับปลายทางข้อมูลอื่น ๆ

ปลายทางข้อมูลต้องได้รับการตั้งค่าเป็นเค้าร่างแบบคงที่

ปลายทางของข้อมูลต้องได้รับการตั้งค่าเป็นสคีมาแบบคงที่ ซึ่งหมายความว่าสคีมาของตารางในปลายทางข้อมูลต้องได้รับการแก้ไขและไม่สามารถเปลี่ยนแปลงได้ ถ้าสคีมาของตารางในปลายทางข้อมูลถูกตั้งค่าเป็นสคีมาแบบไดนามิก คุณจําเป็นต้องเปลี่ยนสคีมาแบบคงที่ก่อนที่คุณจะกําหนดค่าการรีเฟรชแบบเพิ่มหน่วย

วิธีการอัปเดตเดียวที่ได้รับการสนับสนุนในปลายทางข้อมูลคือ replace

วิธีเดียวที่รองรับวิธีอัปเดตในปลายทางข้อมูลคือ replaceซึ่งหมายความว่ากระแสข้อมูลจะแทนที่ข้อมูลสําหรับแต่ละบักเก็ตในปลายทางข้อมูลด้วยข้อมูลใหม่ อย่างไรก็ตาม ข้อมูลที่อยู่นอกช่วงบักเก็ตจะไม่ได้รับผลกระทบ ดังนั้น ถ้าคุณมีข้อมูลในปลายทางข้อมูลที่เก่ากว่าบักเก็ตแรก การรีเฟรชแบบเพิ่มหน่วยจะไม่ส่งผลกระทบต่อข้อมูลนี้ในทางใดทางหนึ่ง

จํานวนสูงสุดของบักเก็ตคือ 50 สําหรับคิวรีเดียวและ 150 สําหรับกระแสข้อมูลทั้งหมด

จํานวนสูงสุดของบักเก็ตต่อคิวรีที่กระแสข้อมูลสนับสนุนคือ 50 ถ้าคุณมีมากกว่า 50 บักเก็ต คุณจําเป็นต้องเพิ่มขนาดบักเก็ต หรือลดช่วงบักเก็ตเพื่อลดจํานวนบักเก็ต สําหรับกระแสข้อมูลทั้งหมด จํานวนสูงสุดของบักเก็ตคือ 150 ถ้าคุณมีมากกว่า 150 บักเก็ตในกระแสข้อมูล คุณจําเป็นต้องลดจํานวนคิวรีรีเฟรชแบบเพิ่มหน่วยหรือเพิ่มขนาดบักเก็ตเพื่อลดจํานวนบักเก็ต

ความแตกต่างระหว่างการรีเฟรชแบบเพิ่มหน่วยใน Dataflow Gen1 และ Dataflow Gen2

ระหว่าง Dataflow Gen1 และ Dataflow Gen2 มีความแตกต่างบางอย่างเกี่ยวกับวิธีการทํางานของการรีเฟรชแบบเพิ่มหน่วย รายการต่อไปนี้อธิบายความแตกต่างหลักระหว่างการรีเฟรชแบบเพิ่มหน่วยในกระแสข้อมูล Gen1 และ Dataflow Gen2

• ขณะนี้การรีเฟรชแบบเพิ่มหน่วยเป็นคุณลักษณะชั้นแรกใน Dataflow Gen2 ในกระแสข้อมูล Gen1 คุณจะต้องกําหนดค่าการรีเฟรชแบบเพิ่มหน่วยหลังจากที่คุณเผยแพร่กระแสข้อมูล ใน Dataflow Gen2 ตอนนี้การรีเฟรชแบบเพิ่มหน่วยเป็นคุณลักษณะชั้นแรกที่คุณสามารถกําหนดค่าได้โดยตรงในตัวแก้ไขกระแสข้อมูล คุณลักษณะนี้ทําให้ง่ายต่อการกําหนดค่าการรีเฟรชแบบเพิ่มหน่วยและลดความเสี่ยงของข้อผิดพลาด
• ในกระแสข้อมูล Gen1 คุณจะต้องระบุช่วงข้อมูลในอดีตเมื่อคุณกําหนดค่าการรีเฟรชแบบเพิ่มหน่วย ใน Dataflow Gen2 คุณไม่จําเป็นต้องระบุช่วงข้อมูลในอดีต กระแสข้อมูลไม่ได้นําข้อมูลใด ๆ ออกจากปลายทางที่อยู่นอกช่วงบักเก็ต ดังนั้น ถ้าคุณมีข้อมูลในปลายทางที่เก่ากว่าบักเก็ตแรก การรีเฟรชแบบเพิ่มหน่วยจะไม่ส่งผลกระทบต่อข้อมูลนี้ในทางใดทางหนึ่ง
• ในกระแสข้อมูล Gen1 คุณจะต้องระบุพารามิเตอร์สําหรับการรีเฟรชแบบเพิ่มหน่วยเมื่อคุณกําหนดค่าการรีเฟรชแบบเพิ่มหน่วย ใน Dataflow Gen2 คุณไม่จําเป็นต้องระบุพารามิเตอร์สําหรับการรีเฟรชแบบเพิ่มหน่วย กระแสข้อมูลจะเพิ่มตัวกรองและพารามิเตอร์เป็นขั้นตอนสุดท้ายในคิวรีโดยอัตโนมัติ ดังนั้น คุณไม่จําเป็นต้องระบุพารามิเตอร์สําหรับการรีเฟรชแบบเพิ่มหน่วยด้วยตนเอง

คำถามที่ถามบ่อย

ฉันได้รับคําเตือนว่าฉันใช้คอลัมน์เดียวกันเพื่อตรวจหาการเปลี่ยนแปลงและการกรอง นี่หมายความว่าอย่างไร

หากคุณได้รับคําเตือนว่าคุณใช้คอลัมน์เดียวกันเพื่อตรวจหาการเปลี่ยนแปลงและการกรอง ซึ่งหมายความว่าคอลัมน์ที่คุณระบุสําหรับการตรวจหาการเปลี่ยนแปลงจะถูกใช้สําหรับกรองข้อมูลด้วย เราไม่แนะนําให้ใช้นี้เนื่องจากอาจนําไปสู่ผลลัพธ์ที่ไม่คาดคิด แต่เราขอแนะนําให้คุณใช้คอลัมน์ที่แตกต่างกันสําหรับการตรวจหาการเปลี่ยนแปลงและการกรองข้อมูล ถ้าข้อมูลเปลี่ยนระหว่างบักเก็ต กระแสข้อมูลอาจไม่สามารถตรวจหาการเปลี่ยนแปลงได้อย่างถูกต้อง และอาจสร้างข้อมูลที่ซ้ํากันในปลายทางของคุณ คุณสามารถแก้ไขคําเตือนนี้ได้โดยใช้คอลัมน์ที่แตกต่างกันสําหรับการตรวจหาการเปลี่ยนแปลงและกรองข้อมูล หรือคุณสามารถละเว้นคําเตือนถ้าคุณแน่ใจว่าข้อมูลไม่เปลี่ยนแปลงระหว่างการรีเฟรชสําหรับคอลัมน์ที่คุณระบุ

ฉันต้องการใช้การรีเฟรชแบบเพิ่มหน่วยกับปลายทางข้อมูลที่ไม่ได้รับการสนับสนุน ฉันควรทำอย่างไร

ถ้าคุณต้องการใช้การรีเฟรชแบบเพิ่มหน่วยกับปลายทางข้อมูลที่ไม่สนับสนุน คุณสามารถเปิดใช้งานการรีเฟรชแบบเพิ่มหน่วยบนคิวรีของคุณ และใช้คิวรีที่สองที่อ้างอิงข้อมูลที่มีลําดับขั้นเพื่อปรับปรุงปลายทางของข้อมูล ด้วยวิธีนี้ คุณยังคงสามารถใช้การรีเฟรชแบบเพิ่มหน่วยเพื่อลดจํานวนข้อมูลที่จําเป็นต้องประมวลผลและดึงข้อมูลจากระบบต้นทาง แต่คุณจําเป็นต้องทําการรีเฟรชทั้งหมดจากข้อมูลที่อยู่ในลําดับขั้นไปยังปลายทางของข้อมูล ตรวจสอบให้แน่ใจว่าคุณตั้งค่าขนาดหน้าต่างและขนาดบักเก็ตอย่างถูกต้องเนื่องจากเราไม่รับประกันว่าข้อมูลในการจัดเตรียมจะถูกเก็บไว้ภายนอกช่วงบักเก็ต

ฉันจะทราบได้อย่างไรว่าคิวรีของฉันเปิดใช้งานการรีเฟรชแบบเพิ่มหน่วยแล้ว

คุณสามารถดูได้ว่าคิวรีของคุณได้เปิดใช้งานการรีเฟรชแบบเพิ่มหน่วยหรือไม่ โดยตรวจสอบไอคอนที่อยู่ถัดจากคิวรีในตัวแก้ไขกระแสข้อมูล ถ้าไอคอนมีรูปสามเหลี่ยมสีน้ําเงิน จะเปิดใช้งานการรีเฟรชแบบเพิ่มหน่วย ถ้าไอคอนไม่มีรูปสามเหลี่ยมสีน้ําเงิน ไม่ได้เปิดใช้งานการรีเฟรชแบบเพิ่มหน่วย

แหล่งข้อมูลของฉันได้รับการร้องขอมากเกินไปเมื่อฉันใช้การรีเฟรชแบบเพิ่มหน่วย ฉันควรทำอย่างไร

เราได้เพิ่มการตั้งค่าที่ช่วยให้คุณสามารถตั้งค่าจํานวนสูงสุดของการประเมินคิวรีแบบขนาน การตั้งค่านี้สามารถพบได้ในการตั้งค่าส่วนกลางของกระแสข้อมูล ด้วยการตั้งค่านี้เป็นตัวเลขที่ต่ํากว่า คุณสามารถลดจํานวนคําขอที่ส่งไปยังระบบต้นทางได้ การตั้งค่านี้สามารถช่วยลดจํานวนคําขอที่เกิดขึ้นพร้อมกันและปรับปรุงประสิทธิภาพของระบบต้นทาง หากต้องการตั้งค่าจํานวนสูงสุดของการดําเนินการคิวรีแบบขนาน ให้ไปที่การตั้งค่าส่วนกลางของกระแสข้อมูล นําทางไปยัง แท็บ สเกล และตั้งค่าจํานวนสูงสุดของการประเมินคิวรีแบบขนาน เราขอแนะนําให้คุณไม่เปิดใช้งานขีดจํากัดนี้ เว้นแต่ว่าคุณจะประสบปัญหากับระบบต้นทาง

ขั้นตอนถัดไป

• ภาพรวมกระแสข้อมูล Gen2
• ตรวจสอบกระแสข้อมูลรุ่น 2