Dataflow คืออะไร
Dataflow คืออะไร
Dataflow เป็นเครื่องมือเพื่อจัดการและแปลงข้อมูล ETL (Extract Transform Load) บน Cloud ด้วยเทคโนโลยีคล้าย Power Query แต่แสดงผลแบบ Visual ทำให้เราสามารถทำการ นำข้อมูลจากแหล่งต่าง ๆ มาทำ ETL ได้ด้วยตัวเอง เพื่องานด้าน Business Intelligence ได้อย่างมีประสิทธิภาพ โดยไม่จำเป็นต้องเขียนโค้ดเป็นแต่อย่างใด
Dataflow สามารถใช้ได้ทั้งใน Data Factory และ Power Platform ได้ โดยหากใช้กับ Power BI จะเรียกว่า Power BI Dataflow
Source : Microsoft
ภาษาที่ใช้ใน Dataflow
Dataflow ใช้ภาษา M (M Language) แต่ผู้สร้าง Dataflow ไม่จำเป็นต้องเขียนภาษา M ได้ เพราะจะมีเครื่องมือในการทำงานในส่วนนี้ให้
ประโยชน์ของ Dataflow ในทางธุรกิจ
- การทำงานที่ไม่จำเป็นต้องใช้การเขียนโค้ด Dataflow ใช้มุมมองทางภาพสำหรับการจัดการข้อมูล ทำให้ผู้ใช้ที่ไม่มีทักษะการเขียนโค้ดสามารถสร้างกระบวนการจัดการข้อมูลที่ซับซ้อนได้
- การจัดการข้อมูลระดับองค์กร Dataflow ช่วยในการย้าย จัดระเบียบ และแปลงข้อมูลในระดับองค์กร สามารถทำงานร่วมกับข้อมูลจากแหล่งข้อมูลที่หลากหลาย
- การปรับเปลี่ยนและการทำความสะอาดข้อมูล (Data Tranformation and Data Cleansing) การปรับเปลี่ยนข้อมูลและการทำความสะอาดข้อมูลเป็นส่วนสำคัญของการจัดการข้อมูล Dataflow ช่วยให้การทำความสะอาดและการปรับเปลี่ยนข้อมูลเป็นไปอย่างรวดเร็วและมีประสิทธิภาพ
- การรวมข้อมูล Dataflow สามารถรวมข้อมูลจากแหล่งที่หลากหลายให้เป็นภาพรวมที่ครอบคลุม ทำให้ธุรกิจสามารถทำการวิเคราะห์ข้อมูลที่ซับซ้อนได้
Dataflow สามารถนำผลลัพธ์ไปใช้ต่อได้ใน Microsoft Power Platform ทั้ง Power BI, Power Apps, Power Automate เป็นต้น
การเริ่มต้นใช้งาน Dataflow
Dataflow จะมีอยู่ทั้งใน Power BI, Data Factory ใน Microsoft Fabric
หากใช้ Power BI ต้องเป็น Pro license ขึ้นไป หรือ Power Apps (per-user or per-app) license
| Feature | Power BI | Power Apps |
| Dataflow authoring with Power Query Online | Yes | Yes |
| Dataflow management | Yes | Yes |
| New connectors | Yes | Yes |
| Standardized schema, built-in support for Common Data Model | Yes | Yes |
| Dataflows data connector in Power BI Desktop | Yes | Yes, using analytical dataflows |
| Dataflow incremental refresh | Power BI Premium only | Yes, using analytical dataflows with Per user Plan |
Reference : Microsoft
Power BI กับ Dataflow Power BI
ช่วยให้ผู้ใช้สามารถสร้างแดชบอร์ดและรายงานที่สวยงาม และเชื่อมต่อกับข้อมูลจากหลายแหล่งอย่างรวดเร็วและง่ายดาย โดยเราสามารถใช้ Dataflow ใน Power BI ช่วยให้คุณสามารถทำงานกับข้อมูลที่ซับซ้อน แปลงข้อมูลและทำความสะอาดข้อมูลก่อนนำเข้าไปยัง Power BI ได้
Dataflow เป็นเครื่องมือสำคัญที่เราสามารถทำการแปลงข้อมูลที่ยังไม่พร้อมใช้งาน เป็นข้อมูลที่พร้อมใช้ สามารถเชื่อมโยงได้ทั้ง Cloud และ On-Premise ซึ่งเหมาะกับข้อมูลที่อยู่บน Cloud เช่น Excel Online, SharePoint List, OneDrive, Azure SQL Database, Power BI Dataset มาก ๆ เพราะเราสามารถตั้งค่าการ Refresh Power BI ได้โดยไม่ต้องติดตั้ง On-Premise Data Gateway อีกด้วย
ปัจจุบัน Power BI สามารถเชื่อมต่อไปยัง Data Flow ได้จากกลุ่ม Power Platform และ Microsoft Fabric ตามรูป
Connect ผ่านกลุ่ม Power Platform
Connect ผ่านกลุ่ม Microsoft Fabric
สำหรับ Power BI Desktop เดือน มิ.ย. 66 เป็นต้น
ตัวอย่างการทำ ETL ด้วย Dataflow
Destination ของ Dataflow
Dataflow ปัจจุบันสามารถกำหนด Destination ที่จะนำผลไปใช้งานได้ดังนี้
- Azure SQL database
- Lakehouse
- Azure Data Explorer
- Warehouse
