Data Transformation

สำรวจโลกแห่งการจัดการข้อมูลด้วยเครื่องมือต่าง ๆ ทั้ง Power Query, Dataflow ของ Power BI และ SQL Server Integration Service (SSIS) โดย ทั้ง 3 เครื่องมือ เป็นเครื่องมือ ETL (Extract Transform Load) ช่วยในงาน Data Engineering ช่วยจัดการข้อมูล สร้างขั้นตอน บันทึกกระบวนการต่าง ๆ ในการทำ Data Cleansing, Data Shaping สร้างการคำนวณ สืบค้นข้อมูลได้

ETL เราสามารถใช้งานได้ทั้ง Excel, Power BI และ SQL Server โดยจะมาเปรียบเทียบให้เห็นว่า ETL ของ Excel และ SQL Server แตกต่างกันอย่างไร

ภาษา M (M Language) เป็นภาษาสคริปต์ที่ทำงานในหลังฉากเมื่อเราสร้างสูตรด้วย Power Query ใน Power BI และ Excel ถูกสร้างโดย Microsoft หน้าที่หลักของภาษา M คือการแปลงข้อมูล (Data Transformation) การ ETL (Extract Transform Load)

ข้อมูลที่เราจะต้องทำการสรุปผล บางครั้งอาจจะมีข้อมูลมากกว่า 1 ตารางโดยมีความสัมพันธ์กัน คำสั่งหนึ่งที่จะใช้หาค่าใน Excel เราจะใช้ฟังก์ชั่น VLookup ซึ่งหากทำงานกับข้อมูลจำนวนมาก ก็จะรู้สึกว่า Excel มีความอืด หนืดมาก ซึ่งแนวทางในตัวอย่างนี้จะใช้ Merge Query ใน Power Query เพื่อทำการแก้ไขปัญหา โดยทำการ ETL ให้ข้อมูล Lookup เสร็จเรียบร้อย ทำให้ข้อมูลที่ได้ไม่มีสูตร การทำงานจะรวดเร็วและ ไฟล์จะเล็กลงอีกด้วย

Power Query เป็นเครื่องมือสำหรับงานด้าน Business Intelligence ช่วยทำเรื่อง Data Cleansing, Data Shaping, Data Corrector คือจะช่วยในการทำความสะอาดข้อมูล ปรับปรุงข้อมูลที่มาจากหลากหลายแหล่ง หลากหลายรูปแบบให้มีความพร้อมในการวิเคราะห์ข้อมูลด้วยเครื่องมือต่าง ๆ ในอนาคต โดย Microsoft Power Query สามารถเรียกใช้ได้ทั้งใน Power BI และใน Microsoft Excel ซึ่ง Microsoft Excel 2016, Excel 2019, Office 365 เป็นต้นมาจะมี Power Query ติดตั้งมาด้วย

Power Query เป็นเครื่องมือในการทำงานกับข้อมูล เพื่อแปลงข้อมูล (Data Transformation) ที่ไม่พร้อมใช้งาน ให้พร้อมใช้งาน โดยสามารถทำงานได้อัตโนมัติ โดยสามารถทำงานกับหลายแหล่งข้อมูล (Multi Source) ได้