Data Cleansing

สำรวจโลกแห่งการจัดการข้อมูลด้วยเครื่องมือต่าง ๆ ทั้ง Power Query, Dataflow ของ Power BI และ SQL Server Integration Service (SSIS) โดย ทั้ง 3 เครื่องมือ เป็นเครื่องมือ ETL (Extract Transform Load) ช่วยในงาน Data Engineering ช่วยจัดการข้อมูล สร้างขั้นตอน บันทึกกระบวนการต่าง ๆ ในการทำ Data Cleansing, Data Shaping สร้างการคำนวณ สืบค้นข้อมูลได้

วิศวกรข้อมูล (Data Engineer หรือ DE) ทำหน้าที่สร้างชุดข้อมูลที่ง่ายต่อการวิเคราะห์ โดยปรับปรุงข้อมูล (Transform Data) ทำความสะอาดข้อมูล (Data Cleansing) สร้างความน่าเชื่อถือและคุณภาพของข้อมูลด้วยวิธีการต่าง ๆ โดยทำการรวมข้อมูลดิบจากแหล่งข้อมูลต่าง ๆ (Data Source) เพื่อสร้างชุดข้อมูลตามรูปแบบที่ตอบโจทย์ทางธุรกิจ

ETL เราสามารถใช้งานได้ทั้ง Excel, Power BI และ SQL Server โดยจะมาเปรียบเทียบให้เห็นว่า ETL ของ Excel และ SQL Server แตกต่างกันอย่างไร

Power Query คือเครื่องมือทำ Data Automation ทำงานด้าน ETL (Extract Transform Load) ข้อมูล ช่วยงานด้าน Data Analysis ของ Excel และ Power BI ช่วยให้เรานำข้อมูลจากแหล่งข้อมูลต่าง ๆ ได้มากมายหลากหลายแหล่ง รวมข้อมูล (Merge) สกัดข้อมูล (Extract) ปรับแต่งข้อมูล ให้ตรงกับข้อมูลที่เราต้องการวิเคราะห์ข้อมูล อย่างอัตโนมัติด้วยเพื่อลดการทำงานซ้ำ ๆ ด้านข้อมูลลง โดยบทความนี้จะมาดูการทำงานของ Power Query กัน

ข้อมูลที่เราจะต้องทำการสรุปผล บางครั้งอาจจะมีข้อมูลมากกว่า 1 ตารางโดยมีความสัมพันธ์กัน คำสั่งหนึ่งที่จะใช้หาค่าใน Excel เราจะใช้ฟังก์ชั่น VLookup ซึ่งหากทำงานกับข้อมูลจำนวนมาก ก็จะรู้สึกว่า Excel มีความอืด หนืดมาก ซึ่งแนวทางในตัวอย่างนี้จะใช้ Merge Query ใน Power Query เพื่อทำการแก้ไขปัญหา โดยทำการ ETL ให้ข้อมูล Lookup เสร็จเรียบร้อย ทำให้ข้อมูลที่ได้ไม่มีสูตร การทำงานจะรวดเร็วและ ไฟล์จะเล็กลงอีกด้วย

Power Query เป็นเครื่องมือสำหรับงานด้าน Business Intelligence ช่วยทำเรื่อง Data Cleansing, Data Shaping, Data Corrector คือจะช่วยในการทำความสะอาดข้อมูล ปรับปรุงข้อมูลที่มาจากหลากหลายแหล่ง หลากหลายรูปแบบให้มีความพร้อมในการวิเคราะห์ข้อมูลด้วยเครื่องมือต่าง ๆ ในอนาคต โดย Microsoft Power Query สามารถเรียกใช้ได้ทั้งใน Power BI และใน Microsoft Excel ซึ่ง Microsoft Excel 2016, Excel 2019, Office 365 เป็นต้นมาจะมี Power Query ติดตั้งมาด้วย