ETL

สำรวจโลกแห่งการจัดการข้อมูลด้วยเครื่องมือต่าง ๆ ทั้ง Power Query, Dataflow ของ Power BI และ SQL Server Integration Service (SSIS) โดย ทั้ง 3 เครื่องมือ เป็นเครื่องมือ ETL (Extract Transform Load) ช่วยในงาน Data Engineering ช่วยจัดการข้อมูล สร้างขั้นตอน บันทึกกระบวนการต่าง ๆ ในการทำ Data Cleansing, Data Shaping สร้างการคำนวณ สืบค้นข้อมูลได้

Microsoft Azure Data Factory เป็น บริการบน Cloud ที่จะช่วยในการรวบรวมจากแหล่งข้อมูลต่าง มีความสามารถในการปรับแต่ง ทำความสะอาดข้อมูล ซึ่งเป็นงาน ETL (Extract Transform Load) เพื่อนำข้อมูลไปใช้เพื่อนำไปใช้ต่อ เป็นงาน Data Engineer

Dataflow เป็นเครื่องมือเพื่อจัดการและแปลงข้อมูล ETL (Extract Transform Load) บน Cloud ด้วยเทคโนโลยีคล้าย Power Query แต่แสดงผลแบบ Visual ทำให้เราสามารถทำการ นำข้อมูลจากแหล่งต่าง ๆ มาทำ ETL ได้ด้วยตัวเอง เพื่องานด้าน Business Intelligence ได้อย่างมีประสิทธิภาพ โดยไม่จำเป็นต้องเขียนโค้ดเป็นแต่อย่างใด

Data Factory ช่วยให้คุณสามารถสร้างสรุป, จัดการ, และวางแผนการทำงานสำหรับข้อมูลขนาดใหญ่ คุณสามารถสร้างกระบวนการ ETL (Extract, Transform, Load) และผสานความสามารถของ Power Query และ Dataflow ในการทำงานได้อีกด้วย

ในยุคที่ค่าเงินเฟ้อสูง การดูแลต้นทุน (Cost) เป็นเรื่องสำคัญ เราสามารถใช้ Microsoft Power BI ทำการสร้าง Dashboard เพื่อดึงราคาสินค้าจากเว็บไซต์หลาย ๆ หน้าแล้วนำมารวมกัน เพื่อมาใช้ประเมินต้นทุนในการผลิตให้กับเราได้ และยังสามารถได้ราคาต้นทุนสดใหม่ได้ทุกวัน เพียงแค่ Refresh เท่านั้น

นักวิเคราะห์ข้อมูล (Data Analyst หรือ DA) คือผู้นำข้อมูลจากหลายแหล่งข้อมูลที่รวบรวมไว้ในรูปแบบ Structured Data แล้วโดยใช้ Data Analysis Tool เพื่อสรุปเชิงลึก หา Business Insight หาแนวโน้ม ช่วยธุรกิจในการตัดสินใจหาทางเลือก กำหนดกลยุทธได้ เช่น การลงทุน การลดต้นทุน ราคาขาย การรับพนักงาน การวางแผนการผลิต เป็นต้น เพื่อช่วยสร้างข้อได้เปรียบทางธุรกิจ

วิศวกรข้อมูล (Data Engineer หรือ DE) ทำหน้าที่สร้างชุดข้อมูลที่ง่ายต่อการวิเคราะห์ โดยปรับปรุงข้อมูล (Transform Data) ทำความสะอาดข้อมูล (Data Cleansing) สร้างความน่าเชื่อถือและคุณภาพของข้อมูลด้วยวิธีการต่าง ๆ โดยทำการรวมข้อมูลดิบจากแหล่งข้อมูลต่าง ๆ (Data Source) เพื่อสร้างชุดข้อมูลตามรูปแบบที่ตอบโจทย์ทางธุรกิจ

โดยเทคโนโลยี Power BI นั้นมีความสามารถและเทคโนโลยีที่เกี่ยวข้องในแต่ละส่วนมากมาย ใน #Infographic นี้ได้รวบรวมว่าในแต่ละส่วนมีความสามารถ (Features) อะไรให้เราได้ใช้งาน ไว้ลองดูกันว่าเราได้เกี่ยวข้องกับเครื่องมือใดกันบ้าง เครื่องมือใดยังไม่เคยใช้งาน ทั้งงาน Data Prepration, ETL, Data Model, Visualization, Power BI Service, Administration ได้รวบรวมไว้ให้แล้วใน Infographic นี้

แนะนำการใช้งาน Power BI Report ไปอีกระดับด้วยการใช้งานร่วมกับ SQL Server Integration Service (SSIS) และ SQL Analysis Service (SSAS)

Power Query คือเครื่องมือทำ Data Automation ทำงานด้าน ETL (Extract Transform Load) ข้อมูล ช่วยงานด้าน Data Analysis ของ Excel และ Power BI ช่วยให้เรานำข้อมูลจากแหล่งข้อมูลต่าง ๆ ได้มากมายหลากหลายแหล่ง รวมข้อมูล (Merge) สกัดข้อมูล (Extract) ปรับแต่งข้อมูล ให้ตรงกับข้อมูลที่เราต้องการวิเคราะห์ข้อมูล อย่างอัตโนมัติด้วยเพื่อลดการทำงานซ้ำ ๆ ด้านข้อมูลลง โดยบทความนี้จะมาดูการทำงานของ Power Query กัน

ETL ย่อมาจาก Extract Transform Load ซึ่งเป็นลำดับของกลไก ETL เพื่อนำข้อมูลจากแหล่งข้อมูลที่ยังไม่พร้อมนำมาใช้งานเพื่อการวิเคราะห์มาทำให้พร้อมใช้งาน (Data Preperation) โดยอายุอานามของชุดกลไก ETL นี้ไม่ต่ำกว่า 50 ปีมาแล้ว เกิดมาพร้อมกับการบัญญัติศัพท์ “Data Warehouse” ขึ้นโดย Bill Inmon - Wikipedia ตอนกลางยุค 70

ภาษา M (M Language) เป็นภาษาสคริปต์ที่ทำงานในหลังฉากเมื่อเราสร้างสูตรด้วย Power Query ใน Power BI และ Excel ถูกสร้างโดย Microsoft หน้าที่หลักของภาษา M คือการแปลงข้อมูล (Data Transformation) การ ETL (Extract Transform Load)

บทความนี้น่าจะออกไล่เลี่ยกันกับบทความ “รู้ได้อย่างไรว่า Microsoft SQL Server มีประสิทธิภาพแย่ลง” เพราะเขียนในช่วงเวลาเดียวกัน ผู้เขียนได้พูดถึงแหล่งข้อมูลของค่าประสิทธิภาพว่ามีอะไรกันบ้าง อยากให้ผู้อ่านลองอ่านบทความนั้นก่อนเพื่อเป็นปูพื้นความรู้