Data Engineer คือใคร ?

วิศวกรข้อมูล (Data Engineer หรือ DE)  ทำหน้าที่สร้างชุดข้อมูลที่ง่ายต่อการวิเคราะห์ โดยปรับปรุงข้อมูล (Transform Data) ทำความสะอาดข้อมูล (Data Cleansing) สร้างความน่าเชื่อถือและคุณภาพของข้อมูลด้วยวิธีการต่าง ๆ โดยทำการรวมข้อมูลดิบจากแหล่งข้อมูลต่าง ๆ (Data Source) เพื่อสร้างชุดข้อมูลตามรูปแบบที่ตอบโจทย์ทางธุรกิจ อีกทั้งยังพัฒนาสถาปัตยกรรมที่ใช้ดึงข้อมูลและการแปลงข้อมูลต่าง ๆ และทดสอบเพื่อการสร้างแบบจำลองในการนำไปใช้ทำนาย คาดการณ์ (Forecast) ตอบโจทย์กับทางธุรกิจให้กับองค์กร

 

หน้าที่ ความรับผิดชอบ ของ Data Engineer

• จัดระเบียบข้อมูลดิบ นำข้อมูลมาทำความสะอาด (Data Cleansing + Shaping + ETL)
• รวมข้อมูลดิบจากแหล่งข้อมูลต่าง ๆ
• การรวบรวมข้อมูลที่มีโครงสร้าง (Structured Data) และไม่มีโครงสร้าง (Unstructured Data)
• หาวิธีการปรับปรุงคุณภาพของข้อมูล และสร้างความน่าเชื่อถือของข้อมูล
• สร้างระบบข้อมูล และ Pipelines ของข้อมูล
• จัดเตรียมข้อมูลสำหรับการสร้างแบบจำลอง
• สร้างอัลกอริทึมและสร้างต้นแบบ
• ประเมินความต้องการและวัตถุประสงค์ทางธุรกิจ
• ดูแนวโน้มและ Patterns
• วิเคราะห์นำข้อมูลที่ซับซ้อนและรายงานผล
• สร้างเครื่องมือและโปรแกรมในการวิเคราะห

ทักษะที่สำคัญ (Hard Skills) ของ Data Engineer

• ทักษะดานคณิตศาสตร์ และตัวเลข ในระดับดี
• ทักษะด้านสถิติ
• ประสบการณ์ตรงกับการออกแบบฐานข้อมูล SQL
• เข้าใจเรื่องสคริปต์และเว็บไซต์ เช่น json, xml, java script, html5
• เข้าใจกระบวนการ ETL และการใช้เครื่องมืออย่าง SSIS, Power Query
• สามารถใช้งานเครื่องมือในการสร้างรายงาน สร้าง Dashboard เช่น Power BI, Tableau , Qlik
• ความเชี่ยวชาญด้านเทคนิคด้วยโมเดลข้อมูล การทำเหมืองข้อมูล (Data Mining)
• ความรู้เกี่ยวกับภาษาโปรแกรม (เช่น Python, Java หรือ .NET)

Dowload Data Engineer Infographic (4000 px.)