Data Engineer

Data Engineer – Kỹ sư dữ liệu là làm gì?

Một kỹ sư dữ liệu thường xây dựng cơ sở hạ tầng, hoặc khuôn khổ cần thiết để lưu trữ và xuất dữ liệu từ app và system tạo ra bởi software engineers. Các kỹ sư làm việc về khía cạnh kiến trúc của dữ liệu, chẳng hạn như thu thập dữ liệu, lưu trữ dữ liệu, quản lý dữ liệu trong nhiều nhiệm vụ khác nhau. Trọng tâm chính của các kỹ sư dữ liệu là quản lý cơ sở dữ liệu và công nghệ dữ liệu lớn-Big data. Đáng chú ý là việc lưu trữ dữ liệu là một lĩnh vực cụ thể đáng quan tâm khi khai thác dữ liệu.​

Công việc của vai trò này bao gồm:

  • Cấu trúc dữ liệu nâng cao
  • Điện toán phân tán (distributed computing)
  • Lập trình đồng thời (concurrent programming)
  • Kiến thức về một số công cụ mới: Hadoop, Spark, Kafka, Hive, v.v.
  • Tạo ETL/data pipelines

Một Kỹ sư dữ liệu-Data Engineer cần có nền tảng kiến thức gì?

  • Bằng cấp đã được chứng nhận về khoa học máy tính hoặc công nghệ thông tin.
  • Giấy chứng nhận của các công ty công nghệ hàng đầu như Google và IBM

Những yêu cầu kỹ thuật cần có của một Data Engineer – Kỹ sư dữ liệu?

  • Kiến thức sâu rộng về SQL( Structured Query Language) và NoSQL-mô hình cơ sở dữ liệu hoàn toàn khác với SQL
  • Công cụ để tìm hiểu để quản lý số lượng lớn dữ liệu (Apache Hadoop, Apache Hive, Apache Spark)

Khi nói đến việc lựa chọn các công cụ dữ liệu lớn-Big Data thì các kỹ sư dữ liệu nên xem xét các khía cạnh linh hoạt và công cụ nào cần thiết để lựa chọn cho phù hợp.​

Data Roles And Skill Sets:

Nguồn