Udemy – Data Engineering Essentials using SQL, Python, and PySpark

Mô tả

Khóa học "Data Engineering Essentials using SQL, Python, and PySpark" là một khóa học đào tạo về kỹ thuật dữ liệu theo hướng dự án sử dụng SQL, Python và PySpark được xuất bản bởi Udemy Academy. Sau khi hoàn thành khóa học này, bạn sẽ có khả năng tạo một pipeline dữ liệu để xử lý và lưu trữ thông tin, cũng như thực hiện các dự án kỹ thuật và phân tích dữ liệu bằng các kỹ thuật và công nghệ đã được đào tạo. Kỹ thuật dữ liệu là quá trình lọc, lưu trữ và xử lý các dữ liệu khác nhau dựa trên nhu cầu và mục tiêu của một dự án hoặc nghiên cứu cụ thể. Kỹ thuật dữ liệu là một khái niệm tổng quát và bao gồm nhiều phân ngành nhỏ. Ở phần đầu của khóa học này, bạn sẽ được làm quen với các nguyên tắc và cơ bản của các ngôn ngữ lập trình Python và SQL, và sau khi giải quyết các bài tập và dự án trong phần này, bạn sẽ chuyển sang các chủ đề tiếp theo và nâng cao hơn.

Những gì bạn sẽ học trong khóa học "Data Engineering Essentials using SQL, Python, and PySpark":

• Xây dựng Data Pipeline với SQL

• Hệ thống quản lý cơ sở dữ liệu Postgres

• Cài đặt ban đầu của cơ sở dữ liệu và thực hiện các thao tác đơn giản trên thông tin như thêm, xóa, cập nhật, v.v.

• Viết các truy vấn và yêu cầu SQL đơn giản

• Lọc, tích hợp và nén dữ liệu bằng SQL

• Tạo chỉ mục và bảng trong môi trường cơ sở dữ liệu bằng các lệnh DDL và các lệnh khác

• Phân vùng và phân loại thông tin trong cơ sở dữ liệu

• Các hàm định sẵn trong SQL như thao tác với giá trị chuỗi, v.v.

• Viết các truy vấn SQL phức tạp và cụ thể với Postgresql

• Nguyên tắc lập trình Python

• Triển khai và thực hiện các thao tác đơn giản trong cơ sở dữ liệu với ngôn ngữ lập trình Python

• Các lệnh điều kiện và vòng lặp trong Python

• Danh sách và tập hợp trong Python

• Các loại dữ liệu và kiểu dữ liệu trong lập trình Python

• Thư viện Map và Reduce trong Python

• Thư viện Pandas

• Cài đặt ban đầu của môi trường phát triển ứng dụng kỹ thuật dữ liệu

• Các loại API dataframe của Spark như select, filter, groupBy, orderBy, v.v.

• Sử dụng các tệp và định dạng khác nhau như Parquet, JSON, CSV, v.v. để xây dựng các truyền dữ liệu

Thông số khóa học:

• Nhà xuất bản: Udemy

• Giảng viên: Durga Viswanatha Raju Gadiraju

• Ngôn ngữ: Tiếng Anh

• Trình độ: Trung cấp

• Số lượng bài học: 624

• Thời lượng: 56 giờ

Yêu cầu đầu vào cho khóa học "Data Engineering Essentials using SQL, Python, and PySpark":

• Laptop có cấu hình khá (tối thiểu 4 GB RAM và bộ vi xử lý Dual Core)

• Đăng ký tài khoản GCP với tín dụng khả dụng hoặc truy cập AWS

• Thiết lập phòng thí nghiệm tự hỗ trợ trên các nền tảng đám mây (bạn có thể phải trả phí đám mây tương ứng trừ khi bạn có tín dụng)

• Bằng cấp về Khoa học Máy tính hoặc Công nghệ Thông tin hoặc kinh nghiệm làm việc trong lĩnh vực CNTT là điều rất được mong đợi