Data Science mini course

Mini course này được thiết kế dành cho những bạn còn “chân ướt chân ráo” bước vào lĩnh vực Data Science (DS). Các chủ đề sẽ xoay quanh tập dữ liệu từ cuộc thi Kaggle Home Credit Default Risk, việc này giúp cho người học tập trung kiến thức của mình vào trong ngữ cảnh là một cuộc thi. Từ đó, ta sẽ có động lực cũng như ghi nhớ tốt hơn các syntax và tình huống xử lý cụ thể trong ngôn ngữ lập trình Python.

Mỗi chương được trình bày bằng nhiều notebooks. Trong mỗi notebooks, có những đoạn code và phần ghi chú bằng Tiếng Việt cho người mới dễ theo dõi. Bên cạnh là Tiếng Anh được dùng trong những comment đơn giản. Ta có thể học bằng cách nhập lại đoạn code trên máy của mình và quan sát phản hồi. Những cú pháp khó hiểu, ta có thể tra Google để tìm hiểu thêm thông tin. Mỗi tuần, tôi sẽ cố gắng hoàn tất một chương cho đến lúc hoàn thành mini course này.

Kết thúc series, tôi hy vọng mọi người sẽ phát triển được các kỹ năng thực tế vào trong công việc, cải thiện khả năng quan sát và phân tích dữ liệu, hoặc có thể dùng course này làm tài nguyên training cho team DS của mình.

Học một ngôn ngữ lập trình mới như thế nào

Có quá nhiều thứ để học mà thời gian thì quá ít

Ta nên học gì trong vô vàn thứ trong thế giới lập trình? Câu trả lời đó là học những thứ ít thay đổi: các khái niệm và những nguyên lý.

• Lập trình là tư duy Input – Process – Output.
• Lập trình là mô hình hoá (trừu tượng hoá) bài toán trong thế giới thật thành bài toán mà máy tính có thể xử lý được.
• Mô hình hoá từ cấp độ thấp (data types: numerical, text, boolean) đến cấp độ cao (object: list, tuple, dictionary).
• Mỗi cấp độ sẽ có các phép toán tương ứng (data types: +,-,*,/,%. object: properties, methods).
• Cấu trúc dữ liệu Queue hoạt động theo nguyên lý FIFO (First In First Out).
• Cấu trúc dữ liệu Stack hoạt động theo nguyên lý LIFO (Last In First Out).
• etc

Từ những phát biểu trên, ta sẽ thấy các thành phần mà ngôn ngữ lập trình nào cũng có:

• Kiểu dữ liệu và các phép toán cơ bản (numerical, text, boolean).
• Điều kiện rẽ nhánh (if, elif, else).
• Vòng lặp (for, while).
• Hàm.
• Cấu trúc dữ liệu (list, tuple, dictionary).
• Giải thuật (tìm kiếm, sắp xếp)

Khi làm việc với những project lớn, ta cần áp dụng những nguyên tắc sau để phần mềm dễ phát triển, bảo trì và mở rộng:

• Đặt tên biến (UpperCamelCase, lowercase_separated_by_underscores, datatype_*) dễ hiểu và dễ debug.
• DRY (Don’t Repeat Yourself): những thao tác lặp đi lặp lại nên viết hàm hoặc đóng gói lại để sử dụng ở nhiều nơi.
• KISS (Keep It Simple, Stupid): mỗi thao tác nên cô lập với các thành phần khác trong project, các hàm xử lý nên ngắn gọn không quá dài dòng.
• Lập trình hướng đối tượng (OOP: Object-oriented programming) thì có nguyên lý APIE (Abstraction, Polymorphism, Inheritance, Encapsulation).

Kết, những thứ phức tạp luôn được phát triển dựa trên những điều cơ bản. Khi đợt sóng của công nghệ ập đến, có trong tay những nguyên lý, thay vì bị cuốn đi, ta sẽ lướt trên những ngọn sóng và làm chủ xu hướng đang là.

Syllabus

Syllabus này sẽ được cập nhật mỗi khi có bài học mới. Ngoài các notebook hướng dẫn, ta có thể tham khảo các cheatsheet dùng để code nhanh khi cần.

Chapter	Description	Notebooks
Python	Học ngôn ngữ lập trình mà Data Scientist nào cũng dùng	Giới thiệu jupyter notebooks Hello Python Python cheatsheet NumPy cơ bản Numpy cheatsheet NumPy nâng cao (optional)
Pandas and SQL	Biến đổi và rút trích thông tin quan trọng từ dữ liệu	Pandas cheatsheet Pandas vs SQL Explore data analysis Explore data với Pandas Explore data với Pandas profile
Data Visualization	Biểu diễn biểu đồ, đồ thị, giúp quan sát dữ liệu trực quan hơn	Matplotlib cơ bản Matplotlib cheatsheet Một số chart dùng trong project Ví dụ visualize tập dữ liệu train
Feature engineering (FE)	Những kỹ thuật cơ bản để tạo feature cho predictive model	FE for application table Base line features: application FE for bureau FE for bureau application FE for previous application FE for POS CASH FE for installments payments FE for credit card balance Tổng hợp features
Modeling	Cách phân chia tập dữ liệu để train và test. Sau đó, submit kết quả lên Kaggle.	Modeling với XGBoost Train/validation/test split. Training model and predict.
Advanced analysis	Các bước xử lý nâng cao để tăng độ chính xác của mô hình	Feature evaluation and model tuning Feature evaluation Feature selection functions Feature selection notebook XGBoost tuning Weight of Evidence and Information Value (optional)
Xử lý Big data với Spark	Công cụ giúp việc khai thác Big data được hiệu quả hơn	RDD cơ bản Spark Dataframe cơ bản Spark vs SQL Explore data with Spark

Advertisement