Góp nhặt kinh nghiệm làm nghề Data scientist

A good data scientist knows how to do something really well, but a great data scientist can do “something of everything.” From raw data all the way to shining in front of C-level executives, a great data scientist has the skills to architect data systems, build applications, perform modeling and machine learning and wrap up the results in a clear (and quickly iterable) manner. From data models to ETL to databases to distributed algorithms and learning, this book has you covered.

Data Science with Java

Qua thời gian làm việc cũng như tìm tòi tài liệu, sách báo về machine learning, nếu vai trò của bạn là Data Scientist/Data Engieer/Data Analyst thì phần lớn bạn sẽ nhận được những chia sẻ kinh nghiệm bên dưới. Trong bài viết này, mình sẽ tổng hợp lại những kinh nghiệm trong ngành Data Science để dễ dàng tham khảo sau này.

Modern data scientist

Tuyển dụng

• Ở Việt Nam, muốn làm Data Scientist bạn phải có bằng PhDs hay Master và Master nếu chưa có kinh nghiệm thực tế về Big Data thì cũng không được làm. Do vậy, bạn hãy đi từ thấp lên cao, từ vị trí technical như Data Engineer hay Data Analyst  để tiếp xúc dần dần với dự án thực tế rồi sau đó nâng cấp mình lên thành Data Scientist.
• Ở Việt Nam, khi phỏng vấn về Data Scientist, bạn cần phải giỏi cấu trúc dữ liệu và giải thuật cũng như lập trình vì họ đòi hỏi cao về khả năng giải quyết vấn đề, tối ưu hóa hệ thống. Do đó, hãy dành thời gian ôn lại các khái niệm như Dynamic Programming, Recursive Programming, Combinatorial optimization cũng như tập code lại các vấn đề như chuỗi Fibonacci hay Knapsack.
• Bạn cần một team để có thể hoàn thành dự án về Data science. Bởi vì một người có bằng PhDs hay Master cũng không thể nào thành thạo về kĩ thuật cài đặt hệ thống như Hadoop hay Spark, không thể có kinh nghiệm nhiều như các chuyên gia phát triển phần mềm và quản lý dự án. Bạn không thể cùng lúc ôm xuể được tất cả mọi lĩnh vực, điều này chỉ dẫn đến thật bại của dự án mà thôi.

Làm việc

• Dự án Data Science cần có các thành viên sau trong nhóm:
  • Algorithms team: những chuyên gia về thuật toán, thường có bằng Phd/Master trong lĩnh vực khoa học máy tính và thống kê, kĩ năng làm việc với R, Python, thuật toán, và Machine learning.
  • Big Data team: thu thập, tiền xử lý và quản trị dữ liệu Big Data (Extract, Transform, Load), chiếm 80% trong quá trình phát triển.
  • Domain Experts: những chuyên gia về mô hình kinh doanh, thường có bằng MBA, đảm bảo những phân tích và nghiên cứu được đưa vào sử dụng đúng với mục tiêu kinh doanh của doanh nghiệp.
  • Visualization and Design team: thiết kế và trình diễn mô hình dữ liệu hay dự đoán sao cho người sử dụng có thể quan sát một cách trực quan và nhanh chóng nhất để có thể đưa ra quyết định một cách hiệu quả.
  • Product Managers: người đảm bảo tiến độ của dự án, tập hợp và điều phối tiến trình làm việc của mọi người.
• Bạn phải hiểu được ý nghĩa của tập dữ liệu muốn nói gì, điều này rất quan trọng. Đây là một nghệ thuật chứ chưa liên quan gì đến thuật toán hay kĩ thuật lập trình.
• Dù có nhiều công cụ hay nhiều phương pháp đi chăng nữa, nếu bạn không biết được bài toán muốn giải và làm thế nào sử dụng tập dữ liệu hiện tại để giải quyết thì mọi thứ cũng bằng thừa.
• Bạn cần biết về kĩ thuật phần mềm để có thể xây dựng được một hệ thống mang lại trải nghiệm tốt nhất tại đúng thời điểm cho người sử dụng.
• Phần lớn 90% công việc của bạn là tinh chỉnh và làm sạch dữ liệu.
• Cẩn trọng khi lựa chọn thu thập dữ liệu từ các nguồn: website analytics, social media data, sensor data, machine log data, media, business apps.
• Công nghệ dữ liệu phân tán Hadoop/Spark được dùng để xây dựng mô hình dự đoán với tốc độ cao gần như real-time. Mô hình kết quả sẽ được lưu trữ tại cơ sở dữ liệu NoSQL như MongoDB, Cassandra cho các tác vụ truy vấn (Pig, Hive, SQL-like). Ta sẽ lên lịch cập nhật mô hình định kỳ theo ngày hay tuần.
• Nên sử dụng dịch vụ cloud computing như Amazon Web Service, Databricks thay vì tốn nhiều thời gian và chi phí để mua máy móc thiết bị phục vụ cho phân tích Big Data. Mà các máy móc này thường lỗi thời rất nhanh, ta nên sử dụng dịch vụ cloud trả phí theo dung lượng sử dụng, hoặc theo sức mạnh phần cứng.
• Sử dụng github, bitbucket, hay sourceforge để lưu lại các tài liệu phân tích dữ liệu của mình và chia sẻ cho cộng đồng.
• Bạn không cần phải biết lập trình Java để tiếp cận với Hadoop. Ta đơn giản hóa tiến trình bằng cách sử dụng Pig hoặc Hive. Trong đó, 10 dòng code của Pig = 200 dòng code của Java.
• Các dự án Kaggle không tạo nên thế mạnh cho Resume của bạn:
  • Bạn không có gì nổi bật trừ khi bạn đạt vị trí top 5 trong bảng xếp hạng.
  • Bạn không chứng minh được kĩ năng phân tích và xử lý dữ liệu của mình. Bởi vì các tập dữ liệu của Kaggle đều đã được tiền xử lý để giúp các Data scientist tập trung nhiều hơn vào xây dựng mô hình dự đoán.
  • Bạn không cho thấy được sáng kiến của mình trong giải quyết vấn đề thực tế. Mọi ý tưởng đều đã được Kaggle đặt ra và bạn chỉ có việc đi giải quyết các bài toán này. Trong thực tế, việc xác định được các bài toán cần giải là một bước quan trọng và tốn rất nhiều thời gian.
  • Hầu hết các dự án bạn bắt tay vào làm đều không liên quan đến lĩnh vực của công ty bạn muốn apply. Ví dụ, công ty bạn đang cần xây dựng hệ thống recommendation system nhưng bạn chỉ show được các dự án về xử lý ảnh y khoa.
• Bạn dễ bị sa thải khi:
  • Không thích làm việc nhóm, nghĩ rằng một mình có thể làm hết mọi thứ.
  • Ngạo mạn, không chịu học hỏi, tiếp thu những ý kiến đóng góp của đồng nghiệp.
  • Gửi đến sếp những báo cáo dài dòng như tiểu thuyết làm mất thời gian.
  • Nhàm chán khi làm những tác vụ liên quan đến tiền xử lý dữ liệu.
  • Năng suất công việc không xứng đáng với mức lương bạn được trả.

Học tập và trau dồi

• Học, học nữa, học mãi để trau dồi nhiều kiến thức và kĩ năng liên quan đến ngành bùng nổ nhanh chóng như Data science này.
• Biết thật kĩ một vài thuật toán sẽ tốt hơn rất nhiều khi chỉ biết sơ sơ thật nhiều thuật toán: nếu bạn biết về linear regression, k-means clustering, hay logistic regression và có thể giải thích, diễn giải mạch lạc các kết quả của thuật toán, cũng như có thể cài đặt từ đầu đến cuối dự án bằng các thuật toán này, thì bạn sẽ được đánh giá cao hơn những người biết rất nhiều thuật toán nhưng không thể áp dụng chúng vào đâu.
• Khi áp dụng một thuật toán machine learning nào đó, hầu như bạn chỉ cần sử dụng các thư viện đã cài đặt sẵn. Hiếm khi bạn phải code lại từ đầu thuật toán SVM vì nó tốn rất nhiều thời gian.
• Học thông qua thực hành, tốt nhất là qua một dự án nhỏ sẽ giúp bạn tăng tốc việc học gấp 10 lần so với việc chỉ đọc mớ lý thuyết từ các chương sách như Linear algebra, Statistics, Database, Programming, … hay ngồi xem video hàng giờ liền từ các chương trình online như Coursera, Udemy, …
• Để bắt đầu một dự án, cách đơn giản nhất là tìm cho mình một tập dữ liệu yêu thích như Iris sau đó cố gắng trả lời các câu hỏi như làm thế nào để phân lớp các loài hoa khi chỉ biết một vài thuộc tính… Một số nguồn để download tập dữ liệu: 100+ Interesting Data Sets for Statistics, Datasets subreddit, UCI machine learning repository.
• Hãy bắt đầu viết blog, post các kết quả phân tích dữ liệu mà mình đã tìm tòi tuần qua. Việc này giúp bạn thu được kĩ năng trình bày cũng như khích lệ bản thân để tiếp tục học hỏi. “If you can’t explain it simply, you don’t understand it well enough.” – Albert Einstein. Do đó, nếu bạn có thể giải thích một cách đơn giản, dễ hiểu các lý thuyết phức tạp cho mọi người thì bạn đã hiểu vấn đề đó một cách thấu đáo.
• Theo dõi các blog hay trang web như kdnuggets, oreilly, datasciencecentral, insidebigdata, Quora, DataTau, machine learning subreddit, Edwin Chen, International Journal of Forecasting, UC Berkeley Social Lab, Nervana.
• Thử tham gia các cuộc thi trên Kaggle để làm quen với những bài toán thực tế mà các doanh nghiệp đặt ra.
• “Học thầy không tày học bạn”. Hãy lập một nhóm riêng của bạn về data science, mỗi tuần chia sẻ kiến thức và kinh nghiệm với nhau, bạn sẽ học được rất nhiều điều mới mẻ cũng như tiết kiệm nhiều thời gian tìm tòi.
• Thử thách bản thân với tập dữ liệu Big data: bạn sẽ học hỏi được thêm những kiến thức cũng như các kĩ năng làm việc trên các hệ thống phân tán và sử lý song song như Hadoop, Spark, Mahout, YARN, HBase, Kudu, MapReduce, Hive, Pig, …
• Trau dồi kiến thức bản thân thông qua các thuật toán machine learning tiên tiến nhất hiện nay như Deep learning, Topic modeling, Word2vec, On-line learning, …
• Hãy hiểu điểm mạnh trong việc học của mình để tiếp cận data science nhanh hơn. Nếu bạn có óc tư duy lý thuyết tốt thì bạn có thể tìm đọc cùng lúc rất nhiều cuốn sách về học thuật để trau dồi kiến thức của mình. Nếu bạn là người thiên về kĩ thuật thì các tutorial step-by-step, các dự án nhỏ, hay học hỏi kinh nghiệm từ bạn bè của mình sẽ không phải là một ý kiến tồi.
• Những trang web giúp bạn tiếp cận data science thông qua thực hành: Dataquest, Datacamp.

Infographs

Modern data science

Nguồn tham khảo

• Sách
  • A Practitioner’s Guide to Business Analytics
  • Data Scientists at Work
  • Using R for survival analysis and basic regression
  • The Human Face of Big Data
  • Big Data: A Revolution that will Transform how we Live, Work and Think
  • Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie or Die
  • Pattern Recognition and Machine Learning
  • Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World 1st Edition
  • Smart Cities – Big Data, Civic Hackers, and the Quest for a New Utopia
  • Hadoop, the Definitive Guide
  • The Elements of Statistical Learning: Data Mining, Inference, and Prediction
  • MapReduce Design Patterns: Building Effective Algorithms and Analytics for Hadoop and Other Systems
  • Python for Data Analysis
  • Practical Data Science with R
  • Future Crimes
  • Internet of Things – Home Projects for Raspberry Pi, Arduino and Beaglebones Black
  • Building Data Science Teams
  • Visualize This: The FlowingData Guide to Design, Visualization, and Statistics 1st Edition
• Blogs
  • 10 More lessons learned from building real-life Machine Learning systems
  • Bigtable: A Distributed Storage System for Structured Data
  • A Few Useful Things to Know about Machine Learning
  • Random Forests
  • A Relational Model of Data for Large Shared Data Banks
  • Map-Reduce for Machine Learning on Multicore
  • Pasting Small Votes for Classification in Large Databases and On-Line
  • Recommendations Item-to-Item Collaborative Filtering
  • Recursive Deep Models for Semantic Compositionality Over a Sentimen…
  • Spanner: Google’s Globally-Distributed Database
  • Megastore: Providing Scalable, Highly Available Storage for Interac…
  • F1: A Distributed SQL Database That Scales
  • APACHE DRILL: Interactive Ad-Hoc Analysis at Scale
  • A New Approach to Linear Filtering and Prediction Problems
  • Top 10 algorithms on Data mining
  • The PageRank Citation Ranking: Bringing Order to the Web
  • MapReduce: Simplified Data Processing on Large Clusters
  • The Google File System
  • Amazon’s Dynamo
  • How to detect spurious correlations, and how to find the …
  • Automated Data Science: Confidence Intervals
  • 16 analytic disciplines compared to data science
  • From the trenches: 360-degree data science
  • 10 types of regressions. Which one to use?
  • Practical illustration of Map-Reduce (Hadoop-style), on real data
  • Jackknife logistic and linear regression for clustering and predict…
  • A synthetic variance designed for Hadoop and big data
  • Fast Combinatorial Feature Selection with New Definition of Predict…
  • Internet topology mapping
  • 11 Features any database, SQL or NoSQL, should have
  • 10 Features all Dashboards Should Have
  • Clustering idea for very large datasets
  • Hidden decision trees revisited
  • Correlation and R-Squared for Big Data
  • What Map Reduce can’t do
  • Excel for Big Data
  • Fast clustering algorithms for massive datasets
  • The curse of big data
  • Interesting Data Science Application: Steganography
  • Types of Analytics: descriptive, predictive, prescriptive analytics
  • 13 Tips to make you awesome in Data Science / Analytics Jobs
  • 9 Points For Data Scientists
  • 4 easy steps to becoming a data scientist
  • 13 Teds videos

Advertisement