Nguồn gốc của công việc phân tích dữ liệu: Từ Kim tự tháp Ai Cập đến Quy trình Phân tích Hiện đại

Trong thế giới hiện đại, khái niệm “phân tích dữ liệu” dường như chỉ mới nổi lên, gắn liền với công nghệ cao và những thuật ngữ phức tạp. Nhưng liệu bạn có biết, hành trình ghi chép và phân tích dữ liệu của con người đã có từ hàng ngàn năm trước? Mặc dù không ai có thể xác định chính xác thời điểm con người bắt đầu ghi lại thông tin về thế giới xung quanh, nhưng một điều chắc chắn: đó là một trong những ý tưởng vĩ đại và thông minh nhất của nhân loại.

I. Ghi chép cổ xưa: Hạt mầm của Phân tích Dữ liệu

Thật vậy, hạt giống của phân tích dữ liệu đã được gieo mầm từ thời Ai Cập cổ đại, gắn liền với nghệ thuật thống kê. Các nhà khảo cổ học thường chỉ ra sự khởi đầu của thống kê trong các dự án vĩ đại như việc xây dựng kim tự tháp. Để hoàn thành những kỳ quan kiến trúc này, người Ai Cập cổ đại không chỉ là những bậc thầy xây dựng mà còn là những chuyên gia xuất sắc trong việc tổ chức và quản lý dữ liệu.

Họ cẩn thận ghi lại các tính toán phức tạp, lý thuyết kiến trúc và thậm chí là danh sách vật tư trên giấy papyri – mà ngày nay, chúng ta có thể coi là những ví dụ sơ khai nhất của bảng tính và danh sách kiểm tra. Chính những “người ghi chép” xuất sắc này đã đặt nền móng cho các quy trình kỹ thuật và hiệu quả mà các nhà phân tích dữ liệu hiện đại vẫn đang tiếp nối và phát triển.

II. Quy trình Phân tích Dữ liệu: Từ dữ liệu thô đến quyết định hành động

Từ những ghi chép cổ xưa đến kỷ nguyên số, một điều luôn đúng là: Để dữ liệu thực sự tạo ra giá trị, cần có một quy trình. Phân tích dữ liệu chính là cầu nối giúp các chuyên gia chuyển từ “dữ liệu thô” sang “quyết định hành động”. Dù bạn là ai trong một tổ chức, việc hiểu và áp dụng một quy trình làm việc rõ ràng ngay từ đầu sẽ là chìa khóa thành công.

Mặc dù không có một “công thức” hay “kiến trúc” duy nhất nào mà mọi nhà phân tích dữ liệu đều tuân theo một cách cứng nhắc, nhưng có những nguyên tắc cơ bản và các giai đoạn chung được chia sẻ rộng rãi. Bài viết này sẽ cung cấp cái nhìn tổng quan về một số quy trình phân tích dữ liệu phổ biến, giúp bạn hiểu rõ hơn về cách các chuyên gia trong ngành biến số liệu thành vàng.

III. Quy trình Phân tích Dữ liệu của Google

Quy trình này được Google đề xuất và làm nền tảng cho Chứng chỉ Phân tích Dữ liệu của họ, rất thực tế và dễ áp dụng:

1. Hỏi (Ask): Thách thức, mục tiêu hoặc câu hỏi kinh doanh cụ thể cần được trả lời bằng dữ liệu.
2. Chuẩn bị (Prepare): Tạo, thu thập, lưu trữ và quản lý dữ liệu một cách có hệ thống.
3. Quá trình (Process): Làm sạch dữ liệu và đảm bảo tính toàn vẹn của dữ liệu để sẵn sàng cho phân tích.
4. Phân tích (Analyze): Thăm dò dữ liệu, trực quan hóa và thực hiện các phân tích để tìm ra các nhận định.
5. Chia sẻ (Share): Truyền đạt và giải thích kết quả, các nhận định có giá trị một cách rõ ràng, dễ hiểu.
6. Hành động (Act): Vận dụng những nhận định sâu sắc để giải quyết vấn đề, đưa ra quyết định hoặc thực hiện các thay đổi.

Điểm nổi bật: Quy trình của Google chú trọng tính ứng dụng thực tế và tư duy giải quyết vấn đề. Nó đi từ việc xác định câu hỏi kinh doanh rõ ràng cho đến việc hành động dựa trên những nhận định thu được. Đây là một quy trình tuyến tính nhưng linh hoạt, cho phép bạn quay lại các bước trước nếu cần.

IV. Quy trình Phân tích Dữ liệu của EMC (Dell EMC)

Quy trình phân tích dữ liệu của EMC Corporation (nay là Dell EMC), do David Dietrich tạo ra, diễn ra theo một chu kỳ liên tục với sáu bước:

1. Khám phá (Discovery): Xác định vấn đề, bối cảnh, và các yêu cầu kinh doanh.
2. Dữ liệu tiền xử lý (Data Pre-processing): Thu thập, làm sạch và chuẩn bị dữ liệu.
3. Quy hoạch mô hình (Model Planning): Lựa chọn phương pháp và công cụ phân tích phù hợp.
4. Xây dựng mô hình (Model Building): Thực hiện phân tích và xây dựng mô hình.
5. Trao đổi kết quả (Communicate Results): Trình bày các nhận định và kết quả phân tích.
6. Vận hành (Operationalize): Đưa giải pháp vào thực tế và theo dõi hiệu quả.

Điểm nổi bật: Mô hình này phản ánh tính chất chu kỳ của các dự án kinh doanh điển hình. Các giai đoạn không phải là những cột mốc cố định mà luôn kết nối và dẫn đến bước tiếp theo, và cuối cùng lặp lại. Nó nhấn mạnh việc kiểm tra kỹ lưỡng ở mỗi bước để đảm bảo nhóm đã sẵn sàng tiến lên, không vội vàng bắt đầu lập mô hình khi dữ liệu chưa sẵn sàng.

V. Quá trình lặp đi lặp lại của SAS

SAS, một nhà cung cấp giải pháp phân tích dữ liệu hàng đầu, đã tạo ra một quy trình phân tích dữ liệu lặp đi lặp lại có thể tạo ra các kết quả đáng tin cậy và có thể dự đoán được:

1. Hỏi (Ask): Đặt câu hỏi kinh doanh.
2. Chuẩn bị (Prepare): Thu thập và làm sạch dữ liệu.
3. Khám phá (Explore): Phân tích dữ liệu ban đầu để tìm xu hướng, mối quan hệ.
4. Người mẫu (Model): Xây dựng các mô hình phân tích hoặc dự đoán.
5. Thực hiện (Implement): Triển khai các giải pháp dựa trên mô hình.
6. Hành động (Act): Đưa ra các quyết định và hành động dựa trên kết quả.
7. Đánh giá (Evaluate): Kiểm tra hiệu quả của các giải pháp và kết quả.

Điểm nổi bật: Mô hình SAS nhấn mạnh tính chất chu kỳ bằng cách hình dung nó như một biểu tượng vô cực. Đặc biệt, nó bao gồm một bước “Đánh giá” rõ ràng sau giai đoạn hành động, được thiết kế để giúp các nhà phân tích kiểm tra hiệu quả của giải pháp và có khả năng quay lại giai đoạn “Hỏi” một lần nữa để liên tục cải thiện và tối ưu hóa.

VI. Quy trình Phân tích Dữ liệu dựa trên Dự án

Quy trình này, được phát triển bởi Vignesh Prajapati, tập trung vào các giai đoạn chính của một dự án phân tích cụ thể với năm bước đơn giản:

1. Xác định vấn đề (Define Problem): Làm rõ câu hỏi hoặc vấn đề cần giải quyết.
2. Thiết kế yêu cầu dữ liệu (Design Data Requirements): Xác định loại dữ liệu cần thiết và cách thu thập.
3. Dữ liệu tiền xử lý (Pre-process Data): Làm sạch và chuẩn bị dữ liệu.
4. Thực hiện phân tích dữ liệu (Perform Data Analysis): Tiến hành các phân tích để tìm ra nhận định.
5. Trực quan hóa dữ liệu (Visualize Data): Trình bày kết quả phân tích một cách trực quan.

Điểm nổi bật: Quy trình này tập trung mạnh vào các giai đoạn kỹ thuật trong việc xử lý và phân tích dữ liệu, đặc biệt nhấn mạnh tầm quan trọng của việc xác định vấn đề và trực quan hóa kết quả. Nó có thể được coi là các bước cốt lõi trong một dự án phân tích dữ liệu cụ thể.

VII. Quy trình Phân tích Dữ liệu lớn (Big Data Analytics)

Các tác giả Thomas Erl, Wajid Khattak và Paul Buhler đã đề xuất quy trình phân tích dữ liệu lớn này trong cuốn sách của họ, Nguyên tắc cơ bản về dữ liệu lớn: Khái niệm, Trình điều khiển & Kỹ thuật. Quy trình của họ chia nhỏ các giai đoạn thành chín bước chi tiết hơn:

1. Đánh giá trường hợp kinh doanh (Business Case Evaluation): Hiểu rõ mục tiêu kinh doanh và giá trị mong đợi.
2. Nhận dạng dữ liệu (Data Identification): Xác định các nguồn dữ liệu có liên quan.
3. Thu thập và lọc dữ liệu (Data Acquisition and Filtering): Tập hợp và lọc dữ liệu thô.
4. Trích xuất dữ liệu (Data Extraction): Lấy dữ liệu cần thiết từ các nguồn.
5. Xác thực và làm sạch dữ liệu (Data Validation and Cleaning): Đảm bảo dữ liệu chính xác và không có lỗi.
6. Tổng hợp và biểu diễn dữ liệu (Data Aggregation and Representation): Tổ chức dữ liệu vào định dạng phù hợp.
7. Phân tích dữ liệu (Data Analysis): Thực hiện các phân tích chuyên sâu.
8. Trực quan hóa dữ liệu (Data Visualization): Trình bày kết quả trực quan.
9. Sử dụng kết quả phân tích (Analysis Result Utilization): Ứng dụng các nhận định vào thực tế.

Điểm nổi bật: Mặc dù có nhiều bước hơn các mô hình khác, nhưng thực tế quy trình này chỉ chia nhỏ các giai đoạn “chuẩn bị” và “xử lý” thành các nhiệm vụ chi tiết hơn. Nó đặc biệt nhấn mạnh tầm quan trọng của từng nhiệm vụ riêng lẻ trong việc thu thập, chuẩn bị và làm sạch dữ liệu, phản ánh sự phức tạp khi làm việc với khối lượng dữ liệu khổng lồ (Big Data).

VIII. Bài học chính: Nguyên tắc bất biến trong đa dạng quy trình

Từ những bản ghi chép trên giấy papyri cổ xưa cho đến các thuật toán phức tạp nhất ngày nay, cách con người phân tích dữ liệu đã phát triển vượt bậc và sẽ không ngừng tiếp diễn. Tuy nhiên, qua các mô hình quy trình đa dạng mà chúng ta đã khám phá – từ quy trình của Google, EMC, SAS đến các mô hình dự án và Big Data – một bài học then chốt luôn hiện hữu:

Mặc dù có nhiều cách khác nhau để thực hiện, nhưng những ý tưởng cốt lõi và các giai đoạn chính yếu của phân tích dữ liệu vẫn được chia sẻ rộng rãi. Dù quy trình nào cũng bắt đầu bằng việc đặt câu hỏi, sau đó là thu thập và chuẩn bị dữ liệu, phân tích, rồi chia sẻ các nhận định và cuối cùng là hành động.

Cho dù bạn chọn tuân theo cấu trúc của Chứng chỉ Google Data Analytics, áp dụng mô hình chu kỳ của EMC, hay bất kỳ biến thể nào khác mà bạn tìm thấy, điều quan trọng nhất là bạn hiểu được các nguyên tắc cơ bản, áp dụng chúng một cách có hệ thống và biến dữ liệu thành những nhận định (insights) có giá trị, thúc đẩy hành động.

Để hiểu rõ hơn về những khái niệm này, nắm vững tư duy và thành thạo kỹ năng và công cụ phân tích dữ liệu, đừng ngần ngại tham khảo khóa học Phân tích dữ liệu do CodeGym tổ chức giảng dạy.