Data Warehouse Hoạt Động Như Thế Nào?

Dạo gần đây đi làm, lướt các diễn đàn công nghệ hoặc ngồi trà đá văn phòng, anh em chắc hẳn rất hay nghe sếp hoặc mấy anh em IT hô hào: "Công ty mình năm nay phải dồn lực xây xong cái Data Warehouse!", hay "Lấy dữ liệu từ Kho ra mà phân tích cho chuẩn!".

Nghe chữ "Kho dữ liệu" thì có vẻ dễ hiểu, nhưng thực chất nó hoạt động thế nào? Tại sao công ty đã có sẵn Database (Cơ sở dữ liệu) của phần mềm bán hàng, phần mềm kế toán rồi mà vẫn phải è cổ ra chi tiền tỷ để xây thêm một cái "Kho" nữa làm gì cho tốn tiền? Hôm nay chúng ta sẽ cùng "giải ngố" khái niệm cốt lõi của ngành dữ liệu này bằng ngôn ngữ bình dân nhất, đảm bảo đọc xong 5 phút là anh em nắm rõ bản chất.

1. Bi Kịch Khi Chưa Có Data Warehouse​

Để hiểu tại sao phải có "Kho", anh em hãy nhìn vào bi kịch báo cáo cuối tháng của một công ty bình thường. Giả sử anh em làm Giám đốc, muốn xem một cái báo cáo siêu tổng hợp: "So sánh doanh thu bán hàng với chi phí chạy Ads trên Facebook và chi phí lương nhân viên trong tháng vừa rồi".

Lúc này, anh em nhân viên báo cáo sẽ rơi vào cảnh khổ sai:

• Chạy sang phần mềm Bán hàng (CRM) để xuất file Excel số liệu doanh thu.
• Đăng nhập vào Facebook Ads để tải file CSV chi phí quảng cáo.
• Xin phần mềm kế toán file Excel chi phí lương.
• Gom 3-4 cái file Excel đó lại, dùng hàm tham chiếu ghép với nhau thủ công.

Máy tính báo đứng màn hình vì file Excel quá nặng. Ghép nhầm cột, báo cáo sai số. Tháng nào cũng phải làm lại các bước đó y xì đúc. Đặc biệt, nếu anh em kết nối phần mềm báo cáo chọc thẳng vào Database của phần mềm Bán hàng để kéo dữ liệu, phần mềm Bán hàng sẽ bị nghẽn mạng, nhân viên không thể chốt đơn cho khách được nữa vì hệ thống đang bận phục vụ việc tính toán báo cáo của anh em.

>>> Nhận lộ trình: Trở thành kỹ sư dữ liệu

2. Data Warehouse Xuất Hiện: "Siêu Thị" Dữ Liệu Đã Qua Sơ Chế​

Để chấm dứt cảnh làm việc lộn xộn này, giới IT đẻ ra Data Warehouse (Kho dữ liệu).

Anh em cứ tưởng tượng: Các phần mềm của công ty (Phần mềm bán hàng, Kế toán, Facebook Ads...) là những "Khu chợ nông sản" ồn ào. Dữ liệu ở đây liên tục thay đổi, thêm bớt từng giây (có người mua hàng là chèn thêm 1 dòng). Nơi này chỉ tối ưu để GHI dữ liệu thật nhanh để vận hành hàng ngày.

Data Warehouse là một cái "Siêu thị cao cấp". Cứ mỗi đêm (hoặc định kỳ), một hệ thống tự động (gọi là quy trình ETL) sẽ chạy ra các khu chợ nông sản, lấy dữ liệu thô mang về. Họ rửa sạch sẽ bùn đất, cắt gọt gọn gàng (Làm sạch dữ liệu, xóa dòng trùng, sửa lỗi font), đóng gói dán nhãn chuẩn chỉnh rồi xếp lên các kệ hàng trong Siêu thị theo cấu trúc khoa học.

Sáng hôm sau, anh em làm Báo cáo phân tích chỉ việc vào Siêu thị nhặt những gói đồ đã sơ chế sạch sẽ mang về nấu (vẽ biểu đồ).

3. Lợi Ích Khủng Khiếp Của Cái "Siêu Thị" Này​

Việc xây dựng Data Warehouse giải quyết triệt để các bài toán sống còn của doanh nghiệp:

• Tốc độ báo cáo nhanh vượt trội: Dữ liệu trong Kho đã được tính toán, sắp xếp theo một cấu trúc đặc biệt tối ưu riêng cho việc ĐỌC và Phân tích. Việc truy vấn một báo cáo $10$ triệu dòng chỉ mất vài giây thay vì mất vài tiếng như trước kia.
• Một nguồn sự thật duy nhất (Single Source of Truth): Vì tất cả dữ liệu từ mọi phòng ban đã được gom chung về Kho và chuẩn hóa thống nhất, sẽ không còn cảnh phòng Sales báo cáo lãi $10$ tỷ, còn phòng Kế toán bảo chỉ lãi $8$ tỷ nữa. Mọi người đều nhìn vào một con số giống nhau đã được quy chuẩn.
• Bảo vệ hệ thống đang vận hành: Anh em làm báo cáo thoải mái kéo thả, tính toán nặng nề trong Kho dữ liệu mà không hề làm ảnh hưởng đến tốc độ của phần mềm bán hàng đang chạy thực tế của công ty.

4. Chốt Lại​

Hiểu một cách dân dã nhất: Hệ thống Cơ sở dữ liệu (Database) bình thường sinh ra để LÀM VIỆC (Vận hành), còn Kho dữ liệu (Data Warehouse) sinh ra để PHÂN TÍCH VÀ BÁO CÁO.

Việc xây dựng được một Data Warehouse chuẩn chỉnh là minh chứng cho thấy công ty đó đã thực sự trưởng thành về mặt công nghệ và sẵn sàng cho việc ứng dụng AI, Machine Learning. Giờ thì anh em đã hiểu tại sao các sếp lại sẵn sàng chi tiền tỷ để xây cái "Kho" này rồi chứ! Cứ tự tin chém gió trong các buổi họp chiến lược nhé!