6 phút đọc
Trong kỷ nguyên dữ liệu lớn, việc xử lý song song cả dữ liệu có cấu trúc (bảng quan hệ) và dữ liệu bán cấu trúc (JSON) luôn là một bài toán hóc búa đối với các kỹ sư hệ thống. Thông thường, nhà phát triển phải lựa chọn giữa tính linh hoạt nhưng hiệu năng kém của cơ sở dữ liệu tài liệu (document database), hoặc tính nghiêm ngặt nhưng dễ gãy đổ của cơ sở dữ liệu quan hệ khi thực hiện ép kiểu (schema inference). Để giải quyết triệt để xung đột này, dự án mã nguồn mở brimdata/super (còn được gọi là SuperDB) đã ra đời, mang đến một hướng tiếp cận hoàn toàn mới.
Được phát triển chủ yếu bằng ngôn ngữ Go, repository này hiện đã thu hút được 1.567 stars và 81 forks trên GitHub, với ghi nhận cập nhật gần đây nhất vào ngày 11/09/2026. Dự án định vị mình là một cơ sở dữ liệu phân tích đặt JSON và các bảng quan hệ vào vị thế bình đẳng, giúp tối giản hóa quy trình khai thác dữ liệu (data wrangling) trên các tập dữ liệu lớn và hỗn hợp.
Giải pháp “Super-structured” xóa bỏ ranh giới dữ liệu
Điểm khác biệt cốt lõi của SuperDB so với các hệ thống cơ sở dữ liệu quan hệ truyền thống nằm ở cách xử lý dữ liệu đầu vào. Thay vì thực hiện suy diễn lược đồ (schema inference) vốn rất dễ gặp lỗi khi đối mặt với các cấu trúc JSON phức tạp hoặc không đồng nhất, SuperDB nạp dữ liệu ở dạng tự nhiên của chúng. Hệ thống không phân chia rạch ròi giữa “cột quan hệ” và “cột JSON”, giúp loại bỏ việc phải áp dụng hai phương thức xử lý khác nhau cho hai định dạng này.
Tất cả các nguồn dữ liệu đầu vào bao gồm JSON, CSV, các tệp Parquet, luồng dữ liệu Arrow hay các bảng quan hệ thông thường đều được tự động chuyển đổi thành một định dạng chung gọi là dữ liệu siêu cấu trúc (super-structured data). Cơ chế này mang lại hai ưu điểm vượt trội:
- Tính linh hoạt cao: Thừa hưởng đặc tính của mô hình dữ liệu tài liệu, cho phép các chuỗi dữ liệu không bắt buộc phải tuân theo một schema định sẵn.
- Hiệu năng mạnh mẽ: Giữ được tính chặt chẽ nhờ việc mọi giá trị trong SuperDB đều có kiểu dữ liệu mạnh và động (strongly and dynamically typed), tối ưu hóa hiệu suất tính toán thông qua một công cụ xử lý hợp nhất.
Để tối ưu hóa việc lưu trữ và truyền tải, SuperDB đã định nghĩa định dạng Super (SUP) như một phiên bản mở rộng của JSON hỗ trợ dữ liệu siêu cấu trúc. Đi kèm với đó là định dạng nhị phân Super Binary (BSUP) tối ưu hiệu năng tương tự như Avro, và định dạng lưu trữ dạng cột Super Columnar (CSUP) hoạt động tương tự như Parquet.
SuperSQL: Cú pháp mở rộng tối ưu cho lập trình viên
Để truy vấn nguồn dữ liệu siêu cấu trúc này, dự án phát triển ngôn ngữ truy vấn SuperSQL. Về bản chất, SuperSQL vẫn dựa trên nền tảng SQL truyền thống nhưng được tích hợp thêm cú pháp dạng đường ống (pipe syntax) và nhiều phím tắt tiện dụng, giúp đơn giản hóa quá trình xử lý các tác vụ phức tạp.
Một ví dụ thực tế được nhóm phát triển đưa ra là việc sử dụng SuperSQL để truy xuất dữ liệu trực tiếp từ kho lưu trữ GitHub Archive. Chỉ với một câu lệnh, hệ thống có thể tính toán tập hợp các kho chứa được tương tác bởi từng người dùng, xếp hạng theo số lượng, chọn ra top 5 tài khoản hoạt động tích cực nhất và thực hiện kết hợp (join) thông tin thời gian tạo tài khoản ban đầu từ API của GitHub.
Bên cạnh đó, SuperDB cung cấp một bộ công cụ thực thi linh hoạt. Công cụ dòng lệnh độc lập (dependency-free binary) cực kỳ dễ cài đặt. Lệnh super cho phép người dùng chạy trực tiếp engine truy vấn trên máy cục bộ để truy cập và xử lý trực tiếp các tệp tin, các điểm cuối HTTP hoặc các đường dẫn lưu trữ trên Amazon S3 mà không cần thiết lập một storage engine phức tạp.
Đối với những người dùng ưa chuộng giao diện trực quan, ứng dụng SuperDB Desktop (phát triển dựa trên Electron) cung cấp một không gian làm việc mượt mà để khám phá, truy vấn và định hình dữ liệu. Công cụ này được thiết kế tối ưu để xử lý các giá trị JSON cực lớn mà không gặp hiện tượng giật lag hay sập ứng dụng như các trình duyệt JSON thông thường.
Những điểm còn bỏ ngỏ và lộ trình phát triển
Mặc dù sở hữu nhiều công nghệ hứa hẹn, người dùng khi tiếp cận dự án brimdata/super cũng cần lưu ý một số điểm chưa hoàn thiện ở thời điểm hiện tại:
- Cú pháp SuperSQL chưa ổn định: Nhóm phát triển thừa nhận SuperSQL vẫn là một mục tiêu đang thay đổi (moving target). Họ vẫn đang tiếp tục tinh chỉnh cú pháp và ngữ nghĩa, đồng thời kêu gọi sự đóng góp từ cộng đồng để hoàn thiện ngôn ngữ này.
- Khả năng tương thích Postgres: Mục tiêu dài hạn của dự án là tương thích hoàn toàn với Postgres và tích hợp sâu với các công cụ SQL hiện có trên thị trường. Tuy nhiên, điều này vẫn đang nằm ở lộ trình tương lai.
- Trình lưu trữ cơ sở dữ liệu (Database storage engine): Trong khi công cụ truy vấn file trực tiếp hoạt động ổn định, tính năng chạy trên một hệ quản trị cơ sở dữ liệu siêu cấu trúc thực thụ thông qua các lệnh con
super dbvẫn đang ở giai đoạn phát triển ban đầu và chưa thực sự hoàn thiện.
Với định hướng rõ ràng và khả năng xử lý dữ liệu lai ấn tượng, brimdata/super chắc chắn là một công cụ đáng thử nghiệm cho các kỹ sư dữ liệu thường xuyên phải đối mặt với các tệp JSON hỗn hợp khổng lồ. Sự phát triển tiếp theo của dự án sẽ phụ thuộc rất lớn vào mức độ tiếp nhận và phản hồi từ cộng đồng nhà phát triển thông qua các kênh trao đổi như Slack hay GitHub đóng góp.
Nguồn tham khảo: Xem bài gốc
