Bộ công cụ tăng tốc chuyển đổi lên Databricks: công cụ miễn phí làm được gì, việc gì vẫn cần con người

Databricks cung cấp miễn phí một số công cụ hỗ trợ chuyển kho dữ liệu sang nền tảng của mình:

Lakebridge, phục vụ khâu đánh giá, chuyển mã và đối soát.
Agentic code converter, chạy trong Genie Code.
Lakeflow Connect, dùng để nạp dữ liệu.
Lakehouse Federation, dùng để truy vấn dữ liệu ngay tại hệ thống nguồn.
UCX, dùng để nâng cấp các workspace còn chạy Hive metastore.

Các công cụ này đảm nhận phần đo lường hiện trạng, chuyển cú pháp, di chuyển dữ liệu và kiểm tra kết quả. Có bốn việc công cụ không quyết định thay: phạm vi chuyển đổi, thứ tự các đợt, tiêu chí nghiệm thu, và dữ liệu nào được xử lý trên nền tảng đặt tại khu vực. Đây là phần việc của con người, đồng thời quyết định phần lớn chi phí dự án.

Phần dưới đây trình bày từng công cụ theo giai đoạn chuyển đổi, kèm chế độ hỗ trợ và các giới hạn đã nêu trong tài liệu chính thức. Cuối bài là năm câu hỏi doanh nghiệp nên đặt ra khi đánh giá một bộ công cụ tăng tốc (accelerator).

Thế nào là bộ công cụ tăng tốc chuyển đổi

Bộ công cụ tăng tốc là công cụ giúp rút ngắn một phần công việc chuyển đổi: đo lường hệ thống nguồn, chuyển mã, di chuyển dữ liệu, hoặc chứng minh dữ liệu sau chuyển đổi khớp với dữ liệu gốc.

Có thể chia thành ba nhóm, mỗi nhóm có điều kiện hỗ trợ khác nhau.

Tính năng sản phẩm của Databricks. Gồm agentic code converter, Lakeflow Connect và Lakehouse Federation. Các tính năng này có tài liệu trên docs.databricks.com và được phát hành theo các giai đoạn thông thường của Databricks: Beta, Public Preview, rồi chính thức.

Dự án của Databricks Labs. Gồm Lakebridge và UCX. Đây là mã nguồn mở, công bố trên tài khoản GitHub databrickslabs và được sử dụng miễn phí. Tài liệu UCX ghi rõ các dự án Labs được cung cấp để tìm hiểu và không có cam kết mức dịch vụ (SLA) chính thức từ Databricks.

Bộ công cụ riêng của các đơn vị triển khai. Thường là script, mẫu dựng sẵn hoặc bộ chuyển đổi đi kèm hợp đồng dịch vụ. Bài viết không đi sâu vào nhóm này, nhưng năm câu hỏi ở cuối bài vẫn áp dụng được.

Giai đoạn 1, đánh giá hiện trạng: Lakebridge Profiler và Analyzer

Databricks giới thiệu Lakebridge vào tháng 6/2025 dưới dạng bộ công cụ chuyển đổi miễn phí. Khâu đánh giá dùng hai thành phần:

Profiler thu thập cấu trúc và số liệu tải công việc từ hệ thống nguồn.
Analyzer quét mã SQL và mã ETL đã xuất ra, lập danh mục đối tượng, chấm điểm độ phức tạp cho từng đối tượng và chỉ ra quan hệ phụ thuộc giữa job, bảng và báo cáo.

Ngoài ra còn có SQL Splitter, không bắt buộc, dùng để tách các tệp SQL lớn thành từng tệp theo đối tượng trước khi đánh giá hoặc chuyển đổi.

Nội dung một đợt quét hiện trạng và các câu hỏi cần làm rõ qua phỏng vấn đã được trình bày trong bài quét hiện trạng một tuần quyết định những gì.

Giai đoạn 2, chuyển mã: ba bộ chuyển đổi và agentic code converter

Lakebridge đi kèm ba plugin chuyển đổi mã (transpiler):

BladeBridge và Morpheus chuyển đổi theo quy tắc. Cùng một đầu vào luôn cho cùng một kết quả; công cụ chạy cục bộ, không gọi dịch vụ bên ngoài và xử lý được khối lượng tệp lớn.
Switch dùng mô hình ngôn ngữ và đang ở mức thử nghiệm (experimental). Công cụ phù hợp với logic nghiệp vụ cần hiểu đúng ý đồ hơn là cú pháp, và với những nguồn mà hai bộ chuyển đổi theo quy tắc chưa hỗ trợ.

Danh sách nguồn được hỗ trợ theo hướng dẫn Transpile, tra cứu ngày 26/10/2026:

Hệ thống nguồn	BladeBridge	Morpheus	Switch (thử nghiệm)
SQL Server, Azure SQL	Databricks SQL	Databricks SQL	Spark SQL
Azure Synapse (dedicated SQL pool)	Databricks SQL	Databricks SQL	Spark SQL
Oracle	Databricks SQL	—	Spark SQL
Teradata	Databricks SQL	—	Spark SQL
IBM Netezza	Databricks SQL	—	Spark SQL
Amazon Redshift	Databricks SQL (thử nghiệm)	—	Spark SQL
Snowflake	—	Databricks SQL	Spark SQL
MySQL, PostgreSQL	—	—	Spark SQL
IBM DataStage	Spark SQL, PySpark	—	Spark Declarative Pipelines
SSIS	Spark SQL (thử nghiệm)	—	Spark Declarative Pipelines

Switch còn hỗ trợ chuyển Airflow sang Databricks workflow, và chuyển mã Python hoặc Scala sang notebook Python.

Agentic code converter

Agentic code converter là tính năng sản phẩm, tách biệt với Lakebridge. Công cụ chạy trong workspace Databricks và dùng Genie Code để chuyển SQL viết cho T-SQL, Snowflake, Redshift, Oracle, BigQuery và Teradata.

Theo tài liệu chính thức:

Công việc được tổ chức trong một migration project, nơi theo dõi trạng thái chuyển đổi của từng tệp.
Đầu ra là truy vấn Databricks SQL hoặc notebook dùng DataFrame API. Đầu ra dạng notebook đang ở giai đoạn Beta.
Mỗi lô tối đa 300 tệp.
Chưa hỗ trợ script Teradata BTEQ.
Project có thể nạp kết quả JSON của Lakebridge Analyzer để hiển thị độ phức tạp và lineage.

Databricks công bố bản Beta của công cụ này ngày 30/07/2026. Trong ví dụ của bài công bố, 6 trên 8 tệp T-SQL được chuyển thành công. Hai tệp còn lại cần rà soát, vì stored procedure được gọi phải tham chiếu bằng tên ba cấp của Unity Catalog.

Tài liệu cũng khuyến nghị chạy truy vấn gốc và truy vấn đã chuyển trên cùng bộ dữ liệu kiểm thử, rồi so sánh kết quả. Mã chạy được chưa có nghĩa là cho ra cùng kết quả với mã gốc.

Giai đoạn 3, di chuyển dữ liệu: Lakeflow Connect và Lakehouse Federation

Lakeflow Connect cung cấp các bộ kết nối do Databricks quản lý (managed connector). Với cơ sở dữ liệu có hai loại:

Bộ kết nối CDC ghi nhận thay đổi liên tục, dùng ingestion gateway và vùng lưu trữ trung gian.
Bộ kết nối theo truy vấn (query-based) truy vấn hệ thống nguồn theo lịch, không cần cấu hình CDC.

Lựa chọn loại nào tuỳ thuộc vào khả năng của hệ thống nguồn. Ví dụ, SQL Server hỗ trợ cả change tracking lẫn CDC.

Lakehouse Federation cho phép Unity Catalog truy vấn dữ liệu chưa được chuyển, hữu ích trong giai đoạn một phần workload vẫn còn chạy trên hệ thống nguồn. Có hai cách thức:

Query federation đẩy truy vấn xuống cơ sở dữ liệu bên ngoài qua JDBC. Tài liệu ghi rõ truy vấn được xử lý cả trên Databricks lẫn trên hệ thống nguồn.
Catalog federation đọc trực tiếp bảng trong object storage bằng tài nguyên tính toán của Databricks.

Lưu ý với tổ chức tại Việt Nam

Databricks chưa có vùng tại Việt Nam; vùng gần nhất là Asia Pacific (Singapore). Khi dùng federation, bảng nguồn vẫn nằm nguyên tại chỗ, nhưng phần xử lý phía Databricks và kết quả truy vấn trả về đều nằm tại vùng của workspace.

Do đó, việc dùng federation không đủ để khẳng định dữ liệu không ra khỏi Việt Nam. Luồng dữ liệu nào cần thủ tục gì là câu hỏi dành cho bộ phận pháp chế và luật sư của tổ chức. Hai bài liên quan:

Giai đoạn 4, đối soát: Lakebridge Reconcile

Reconcile so sánh hệ thống nguồn với bảng đích trên Databricks và cho ra bốn loại báo cáo:

schema: tên cột và kiểu dữ liệu, dùng để kiểm tra phần chuyển DDL.
row: giá trị băm của từng dòng. Loại này không cần khoá nối, nên dùng được cho bảng không có khoá chính.
data: so khớp giá trị theo dòng và cột qua các cột nối, có chi tiết sai lệch theo từng cột.
all: gộp data và schema.

Nguồn được hỗ trợ gồm Oracle, Snowflake, SQL Server, Redshift, Teradata, BigQuery và Databricks. Tài liệu nêu hai lưu ý:

Teradata không có hàm băm mật mã dùng chung được bằng SQL thuần, nên các báo cáo dựa trên giá trị băm cần cài thêm một UDF băm trên hệ thống nguồn.
Một số kiểu dữ liệu của BigQuery không có kiểu tương đương chính xác trên Databricks, nên có thể bị báo sai lệch dù dữ liệu đã chuyển đúng.

Job đối soát mặc định chạy trên tài nguyên serverless.

Công cụ chỉ tạo ra báo cáo. Thế nào là khớp, và hai hệ thống chạy song song trong bao lâu, vẫn phải được thống nhất riêng. Ảnh hưởng của các lựa chọn này tới dự toán được trình bày trong bài ước lượng khối lượng chuyển đổi kho dữ liệu.

Giai đoạn 5, quản trị: UCX cho workspace dùng Hive metastore

Khi hệ thống nguồn là một workspace Databricks đang dùng Hive metastore, thay vì một kho dữ liệu khác, công cụ phù hợp là UCX:

UCX đánh giá workspace và chạy các quy trình có thể lặp lại cho nhóm người dùng và bảng.
Đây là dự án Databricks Labs, với điều kiện hỗ trợ đã nêu ở trên.
Tài liệu ghi rõ quy trình chuyển mã của UCX vẫn đang được phát triển.

Cách sử dụng UCX và các lỗi tốn thời gian trong loại nâng cấp này được trình bày trong bài những lỗi thường gặp khi chuyển sang Unity Catalog.

Những việc công cụ không quyết định thay

Mỗi công cụ trên giảm khối lượng làm thủ công trong một giai đoạn. Không công cụ nào xác định được các nội dung sau:

Phạm vi và mục tiêu. Workload nào được chuyển, workload nào ngừng sử dụng, và dự án nhằm giải quyết vấn đề gì.
Thứ tự các đợt. Nhóm bảng, job và báo cáo nào chuyển cùng nhau, dựa trên quan hệ phụ thuộc mà Analyzer phát hiện và thứ tự ưu tiên nghiệp vụ.
Tiêu chí nghiệm thu. Khớp tuyệt đối, khớp theo số tổng hợp hay khớp trong một ngưỡng sai số, thống nhất cho từng bảng trước khi bắt đầu chuyển đổi.
Thời gian chạy song song. Hai hệ thống cùng vận hành trong 30, 60 hay 90 ngày, kèm chi phí phát sinh tương ứng.
Nơi đặt dữ liệu. Dữ liệu nào được xử lý trên nền tảng đặt tại khu vực. Đây là quyết định pháp lý trước khi là quyết định kỹ thuật.

Năm câu hỏi khi đánh giá một bộ công cụ tăng tốc

Các câu hỏi này áp dụng cho cả công cụ miễn phí lẫn công cụ đi kèm hợp đồng dịch vụ.

Hệ thống nguồn của doanh nghiệp được hỗ trợ ở mức ổn định, hay đang ở mức thử nghiệm hoặc Beta?
Khi công cụ chạy, mã nguồn và dữ liệu mẫu được gửi tới đâu: máy cục bộ, workspace của doanh nghiệp hay một dịch vụ bên ngoài?
Kết quả chuyển đổi thuộc về ai, và doanh nghiệp có tiếp tục sử dụng được khi thay đổi đơn vị triển khai không?
Tỷ lệ chuyển đổi tự động được đo trên mã của chính doanh nghiệp hay trên một bộ mẫu chung?
Ai xử lý phần công cụ không chuyển được, và khối lượng đó được ước lượng thế nào?

Sancire sử dụng các công cụ này thế nào

Gói Quét hiện trạng chuyển đổi chạy Lakebridge Analyzer trên mã SQL, script và mã ETL của doanh nghiệp. Sau đó, các buổi phỏng vấn làm rõ những điểm công cụ để ngỏ: phạm vi, thứ tự các đợt, tiêu chí nghiệm thu và thời gian chạy song song.

Thời lượng: một tuần, từ 2.500 USD.
Kết quả: kế hoạch chia đợt, sổ rủi ro và báo giá cố định cho từng đợt.
Khoản phí được khấu trừ toàn bộ vào hợp đồng chuyển đổi nếu ký trong vòng 90 ngày.

Gói Chuyển đổi thực hiện theo từng đợt 4–6 tuần, từ 12.000 USD mỗi đợt, có biên bản đối soát cho từng bảng dữ liệu.

Với ngân hàng và doanh nghiệp bảo hiểm, bước mở đầu là gói Đánh giá phân vùng dữ liệu và lộ trình tuân thủ. Quyết định dữ liệu nào được đưa lên nền tảng tại khu vực cần có trước khi chọn công cụ. Xem thêm kiến trúc tham chiếu cho ngân hàng.

Nguồn, đều là các trang công khai của Databricks, tra cứu ngày 26/10/2026: Lakebridge Assessment Guide, Lakebridge Transpile Guide và Lakebridge Reconcile Guide (trang không ghi ngày); Convert SQL with the agentic code converter (cập nhật 16/10/2026); Convert proprietary code to open ANSI SQL with Genie Code, blog Databricks (30/07/2026); Introducing Lakebridge, blog Databricks (12/06/2025); Lakeflow Connect connector concepts (09/10/2026); Connect to external databases and catalogs (29/09/2026); Use the UCX utilities to upgrade your workspace to Unity Catalog (06/10/2026); Supported regions (21/10/2026). Lakebridge và agentic code converter thay đổi nhanh; cần đối chiếu danh sách nguồn được hỗ trợ và giai đoạn phát hành trong tài liệu hiện hành trước khi lập kế hoạch.