Databricks tuyên bố rằng DBRX đặt “một tiêu chuẩn mới” cho các mô hình ngôn ngữ lớn mã nguồn mở.

Databricks đã công bố việc ra mắt DBRX, một mô hình ngôn ngữ lớn mã nguồn mở mạnh mẽ mới mà họ tuyên bố đặt một tiêu chuẩn mới cho các mô hình mã nguồn mở bằng cách vượt trội so với các lựa chọn đã được xác định như GPT-3.5 trên các bài kiểm tra ngành công nghiệp.

Công ty cho biết mô hình DBRX có 132 tỷ tham số vượt qua các mô hình mã nguồn mở phổ biến như LLaMA 2 70B, Mixtral và Grok-1 trong các nhiệm vụ hiểu ngôn ngữ, lập trình và toán học. Thậm chí nó còn vượt trội hơn mô hình đóng của Anthropic là Claude trên một số bài kiểm tra.

DBRX đã thể hiện hiệu suất hiện đại nhất trong số các mô hình mã nguồn mở trên các nhiệm vụ lập trình, vượt qua các mô hình chuyên biệt như CodeLLaMA mặc dù nó là một mô hình LLM tổng quát. Nó cũng phù hợp hoặc vượt qua GPT-3.5 trên gần như tất cả các bài kiểm tra được đánh giá.

Các khả năng hiện đại nhất được đạt được nhờ kiến trúc hỗn hợp chuyên gia hiệu quả hơn, giúp DBRX nhanh hơn đến 2 lần so với LLaMA 2 70B trong quá trình suy luận, mặc dù có ít tham số hoạt động hơn. Databricks tuyên bố rằng việc huấn luyện mô hình cũng tiêu tốn khoảng 2 lần thời gian tính toán hiệu quả hơn so với các phương pháp khác.

“DBRX đang thiết lập một tiêu chuẩn mới cho các mô hình LLM mã nguồn mở – nó mang lại cho doanh nghiệp một nền tảng để xây dựng khả năng suy luận tùy chỉnh dựa trên dữ liệu của riêng họ,” Ali Ghodsi, người đồng sáng lập và CEO của Databricks nói.

DBRX được tiền huấn luyện trên một lượng dữ liệu văn bản và mã nguồn “được lựa chọn cẩn thận” lên đến 12 nghìn tỷ token để cải thiện chất lượng. Nó sử dụng các công nghệ như mã hóa vị trí quay và học chương trình trong quá trình tiền huấn luyện.

Khách hàng có thể tương tác với DBRX qua API hoặc sử dụng các công cụ của công ty để điều chỉnh mô hình trên dữ liệu sở hữu của họ. Nó đã được tích hợp vào các sản phẩm trí tuệ nhân tạo của Databricks.

“Nghiên cứu của chúng tôi cho thấy các doanh nghiệp dự định chi tiêu một nửa ngân sách AI của họ cho trí tuệ nhân tạo sáng tạo,” Dave Menninger, Giám đốc điều hành của Ventana Research, một phần của ISG, cho biết. “Một trong ba thách thức hàng đầu mà họ đối mặt là bảo mật và quyền riêng tư dữ liệu.

“Với nền tảng Thông tin Thông minh end-to-end của họ và sự ra mắt của DBRX, Databricks đang cho phép các doanh nghiệp xây dựng các ứng dụng trí tuệ nhân tạo sáng tạo được quản lý, an toàn và được tùy chỉnh cho bối cảnh kinh doanh của họ, đồng thời duy trì sự kiểm soát và quyền sở hữu của họ trên con đường điều này.”

Các đối tác bao gồm Accenture, Block, Nasdaq, Prosus, Replit và Zoom đã ca ngợi tiềm năng của DBRX để tăng tốc việc doanh nghiệp áp dụng các mô hình ngôn ngữ lớn mã nguồn mở, được tùy chỉnh. Các nhà phân tích nói rằng điều này có thể thúc đẩy sự chuyển đổi từ mã nguồn đóng cửa sang mã nguồn mở khi các mô hình mở được điều chỉnh cân chỉnh với hiệu suất sở hữu.

Mike O’Rourke, Trưởng Phòng Dịch vụ AI và Dữ liệu tại NASDAQ, nhận xét: “Databricks là một đối tác quan trọng của Nasdaq trên một số hệ thống dữ liệu quan trọng nhất của chúng tôi. Họ tiếp tục đứng đầu ngành trong việc quản lý dữ liệu và tận dụng trí tuệ nhân tạo, và chúng tôi rất phấn khích về việc ra mắt của DBRX.

“Sự kết hợp giữa hiệu suất mô hình mạnh mẽ và kinh tế phục vụ thuận lợi là loại đổi mới mà chúng tôi đang tìm kiếm khi chúng tôi mở rộng việc sử dụng trí tuệ nhân tạo sáng tạo tại Nasdaq.”

Bạn có thể tìm thấy các mô hình cơ bản và được điều chỉnh của DBRX trên Hugging Face. GitHub của dự án có thêm tài nguyên và ví dụ mã nguồn.

☞ Có thể bạn quan tâm