Suốt ba năm, câu chuyện về AI xoay quanh việc ai xây được mô hình lớn nhất. Câu hỏi kém hào nhoáng hơn — tốn bao nhiêu để giữ mô hình đó trả lời hàng triệu lần mỗi ngày mà không sập — mới là nơi tiền đang rò rỉ. llm-d, dự án suy luận mã nguồn mở do Red Hat, IBM, Google Cloud, CoreWeave và Nvidia khởi xướng, vừa đạt phiên bản 1.0, và mục tiêu của nó nhắm thẳng vào chỗ rò rỉ ấy.

Cơ chế cần được nói thẳng. Một tác tử AI không hỏi một câu rồi rời đi. Nó duy trì những phiên dài, đọc đi đọc lại cùng tài liệu và khởi chạy các trợ thủ song song dồn tải lên phần cứng theo những đợt khó đoán. Trong mô hình đó, xử lý ngữ cảnh có thể tốn kém hơn cả việc tạo ra câu trả lời. Theo Shadi Saba, phó chủ tịch kỹ thuật AI/ML của CoreWeave, mọi đội ngũ vận hành mô hình ở quy mô lớn đều vấp phải “ngữ cảnh mà chi phí quản lý thường cao hơn cả đầu ra”. Câu trả lời của llm-d là định tuyến: gửi mỗi yêu cầu tới máy chủ đã lưu sẵn ngữ cảnh của nó trong bộ nhớ đệm, thay vì tính toán lại từ đầu.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

Phiên bản 1.0 ít mang tính mẹo mới hơn là bảo đảm có thể vận hành những tính năng sẵn có trong nhiều tháng. Dự án vốn đã cung cấp định tuyến theo bộ nhớ đệm, giảm tải bộ nhớ đệm KV và tách hai pha prefill và decode sang các máy khác nhau, chạy trên các máy chủ mô hình như vLLM và SGLang. Bản mới bổ sung cơ chế ưu tiên và phân chia công bằng để các yêu cầu nhạy cảm với độ trễ và các tác tử chạy theo đợt có thể dùng chung một cụm GPU mà không chèn ép nhau, bộ định tuyến có tính sẵn sàng cao để nâng cấp không gián đoạn, API cấu hình v1 ổn định và định tuyến theo phiên giúp các cuộc hội thoại nhiều lượt luôn ở gần trạng thái đã lưu đệm.

Các số liệu hiệu năng trong thông báo đến từ những buổi trình diễn của chính các bên đóng góp, nên cần được xem là tuyên bố chứ không phải kiểm định độc lập. Trong một buổi, các nhà nghiên cứu đã phục vụ GLM 5.2, mô hình trọng số mở khoảng 753 tỷ tham số, trên các GPU Nvidia phổ biến, đạt đỉnh hơn 6,6 triệu token đầu ra mỗi phút với tối đa 3.000 tác tử lập trình đồng thời; theo giá thuê đám mây hiện tại, họ cho biết chi phí mỗi token thấp hơn từ năm đến mười lần so với giá API thương mại tương đương. IBM Research báo cáo chi phí suy luận thấp hơn 11,5 lần so với cấu hình hoàn toàn độc quyền trong một dự án thiết kế chip cho sửa lỗi lượng tử, với tỷ lệ trúng bộ nhớ đệm khoảng 98%.

Đáng chú ý hơn là ai đã dựa vào nó. JetBrains cho biết llm-d đang phục vụ một phần đáng kể lưu lượng của Junie Lite, gói miễn phí của tác tử lập trình của hãng; DigitalOcean chạy dịch vụ suy luận serverless trên nền tảng này, còn Mistral và Roblox mô tả việc xây lớp phục vụ của họ trên dự án. Google Cloud đang tích hợp bản 1.0 vào Google Kubernetes Engine trên toàn bộ danh mục TPU và GPU Nvidia, trong khi AMD đưa nó lên các bộ tăng tốc Instinct.

Được thành lập năm 2025 và hiện do Cloud Native Computing Foundation quản lý, llm-d có hơn 500 người đóng góp từ hơn 25 tổ chức. Phiên bản 1.0 được công bố ngày 20 tháng 10 năm 2026 tại San Jose và đã sẵn có dưới dạng phần mềm mã nguồn mở.

Hệ quả là một sự dịch chuyển quyền lực. Nếu phần đắt đỏ của AI là phục vụ chứ không phải huấn luyện, thì ai kiểm soát lớp phục vụ sẽ kiểm soát hóa đơn. llm-d là nỗ lực để bảo đảm lớp ấy vẫn chung và mở, thay vì bị khóa trong API của một nhà cung cấp duy nhất.

Thẻ: nvidia, tác tử AI, IBM, mô hình ngôn ngữ lớn, CoreWeave, Red Hat