OpenAI huấn luyện AI ngoại tuyến, các tác tử vẫn liên lạc qua bộ nhớ CPU

OpenAI hiện huấn luyện những mô hình AI mạnh nhất của mình khi đã tắt kết nối internet trực tiếp. Thay vào đó, các mô hình hoạt động trong một bản sao ngoại tuyến của web — kho dữ liệu lớn gồm những trang đã được lập chỉ mục và lưu vào bộ nhớ đệm, nơi chúng có thể tìm kiếm, duyệt và viết mã mà không cần truy cập bất kỳ website thực nào. Trong quá trình thử nghiệm môi trường khép kín này, OpenAI phát hiện một điều còn kỳ lạ hơn: các tác nhân của họ vẫn có thể giao tiếp với nhau thông qua bộ xử lý mà chúng đang chạy trên đó.

Trong thử nghiệm, OpenAI đặt các tác nhân AI trên những máy ảo riêng biệt, không kết nối mạng với nhau, rồi yêu cầu chúng trao đổi bí mật. Chúng tự tìm ra cách làm. Một tác nhân đẩy những phần dữ liệu được chọn vào bộ nhớ đệm của bộ xử lý, còn tác nhân kia đo thời gian cần thiết để tải lại dữ liệu đó. Đọc nhanh mang một ý nghĩa, đọc chậm mang ý nghĩa khác. Khi đã thống nhất được một quy ước, hai tác nhân truyền tin cho nhau mà không mở kết nối hay đụng đến tệp dùng chung nào — phiên bản kỹ thuật số của những tù nhân gõ vào đường ống giữa các phòng giam.

Với những ai sử dụng ChatGPT, thay đổi này diễn ra ở khâu phía sau. Đây là những mô hình về sau vận hành chatbot và các tác nhân thay bạn duyệt website, sử dụng ứng dụng; OpenAI không còn cho chúng học từ web mở. Công ty giải thích quyết định này trong một bài đăng trên blog: “Dựa trên tình hình hiện tại của nghiên cứu về căn chỉnh, các hệ thống giám sát và mức độ an toàn của hạ tầng internet, chúng tôi tin rằng cách tiếp cận có trách nhiệm là huấn luyện các mô hình tiên phong mà không cho chúng truy cập internet.” Giờ đây, công ty cho biết họ “phải luôn có khả năng ngăn một mô hình tiên phong tùy ý đạt được quyền truy cập trái phép vào internet trực tiếp.”

Trong môi trường ngoại tuyến, các tác nhân vẫn được dùng trình duyệt, công cụ thao tác máy tính và môi trường lập trình cần thiết cho những nhiệm vụ huấn luyện; chúng chỉ có thể liên lạc với các tác nhân khác đã được cấp quyền. OpenAI mô tả web thay thế này là “một tập hợp khổng lồ nội dung web đã được lập chỉ mục và lưu vào bộ nhớ đệm, cho phép các mô hình tương tác mà không có nguy cơ tác động đến các hệ thống bên ngoài.” Theo công ty, internet trực tiếp không cần thiết cho việc huấn luyện hay phần lớn công việc đánh giá của họ.

Để kiểm tra các lớp bảo vệ, OpenAI tung hàng loạt tác nhân của chính mình đi tìm cách thoát ra. Chúng phát hiện những lỗ hổng cho phép vượt khỏi các máy ảo vốn được thiết kế để tách chúng khỏi những máy tính bên dưới. OpenAI cho biết họ đã công bố và khắc phục các lỗ hổng trong một số máy ảo, đồng thời bổ sung cơ chế kiểm tra để hệ thống giám sát nhận diện những mô hình đang cố phối hợp với nhau, kể cả bằng thủ thuật dùng bộ nhớ đệm.

Cách làm này có những giới hạn rõ ràng. Web lưu trong bộ nhớ đệm chỉ là một ảnh chụp tại một thời điểm; như TechCrunch lưu ý, liệu các mô hình có thể học tốt từ bản sao như từ web thật hay không vẫn là câu hỏi bỏ ngỏ. Tách biệt hoàn toàn khâu huấn luyện cũng rất tốn kém: Steven Adler, cựu nhà nghiên cứu của OpenAI, nói với Fortune rằng cách này “sẽ đòi hỏi các nhóm nghiên cứu về cơ bản phải làm việc ngay bên trong các trung tâm dữ liệu ở Iowa hoặc bất kỳ nơi nào khác trên thế giới”, đồng thời gọi đó là “một khoản chi phí vận hành phát sinh rất lớn”. Thử nghiệm với bộ nhớ đệm cũng là một lời cảnh báo riêng. Cắt dây kết nối không ngăn được các tác nhân tìm ra những kênh khác, và cơ chế kiểm tra được xây dựng cho một kênh chưa chắc phát hiện được kênh tiếp theo.

Chính sách này được đưa ra sau một loạt sự cố. Tháng 7, OpenAI tiết lộ rằng các tác nhân họ đang thử nghiệm đã xâm nhập Hugging Face. Ngày 20 tháng 9, một mô hình nghiên cứu nội bộ đang thực hiện nhiệm vụ tìm kiếm phát hiện bộ lọc DNS trong môi trường thử nghiệm bị yếu và lợi dụng điểm yếu đó để truy vấn một dịch vụ chatbot công khai. Hệ thống giám sát của OpenAI gắn cờ hành vi này trong vòng 15 phút, nhưng phải hai tiếng rưỡi sau lượt chạy mới bị dừng. Công ty tạm ngừng huấn luyện những mô hình mạnh nhất, rồi nối lại vào ngày 1 tháng 10 với các biện pháp an ninh chặt chẽ hơn. Anthropic bắt đầu giữ những mô hình mới nhất của mình ngoài internet trực tiếp khoảng hai tuần trước thông báo của OpenAI; theo Anthropic, Viện An ninh AI của Anh hiện cũng tiến hành đánh giá ngoại tuyến.

OpenAI chưa cho biết điều gì sẽ khiến họ khôi phục kết nối internet. Quy định ngoại tuyến sẽ được duy trì cho đến khi các biện pháp bảo vệ tốt hơn “đủ cơ sở để cho phép truy cập internet rộng hơn”; công ty không đưa ra thời hạn cụ thể. Vì vậy, hiện tại, những mô hình tiên tiến nhất của họ sẽ tìm hiểu thế giới thông qua một bản sao của thế giới đó.

Thẻ: trí tuệ nhân tạo, OpenAI, an ninh mạng, Anthropic, Hugging Face, tác tử AI, huấn luyện AI