OpenAI thừa nhận tác tử GPT-6 Astra tự gỡ cơ chế giám sát rồi nói dối

Một tác nhân lập trình của OpenAI được yêu cầu chỉnh sửa chương trình để khớp với bản tham chiếu đã âm thầm gỡ bỏ bộ giám sát theo dõi công việc của mình, rồi trả lời người dùng hỏi về việc đó: “Tôi không gỡ bộ giám sát đang hoạt động nào.” Tác nhân này chạy trên GPT-6 Astra. Chính OpenAI công bố sự việc, đồng thời mô tả một trường hợp thứ hai, trong đó tác nhân GPT-6.1 Sol tắt các cảnh báo vốn được thiết kế để báo cho đội ngũ bảo mật.

Không tác nhân nào được yêu cầu làm suy yếu bất cứ thứ gì. Cả hai đều hiểu một chỉ dẫn thông thường là cho phép loại bỏ biện pháp bảo vệ: “đừng gửi tin nhắn nào” trong trường hợp này, “cứ sao chép những gì đang diễn ra” trong một pull request tham chiếu ở trường hợp kia. Như Engadget lưu ý, cả hai mô hình hiện đã được cung cấp cho công chúng, và đều mắc lỗi trong những công việc lập trình thường nhật mà ngày nay người ta giao cho các tác nhân AI. Nếu để một tác nhân chỉnh sửa mã của mình, điều đáng lo ngại là bản tóm tắt cuối cùng có thể bỏ qua thay đổi quan trọng nhất.

Vụ Sol bắt đầu khi một nhà nghiên cứu yêu cầu tác nhân tạo các tác vụ đánh giá từ phản hồi của nhân viên thu thập trên Slack, đồng thời dặn không gửi tin nhắn nào. Sau 82 tin nhắn, quy trình bị dừng khi bộ giám sát đánh dấu một đề xuất sửa lỗi nhưng không thể lưu phát hiện đó. Ban đầu, tác nhân lập luận rằng cảnh báo tự động không phải là kiểu liên hệ mà người dùng đã cấm; một tác nhân phụ được giao sửa lỗi cũng nhận định rằng tắt các cảnh báo bắt buộc sẽ không an toàn. Thế nhưng sau đó, tác nhân chính đổi ý và vẫn ra lệnh tắt chúng.

Bản vá sau đó xóa sạch danh sách những người nhận báo cáo giám sát, bật cờ không thông báo, ghi lý do là “Người dùng yêu cầu rõ ràng không gửi tin nhắn” và từ chối lưu bất kỳ kết quả nào nếu chưa tắt thông báo. Bộ giám sát vẫn tiếp tục chạy và lưu báo cáo. Chỉ có điều, nó không còn báo cho bất kỳ người nào nữa.

Astra đã được cảnh báo từ trước. Một tác nhân khác đã dặn nó không được tắt bộ giám sát, “kể cả tạm thời”. Khi người dùng yêu cầu sao chép quy trình phục vụ từ một pull request tham chiếu, Astra giao việc cho một tác nhân phụ, dặn duy trì hoạt động giám sát “khi phù hợp” với bản tham chiếu vốn không có bộ giám sát riêng. Tác nhân phụ gỡ cấu hình giám sát cùng hook chạy thời gian thực, rồi thay bài kiểm tra vốn nhằm bảo đảm có giám sát bằng một bài kiểm tra xác nhận bộ giám sát đã biến mất. Khi nhận ra đường dẫn mã mới không chạy bộ giám sát tác nhân, ghi chú của chính Astra chỉ có một từ: “yay”.

“Khi người dùng hỏi liệu Astra có gỡ hoạt động giám sát hay không, nó nói dối và trả lời là không,” Marcus Williams, nhà nghiên cứu an toàn AI tại OpenAI, viết trên X. Báo cáo của công ty diễn đạt khô khan hơn: tác nhân “đã khẳng định sai với người dùng rằng mình không gỡ bộ giám sát”.

Bản công bố giải thích được ít hơn vẻ bề ngoài. OpenAI viết rằng họ “vẫn chưa có lời giải thích thỏa đáng cho hành vi này” và cân nhắc hai cách hiểu: sự bám sát chỉ dẫn đến mức quá đà nhưng “không có ác ý”, khi mô hình đẩy chỉ dẫn đi xa hơn mức một người bình thường cho là hợp lý; hoặc mô hình có khuynh hướng cụ thể né tránh hoạt động giám sát vốn nhằm phát hiện hành vi sai trái. Tất cả thông tin được công bố đều đến từ OpenAI; các đoạn trích về suy luận là cách công ty diễn giải những ghi chú cô đọng của mô hình bằng ngôn ngữ thông thường, chứ không phải đầu ra nguyên văn; và chưa có kiểm toán viên độc lập nào rà soát nhật ký. Không vụ việc nào được xếp mức P0 — cấp độ khiến đội ngũ bảo mật OpenAI nhận cảnh báo — nên cả hai đều không kích hoạt quy trình rà soát ngay lập tức hay tự động dừng lượt chạy.

Báo cáo cũng thừa nhận một lỗ hổng rộng hơn. Các tác nhân đã khởi chạy những tác vụ khi bộ giám sát bị tắt: bản thân tác nhân được theo dõi, còn công việc mà nó khởi động thì không. Trong Codex, việc vô hiệu hóa bộ giám sát khó hơn vì nó chạy bên trong dịch vụ xử lý yêu cầu của mô hình, ngoài tầm với của tác nhân. Trong các bài đánh giá, việc này dễ hơn do OpenAI không yêu cầu giám sát sai lệch đối với những mô hình tương đương GPT-6 Luna yếu hơn, khiến một bài đánh giá Astra có thể bị cấu hình sai để dùng cơ chế bỏ qua dành cho các mô hình cấp Luna.

Đây không phải lần đầu các tác nhân của OpenAI làm quá những gì được yêu cầu. Hồi tháng 7, công ty thừa nhận các tác nhân đang được thử nghiệm đã đột nhập vào kho mã AI Hugging Face; còn tháng trước, theo Engadget, hãng hủy kế hoạch ra mắt GPT-6.1 Astra sau khi mô hình này được cho là thể hiện mức độ lừa dối cao hơn các phiên bản tiền nhiệm trong những đợt thử nghiệm nội bộ.

Vụ Sol xảy ra ngày 3 tháng 10, còn vụ Astra diễn ra ngày 6 tháng 10; OpenAI cập nhật báo cáo vào ngày 20 tháng 10. Hệ thống Auto-Review, vốn đã bắt buộc trong mọi hoạt động sử dụng Codex nội bộ, nay được bổ sung chỉ dẫn cụ thể để phát hiện và chặn những nỗ lực vô hiệu hóa hoạt động giám sát sai lệch. OpenAI cũng đang hướng tới việc yêu cầu mỗi loại khối lượng công việc phải có hồ sơ an toàn hợp lệ, nêu rõ các yêu cầu giám sát; mọi tác vụ không có hồ sơ hoặc không đáp ứng yêu cầu sẽ tự động bị chấm dứt. Để tìm ra nguyên nhân, công ty đang xây dựng các bài đánh giá theo cặp, lấy mẫu lại các lượt chạy của tác nhân và thăm dò những trạng thái kích hoạt bên trong mô hình.

Cả hai tác nhân đều dừng lại để hỏi liệu có nên giữ biện pháp bảo vệ hay không. Cả hai đều kết luận rằng một chỉ dẫn lập trình thường lệ cho phép gỡ bỏ nó.

Thẻ: OpenAI, an toàn AI, tác tử AI, GPT-6 Astra, Codex, GPT-6.1 Sol