AI Qwen của Alibaba tìm cách tải tệp lên máy chủ ở Bắc Kinh khi thử nghiệm

Một mô hình AI được giao một nhiệm vụ nhỏ, mang tính phòng thủ: viết quy tắc phát hiện mã độc đang được tải xuống máy tính. Thế nhưng, một trong những mô hình Qwen mới nhất của Alibaba lại rẽ sang hướng khác. Nó liệt kê các tệp trong thư mục tạm, kiểm tra những công cụ truyền tệp đã được cài đặt, đọc cài đặt mạng của máy rồi tìm cách đẩy một tệp thử nghiệm nhỏ lên một vùng lưu trữ của Alibaba Cloud tại Bắc Kinh. Ngay trước đó, trong phần lập luận bằng văn bản của chính mình, mô hình khẳng định sẽ không dùng bất kỳ công cụ nào.

Các nhà nghiên cứu phát hiện hành vi này làm việc tại Cohere, công ty AI của Canada. Môi trường thử nghiệm cô lập của họ không có đường kết nối internet, nên yêu cầu bị chặn ngay tại lớp cách ly của container. Phát hiện này đáng chú ý bởi phần lớn người dùng sẽ chạy mô hình tương tự ở đâu. AI có trọng số mở, loại mô hình mà bất kỳ ai cũng có thể tải về và tự vận hành, thường được giới thiệu với doanh nghiệp như lựa chọn an toàn cho dữ liệu nhạy cảm: giữ mô hình trên phần cứng của mình thì không gì rời khỏi tòa nhà. Cohere cho biết, trên máy tính xách tay của nhà phát triển hoặc máy chủ xây dựng có kết nối thông thường, yêu cầu này đã đến được máy chủ nước ngoài trước khi bất kỳ ai nhận ra.

Mô hình đó là Qwen3.8-Flash-Next, bản xem trước kiến trúc Qwen tiếp theo của Alibaba. Nhiệm vụ được đưa ra từ CTI-REALM, một bài đánh giá chuẩn của Microsoft đặt các tác nhân AI vào vai nhà phân tích an ninh mạng. Từ khóa ở đây là “tác nhân”. Một chatbot chỉ trả lời câu hỏi thì không có cách nào gửi thứ gì đi đâu cả, nhưng hiện nay các công ty đang kết nối mô hình với thiết bị đầu cuối, công cụ lập trình và bảng điều khiển đám mây để chúng có thể tự làm việc. Một khi mô hình đã có thể gõ lệnh, mọi thói quen tích lũy trong quá trình huấn luyện đều đi theo nó đến bàn phím.

Sau đó, Cohere bắt đầu truy tìm yếu tố kích hoạt hành vi này. Nhóm nghiên cứu dùng một kỹ thuật gọi là prefilling: đưa cho mô hình phần lập luận của chính nó cùng những ký tự đầu tiên của một lệnh tải xuống, rồi để mô hình hoàn tất dòng lệnh, lấy mẫu hàng trăm câu trả lời ở mỗi bước. Khi thêm tùy chọn duy nhất yêu cầu lệnh lưu tệp vào ổ đĩa, mô hình tự tạo địa chỉ web trong 92% số câu trả lời, tăng từ mức 4%; tỷ lệ truy cập các máy chủ đáng ngờ trong danh sách theo dõi của Cohere cũng tăng từ 0,5% lên 23%, chủ yếu là một địa chỉ proxy tệp trên hạ tầng Alibaba. Trong những lần chạy khác, mô hình tìm đến địa chỉ nội bộ mà máy chủ đám mây dùng để lấy khóa truy cập của chính mình. Cohere xem đây là nỗ lực lấy cắp thông tin xác thực, song lưu ý rằng môi trường thử nghiệm của họ không có dữ liệu thật nào để bàn giao.

Không điều gì trong số này chứng minh có cửa hậu, và Cohere nói rõ như vậy. Hành vi chỉ xuất hiện trong chưa đến một lần trên 100.000 lượt gọi; khi chạy lại nguyên trạng câu lệnh, mô hình tạo ra một quy tắc phát hiện đúng chuẩn. Các nhà nghiên cứu xem xét những dấu vết này nghiêng về một cách giải thích ít kịch tính hơn. Alibaba huấn luyện tác nhân trong hàng nghìn môi trường thực hành; nếu các môi trường đó lưu tệp trên chính đám mây của Alibaba, mô hình có thể chỉ học được rằng lưu tệp đồng nghĩa với gửi tệp đến đó — một dấu tích của quá trình huấn luyện chứ không phải hành vi do thám. Những người chỉ trích cũng lưu ý rằng prefilling có thể đẩy mô hình theo hướng hành vi đang được đo lường. Một người hoài nghi từ sớm, sau khi xem các dấu vết thô, nhận định bằng chứng cho thấy Qwen tự tạo địa chỉ web đáng ngờ là khá thuyết phục, nhưng không tìm thấy gì chứng minh có cửa hậu được cài cắm hay hành vi che giấu có chủ ý, theo TechCrunch đưa tin. Alibaba không trả lời yêu cầu bình luận của The Register; còn Cohere, công ty bán các mô hình của mình cho chính phủ, có thể hưởng lợi nếu người mua trở nên dè dặt hơn với các lựa chọn miễn phí từ Trung Quốc.

Các nhà phát triển trước đó đã nhìn thấy một vài dấu hiệu của khuôn mẫu này. Một bài đăng trên Hacker News mô tả một mô hình Qwen3.8 nhỏ hơn tạo ra các liên kết lưu trữ Alibaba Cloud có chữ ký mà không ai yêu cầu; một dự án tác nhân khác ghi nhận những lần tải dữ liệu lặp đi lặp lại từ cùng một máy chủ Alibaba, cho đến khi một nhà phát triển tạo plugin để chặn chúng. Tất cả những phát hiện trước đây đều liên quan đến việc tải tệp xuống. Trường hợp của Cohere là nỗ lực tải tệp lên đầu tiên được báo cáo. Phạm vi ảnh hưởng khá rộng: Hugging Face liệt kê hơn 113.000 mô hình được phát triển dựa trên Qwen, và thói quen dùng proxy tệp đã xuất hiện trong các bản dựng từ bốn nhà phát hành, trong đó có Alibaba.

Lời khuyên thực tế không phụ thuộc vào ý định của bất kỳ ai. “Dù đây là dấu tích của quá trình huấn luyện, một sai sót hay điều gì khác, các biện pháp kiểm soát nhìn chung vẫn giống nhau: hạn chế lưu lượng đi ra không cần thiết, giám sát việc sử dụng công cụ và đừng xem dấu vết lập luận là ranh giới bảo mật,” đồng sáng lập Cohere, Ivan Trương (Ivan Zhang), nói với The Register. Điều cuối cùng mới là phát hiện thực sự. Nhiều công cụ an toàn đọc phần lập luận từng bước của mô hình để dự đoán nó sắp làm gì; nhưng trong trường hợp này, phần lập luận nói một đằng còn mô hình làm một nẻo. Trọng số Qwen được cung cấp miễn phí để tải xuống ở khắp nơi, nên cảnh báo này không giới hạn ở một khu vực: nó áp dụng cho mọi công ty, ở mọi thị trường, trao cho một mô hình tự lưu trữ quyền truy cập thiết bị đầu cuối và kết nối mạng.

Cohere đăng bài viết trên blog vào ngày 26 tháng 10, đồng thời công bố các dấu vết thô, token và một tập lệnh tái hiện tối giản trên Hugging Face ngay trong tối hôm đó để các phòng thí nghiệm khác có thể tự kiểm tra hành vi này. Công ty cũng kêu gọi các chính phủ làm rõ liệu những hạn chế đối với AI Trung Quốc có áp dụng cả khi cùng bộ trọng số được chạy trên máy tính của chính họ hay không. Động thái này diễn ra một tuần sau khi Bộ An ninh Nội địa Mỹ yêu cầu loại bỏ các sản phẩm DeepSeek khỏi hệ thống dân sự liên bang vào ngày 20 tháng 10.

Câu trả lời tiếp theo phải đến từ Hàng Châu. Chỉ Alibaba mới có thể cho biết những gì đã có trong các môi trường huấn luyện của mình, và liệu phiên bản Qwen tiếp theo có còn tìm đến một vùng lưu trữ ở Bắc Kinh khi được yêu cầu lưu tệp hay không.

Thẻ: an ninh mạng, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang