Một dòng trong robots.txt sẽ chặn Google, OpenAI dùng web của bạn huấn luyện AI

Trước đây, những ai muốn ngăn website của mình bị dùng để huấn luyện AI đều phải viết quy tắc riêng cho từng công ty, lần lượt tìm hiểu những cái tên như GPTBot, ClaudeBot và Google-Extended. Giờ đây, Google, OpenAI, Anthropic và Microsoft cho biết cả bốn sẽ cùng đọc một dòng duy nhất: một “mã chính sách” dùng chung trong robots.txt, tệp văn bản nhỏ vốn chỉ dẫn cho các công cụ tìm kiếm biết nơi nào không nên truy cập từ thuở đầu của web. Chỉ cần viết một lần, dòng này sẽ đưa ra cùng một câu trả lời cho bốn trong số những nhà phát triển AI lớn nhất.

Ý tưởng này do Kevin Kelley, trưởng nhóm kỹ thuật phụ trách tiêu chuẩn tại Anthropic, đề xuất lên Internet Engineering Task Force (IETF), tổ chức xây dựng các quy tắc kỹ thuật của internet. Điểm khéo léo là đề xuất không tạo ra cú pháp mới. Chủ website viết một nhóm quy tắc thông thường, nhưng dòng User-Agent sẽ nêu mục đích sử dụng thay vì tên trình thu thập dữ liệu: __usage_ai-training. Bên dưới, “Disallow: /” có nghĩa là không được dùng bất kỳ nội dung nào trên website này để huấn luyện; còn một dòng “Allow” có thể tạo ngoại lệ, chẳng hạn cho phép mô hình học từ bộ tài liệu truyền thông mà công ty sẵn lòng chia sẻ.

Với blog, cửa hàng hay tòa soạn, chi tiết hữu ích nhất là những gì dòng lệnh này không thay đổi. Nó thể hiện lựa chọn về cách sử dụng nội dung, chứ không hạn chế ai được truy cập, nên hoạt động tìm kiếm vẫn diễn ra bình thường. Google cho biết nếu một website từ chối bằng mã dùng chung mà không đề cập riêng đến Google-Extended, hãng sẽ hiểu đó là yêu cầu chặn Google-Extended, áp dụng cho việc huấn luyện Gemini nhưng vẫn để trang xuất hiện trên Google Search. Microsoft cũng cam kết tương tự với Bing: cài đặt này không ảnh hưởng đến khả năng một trang xuất hiện trong kết quả tìm kiếm.

Microsoft còn đi xa hơn những công ty khác. Bên cạnh lựa chọn về huấn luyện, hãng sẽ bổ sung một tùy chọn riêng cho việc dùng nội dung làm căn cứ tạo câu trả lời, được thiết lập cho từng trang thông qua thẻ meta hoặc tiêu đề HTTP. Tùy chọn này quyết định liệu một trang có thể cung cấp thông tin cho câu trả lời tức thời do Bing, Copilot và Microsoft 365 tạo ra hay không. Website có thể từ chối việc huấn luyện nhưng vẫn cho phép dùng nội dung làm căn cứ, nhờ đó các trích dẫn và đường liên kết của mình vẫn xuất hiện trong câu trả lời AI. Microsoft cảnh báo rằng từ chối tùy chọn này sẽ “làm giảm đáng kể” mức độ hiển thị của website trong những trải nghiệm đó, đồng thời không lựa chọn nào bảo đảm website sẽ được đưa vào câu trả lời, có thêm lưu lượng truy cập hay nhận được thanh toán.

Trong tệp mà hầu hết website đã có sẵn lại ẩn một điểm đáng lưu ý. Bản dự thảo của Kelley cố ý khiến quy tắc ký tự đại diện quen thuộc “User-agent: *” không nhận diện mã mới. Vì vậy, một tệp robots.txt hiện chặn mọi bot sẽ không thể hiện bất kỳ lựa chọn nào về việc huấn luyện AI. Chủ website muốn từ chối phải thêm nhóm quy tắc mới bằng chính tên của nó. Tín hiệu này cũng chỉ có tác dụng từ thời điểm được đưa ra trở đi: nội dung các công ty đã thu thập trước khi dòng lệnh xuất hiện vẫn nằm trong dữ liệu huấn luyện của họ, và bản dự thảo không buộc công ty nào phải tuân thủ. Đây là yêu cầu mà bốn công ty đã hứa sẽ tôn trọng, chứ không phải một chiếc khóa bảo đảm ngăn chặn.

Điều vắng mặt rõ rệt nhất là Meta. Andy Stone, người đứng đầu bộ phận truyền thông của công ty, nói với The Verge rằng một tín hiệu chung có thể tiếp cận nhiều nhà cung cấp cùng lúc là “một bước tiến quan trọng”, nhưng không cho biết Meta có tuân thủ hay không. Thời điểm này cũng khá trớ trêu. Cùng ngày bốn công ty công bố ủng hộ sáng kiến, các điều khoản kinh doanh cập nhật của Meta bắt đầu có hiệu lực, cho phép hãng đưa trình thu thập dữ liệu đến những website gắn với tài khoản doanh nghiệp trên Facebook, Instagram và WhatsApp, đồng thời dùng dữ liệu thu thập được để huấn luyện các sản phẩm của mình.

Kế hoạch triển khai giữa các bên không đồng đều. Anthropic đã bắt đầu áp dụng mã này, dù Kelley viết rằng sẽ cần thời gian để đưa vào toàn bộ dịch vụ của hãng. Microsoft sẽ tuân thủ khi thu thập dữ liệu từ ngày 1 tháng 2 năm 2027, và sau ngày 1 tháng 3 sẽ ngừng xem các thẻ NoArchive và NoCache cũ là tín hiệu về huấn luyện hoặc việc dùng nội dung làm căn cứ tạo câu trả lời. Google đặt mục tiêu hỗ trợ mã này trong năm 2027 và cam kết cập nhật tiến độ, trong khi OpenAI mới chỉ cam kết triển khai trong vài tháng tới. Đề xuất vẫn phải được nhóm công tác AI Preferences của IETF xem xét trước khi trở thành tiêu chuẩn chính thức. Google cũng lưu ý rằng đề xuất phù hợp với bộ quy tắc thực hành của EU dành cho các mô hình AI đa dụng, vốn đã xem robots.txt là phương thức chính để nhà xuất bản đưa ra các lựa chọn có thể được máy đọc.

Điều khiến thời điểm này đáng chú ý là giải pháp quá nhỏ gọn. Sau nhiều năm kiện tụng và tranh chấp cấp phép về quyền sở hữu web mở, câu trả lời chung đầu tiên chỉ là vài ký tự trong một tệp văn bản đơn giản mà bất kỳ ai cũng có thể chỉnh sửa trong một phút. Mức độ bảo vệ thực tế sẽ tùy thuộc vào những bên tiếp theo đồng ý tham gia, trong khi công ty có nhiều trang doanh nghiệp nhất trên các nền tảng của mình vẫn chưa nói lời chấp thuận.

Thẻ: trí tuệ nhân tạo, OpenAI, Google, Anthropic, microsoft, meta