Tổng giám đốc Google đã thôi đếm. Khi được hỏi hiện AI viết bao nhiêu phần mã của công ty, Sundar Pichai nói câu hỏi ấy không còn ý nghĩa, bởi AI có ảnh hưởng đến toàn bộ quá trình. Trong cùng cuộc trò chuyện, ông cũng hạ thấp mức độ đáng lo ngại của viễn cảnh mà phần lớn ngành công nghệ đang chuẩn bị ứng phó: AI tự tạo ra những phiên bản tốt hơn của chính mình, gạt con người khỏi vòng lặp.

Cả hai nhận định có thể đều đúng. Vấn đề là ai sẽ kiểm chứng chúng. Con số Pichai gạt sang một bên là chỉ số duy nhất mà người ngoài có thể đặt cạnh số liệu của các công ty khác. Còn những gì thay thế nó, cũng như bằng chứng làm cơ sở cho cái nhìn bình tĩnh hơn của ông về AI tự cải thiện, đều đến từ việc Google tự đo lường Google.

Sundar Pichai nói gì về AI và mã nguồn của Google

Pichai trò chuyện với Alex Kantrowitz trên podcast Big Technology, buổi ghi âm được thực hiện tại trụ sở Google ở Mountain View và Kantrowitz cũng đăng tải dưới dạng hỏi đáp bằng văn bản. Khi Kantrowitz nhắc lại tuyên bố trước đây rằng AI viết một phần tư mã của Google, rồi hỏi con số hiện tại là bao nhiêu, Pichai gọi câu hỏi đó là “vô nghĩa”, bởi mọi phần mã mà Google hiện chạm đến “đều chịu ảnh hưởng sâu sắc từ AI”.

Thay vào đó, ông đưa ra số liệu về Gemini 4 Argon, mô hình mới nhất của Google mà công ty đã giao cho chính các kỹ sư của mình sử dụng. Ông cho biết trong bốn tuần kể từ khi ra mắt, Google ghi nhận số CL — tên gọi nội bộ dành cho các lần gửi mã — tăng 30%, còn số lần hoàn tác giảm một phần ba; đây là những thay đổi phải được đảo ngược sau khi triển khai. “Giờ đây, chúng tôi đang theo dõi bằng những chỉ số mới hơn,” ông nói.

Chỉ số cũ không tự biến mất. Trong một bài đăng blog hồi tháng Tư, Google cho biết tỷ lệ mã mới do AI tạo ra là 75%, tăng từ mức 25% vào năm 2024 và 50% vào mùa thu năm trước, theo Semafor và ETV Bharat. Khi đó, Semafor lưu ý rằng một số tuyên bố như vậy gần như không thể kiểm chứng, đồng thời đặt chúng cạnh Snap, với tỷ lệ 65%, và Meta, công ty đặt mục tiêu đạt mức tương tự.

Vì sao Pichai nói AI tự cải thiện vẫn còn rất xa

Về tự cải thiện đệ quy (RSI), Pichai trình bày câu trả lời như một sự làm rõ phát biểu của người đồng sáng lập. Ông nói Sergey Brin từng gọi RSI là một yếu tố đóng góp quan trọng cho Argon, nhưng “chúng ta vẫn còn cách rất xa trạng thái cuối cùng của RSI”. Sau đó, ông mô tả tình hình thực tế của Google: “Cách diễn đạt chính xác là các vòng lặp RSI đang tồn tại song song với các nhà nghiên cứu AI trong nhiều khía cạnh của quá trình phát triển mô hình. Tôi cho rằng gần như đã có các tác nhân hỗ trợ nhà nghiên cứu AI, theo một cách nào đó được tự động hóa, phối hợp với nhau để xây dựng những mô hình này.”

Vài ngày trước đó, Brin đã nói xa hơn. Trong một buổi tọa đàm về Argon do Google chia sẻ, ông cho biết công ty “đang bắt đầu bước lên guồng quay RSI” và “giờ đây các nhà nghiên cứu của chúng tôi cùng mô hình phối hợp chặt chẽ để tạo ra phiên bản tiếp theo của mô hình”, theo Business Insider. Một báo cáo của Gladstone AI công bố trong tháng này cho biết phần lớn các nhà nghiên cứu được phỏng vấn tại Anthropic, OpenAI và Google DeepMind dự đoán RSI sẽ bắt đầu trong vòng từ ba đến 12 tháng.

Báo cáo an toàn của Google ủng hộ Pichai — dựa trên các thử nghiệm của chính Google

Xét trên văn bản, hồ sơ hiện có đứng về phía Pichai. Báo cáo an toàn và bảo mật của Google DeepMind về Argon kết luận “không có sự tăng tốc đáng kể nào trên toàn bộ quy trình nghiên cứu và phát triển AI, dù do AI thúc đẩy hay không”, đồng thời xếp rủi ro này ở mức “hiện còn thấp”, theo TNW. Báo cáo cho biết các tác nhân AI “viết phần lớn mã sản phẩm và bản sửa lỗi, dù các thay đổi về mã vẫn phải được con người xem xét trước khi gửi”. Tỷ lệ yêu cầu thay đổi mã được giao hoàn toàn cho AI tăng từ 7,5% trong tháng Tư lên 11,9% trong tháng Chín; khoảng 88% vẫn cần con người liên tục định hướng hoặc trực tiếp viết mã.

Những kết quả đó được tạo ra bằng các công cụ đo lường của chính Google. Ngưỡng đánh giá mức độ AI tự động hóa nghiên cứu AI được đối chiếu với một bộ tiêu chuẩn nội bộ gồm 74 nhiệm vụ mà không ai bên ngoài công ty có thể chạy thử. Một phân tích đăng trên LessWrong chỉ ra một dòng trong chính báo cáo: trong số các nhiệm vụ ban đầu được Google kiểm toán, “khoảng một phần tư có lỗi khiến mọi lần gửi đều không thể vượt qua”. Do nhiều lần chạy bị hết thời gian, báo cáo không đưa ra ước tính điểm cho Argon; mô hình giải được khoảng một nửa số lần chạy hoàn tất. Google nói kết luận của mình vẫn đúng ngay cả khi mọi lần chạy chưa hoàn tất đều thành công.

Việc con người xem xét là chốt kiểm soát mà lập luận về an toàn dựa vào. Mã được gửi tăng 30% đồng nghĩa những người giữ chốt phải xem xét thêm 30% thay đổi; trong khi đó, các chỉ số Pichai lựa chọn đếm đầu ra và số lần đảo ngược, chứ không đo mức độ từng thay đổi được đọc kỹ đến đâu.

Giải pháp chính Pichai đề xuất: kiểm toán viên độc lập

Pichai không gạt bỏ mối lo ngại. Ông nói nghiên cứu về căn chỉnh vẫn còn “những lỗ hổng rõ ràng” và “lo lắng là điều hợp lý”. Theo ông, bước tiếp theo là xây dựng các tiêu chuẩn chung cho toàn ngành, “bao gồm khả năng đánh giá bằng các đơn vị đánh giá độc lập”, theo mô hình của chuẩn mực kế toán và kiểm toán viên bên ngoài; đồng thời, quy định quản lý “rốt cuộc sẽ đóng một vai trò nhất định”.

Đối chiếu với tiêu chuẩn đó, cả hai tuyên bố trong tuần này vẫn chưa được kiểm toán độc lập. Google tự đếm các danh sách thay đổi mã, tự đánh giá những lần hoàn tác và tự chấm điểm bộ tiêu chuẩn nghiên cứu của mình.

Tỷ lệ mà ông gọi là vô nghĩa tuy thô sơ, nhưng ai cũng có thể đặt nó cạnh con số của Snap. Còn những số liệu thay thế chỉ có thể được đọc từ bên trong Google.

Thẻ: Google, Gemini, Sundar Pichai, lập trình bằng AI, Sergey Brin