OpenAI tuyên bố kỷ nguyên AGI. Benchmark được trích dẫn cho điểm thấp hơn 37 điểm

Bài đăng của Jensen Huang trên X chỉ vỏn vẹn một câu và một lời chúc mừng: “Từ ChatGPT đến o1 rồi Astra trong 4 năm, AGI đã đến. Chúc mừng nhóm @OpenAI.” Anh gửi nó vào ngày 6 tháng 9. Ba ngày trước đó, Greg Brockman, chủ tịch của OpenAI, đã dùng khung lời gần như giống hệt với báo chí: “Chào mừng đến với kỷ nguyên AGI.” Những tuyên bố đến gần nhau, từ hai người có lợi ích bổ sung, và phần lớn được tiếp nhận như một sự xác nhận.

Chuẩn đánh giá đằng sau tuyên bố là ARC-AGI-3. OpenAI cho biết Astra, mô hình biên giới mới của họ được phát hành dưới tên gọi GPT-6, đạt 99,9% trên ARC-AGI-3 và 98% trên FrontierMath Tier 4. Điểm số ở mức đó, trong điều kiện tiêu chuẩn, sẽ đại diện cho một sự gián đoạn thực sự — một mô hình không chỉ hoạt động tốt mà còn chạm đến vùng đất trước đây các chuẩn đánh giá coi là mục tiêu lý tưởng. Tổ chức đã xây dựng ARC-AGI-3 công bố một điểm số từ hệ thống đánh giá tiêu chuẩn của họ: 62,7%.

Ba mươi bảy điểm phần trăm ngăn cách hai con số đó. Cả hai đều đến từ các đánh giá thực tế. Hệ thống đánh giá nội bộ của OpenAI và hệ thống tham chiếu của những người tạo ra chuẩn đánh giá không phải cùng một giao thức, và cùng một mô hình tạo ra các điểm số khác nhau dưới mỗi hệ thống. Điều mà tổ chức ARC-AGI-3 sử dụng làm điều kiện tham chiếu — điều kiện mà họ coi là hợp lệ để so sánh các mô hình trên toàn lĩnh vực — tạo ra 62,7%. Thiết lập nội bộ của OpenAI tạo ra 99,9%. Sự khác biệt giữa những con số đó là sự khác biệt giữa một kết quả chuẩn đánh giá mạnh mẽ và một tuyên bố về sự xuất hiện.

Bài viết nên đọcMột liên minh chiến lược: ‘Talking Tom’ và ‘Miraculous’ ra mắt sự kiện hợp tác đa nền tảng

Thương vụ chip đằng sau lời chúc mừng AGI

Astra được huấn luyện trên chip của NVIDIA. Huang bán chip của NVIDIA. Khi một CEO công khai chúc mừng một khách hàng vì đã vượt qua một ngưỡng lịch sử — một ngưỡng làm cho phần cứng được sử dụng để xây dựng sản phẩm đó trở thành cơ sở hạ tầng xác định cho những gì tiếp theo — thông báo đó, về mặt cấu trúc, là một tuyên bố thương mại. Không phải âm mưu. Một thực tế cấu trúc: xung đột lợi ích có thể thấy rõ, khung lời xoay quanh sự xuất hiện thay vì hiệu suất, và phần lớn các bài báo tiếp nhận cả hai mà không bình luận.

Thị trường chip cho hạ tầng AI vận hành dựa trên câu chuyện. Nếu Astra là AGI, thì bất cứ thứ gì huấn luyện Astra trở thành phần cứng của thế giới hậu-AGI — và các công ty mua chip cho đợt huấn luyện tiếp theo sẽ mua hướng tới chuẩn đánh giá đó. Lời chúc mừng của Huang, theo nghĩa cụ thể đó, cũng là một tuyên bố sản phẩm. Tuyên bố phụ thuộc vào một con số mà chính tổ chức chuẩn đánh giá đo lường khác đi.

Những gì xác minh độc lập cho thấy — và những gì nó không cho thấy

Tính đến thời điểm xuất bản, Astra không xuất hiện trong Chỉ số Trí tuệ Phân tích Nhân tạo (Artificial Analysis Intelligence Index) hay trong bảng xếp hạng của Arena.ai — hai hệ thống đánh giá độc lập được theo dõi nhiều nhất cho các mô hình biên giới. Xác minh độc lập cho các bản phát hành biên giới lớn thường đến trong vòng vài ngày. Sự vắng mặt ở đây không phải bằng chứng về hiệu suất kém. Nó có nghĩa là xác thực bên ngoài thường đi kèm với một tuyên bố có tầm cỡ này vẫn chưa thành hiện thực.

62,7% từ những người tạo ra chuẩn đánh giá không phải là một sự bác bỏ. Một điểm số ở mức đó trên ARC-AGI-3 — một bài kiểm tra được thiết kế để chống lại các thủ thuật tối ưu hóa từng thổi phồng các chuẩn đánh giá trước đó — thực sự mạnh mẽ. Các phiên bản trước của ARC-AGI-3 đã bão hòa: các mô hình hấp thụ dữ liệu huấn luyện giống với các câu hỏi kiểm tra và đẩy điểm số lên cao mà không cải thiện khả năng suy luận mới. ARC-AGI-3 thay đổi thiết kế câu hỏi để yêu cầu trừu tượng hóa thay vì truy xuất mẫu. Sáu mươi hai phẩy bảy phần trăm trên bài kiểm tra đó, dưới hệ thống tham chiếu, cao hơn nhiều so với bất cứ thứ gì tồn tại hai năm trước.

Các nhà nghiên cứu đưa ra phản đối đã chính xác về điều này. Khả năng của mô hình không phải mục tiêu của họ. Bước nhảy từ hiệu suất sang tuyên bố mới là vấn đề. “Điểm cao trên các chuẩn đánh giá này” và “AGI đã đến” đòi hỏi một bước ở giữa: một định nghĩa ổn định, được đồng thuận về AGI để có thể đo lường sự xuất hiện. Không có định nghĩa nào như vậy tồn tại trên toàn lĩnh vực. OpenAI có một định nghĩa nội bộ. Theo định nghĩa riêng của OpenAI, Astra có thể đủ điều kiện. Nhưng một công ty đo lường sản phẩm của mình dựa trên một định nghĩa do chính họ viết là một loại kết quả khác với một kết quả được đo bằng một tiêu chuẩn bên ngoài.

Câu nói không đi kèm định nghĩa

Bài đăng của Huang không có ngoại lệ. “AGI đã đến” là một lời khẳng định — không phải “theo một số thước đo” hay “dưới một số định nghĩa”, mà là một sự xuất hiện rõ ràng. Tiến trình bốn năm mà ông nêu — ChatGPT, o1, Astra — là thực tế như một quỹ đạo năng lực. Mỗi mô hình trong chuỗi đã mở rộng những gì có thể. Đóng khung chuỗi đó như một cuộc hành trình có điểm kết thúc, và tuyên bố điểm kết thúc, tạo ra một tuyên bố khác: nó nói rằng sự xuất hiện có thể phân biệt với cuộc hành trình, rằng có một đường ranh giới thay vì một độ dốc, và rằng Astra đã vượt qua nó.

Con số chuẩn đánh giá đằng sau tuyên bố đó là 62,7%. Những người xây dựng bài kiểm tra đã công bố nó. Câu hỏi mà nó đặt ra — liệu tuyên bố AGI là một phép đo hay một động thái thị trường — đã có mặt vào ngày 6 tháng 9. Các bài báo phần lớn đã trả lời nó mà không cần hỏi.

Thẻ: trí tuệ nhân tạo, nvidia, OpenAI, Jensen Huang, AGI, ARC-AGI-3

Nội dung tương tự

Bill Gates: “AI sẽ là công cụ san bằng vĩ đại nhất từng được phát minh, hoặc là nguồn gốc bất công tồi tệ nhất”

Ứng dụng Seller mới của Facebook biến một bức ảnh thành danh sách bán hàng hoàn chỉnh trên Marketplace

Apple Music bắt buộc dán nhãn AI — một phần ba bài đăng đã được tạo bởi AI

Pixel Tag: thiết bị theo dõi của Google ngang giá AirTag nhưng tới tháng 11 mới bán

Bóng Ma Đang Cai Trị: Khi AI Tự Chủ Vượt Qua Các Hệ Thống Được Thiết Kế Để Kiểm Soát Nó

Lỗ hổng Oracle PeopleSoft CVSS 9.8 để ShinyHunters truy cập 100+ tổ chức trong hai tuần