Claude Fable 5 không bị giảm sức mạnh. Bộ định tuyến chỉ là hoang tưởng

Claude Fable 5 đã trực tuyến trở lại vào ngày 1 tháng 7 và phán quyết trên mạng xã hội không mấy hay ho: hỏng, nerf, lobotomized, hoạt động kémkhông cùng mẫu.

Những lời chỉ trích từ người dùng đã vang dội. Sau đó, hai điểm chuẩn—AI của BridgeBench Và Đấu trường AI—dữ liệu được công bố cùng ngày và đưa ra kết luận trái ngược nhau. Một người nhận thấy chất lượng đầu ra bị suy giảm nghiêm trọng, người còn lại nhận thấy sự khác biệt nhỏ đến mức có thể không đủ liên quan để nhận thấy.

Cả hai, theo cách riêng của họ, đều đúng.

Phiên bản ngắn: Mô hình không hề ngu ngốc hơn. Người gác cổng trước mặt nó hung hãn hơn nhiều. Sự khác biệt đó rất quan trọng tùy thuộc vào mục đích bạn sử dụng Fable.

Những gì BridgeBench thực sự đo được

BridgeMind—một nền tảng đánh giá AI—đã chạy lại bộ mã hóa đầy đủ của nó dựa trên phiên bản ngày 1 tháng 7 của Fable 5 vào ngày nó quay trở lại.

CầuBăng Ghế Dự Bị kiểm tra các nhiệm vụ mã hóa trong thế giới thực trên nhiều danh mục bao gồm gỡ lỗi, tái cấu trúc và khả năng chống ảo giác, đạt điểm 0–100 về mức độ hoàn thành của mô hình đối với từng danh mục. Kết quả thật nghiệt ngã trên giấy tờ: Gỡ lỗi giảm từ 86,2 xuống 25,9, Tái cấu trúc từ 73,6 xuống 38,4 và khả năng chống ảo giác từ 75,9 xuống 61,7.

Vấn đề nằm ở phương pháp luận. Trong số 12 nhiệm vụ gỡ lỗi TypeScript, chỉ có 3 nhiệm vụ thực sự đạt đến Fable 5. 9 nhiệm vụ còn lại đã bị bộ phân loại an toàn mới của Anthropic chặn lại và định tuyến lại đến Claude Opus 4.8—và BridgeBench cho điểm mọi dự phòng là 0, vì mô hình trả lời không phải là mô hình đang được đánh giá.

Bộ phân loại, được triển khai như một điều kiện của Sự phục hồi của truyện ngụ ngônđã được đào tạo để chặn kỹ thuật bẻ khóa do Amazon báo cáo — một kỹ thuật giúp Fable 5 xác định và chứng minh các lỗ hổng phần mềm. Nó hoạt động. Nó cũng bắt được rất nhiều thứ không nên. Việc gỡ lỗi TypeScript trông giống như “công việc bảo mật” đối với trình phân loại mà dự phòng sẽ kích hoạt liên tục.

Arena.AI thực sự đo được gì

Arena.AImột nền tảng so sánh và đo điểm chuẩn LLM, đã đưa ra cùng một câu hỏi dưới một lăng kính khác. Nền tảng này thu thập hàng nghìn phiếu bầu theo sở thích mù quáng của con người trên nhiều danh mục—văn bản, tầm nhìn, tài liệu, mã và tác nhân—và xếp hạng các mô hình bằng cách sử dụng tính điểm Elo, hệ thống xếp hạng bắt nguồn từ cờ vua giúp điều chỉnh độ không chắc chắn về mặt thống kê trong hàng nghìn trận đấu đối đầu. Khi hai mô hình đối đầu ẩn danh và con người chọn người chiến thắng, điểm số phản ánh chất lượng cảm nhận thực tế chứ không phải định tuyến cơ sở hạ tầng.

So sánh trước và sau cho thấy Fable 5 phần lớn vẫn giữ vững lập trường của mình. Mã giao diện người dùng giảm từ 1650 xuống 1623 Elo—một sự khác biệt mà Arena ghi nhận là nằm trong khoảng tin cậy khi dữ liệu tiếp tục tích lũy. Hiệu suất tài liệu được cải thiện 34 điểm. Văn bản chuyên gia tăng 25. Văn bản sáng tạo tăng nhẹ 9. Các danh mục giảm: Mã hóa ở -18, lời nhắc khó ở -3 — chính xác là nơi trình phân loại có nhiều khả năng chặn lời nhắc nhất trước khi Fable có thể trả lời.

Nói cách khác, khi Fable 5 thực sự xử lý nhiệm vụ, nó vẫn hoạt động giống như Fable 5. Sự thất vọng đối với X không phải về một mô hình tệ hơn mà là về việc trả tiền cho một mô hình thường không phải là mô hình trả lời.

Ai bị ảnh hưởng, ai không

Người dùng thông thường thực hiện viết sáng tạo, phân tích tài liệu, nghiên cứu và truy vấn văn bản ở cấp độ chuyên gia có thể sẽ nhận thấy rất ít hoặc không có sự khác biệt. Đó là những hạng mục mà Arena.AI cho thấy hiệu suất ổn định hoặc được cải thiện. Nếu có một số cải tiến thì có thể quá nhỏ để nhận thấy, đặc biệt là trong các nhiệm vụ chủ quan, định tính như viết sáng tạo, nơi khó có thể đo lường đầy đủ kết quả.

Như vậy, về cơ bản, các nhà văn, nhà nghiên cứu và nhà phân tích sẽ có được Fable 5 mà họ mong đợi. Các nhà phát triển là một câu chuyện khác.

Bất kỳ ai làm việc trong khu vực lân cận về bảo mật—quản lý bộ nhớ mã hóa, bất kỳ từ nào liên quan đến các từ như “lỗ hổng”, “khai thác”, “móc” hoặc thậm chí “sửa chữa”—sẽ thường xuyên gặp phải vấn đề dự phòng.

Khoảng cách giữa sự sụp đổ của BridgeBench và độ ổn định của Arena phụ thuộc vào loại nhiệm vụ. BridgeBench tải bộ phần mềm của nó với chính xác loại lời nhắc sửa mã và gỡ lỗi để kích hoạt trình phân loại mới. Những người bỏ phiếu là con người của Arena yêu cầu kết hợp nhiều thứ rộng hơn nhiều và hầu hết trong số chúng không giống như khai thác mã đối với lớp an toàn.

Anthropic cho biết các công cụ phân loại sẽ cải thiện theo thời gian, thừa nhận rằng họ hiện đang tạo ra một mạng lưới quá rộng. Lệnh cấm ban đầu xuất hiện sau khi các nhà nghiên cứu của Amazon tìm ra một kỹ thuật giúp Fable xác định và chứng minh các lỗ hổng phần mềm — và chính phủ Hoa Kỳ coi đó là mối đe dọa an ninh quốc gia. Cách khắc phục là làm cho bộ phân loại đủ thận trọng để nắm bắt được điều đó và mọi thứ xung quanh nó, sau đó điều chỉnh nó lại sau.

Anthropic chưa đưa ra ngày mục tiêu khi điều đó sẽ xảy ra.