Gặp gỡ Qwable: Mô hình địa phương miễn phí có suy nghĩ giống như Claude Fable

Nhân chủng học đã dành tuần trước xin lỗi vì Fable 5 các biện pháp bảo vệ vô hình, và sau đó chính phủ Hoa Kỳ đã ra lệnh dỡ bỏ mô hình này đối với tất cả công dân nước ngoài vì một phát hiện bẻ khóa gây tranh cãi.

Vài ngày sau, một nhà phát triển trên Hugging Face đã tải lên một mô hình sử dụng lý luận của Fable để hướng dẫn một mô hình cục bộ—và giờ đây ngay cả chiếc PC khoai tây của bạn cũng có thể chạy một mô hình tốt hơn.

Mô hình được gọi là có thể hỏi được—Qwen + Truyện ngụ ngôn, nếu từ ghép không rõ ràng ngay lập tức. Đây là bản tinh chỉnh hoàn chỉnh của cơ sở Qwen3.6-27B của Alibaba, được xây dựng bởi nhà phát triển Mia (Mia-AiLab trên Ôm mặt) trên tập dữ liệu gồm các ví dụ lý luận kiểu Fable 5. Mục tiêu là một mô hình tham số 27 tỷ chạy trên phần cứng của người tiêu dùng và hoạt động theo cách suy nghĩ của Fable 5. (Các tham số xác định phạm vi kiến ​​thức của mô hình, với ý nghĩa tổng quát hơn là có khả năng hơn.)

Kỹ thuật này được gọi là tinh chỉnh hướng dẫn trên các ví dụ kiểu theo dõi. Đó là một cách nói kỹ thuật, nhà phát triển đã thu thập các ví dụ được định dạng giống như các câu trả lời từng bước, có chủ ý của Fable 5 và đào tạo Qwen để tạo ra cùng loại đầu ra.

Vì vậy, hãy nghĩ về việc ít “sao chép bài kiểm tra” mà thay vào đó là “học thói quen học tập”. MỘT cách tiếp cận tương tự đã thúc đẩy Qwopus—sự chưng cất cục bộ của Claude Opus 4.6 — mặc dù dự án đó tập trung vào các dấu vết lý luận theo chuỗi suy nghĩ. Mục tiêu Qwable Cấu trúc tuân theo hướng dẫn tổng thể của Fable 5: được hướng dẫn nhiều hơn, giải thích nhiều hơn và hướng tới việc hoàn thành nhiệm vụ từng bước hơn so với mô hình Qwen cơ bản mà nó được xây dựng trên đó.

Nó chạy ở định dạng GGUF—loại tệp nén, thân thiện với người tiêu dùng, hoạt động với LM Studio hoặc llama.cpp—và phù hợp với khoảng 16,5 GB trong bản dựng lượng tử hóa Q4 của nó. Nó không gửi gì đến máy chủ của Anthropic, điều quan trọng là Truyện ngụ ngôn 5 cần thiết lưu giữ dữ liệu bắt buộc trong 30 ngày đối với tất cả lưu lượng truy cập, ngay cả đối với khách hàng doanh nghiệp trước đây có thỏa thuận không lưu giữ. Ngay cả các mô hình hiện tại cũng sử dụng máy chủ của bên thứ ba để xử lý thông tin và lời nhắc của bạn..

Sau đó, ngay sau khi Qwable xuất hiện trên Hugging Face, một người khác đã đến để làm cho nó thậm chí còn tốt hơn.

Qwable mà không có lương tâm

Qwable là một mô hình bị kiểm duyệt. Rốt cuộc, cả Qwen và Claude đều như vậy. Nhưng Qwen, với tư cách là mô hình cơ sở, là nguồn mở và có thể được thao tác và điều chỉnh.

Huihui-ai, một cộng tác viên nguồn mở nổi tiếng với các bản phát hành GGUF không bị kiểm duyệt, đã sử dụng Qwable và áp dụng một quy trình gọi là hủy bỏ để tạo ra Huihui-Qwable-3.6-27b-bị xóa bỏ. Nó tạo ra một mô hình có hoạt động giống như Fable nhưng sẽ không từ chối trả lời lời nhắc của bạn, bất kể chúng kỳ lạ hay nguy hiểm đến mức nào.

Nó không phải là một bản bẻ khóa. Đó là phẫu thuật.

Mỗi mô hình AI được tinh chỉnh đều mang một hướng từ chối được nhúng trong trọng số của nó—một tín hiệu toán học trong quá trình kích hoạt bên trong của mô hình sẽ kích hoạt khi phát hiện một yêu cầu mà nó đã được huấn luyện để từ chối. Việc xóa bỏ xác định tín hiệu đó bằng cách chạy mô hình trên một tập hợp lớn các lời nhắc có hại và vô hại, đo lường sự khác biệt giữa phép toán nội bộ giữa chúng và sau đó sửa đổi trọng số mô hình để loại bỏ sự khác biệt đó.

Sau thủ tục, mô hình đơn giản là không còn máy móc từ chối nữa. Vì vậy, mô hình thùy não vẫn hoạt động đầy đủ, chỉ cần không có tế bào thần kinh kích hoạt câu trả lời “Tôi không nên làm điều này”.

Chúng tôi đã thử nó với một trong những các bài kiểm tra thông thường và thay vì từ chối, người mẫu bắt đầu mổ xẻ vấn đề thành nhiều lĩnh vực khác nhau, trả lời chính xác để được tư vấn về cách lừa dối bạn gái với bạn thân của cô ấy.

Huihui-ai đã áp dụng kỹ thuật này trực tiếp vào GGUF Qwable bằng cách sử dụng llama.cpp cvector-máy phát điện—không có môi trường Python, không đào tạo lại toàn bộ, không thuê máy chủ.

Tại sao ai đó lại muốn điều này?

Qwable tiêu chuẩn phù hợp với hỗ trợ mã hóa, gỡ lỗi kỹ thuật và bất kỳ quy trình công việc nào mà bạn muốn một mô hình đưa ra lý do thay vì chỉ đưa ra câu trả lời. Nó được thiết kế để thiết lập tác nhân cục bộ và chạy trong hầu hết các thời gian chạy cục bộ. Nếu bạn đã sử dụng LM Studio thì đó là tìm kiếm và tải xuống.

Phiên bản rút gọn có đối tượng hẹp hơn: các nhà nghiên cứu bảo mật cần hành vi của mô hình thô mà không cần lọc từ phía nhà cung cấp, các đường dẫn dữ liệu tổng hợp yêu cầu kết quả đầu ra về các chủ đề nhạy cảm và công việc đánh giá trong đó bạn đang thử nghiệm các khả năng của mô hình mà không trộn lẫn các chính sách nội dung.

Một trường hợp ít kỹ thuật hơn? Chúng ta hãy bỏ qua trường hợp sử dụng thông thường là có NSFW AI Waifu có suy nghĩ giống như Claude Fable, đây là một tình huống rất rõ ràng. Hãy tưởng tượng bạn muốn người mẫu viết một đoạn độc thoại mơ hồ về mặt đạo đức của nhân vật phản diện cho chiến dịch Dungeons & Dragons của bạn và những người mẫu tiêu chuẩn liên tục ngắt quãng để lưu ý rằng thế giới quan của nhân vật “nâng cao những mối lo ngại về đạo đức đáng để khám phá”. Phiên bản viết tắt chỉ viết nhân vật phản diện. Ngoài ra, vì nó chạy cục bộ nên chính phủ Hoa Kỳ không thể rút nó ra khỏi máy của bạn trong trường hợp khẩn cấp vào lúc nửa đêm vì phát hiện bẻ khóa gây tranh cãi.

Tất nhiên, có nhiều trường hợp sử dụng đáng nghi ngờ hơn. Chúng tôi không tha thứ cho những điều đó và sẽ không cung cấp cho bạn bất kỳ ý tưởng nào.

Thẻ mô hình của Huihui-ai rất rõ ràng: Thẻ này chỉ dành cho môi trường nghiên cứu và được kiểm soát. Việc lọc an toàn bị giảm có nghĩa là kết quả đầu ra có thể nhạy cảm, gây tranh cãi hoặc không phù hợp và trách nhiệm pháp lý và đạo đức hoàn toàn thuộc về người dùng.

Qwable đã bị loại bỏ hiện có sẵn trên Ôm mặt ở ba bản dựng. Khuyến nghị Phiên bản Q4_K_M_Q8 nặng khoảng 19 GB và là lựa chọn nhỏ nhất, thân thiện với người tiêu dùng nhất.

Nếu máy tính của bạn hỗ trợ nó, có một phiên bản hỗ trợ dự đoán nhiều mã thông báo, điều này sẽ khiến nó phản hồi nhanh hơn rất nhiều.