Các nhà nghiên cứu cảnh báo các đặc vụ AI có thể bị biến thành mạng botnet thông qua ảo giác

Theo nghiên cứu mới của Đại học Tel Aviv, Technion và Intuit, ảo giác về AI có thể không chỉ là những câu trả lời sai—chúng có thể trở thành cách để tin tặc xâm nhập vào máy tính.

trong giấy“Hãy cẩn thận với các mạng botnet đặc vụ: Các cuộc tấn công phần mềm nhắc nhở không nhắm mục tiêu có thể mở rộng thông qua HalluSquatting đối thủ phổ biến và có thể chuyển nhượng,” các nhà nghiên cứu đã trình diễn một kỹ thuật khai thác các mô hình AI khi chúng tạo ra các liên kết giả mạo đến kho phần mềm và các tài nguyên trực tuyến khác.

Các nhà nghiên cứu viết: “Việc áp dụng ngày càng nhiều các ứng dụng LLM tác nhân đã tạo ra một mối đe dọa mới trước đây được đặt tên là phần mềm nhắc nhở”. “Mặc dù nghiên cứu trước đây đã xác định rằng kẻ thù có thể khai thác các kênh trực tiếp tới các ứng dụng LLM để áp dụng phần mềm nhắc nhở trong các mô hình mối đe dọa yếu, nhưng nhiều ứng dụng không cung cấp bất kỳ kênh trực tiếp nào có thể bị khai thác để tiêm nhiễm kịp thời ngoài Internet.”

Được biết đến với cái tên ngồi xổm ảo giác đối nghịch hay “HalluSquatting”, cuộc tấn công liên quan đến việc dự đoán những tài nguyên giả mà mô hình AI có khả năng tạo ra, đăng ký những tên đó và thêm các hướng dẫn độc hại. Nếu một tác nhân AI sau đó lấy lại tài nguyên ảo giác, nó có thể coi nội dung do kẻ tấn công kiểm soát là hợp pháp.

Các nhà nghiên cứu cho biết mối đe dọa xuất hiện khi trợ lý AI không chỉ trả lời các câu hỏi mà còn có khả năng tương tác với máy tính—truy cập tệp, tìm kiếm trên web, viết mã và chạy lệnh.

Những khả năng đó có thể tạo ra những lỗ hổng bảo mật khi các tác nhân hành động dựa trên thông tin họ truy xuất mà không xác nhận xem nguồn đó có thật hay không.

Họ viết: “Các nghiên cứu đang thực hiện đã chứng minh nhiều biến thể khác nhau của các cuộc tấn công của phần mềm Nhắc nhằm vào các hệ thống trong thế giới thực, bao gồm ChatGPT, Google Assistant, Copilot và nhiều ứng dụng bổ sung khác”. “Những công trình này đã chứng minh rằng Phần mềm nhắc nhở có thể dẫn đến các tác động về tài chính, quyền riêng tư và an toàn.”

Các nhà nghiên cứu cảnh báo kỹ thuật này có thể cho phép kẻ tấn công xây dựng các botnet hỗ trợ AI. MỘT mạng botnet đề cập đến một mạng lưới các máy tính hoặc thiết bị bị nhiễm virus được điều khiển từ xa bởi kẻ tấn công. Botnet thường được sử dụng trong các cuộc tấn công mạng, bao gồm các cuộc tấn công từ chối dịch vụ, khai thác tiền điện tử, phân phối phần mềm độc hạiVà phần mềm tống tiền các chiến dịch.

Trong quá trình thử nghiệm, các nhà nghiên cứu nhận thấy ảo giác tài nguyên do AI tạo ra xảy ra với tỷ lệ lên tới 85% trong các tình huống sao chép kho lưu trữ và 100% trong các thử nghiệm cài đặt kỹ năng.

Nhóm đã đánh giá kỹ thuật này dựa trên các trợ lý và tác nhân mã hóa AI, bao gồm Con trỏ, Phi công phụ GitHub, Song Tử CLI và OpenClaw.

HalluSquatting tương tự như đánh máymột chiến thuật tấn công mạng trong đó kẻ tấn công đăng ký tên miền giống với các trang web hoặc gói phần mềm hợp pháp để lừa người dùng. Thay vì khai thác lỗi đánh máy của con người, HalluSquatting nhắm vào các lỗi do mô hình AI mắc phải.

Tin tức này được đưa ra khi các nhà nghiên cứu tiếp tục kiểm tra cách kẻ tấn công có thể thao túng các tác nhân AI.

Vào tháng 4, các nhà nghiên cứu của Google chi tiết các trang web độc hại được thiết kế để chiếm quyền điều khiển tác nhân AI thông qua các cuộc tấn công tiêm nhắc gián tiếp, bao gồm các nỗ lực đánh cắp mật khẩu, xóa tệp và thao túng thanh toán. Một nghiên cứu riêng biệt về “Sao chépPastaCuộc tấn công cho thấy các lời nhắc ẩn bên trong tệp nhà phát triển có thể thao túng trợ lý mã hóa AI để phát tán mã độc.

Vào tháng 6, một người dùng OpenClaw đã báo cáo rằng họ phải đối mặt với hơn 6.000 những nỗ lực của những kẻ tấn công đang cố gắng lừa tác nhân AI làm rò rỉ thông tin nhạy cảm.