Các cuộc tấn công AI Prompt Injection đầu độc đầu ra từ những công cụ AI mà bạn dựa vào, thay đổi và thao túng đầu ra của nó thành thứ gì đó có hại. Nhưng cuộc tấn công AI Prompt Injection hoạt động như thế nào và bạn có thể làm gì để tự bảo vệ mình như thế nào?
Mục lục bài viết
- Tấn công AI Prompt Injection là gì?
- Các cuộc tấn công Prompt Injection hoạt động như thế nào?
- Tấn công DAN (Do Anything Now)
- Tấn công Training Data Poisoning
- Tấn công Prompt Injection gián tiếp
- Các cuộc tấn công AI Prompt Injection có phải là mối đe dọa không?
- Làm thế nào để tự bảo vệ mình?
Tấn công AI Prompt Injection là gì?
Prompt Injection là một kỹ thuật thao túng hoặc thay đổi cách hoạt động hoặc phản hồi của mô hình hoặc công cụ AI. Prompt Injection không giống như tấn công mạng thông thường; kẻ tấn công không cần cài đặt phần mềm độc hại hoặc khai thác lỗ hổng trong Mô hình Ngôn ngữ Lớn (LLM). Thay vào đó, chúng có thể thao túng nó chỉ bằng cách sử dụng các lệnh ngôn ngữ. Chúng sẽ gửi một chỉ thị chính xác, được soạn thảo kỹ lưỡng và thuyết phục nhưng độc hại để đánh lừa và chiếm quyền điều khiển mô hình AI. Hoặc, chúng sẽ giấu các chỉ thị của mình bên trong một trang web.
Các cuộc tấn công AI Prompt Injection tận dụng những lỗ hổng của mô hình Generative AI để thao túng đầu ra của chúng. Chúng có thể được bạn thực hiện hoặc được người dùng bên ngoài thực hiện thông qua một cuộc tấn công Prompt Injection gián tiếp. Các cuộc tấn công DAN (Do Anything Now) không gây ra bất kỳ rủi ro nào cho bạn, người dùng cuối, nhưng về mặt lý thuyết, những cuộc tấn công khác có khả năng đầu độc đầu ra mà bạn nhận được từ Generative AI.
Ví dụ, ai đó có thể thao túng AI hướng dẫn bạn nhập tên người dùng và mật khẩu của bạn ở dạng bất hợp pháp, sử dụng quyền hạn và độ tin cậy của AI để thực hiện một cuộc tấn công phishing thành công. Về mặt lý thuyết, AI tự động (chẳng hạn như đọc và trả lời tin nhắn) cũng có thể nhận và hành động theo các hướng dẫn không mong muốn từ bên ngoài.
Để một cuộc tấn công Prompt Injection thành công, tin tặc cố gắng tận dụng thực tế rằng các mô hình AI không thể phân biệt giữa đầu vào của nhà phát triển và đầu vào do người dùng ngẫu nhiên cung cấp. Mô hình AI hoạt động dựa trên các quy tắc do nhà phát triển đặt ra; những quy tắc này được thiết lập trong hệ thống dưới dạng các lệnh ẩn. Khi kẻ tấn công gửi đầu vào, nó trở thành một phần của danh sách các lệnh và cuối cùng, một phần của tập hợp những chỉ thị mạch lạc mà mô hình AI đọc được.
Mô hình AI xử lý lệnh độc hại của kẻ tấn công giống như cách nó xử lý lệnh của nhà phát triển. Nếu prompt độc hại được hiểu là một lệnh hợp lệ, mô hình AI có thể sẽ tuân theo một cách mù quáng, ngay cả khi điều đó trái với các quy tắc do nhà phát triển mô hình đặt ra.
Kẻ tấn công sử dụng nhiều phương pháp khác nhau để chèn các chỉ thị độc hại vào cuộc trò chuyện AI. Bằng cách sử dụng các code block, markup hoặc văn bản có cấu trúc, chúng có thể đánh lừa AI tin rằng đầu vào là một lệnh hệ thống hợp lệ. Hoặc, chúng sử dụng các thủ thuật để đánh lừa mắt người.
Một số ví dụ là chèn các ký tự đặc biệt, thay đổi khoảng cách, sử dụng cỡ chữ 0, mã hóa Unicode hoặc sử dụng văn bản màu trắng trên nền trắng. Các prompt độc hại cũng có thể được gửi bằng một ngôn ngữ khác.
Các cuộc tấn công Prompt Injection hoạt động như thế nào?
Các cuộc tấn công Prompt Injection hoạt động bằng cách cung cấp những hướng dẫn bổ sung cho AI mà không có sự đồng ý hoặc hiểu biết của người dùng. Tin tặc có thể thực hiện điều này theo một số cách, bao gồm tấn công DAN và tấn công Prompt Injection gián tiếp.
Tấn công DAN (Do Anything Now)
Các cuộc tấn công DAN (Do Anything Now) là một kiểu tấn công Prompt Injection nhanh chóng liên quan đến những mô hình Generative AI "jailbreak" như ChatGPT. Những cuộc tấn công jailbreak này không gây rủi ro cho bạn với tư cách là người dùng cuối - nhưng chúng mở rộng khả năng của AI, khiến nó trở thành công cụ để lạm dụng.
Ví dụ, nhà nghiên cứu bảo mật Alejandro Vidal đã sử dụng lời nhắc DAN để khiến GPT-4 của OpenAI tạo code Python cho keylogger. Được sử dụng với mục đích xấu, AI đã jailbreak làm giảm đáng kể các rào cản dựa trên kỹ năng liên quan đến tội phạm mạng và có thể cho phép những tin tặc mới thực hiện các cuộc tấn công tinh vi hơn.
Tấn công Training Data Poisoning
Các cuộc tấn công Training Data Poisoning chính xác không phải là tấn công Prompt Injection, nhưng chúng có những điểm tương đồng đáng chú ý về cách thức hoạt động và rủi ro mà chúng gây ra cho người dùng. Không giống như các cuộc tấn công Prompt Injection, những cuộc tấn công Training Data Poisoning là một loại tấn công đối nghịch trong Machine Learning, xảy ra khi tin tặc sửa đổi dữ liệu huấn luyện được sử dụng bởi mô hình AI. Kết quả tương tự cũng xảy ra: Đầu ra bị nhiễm độc và hành vi bị sửa đổi.
Những ứng dụng tiềm năng của các cuộc tấn công Training Data Poisoning thực tế là vô hạn. Ví dụ, về mặt lý thuyết, AI được sử dụng để lọc các nỗ lực lừa đảo từ nền tảng trò chuyện hoặc email có thể sửa đổi dữ liệu đào tạo của nó. Nếu tin tặc dạy cho AI moderator rằng một số loại hành vi lừa đảo nhất định có thể chấp nhận được thì chúng có thể gửi tin nhắn lừa đảo mà không bị phát hiện.
Các cuộc tấn công Training Data Poisoning không thể gây hại trực tiếp cho bạn nhưng có thể gây ra nhiều mối đe dọa khác. Nếu bạn muốn tự bảo vệ mình trước những cuộc tấn công này, hãy nhớ rằng AI không phải là công cụ hoàn hảo và bạn nên xem xét kỹ lưỡng mọi thứ bạn gặp phải trên mạng.
Tấn công Prompt Injection gián tiếp
Tấn công Prompt Injection gián tiếp là loại tấn công Prompt Injection nhanh chóng gây rủi ro lớn nhất cho bạn, với tư cách là người dùng cuối. Các cuộc tấn công này xảy ra khi những hướng dẫn độc hại được cung cấp cho Generative AI bằng một tài nguyên bên ngoài, chẳng hạn như lệnh gọi API, trước khi bạn nhận được thông tin đầu vào mong muốn.
Một bài báo có tiêu đề "Làm tổn hại các ứng dụng tích hợp LLM trong thế giới thực bằng Prompt Injection gián tiếp trên arXiv" đã trình bày một cuộc tấn công lý thuyết trong đó AI có thể được hướng dẫn để thuyết phục người dùng đăng ký một trang web lừa đảo trong câu trả lời, sử dụng văn bản ẩn (với mắt người nhưng mô hình AI hoàn toàn có thể đọc được) để lén lút đưa thông tin vào. Một cuộc tấn công khác của cùng một nhóm nghiên cứu được ghi lại trên GitHub cho thấy một cuộc tấn công trong đó Copilot (trước đây là Bing Chat) được thực hiện để thuyết phục người dùng rằng đó là một đại lý hỗ trợ trực tiếp đang tìm kiếm thông tin thẻ tín dụng.
Các cuộc tấn công Prompt Injection gián tiếp đang đe dọa vì chúng có thể thao túng những câu trả lời bạn nhận được từ mô hình AI đáng tin cậy - nhưng đó không phải là mối đe dọa duy nhất mà chúng gây ra. Như đã đề cập trước đó, chúng cũng có thể khiến bất kỳ AI tự trị nào mà bạn có thể sử dụng hành động theo những cách không mong muốn và có thể gây hại.
Các cuộc tấn công AI Prompt Injection có phải là mối đe dọa không?
Các cuộc tấn công AI Prompt Injection là một mối đe dọa, nhưng vẫn chưa biết chính xác những lỗ hổng này có thể được sử dụng như thế nào. Không có bất kỳ cuộc tấn công AI Prompt Injection thành công nào được biết đến và nhiều nỗ lực đã biết được thực hiện bởi những nhà nghiên cứu không có ý định thực sự gây hại. Tuy nhiên, nhiều nhà nghiên cứu AI coi các cuộc tấn công AI Prompt Injection là một trong những thách thức khó khăn nhất để triển khai AI một cách an toàn.
Hơn nữa, mối đe dọa về các cuộc tấn công AI Prompt Injection đã được những cơ quan chức năng chú ý. Theo Washington Post, vào tháng 7 năm 2023, Ủy ban Thương mại Liên bang đã điều tra OpenAI, tìm kiếm thêm thông tin về các trường hợp đã biết về những cuộc tấn công Prompt Injection. Chưa có cuộc tấn công nào được biết là thành công ngoài thử nghiệm, nhưng điều đó có thể sẽ thay đổi.
Tin tặc liên tục tìm kiếm các phương tiện mới và chúng ta chỉ có thể đoán tin tặc sẽ sử dụng những cuộc tấn công Prompt Injection như thế nào trong tương lai. Bạn có thể tự bảo vệ mình bằng cách luôn áp dụng mức độ giám sát lành mạnh đối với AI. Các mô hình AI cực kỳ hữu ích, nhưng điều quan trọng cần nhớ là bạn có một thứ mà AI không có: Khả năng phán đoán của con người. Hãy nhớ rằng bạn nên xem xét kỹ lưỡng kết quả đầu ra mà bạn nhận được từ các công cụ như Copilot và thích sử dụng các công cụ AI khi chúng phát triển và cải tiến.
Làm thế nào để tự bảo vệ mình?
Tấn công Prompt Injection rất khó loại bỏ chỉ bằng một vài bản vá bảo mật, vì nó khai thác chính nền tảng lập trình cách thức phản hồi của mô hình AI đối với các chỉ dẫn. Các nhà phát triển có thể gặp khó khăn trong việc thiết lập những biện pháp bảo vệ cho khả năng tuân theo chỉ dẫn của mô hình AI. Nhưng vẫn có một số biện pháp phòng ngừa bạn có thể thực hiện.
- Cố gắng không cấp quyền truy cập vào email hoặc file của bạn cho công cụ AI. Khi nó yêu cầu các quyền như vậy, hãy hỏi xem liệu điều đó có cần thiết hay không và liệu có cách nào khác để giải quyết vấn đề không.
- Hãy đặt thêm các câu hỏi thăm dò và xem liệu AI có phản hồi theo cách kỳ lạ nào đó không.
- Các dấu hiệu đáng ngờ trong phản hồi của AI là những liên kết không mong muốn, các truy vấn hoặc đề xuất không liên quan đến vấn đề, yêu cầu thông tin cá nhân của bạn, sự thay đổi giọng điệu, về cơ bản là bất cứ điều gì khiến bạn cảm thấy không ổn trong phản hồi. Nếu cảm thấy có gì đó không ổn, hãy đóng phiên làm việc.
- Hãy suy nghĩ về những gì có thể đã khiến công cụ hoạt động theo cách đó. Kiểm tra xem công cụ có quyền truy cập vào email hoặc bất kỳ phần mềm hệ thống nào của bạn không, hãy xóa quyền truy cập và thay đổi mật khẩu nếu cần.
- Không bao giờ nhập mật khẩu, thông tin tài chính và bất kỳ thông tin nhạy cảm nào vào cửa sổ trò chuyện của công cụ AI.
- Luôn xem xét kỹ các hành động mà công cụ AI sắp thực hiện. Đừng tin tưởng một cách mù quáng vào khả năng đưa ra quyết định đúng đắn của nó.
- Luôn cập nhật các công cụ AI lên phiên bản mới nhất do nhà phát triển phát hành.
- Đừng dựa vào AI để làm mọi việc. Hãy sử dụng lý trí và tư duy logic của bạn trước khi thực hiện bất kỳ hành động nào do công cụ AI đề xuất.