安全研究人員最新發現，攻擊者可以通過謎語、詩歌或符號化視覺輸入等非傳統文本形式，成功繞過大型語言模型(LLM)的安全防護機制，使AI系統生成本應被禁止的有害內容。這一新型'語義提示注入'攻擊利用了多模態AI模型在共享潛在空間中對文本和圖像進行推理的特性，使傳統的基于文本的安全過濾措施失效。
NVIDIA安全研究人員揭示了一種新型多模態提示注入技術，攻擊者不再依賴隱藏文本，而是使用表情符號序列、謎語或視覺符號等非傳統輸入方式來操控AI系統[1]。這種’語義提示注入’利用了現代多模態AI模型的架構特性——如Llama 4、Google Gemini等模型采用的’早期融合’技術，這些模型在共享的潛在空間中對文本和圖像進行對齊，實現了跨模態的無縫推理[1]。
傳統安全防護主要依賴OCR識別圖像中的文本和關鍵詞過濾，但隨著AI模型原生視覺推理能力的提升，這些防御措施已形同虛設[1]。例如，當模型處理一張包含特定視覺符號的圖片時，它能直接將這些符號映射到語義空間，而無需先識別出其中的文本內容，從而繞過基于文本的安全檢查[1]。這種攻擊方式使攻擊者能夠通過看似無害的視覺輸入，如表情符號序列或謎語式圖像，誘導AI執行惡意指令[1]。
研究人員已成功演示了多種攻擊場景，包括通過視覺符號觸發代碼注入攻擊[1]。在一項實驗中，攻擊者使用特定的圖像序列成功誘導AI模型生成可執行的惡意代碼，而這些輸入在傳統安全系統眼中完全無害[1]。
網絡安全公司Cato的研究人員通過’越獄’技術成功接入了惡意大模型WormGPT的Telegram聊天機器人，獲取了其底層模型的詳細信息[2]。實驗顯示，該模型在被要求生成釣魚郵件和用于從Windows 11系統中收集憑據的PowerShell腳本時，均成功輸出了可執行的惡意樣本[2]。
微軟AI紅隊培訓資料也指出，攻擊者正利用’高級提示詞工程技術，包括角色劫持、情緒操控，以及利用編碼技巧繞過過濾器’等手段，實施單輪和多輪次攻擊[3]。其中’Skeleton Key’和’Crescendo’等技術能夠逐步引導模型繞過安全保護，使AI系統在不知不覺中泄露敏感信息或執行危險操作[3]。
面對這一新型威脅，安全專家建議采取多層次防御策略：
微軟的AI安全培訓強調了紅隊測試的重要性，通過模擬攻擊來發現系統漏洞，并建議企業’使用紅隊測試、遙測和反饋循環，隨著模型和攻擊技術的演變而調整護欄’[1][3]。同時，提升員工安全意識與培訓也被視為關鍵防御措施之一[2]。
隨著AI技術向多模態和代理式系統快速發展，安全挑戰也在不斷演變[1]。NVIDIA研究人員警告，‘向原生多模態LLM的轉變標志著AI功能的重大進步，但也帶來了新的安全挑戰’[1]。這些模型在共享潛在空間中對多種模式進行推理的能力，為對抗性操縱創造了前所未有的機會[1]。
安全專家Simonovich指出，威脅行為者正’借助現有的大模型API（如Grok API），結合系統提示中自定義的越獄方法，繞過平臺原有的防護機制’[2]。這表明，即使是最先進的商業AI平臺也難以完全抵御此類攻擊。
LayerX Security的研究進一步證實，‘威脅行為者可以與該聊天機器人互動，并通過一系列巧妙的提示對其進行越獄，從而泄露敏感的系統信息或執行未經授權的功能，從而有效地將一個有用的工具變成了安全隱患’[3]。隨著AI系統在各行業的深入應用，開發更健壯的安全防護機制已成為當務之急。