具體而言，詐騙者正在使用惡意數據集(如泄露的憑證、詐騙腳本和信息竊取日志)對非法LLM(包括WormGPT和FraudGPT)進行微調。當對手利用這些模型生成輸出時，他們會收集用戶反饋來微調回應，從而形成一個惡性循環，使攻擊能力隨時間不斷增強。
“這一趨勢尤為令人擔憂，因為它表明對手正在‘閉環優化模型’——通過實時反饋和非法數據，他們的攻擊能力不斷得到提升，”Flashpoint網絡威脅情報副總裁Ian Gray告訴記者。
Flashpoint還觀察到，在一些私人聊天群組中，用戶將失敗的提示詞嘗試反饋給LLM開發者，導致在數天內實現快速迭代和性能提升。例如，Flashpoint觀察到，一名用戶報告了金融詐騙提示詞的格式問題，不久后開發者便分享了帶有優化模板的更新版本。
“這種由泄露數據和犯罪協作推動的惡意AI的自適應和自我改進特性，使其成為一種特別強大且難以應對的威脅。”Gray說道。
網絡犯罪分子正在為特定的詐騙方案定制AI模型，包括根據行業或語言定制的釣魚郵件，以及編寫虛假招聘信息、發票或驗證提示。
“一些供應商甚至以分層定價、API訪問和私鑰許可的方式推銷這些工具，模仿了(合法的)SaaS經濟模式。”Flashpoint的研究人員發現。
“這種專業化可能導致更高的成功率，并實現攻擊階段的自動化復雜操作。”Flashpoint的Gray告訴記者。
深度偽造即服務(DaaS)成為主流
網絡犯罪供應商還降低了創建合成視頻和語音的門檻，提供了包括以下內容的深度偽造即服務(DaaS)產品：
• 用于約會詐騙的定制人臉生成
• 用于語音驗證欺詐的音頻偽造
• 基于客戶提交腳本的同步視頻虛擬形象
這些服務越來越多地提供附加選項，如預加載的背景故事、匹配的虛假文件和自動化的通話安排。
提示詞工程即服務
地下社區還圍繞設計越獄提示詞的藝術興起了起來。
這些“繞過構建者”專門破解主流LLM(如ChatGPT或Gemini)的限制，以解鎖受限制的輸出，如社交攻擊腳本、分步黑客教程和銀行詐騙手冊，包括“了解你的客戶”(KYC)繞過指南。
“這種‘提示詞工程即服務’(PEaaS)降低了入門門檻，使更廣泛的參與者能夠通過預包裝的惡意提示詞利用先進的AI能力。”Gray警告說。
“這些趨勢共同構成了一種適應性威脅：定制模型在非法數據的優化下變得更加強大，PEaaS擴大了威脅參與者的范圍，而持續的優化確保了它們能不斷進化以對抗防御措施。”他說道。
深度剖析
Flashpoint分析師在超過10萬個非法來源中實時追蹤了這些發展動態，監控范圍從暗網市場和Telegram群組到地下LLM社區。
在2025年1月1日至5月30日期間，研究人員記錄了超過250萬條與AI相關的帖子，涵蓋了各種惡意戰術，包括越獄提示詞、深度偽造服務廣告、釣魚工具包和專為欺詐及其他網絡犯罪形式定制的語言模型。
地下LLM戰術與策略
Cisco Talos的相關研究警告稱，網絡犯罪分子繼續采用LLM來簡化流程、編寫可用于攻擊用戶的工具和腳本，并生成更容易繞過防御的內容。
Talos觀察到，網絡犯罪分子轉而使用未受審查的LLM，甚至是為非法目的定制的犯罪LLM。
惡意LLM的廣告特性表明，網絡犯罪分子正將這些系統與各種外部工具鏈接，以掃描網站漏洞、驗證被盜信用卡號碼及進行其他惡意操作。
同時，對手經常比LLM開發者更快地破解合法模型，Talos警告道。
對抗惡意AI
Flashpoint的《AI與威脅情報：防御者指南》解釋稱，盡管AI在網絡安全中是一把雙刃劍，但那些將AI深思熟慮地融入其威脅情報和響應工作流程的防御者能夠超越對手。
企業需要平衡自動化與專家分析，區分炒作與現實，并持續適應快速演變的威脅環境。
“防御者應首先將AI視為人類專業知識的增強，而非替代，”Flashpoint的Gray說道，“這一理念確保AI能夠強化現有工作流程，通過減少噪音和加速決策來創造價值，而非制造新的盲點。”
Gray補充道：“組織原則應是通過利用AI從高信號數據中提取洞察，加速發現過程并構建非結構化內容，從而增強其收集優勢。最終目標是提高效率，通過為分析師提供輔助其判斷的工具、保持人類控制權并提供上下文來實現這一目標。”
企業網D1net(m.hfnxjk.com)：
國內頭部to B IT門戶，旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號