他解釋說,隨著GenAI功能的普及,企業必須實施保護措施來管理風險,特別是在輸入/輸出處理和微調實踐方面,盡早建立這些控制措施可以確保安全、合規地采用AI,同時不損害創新。
對于那些已經推出了GenAI功能的團隊,他們首先應該審計或檢查什么?
GenAI 以傳統威脅模型經常忽視的方式擴大了你的攻擊面,新進入這一領域的安全從業人員應該首先了解這類新的漏洞以及如何防御它們,一個好的起點是OWASP為大型語言模型(LLM)制定的十大安全風險列表,其中概述了常見的漏洞,如提示注入、數據泄露和不安全的插件設計。
這些 AI 問題引起了應用安全負責人的警覺。事實上,ArmorCode 最近對這一群體進行的一項調查發現,在那些經歷過 AI 工具問題的受訪者中,92% 的人提到了不安全的代碼,83% 的人指出缺乏透明度是他們的主要擔憂,同時,55% 的所有受訪者表示,總體而言,基于GenAI 的威脅是他們最關心的問題之一。
當談到確保你的公司負責任地使用GenAI 時,首先要從盤點大型語言模型(LLM)的使用開始。你是在調用托管模型、微調自己的模型,還是運行檢索增強生成(RAG)流程?你的用戶是誰?他們是內部用戶還是外部用戶?你是否暴露了敏感數據,以及你是否實施了細粒度的授權控制?
將你的 LLM 使用情況像對待任何新服務一樣對待:記錄輸入、輸出、訪問控制和故障模式。投資于能夠幫助你映射可見性和數據流的工具。在增加更復雜的防御措施之前,先做好這些基礎工作。
在將大型語言模型(LLM)集成到企業應用程序中時,實施輸入/輸出凈化的最佳實踐是什么?
就像傳統的 Web 應用程序使用 Web 應用程序防火墻(WAF)來識別惡意流量一樣,GenAI 應用程序也有類似的概念,這些保護措施會檢查輸入和輸出。
在輸入方面,這些系統會在GenAI 模型接收到輸入之前,檢測提示注入嘗試、策略違規以及離題或未經授權的查詢。
在輸出方面,它們會過濾掉模型不應該暴露的內容,包括個人身份信息(PII)、內部文檔或超出聊天機器人范圍的主題。例如,如果你的 LLM 是用來幫助新員工入職的,那么它就不應該回答關于薪資范圍或內部財務的問題。
這些保護措施會實時執行策略邊界,作為最后的防線,它們不會取代訪問控制,但會大大降低被利用的可能性。
如果一個公司微調或托管自己的大型語言模型(LLM),哪些應用安全(AppSec)考慮因素會變得更加關鍵?
微調是通過在一個更小、更專業的數據集上繼續訓練一個預訓練的語言模型,以使其適應特定任務或領域的過程,這可能會暴露知識產權,如代碼、內部文檔,甚至是你不希望被回顯的敏感客戶數據。如果沒有保護措施,用戶可能會通過正確的措辭提取這些信息。
同一份應用安全負責人調查還發現,37% 的受訪者認為在軟件開發中缺乏GenAI 的監督是最大的應用安全挑戰。
因此,有幾個應用安全考慮因素變得更加重要:
• 訓練數據凈化:確保在微調之前,數據集已經去除了秘密、憑證、個人身份信息和專有信息。
• 模型輸出測試:使用專門設計的提示來測試模型的數據泄露情況,這些提示旨在提取模型記憶的內容。
• 訪問控制和審計日志:限制誰可以訪問模型,并記錄所有使用情況,以便進行事件響應和異常檢測。
• 模型部署衛生:確保服務基礎設施(如 API)受到保護,防止常見的 Web 威脅(如注入攻擊、速率限制繞過)。
• 安全模型托管:保護底層模型文件和權重免受篡改或竊取。
• 數據來源跟蹤:維護記錄,說明哪些數據被用于模型訓練,以便進行合規性和違規影響分析。
安全團隊應該將大型語言模型(LLM)視為高價值資產。
對于GenAI 功能的紅隊測試(red-teaming),你是否有特定的工具或框架推薦?
是的。如果你正在將GenAI 部署到生產環境中,紅隊測試應該成為你軟件開發生命周期(SDLC)的一部分。
像 Lakera Red 和 Straiker Ascend AI 這樣的平臺可以自動化地發現大型語言模型(LLM)驅動的應用程序中的漏洞,它們還可以模擬攻擊,如提示注入、越獄(jailbreaks)和代理逃脫(agent escapes),以揭示真實、可利用的弱點。可以將它們視為專門用于GenAI 的滲透測試人員,它們會持續運行,并與你的開發生命周期保持同步。
關鍵在于將這些測試集成到你的發布過程中,而不是將它們視為一次性的安全檢查。像 ArmorCode 這樣的應用安全態勢管理(ASPM)平臺也集成了滲透測試結果和 AI,以幫助對企業中最重要的應用安全風險進行分類和修復。
雖然從技術上講它們不是紅隊測試工具,但了解GenAI 攻擊的技術也是很有用的。像 Lakera 的 Gandalf 這樣的游戲對于個人或團隊的教育也是很有用的,它們可以提高意識,并幫助開發者親身體驗大型語言模型(LLM)是多么容易被操縱。教育始終是防御的一部分。
在將 AI 驅動的功能部署到生產環境中時,持續集成/持續部署(CI/CD)管道控制中有哪些是必不可少的?
將任何影響模型行為的內容,如提示、系統消息和檢索邏輯,都視為代碼。對其進行版本控制、審查,并設置在你正常的變更管理流程之后。
添加自動化測試,不僅驗證功能,還驗證行為。如果更新導致模型產生敏感信息的幻覺或違反策略,你希望在 staging 環境中捕獲這些問題,而不是在部署之后。
掃描微調輸入中的個人身份信息(PII)或風險內容,在部署之前驗證模型工件,并限制誰可以更改生產推理設置或提示模板。
更改聊天機器人的行為不應該比部署后端服務更容易,對大型語言模型(LLM)應用同樣的標準。
企業網D1net(m.hfnxjk.com):
國內頭部to B IT門戶,旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明:本文為企業網D1Net編譯,轉載需在文章開頭注明出處為:企業網D1Net,如果不注明出處,企業網D1Net將保留追究其法律責任的權利。