在企業中，這些風險正在加劇，因為員工經常使用私人GenAI賬戶來處理敏感數據。
根據Netskope的一項研究，盡管大多數企業(90%)都提供了官方批準的GenAI應用，甚至更多(98%)的企業為用戶提供了包含AI功能的應用，但企業中未經授權的AI服務使用仍在激增。
在企業中，大多數GenAI的使用(72%)都屬于影子IT，即個人使用私人賬戶訪問AI應用，這種形式的私人賬戶AI使用往往不受安全團隊的跟蹤，也不受企業安全政策的約束。
Netskope發現，在過去一年中，發送到GenAI應用的數據(包括提示和上傳內容)數量增加了30多倍，導致敏感數據暴露量增加，特別是源代碼、受監管數據、知識產權和機密信息。
數據量從每月250MB增加到7.7GB，主要以提示和上傳的形式存在，盡管這些應用的使用者只是企業用戶中的一小部分(4.9%)。
另一項來自Harmonic Security的研究發現，在2024年第四季度，員工向熱門大型語言模型(LLM)發出的提示中，有8.5%包含了敏感數據，這些敏感泄露數據中，近一半是客戶數據，包括賬單信息和認證數據。法律和財務數據占暴露信息的15%，而安全相關數據(如滲透測試結果等)則占令人擔憂的7%。
缺乏監督
影子AI是指企業內未經授權使用的AI服務，這些服務不受安全團隊的跟蹤，也不受政策限制的管理。安全和AI專家表示，幾乎每個未能實施AI可接受使用政策的組織都可能因此途徑而丟失敏感內部數據。
與影子AI相關的風險包括但不限于數據泄露，以及用戶個人數據的合規和監管風險。
KnowBe4的安全意識倡導者James McQuiggan表示：“員工在沒有IT監督的情況下使用GenAI工具，經常將敏感數據粘貼到私人賬戶中，或依賴未經審查的代碼建議，這些行為會增加數據泄露、合規違規和軟件完整性受損的風險，而用戶往往意識不到這些影響。”
全球網絡安全公司NCC Group的技術總監David Brauchler表示，影子AI已成為安全領導者必須應對的必然趨勢。
“員工發現AI很有用，但如果沒有得到批準和認可的方式來利用其能力，企業可能會很快發現敏感數據落入了第三方手中，”Brauchler警告說。“這些數據可能會進入訓練數據集，甚至可能通過漏洞和攻擊直接暴露給攻擊者，這種情況已經發生過多次。”
治理風險
Rapid7的數據和AI副總裁Laura Ellis警告說，影子AI給企業帶來了重大的數據治理風險。
“未經授權的AI工具使用可能導致敏感公司甚至客戶信息的不經意暴露，從而產生潛在的合規和安全風險，”Ellis警告說。“此外，依賴未經審查的AI輸出會增加事實不準確的風險，這可能對品牌信譽和信任產生負面影響。”
其他專家將AI的使用描述為一個監管不善、為所欲為的環境。
全球網絡安全供應商Trend Micro的現場首席技術官Bharat Mistry警告說：“數據泄露、知識產權盜竊和監管罰款不是假設，而是使用未經批準的AI的必然結果。”“這些工具中的許多在法律和合規灰色地帶運作，完全無視行業特定法規和數據保護法。”
Mistry補充道：“更糟糕的是，IT和安全團隊不得不追逐這些影子。隨著未經授權的工具在各部門中的使用越來越多，可見性、控制和風險管理都無從談起。”
行業分析師Bloor Research的專家研究員Cheney Hamilton警告說，GenAI工具正在迅速嵌入工作流程中，但往往缺乏監督——這與影子IT系統更廣泛地興起的發展態勢相平行，并在此過程中產生了類似的風險。
“風險不僅僅是技術上的，更是行為上的，”Hamilton說。“員工正在使用GenAI工具來更快地完成工作，但如果沒有明確的參數，敏感數據就會以傳統安全框架無法捕捉到的方式暴露出來。”
Hamilton補充道：“現在需要的是從反應性控制轉向嵌入勞動力政策、工作設計和甚至領導結構的主動性AI治理，因為GenAI不應該僅僅由IT或信息安全部門負責，它還需要來自人力資源、法律和合規部門的跨職能所有權。”
風險緩解
ChatGPT、Google Gemini和GitHub Copilot等工具的廣泛采用正在創造一個網絡安全治理挑戰，而傳統的方法和工具則難以應對。
專家指出，安全領導者需要采用明確的AI治理政策、定期對AI系統進行紅隊測試以識別漏洞，以及全面的員工意識培訓等措施來緩解與影子AI相關的風險。
這些措施應包括：
• 實時監控：安全領導者應部署系統來跟蹤和管理輸入到GenAI(以及AI賦能的SaaS)工具中的數據。
• 批準的AI列表：CISO應確保批準的AI供應商通過合同保護企業的數據隱私，并監控或阻止使用未經批準的AI解決方案。
• 應用計劃識別：安全領導者應確保員工使用的是付費計劃，或不基于輸入數據進行訓練的計劃。
• 提示級可見性：安全團隊需要對共享到這些工具中的數據有完全可見性——僅僅監控使用情況是不夠的。
• 敏感數據分類：安全系統必須能夠在數據丟失時識別出敏感數據。
• 智能規則執行：CISO應與業務領導者合作，創建批準的工作流程，以塑造各部門或團體如何與GenAI工具互動。
• 用戶教育：必須對員工進行有關風險和最佳實踐的培訓，以負責任地使用AI。
• 制定使用政策：安全領導者必須與業務領導者合作，定義AI的使用方式，包括哪些類別的內部數據可以發送給批準的供應商。應建立明確禁止的使用案例。
一般來說，安全團隊應監控組織內部的數據流動，并識別關鍵風險來源，無論是AI還是其他來源。AI水印可能有助于識別AI生成的內容，但并不能防止敏感信息首先丟失。
數據丟失防護(DLP)可以幫助識別有風險信息的導出，但一些專家認為，該技術作為限制通過GenAI工具泄露信息的手段是有限的。
Mindgard是一家AI安全測試公司，其CEO兼聯合創始人Peter Garraghan警告說，GenAI引入了一類新的風險，這些風險超出了傳統控制手段(如阻止、DLP和實時指導)的有效管理范圍。
“問題在于現代AI系統的復雜性和不透明性，或黑盒性質，”Garraghan解釋說。敏感信息可以在AI模型或應用程序中被攝入、轉換甚至模糊處理，然后再輸出給用戶。
Garraghan繼續說道：“在這些情況下，標準控制手段在識別底層數據或上下文方面手段有限，這意味著潛在敏感信息可能在不觸發任何警報的情況下被外泄。”
為了真正確保GenAI的安全，組織需要一層專為這種新范式構建的保護，這包括能夠發現和證明這些漏洞存在的安全測試工具，以及運行時檢測AI特定漏洞的能力。
“這些問題只有在模型執行時才會出現，如通過嵌入或編碼導致的數據泄露，”Garraghan(同時也是英國蘭卡斯特大學的計算機科學教授)補充道。
企業網D1net(m.hfnxjk.com)：
國內主流的to B IT門戶，旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號