呈現錯誤且可能惡意的URL
通過SEO投毒和惡意廣告，使用Google或其他搜索引擎搜索登錄頁面和軟件已變得如同雷區：如果你不知道如何識別假冒/偽裝網站，你的憑據將被盜取，設備也將被感染。
部分由于這個原因，部分由于搜索引擎在展示相關信息方面表現不佳，用戶開始慢慢轉向AI聊天機器人獲取信息。
就目前而言，這些聊天機器人的結果可能更為切題且提供得更快，但所提供的信息往往不準確，原因可能是大型語言模型出錯/被欺騙，或者它直接“編造”(即，虛構)了答案。
舉例來說：Netcraft研究人員最近要求由GPT-4.1系列模型驅動的聊天機器人展示50個不同品牌(涵蓋金融、零售、科技和公用事業等行業)的登錄頁面，結果它們在66%的情況下給出了正確答案。
但返回的域名中有5%屬于無關但合法的企業，而高達29%(即28個域名)的域名未注冊、已停放或沒有活躍內容。
“這意味著，所有建議的域名中有34%并非品牌所有，且可能有害，更糟糕的是，許多未注冊的域名很容易被攻擊者認領并用作惡意用途，這為大規模釣魚活動打開了大門，而這些活動間接得到了用戶信任的AI工具的認可。”他們指出。
流行的搜索引擎也已開始提供同樣不可靠的AI驅動搜索結果，有時這些結果會直接將用戶引導至冒充知名品牌的釣魚頁面(例如，Wells Fargo)。
更糟糕的是，AI生成的答案常常剝離了傳統的驗證指標，如已驗證的域名或搜索摘要。“用戶被訓練去信任答案，而如果答案錯誤，攻擊者就會利用用戶，”研究人員指出。
攻擊者正積極嘗試污染AI聊天機器人的結果
不良鏈接的出現最初可能很少見，但威脅行為者正竭盡全力使這種情況更頻繁地發生，并積極嘗試污染生成式AI聊天機器人提供的結果。
他們正在設計將被聊天機器人的語言模型高度排名的頁面：這些頁面看起來合法，提供正確的文檔，偽裝成支持中心等。
“這些網站干凈、快速，且在語言上針對AI消費進行了優化，它們對人類來說看起來很棒——對機器來說則不可抗拒。”研究人員指出。
“而且這不僅僅是釣魚。我們經常看到通過‘破解軟件’博客、教程和討論帖子分發惡意軟件。隨著AI搜索的興起，這些舊的傳播途徑可能會煥發新生——不是通過關鍵詞操作，而是通過語言流暢性。”
盡管有防止獲取不良/惡意代碼的安全措施，但AI驅動的編程助手也可能以同樣的方式被威脅行為者“操縱”，他們不僅發布不良代碼(例如，假冒的API)，還努力附上可信的內容(教程、論壇問答)，并使用可信的GitHub和社交媒體賬戶進行推廣。
企業網D1net(m.hfnxjk.com)：
國內頭部to B IT門戶，旗下運營國內最大的甲方CIO專家庫和智力輸出及社交平臺-信眾智(www.cioall.com)。旗下運營19個IT行業公眾號(微信搜索D1net即可關注)。
版權聲明：本文為企業網D1Net編譯，轉載需在文章開頭注明出處為：企業網D1Net，如果不注明出處，企業網D1Net將保留追究其法律責任的權利。
京公網安備 11010502049343號