| 即便沒有 ChatGPT 和生成式 AI 的火爆應用，人工智能（AI）技術的應用安全威脅都已經(jīng)開始顯現(xiàn)。安全研究人員表示，在AI技術快速應用發(fā)展過程中，其安全性也面臨諸多挑戰(zhàn)。為了防范 AI 技術大規(guī)模應用的安全風險，企業(yè)需要打贏一場“雙線戰(zhàn)爭”，不僅需要能夠阻止對抗性 AI 模型所構(gòu)成的威脅，而且還要面對攻擊者利用 AI 技術發(fā)起各類型的新攻擊。 |
1.AI投毒攻擊 |
攻擊者可以操縱（毒化）AI 模型的一小部分輸入數(shù)據(jù)，以破壞其訓練數(shù)據(jù)集合準確性。最常見的投毒形式是后門投毒，即使極少一部分訓練數(shù)據(jù)受到影響。在很長時間里，AI 模型仍然可以繼續(xù)給出高度準確的結(jié)果，直到它在接觸特定的觸發(fā)器時被“激活”而功能失靈?！癆I模型投毒”會嚴重威脅到 AI 應用的完整性和安全性。因此，大型語言模型（LLM）需要接受風險和安全研究人員的嚴格審查，以探索反饋循環(huán)和 AI 偏見等問題如何使 AI 輸出不靠譜。 |
2.武器化的AI模型 |
| AI 技術的研究與創(chuàng)新需要高度的團隊協(xié)作和迭代開發(fā)，因此會涉及大量的共享，包括數(shù)據(jù)共享和模型共享 ，這可能會給 AI 供應鏈帶來重大風險。研究人員新發(fā)現(xiàn)了一種 AI 攻擊的新模式，攻擊者首先劫持了公共代碼庫上的合法 AI 模型，再將惡意代碼嵌入到這些預訓練的 AI 模型中，對其進行惡意制作，一旦用戶重新加載了這些被修改的 AI 模型，攻擊者就可以實施勒索攻擊等非法活動。 |
3.數(shù)據(jù)隱私攻擊 |
| 圍繞 AI 的一些大風險實際上是數(shù)據(jù)安全和數(shù)據(jù)隱私威脅。如果 AI 模型沒有建立足夠的隱私措施，攻擊者就有可能破壞用于訓練這些模型數(shù)據(jù)的機密性。對于個人來說，了解企業(yè)如何使用人工智能、人工智能的功能及其對數(shù)據(jù)的影響將變得非常重要。同樣的，攻擊者可能會試圖使用惡意軟件竊取包含信用卡號碼或社會安全號碼等個人信息的敏感數(shù)據(jù)集。企業(yè)組織必須頂定期進行安全審計，并在人工智能開發(fā)的所有階段實施強有力的數(shù)據(jù)保護實踐。隱私風險可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關者制定統(tǒng)一的隱私安全策略非常重要。 |
4.模型竊取攻擊 |
| 攻擊者從 AI 技術的應用部署中竊取的不僅僅是數(shù)據(jù)，還可以通過各種類型的攻擊手段破解 AI 模型的運行原理。當然，攻擊者可能采取的直接方法，就是通過網(wǎng)絡釣魚或密碼攻擊侵入源代碼存儲庫，直接竊取 AI 模型的實現(xiàn)代碼。此外，研究人員也探索了可能被攻擊者使用的 AI 模型提取攻擊，在這種攻擊方式中，攻擊者會通過反復測試模型的輸入和輸出，來觀察模型的反應，并總結(jié) AI 模型的數(shù)據(jù)分析行為和處理方式。 |
5.海綿攻擊 |
| 在不久前舉辦的 RSAC 大會上，特別討論了未來幾年企業(yè)組織要重要關注的 AI 風險和彈性問題。其中，研究人員提出了一種名為“海綿攻擊”（Sponge Attack）的新型 AI 攻擊。在這種攻擊類型中，攻擊者可以通過特別制作的惡意數(shù)據(jù)輸入來耗盡 AI 模型的計算資源，從而對 AI 模型實施拒絕服務（DOS）攻擊。攻擊者會首先在神經(jīng)網(wǎng)絡中獲取 AI 模型的運行參數(shù)，然后利用這些參數(shù)讓模型進行大量的計算，直至使 AI 系統(tǒng)癱瘓。 |
6.提示注入 |
| 在軟件開發(fā)這領域，有一句格言是“永遠不要相信用戶輸入”。否則的話，可能會引發(fā) SQL 注入和跨站點腳本等攻擊。隨著生成式 AI 的盛行，組織也將不得不擔心提示注入問題。提示注入是指在生成式 AI 中使用惡意制作的輸入，以誘導出不正確、不準確甚至具有破壞性的模型反應。當開發(fā)人員將 ChatGPT 和其他大型語言模型（LLM）整合到他們的應用程序中時，這些惡意的提示就會被 AI 模型處理，并觸發(fā)一些不安全的行為動作，比如向網(wǎng)站發(fā)布欺詐內(nèi)容，或者制作可能包含非法的或煽動性信息的電子郵件。 |
7.逃逸攻擊 |
逃逸攻擊（Evasion attack）是目前最典型的對抗性 AI 攻擊之一，攻擊者會在不改變目標機器學習系統(tǒng)的情況下，通過構(gòu)造特定輸入樣本以完成欺騙目標系統(tǒng)的攻擊。例如，攻擊者可以修改一個惡意軟件樣本的非關鍵特征，使得它被一個反病毒系統(tǒng)判定為良性樣本，從而繞過檢測。攻擊者為實施逃逸攻擊而特意構(gòu)造的樣本通常被稱為 “對抗樣本”。只要一個 AI 模型在判別機制方面存在不足，攻擊者就有可能構(gòu)造對抗樣本用以欺騙 AI 模型。 |
8.AI生成的網(wǎng)絡釣魚 |
惡意行為者不僅會繼續(xù)探索 AI 的缺陷，同時也在利用 AI 技術來提升現(xiàn)有攻擊手段的有效性。研究人員發(fā)現(xiàn)，攻擊者大量使用像 ChatGPT 這樣的生成式 AI 技術來自動創(chuàng)建網(wǎng)絡釣魚電子郵件。研究數(shù)據(jù)顯示，自從 ChatGPT 正式發(fā)布以來，網(wǎng)絡釣魚攻擊的數(shù)量和成功率都有所增加。這一攻擊方式已被網(wǎng)絡安全研究與培訓機構(gòu) SANS 列為 “2023 年最危險的 5 大網(wǎng)絡攻擊”。 |
9.Deepfake BEC 騙局 |
ChatGPT 的橫空出世，將深度偽造攻擊威脅從理論研究轉(zhuǎn)變到實際攻擊中。盡管模仿公司高級管理人員的欺詐行為目前還并不常見，但它們已被真實的應用到 BEC 欺詐中。組織應該努力提高安全意識，幫助所有員工了解語音和視頻等 AI 生成的數(shù)字化內(nèi)容比以往任何時候都更容易和真實，這會使得冒充 CEO 或其他高管變得非常容易，加劇了本已在增長的 BEC 威脅。 |
10.AI 生成的惡意軟件 |
安全研究人員發(fā)現(xiàn)，今天的攻擊者開始越來越多地依靠生成式 AI 能來幫助他們制作惡意軟件，并快速發(fā)現(xiàn)目標系統(tǒng)中的漏洞，從而加速和擴大攻擊規(guī)模，甚至比他們使用其他自動化技術所做的還要多。這也是 SANS 列舉的 “2023 年最危險的 5 大網(wǎng)絡攻擊” 中的另一大威脅。在 RSAC 2023 大會上，SANS 漏洞研究人員 Steven Sims 展示了即使是非專業(yè)性的犯罪分子也開始嘗試利用 ChatGPT 生成勒索軟件代碼，并已經(jīng)在特定代碼段中發(fā)現(xiàn)了由 ChatGPT 自動生成的零日漏洞。 |
|
||||
Copyright© 重慶秉通精益信息技術有限公司 | |
渝公網(wǎng)安備 50010702502937號