| 即便沒有 ChatGPT 和生成式 AI 的火爆應(yīng)用，人工智能（AI）技術(shù)的應(yīng)用安全威脅都已經(jīng)開始顯現(xiàn)。安全研究人員表示，在AI技術(shù)快速應(yīng)用發(fā)展過程中，其安全性也面臨諸多挑戰(zhàn)。為了防范 AI 技術(shù)大規(guī)模應(yīng)用的安全風(fēng)險，企業(yè)需要打贏一場“雙線戰(zhàn)爭”，不僅需要能夠阻止對抗性 AI 模型所構(gòu)成的威脅，而且還要面對攻擊者利用 AI 技術(shù)發(fā)起各類型的新攻擊。 |
1.AI投毒攻擊 |
攻擊者可以操縱（毒化）AI 模型的一小部分輸入數(shù)據(jù)，以破壞其訓(xùn)練數(shù)據(jù)集合準(zhǔn)確性。最常見的投毒形式是后門投毒，即使極少一部分訓(xùn)練數(shù)據(jù)受到影響。在很長時間里，AI 模型仍然可以繼續(xù)給出高度準(zhǔn)確的結(jié)果，直到它在接觸特定的觸發(fā)器時被“激活”而功能失靈?！癆I模型投毒”會嚴(yán)重威脅到 AI 應(yīng)用的完整性和安全性。因此，大型語言模型（LLM）需要接受風(fēng)險和安全研究人員的嚴(yán)格審查，以探索反饋循環(huán)和 AI 偏見等問題如何使 AI 輸出不靠譜。 |
2.武器化的AI模型 |
| AI 技術(shù)的研究與創(chuàng)新需要高度的團(tuán)隊協(xié)作和迭代開發(fā)，因此會涉及大量的共享，包括數(shù)據(jù)共享和模型共享 ，這可能會給 AI 供應(yīng)鏈帶來重大風(fēng)險。研究人員新發(fā)現(xiàn)了一種 AI 攻擊的新模式，攻擊者首先劫持了公共代碼庫上的合法 AI 模型，再將惡意代碼嵌入到這些預(yù)訓(xùn)練的 AI 模型中，對其進(jìn)行惡意制作，一旦用戶重新加載了這些被修改的 AI 模型，攻擊者就可以實(shí)施勒索攻擊等非法活動。 |
3.數(shù)據(jù)隱私攻擊 |
| 圍繞 AI 的一些大風(fēng)險實(shí)際上是數(shù)據(jù)安全和數(shù)據(jù)隱私威脅。如果 AI 模型沒有建立足夠的隱私措施，攻擊者就有可能破壞用于訓(xùn)練這些模型數(shù)據(jù)的機(jī)密性。對于個人來說，了解企業(yè)如何使用人工智能、人工智能的功能及其對數(shù)據(jù)的影響將變得非常重要。同樣的，攻擊者可能會試圖使用惡意軟件竊取包含信用卡號碼或社會安全號碼等個人信息的敏感數(shù)據(jù)集。企業(yè)組織必須頂定期進(jìn)行安全審計，并在人工智能開發(fā)的所有階段實(shí)施強(qiáng)有力的數(shù)據(jù)保護(hù)實(shí)踐。隱私風(fēng)險可能發(fā)生在數(shù)據(jù)生命周期的任何階段，因此為所有利益相關(guān)者制定統(tǒng)一的隱私安全策略非常重要。 |
4.模型竊取攻擊 |
| 攻擊者從 AI 技術(shù)的應(yīng)用部署中竊取的不僅僅是數(shù)據(jù)，還可以通過各種類型的攻擊手段破解 AI 模型的運(yùn)行原理。當(dāng)然，攻擊者可能采取的直接方法，就是通過網(wǎng)絡(luò)釣魚或密碼攻擊侵入源代碼存儲庫，直接竊取 AI 模型的實(shí)現(xiàn)代碼。此外，研究人員也探索了可能被攻擊者使用的 AI 模型提取攻擊，在這種攻擊方式中，攻擊者會通過反復(fù)測試模型的輸入和輸出，來觀察模型的反應(yīng)，并總結(jié) AI 模型的數(shù)據(jù)分析行為和處理方式。 |
5.海綿攻擊 |
| 在不久前舉辦的 RSAC 大會上，特別討論了未來幾年企業(yè)組織要重要關(guān)注的 AI 風(fēng)險和彈性問題。其中，研究人員提出了一種名為“海綿攻擊”（Sponge Attack）的新型 AI 攻擊。在這種攻擊類型中，攻擊者可以通過特別制作的惡意數(shù)據(jù)輸入來耗盡 AI 模型的計算資源，從而對 AI 模型實(shí)施拒絕服務(wù)（DOS）攻擊。攻擊者會首先在神經(jīng)網(wǎng)絡(luò)中獲取 AI 模型的運(yùn)行參數(shù)，然后利用這些參數(shù)讓模型進(jìn)行大量的計算，直至使 AI 系統(tǒng)癱瘓。 |
6.提示注入 |
| 在軟件開發(fā)這領(lǐng)域，有一句格言是“永遠(yuǎn)不要相信用戶輸入”。否則的話，可能會引發(fā) SQL 注入和跨站點(diǎn)腳本等攻擊。隨著生成式 AI 的盛行，組織也將不得不擔(dān)心提示注入問題。提示注入是指在生成式 AI 中使用惡意制作的輸入，以誘導(dǎo)出不正確、不準(zhǔn)確甚至具有破壞性的模型反應(yīng)。當(dāng)開發(fā)人員將 ChatGPT 和其他大型語言模型（LLM）整合到他們的應(yīng)用程序中時，這些惡意的提示就會被 AI 模型處理，并觸發(fā)一些不安全的行為動作，比如向網(wǎng)站發(fā)布欺詐內(nèi)容，或者制作可能包含非法的或煽動性信息的電子郵件。 |
7.逃逸攻擊 |
逃逸攻擊（Evasion attack）是目前最典型的對抗性 AI 攻擊之一，攻擊者會在不改變目標(biāo)機(jī)器學(xué)習(xí)系統(tǒng)的情況下，通過構(gòu)造特定輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。例如，攻擊者可以修改一個惡意軟件樣本的非關(guān)鍵特征，使得它被一個反病毒系統(tǒng)判定為良性樣本，從而繞過檢測。攻擊者為實(shí)施逃逸攻擊而特意構(gòu)造的樣本通常被稱為 “對抗樣本”。只要一個 AI 模型在判別機(jī)制方面存在不足，攻擊者就有可能構(gòu)造對抗樣本用以欺騙 AI 模型。 |
8.AI生成的網(wǎng)絡(luò)釣魚 |
惡意行為者不僅會繼續(xù)探索 AI 的缺陷，同時也在利用 AI 技術(shù)來提升現(xiàn)有攻擊手段的有效性。研究人員發(fā)現(xiàn)，攻擊者大量使用像 ChatGPT 這樣的生成式 AI 技術(shù)來自動創(chuàng)建網(wǎng)絡(luò)釣魚電子郵件。研究數(shù)據(jù)顯示，自從 ChatGPT 正式發(fā)布以來，網(wǎng)絡(luò)釣魚攻擊的數(shù)量和成功率都有所增加。這一攻擊方式已被網(wǎng)絡(luò)安全研究與培訓(xùn)機(jī)構(gòu) SANS 列為 “2023 年最危險的 5 大網(wǎng)絡(luò)攻擊”。 |
9.Deepfake BEC 騙局 |
ChatGPT 的橫空出世，將深度偽造攻擊威脅從理論研究轉(zhuǎn)變到實(shí)際攻擊中。盡管模仿公司高級管理人員的欺詐行為目前還并不常見，但它們已被真實(shí)的應(yīng)用到 BEC 欺詐中。組織應(yīng)該努力提高安全意識，幫助所有員工了解語音和視頻等 AI 生成的數(shù)字化內(nèi)容比以往任何時候都更容易和真實(shí)，這會使得冒充 CEO 或其他高管變得非常容易，加劇了本已在增長的 BEC 威脅。 |
10.AI 生成的惡意軟件 |
安全研究人員發(fā)現(xiàn)，今天的攻擊者開始越來越多地依靠生成式 AI 能來幫助他們制作惡意軟件，并快速發(fā)現(xiàn)目標(biāo)系統(tǒng)中的漏洞，從而加速和擴(kuò)大攻擊規(guī)模，甚至比他們使用其他自動化技術(shù)所做的還要多。這也是 SANS 列舉的 “2023 年最危險的 5 大網(wǎng)絡(luò)攻擊” 中的另一大威脅。在 RSAC 2023 大會上，SANS 漏洞研究人員 Steven Sims 展示了即使是非專業(yè)性的犯罪分子也開始嘗試?yán)?ChatGPT 生成勒索軟件代碼，并已經(jīng)在特定代碼段中發(fā)現(xiàn)了由 ChatGPT 自動生成的零日漏洞。 |
|
||||
Copyright© 重慶秉通精益信息技術(shù)有限公司 | |
渝公網(wǎng)安備 50010702502937號