2024年2月29日，奇安信集團對外發(fā)布《2024人工智能安全報告》（以下簡稱《報告》）?！秷蟾妗凤@示，2023年基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚郵件增長了1000%；已有多個有國家背景的APT組織利用AI實施了十余起網(wǎng)絡攻擊事件。人工智能技術的惡意使用將快速增長，在政治安全、網(wǎng)絡安全、物理安全和軍事安全等方面構成嚴重威脅。
2022年以后，以ChaGPT為代表的AI技術快速崛起，展現(xiàn)出來的能力和效果震驚世界。IDC調(diào)研顯示，67%的中國企業(yè)已經(jīng)開始探索AIGC在企業(yè)內(nèi)的應用機會或進行相關資金投入。IDC預測，2026年中國AI大模型市場規(guī)模將達到211億美元，人工智能將進入大規(guī)模落地應用關鍵期。
《報告》認為，“AI是一種通用技術，通用就意味著既可以用來做好事，也可以被用來干壞事”。具有巨大潛力的AI技術同時帶來兩大主要挑戰(zhàn)：一是放大現(xiàn)有威脅，另一個是引入新型威脅。數(shù)據(jù)顯示，2023年基于AI的深度偽造欺詐暴增了3000%，基于AI的釣魚郵件數(shù)量增長了1000%；奇安信威脅情報中心監(jiān)測發(fā)現(xiàn)，已有多個有國家背景的APT組織利用AI實施了十余起網(wǎng)絡攻擊事件。
《報告》深入研究了基于AI的深度偽造（Deepfake）、黑產(chǎn)大語言模型基礎設施、利用AI的自動化攻擊、AI武器化、LLM自身安全風險、惡意軟件、釣魚郵件、虛假內(nèi)容和活動生成、硬件傳感器安全等12種重要威脅，對其技術原理、危害情況、真實案例等進行了深入的剖析，旨在讓業(yè)界更全面的認識到AI普及帶來的威脅和挑戰(zhàn)。這些基于AI的新型攻擊種類與手段不斷出現(xiàn)，已經(jīng)在全球造成了嚴重危害。
《報告》還認為，AI與大語言模型本身伴隨著安全風險，業(yè)內(nèi)對潛在影響的研究與重視程度仍遠遠不足。全球知名應用安全組織OWASP發(fā)布大模型應用的十大安全風險，包括提示注入、數(shù)據(jù)泄漏、沙箱不足和未經(jīng)授權的代碼執(zhí)行等。此外，因訓練語料存在不良信息，導致生成的內(nèi)容不安全，正持續(xù)引發(fā)災難性的后果，危害國家安全，公共安全以及個人安全，這些都亟需業(yè)內(nèi)高度重視和積極應對。
《報告》從安全行業(yè)、監(jiān)管機構、政企機構、網(wǎng)絡用戶等群體角度，給出應對AI威脅的建議。其中安全行業(yè)需繼續(xù)發(fā)揮能力優(yōu)勢，確保人工智能本身的安全性，并積極利用人工智能用于安全防護；監(jiān)管機構需要對AI潛在風險與影響保持持續(xù)關注，在制度和法規(guī)上及時提供支持；政企機構需及時部署AI安全框架和解決方案，以及AI安全評估服務和檢測工具，還要依托AI推動安全升級；網(wǎng)絡用戶在嘗試最新AI應用的同時，同樣需要更新安全知識，形成良好的安全習慣。
奇安信安全專家認為，AI技術將會推動安全領域發(fā)生范式變革，全行業(yè)需啟動人工智能網(wǎng)絡防御推進計劃，包括利用防御人工智能對抗惡意人工智能，已扭轉“防御者困境”。
