【2025年國家網絡安全宣傳周】大模型安全如何?500+白帽實網眾測答案揭曉
9月16日,國內首次針對AI大模型的實網眾測檢驗結果在第22屆中國網絡安全年會(暨國家網絡安全宣傳周網絡安全協(xié)同防御分論壇)重磅揭曉?;顒庸矂訂T559名白帽子,對國內15款大模型及應用產品進行了漏洞測試。
結果發(fā)布(一):優(yōu)秀測試產品
在參與測試的主流大模型產品中,騰訊公司混元大模型、百度公司文心一言、阿里巴巴通義APP、智譜華章公司智譜清言等發(fā)現的漏洞風險較少,體現了較高的安全防護水平。
本次活動共對10家AI廠商的15款大模型及應用產品進行測試。測試產品中既有基礎大模型產品,也有垂域大模型產品,還有智能體、模型開發(fā)平臺等相關應用產品,其中既包含單模態(tài)大模型,也涵蓋多模態(tài)大模型,具有較廣泛的代表性。
結果發(fā)布(二):優(yōu)秀白帽子
本次活動涌現出梁宏宇、馬寶新、劉銘等一批表現突出的優(yōu)秀白帽子。本次活動測試對象主要是實時在線運行的AI大模型及應用產品,在產品廠商的防護下,各位白帽子能夠挖掘出高危甚至嚴重等級的漏洞,說明他們有著出眾的能力并付出了艱辛的努力。
本次活動通過多種渠道動員了559名白帽子參與測試,涵蓋網安企業(yè)專業(yè)人才、科研院校師生以及社會白帽子。他們從外部攻擊者的視角,對大模型進行了多維度實戰(zhàn)化測試,取得了豐富的測試成果,體現了廣大白帽子對人工智能等新興技術領域安全的熱情和為產業(yè)發(fā)展貢獻力量的情懷。
結果發(fā)布(三):典型漏洞風險
本次活動累計發(fā)現各類安全漏洞281個,其中大模型特有漏洞177個,占比超過60%。這一數據充分表明,當前AI大模型產品面臨著大量傳統(tǒng)安全領域之外的新興安全風險。
活動中發(fā)現的典型漏洞風險包括:一是部分產品存在不當輸出類漏洞且危害嚴重;二是信息泄露類漏洞多發(fā),存在較大安全隱患;三是提示注入類漏洞普遍,是大模型最常見漏洞風險;四是部分大模型產品針對無限制消耗類攻擊的防護措施有待加強;五是傳統(tǒng)安全漏洞依然普遍存在,危害不容忽視。鑒于AI大模型產品普遍用戶量大、使用率高,若上述漏洞被惡意攻擊者利用,將對國內AI大模型產品生態(tài)造成較嚴重的影響。
任重道遠:以高質量安全護航“人工智能+”高質量發(fā)展
本次活動旨在以高質量安全護航人工智能在經濟社會各領域的高質量發(fā)展。隨著AI應用場景的不斷擴展,新的漏洞和攻擊手法將不斷涌現,AI大模型安全治理工作任重道遠,亟需各方共同努力。一是針對大模型面臨的各類漏洞風險,需持續(xù)加強安全防護措施。二是加快制定AI漏洞分類分級標準,并按應用場景劃分風險等級。三是通過眾測模式廣泛匯聚社會白帽力量,構筑AI共治生態(tài)。四是加強內生安全治理,將安全融入到AI系統(tǒng)全生命周期,從源頭筑牢安全基石。