聚热点 juredian

国内首份《大语言模型提示注入攻击安全风险分析报告》

伴随着大模型等人工智能产业的快速发展,新的安全风险挑战也接踵而至。今天上午,大数据协同安全技术国家工程研究中心(以下简称“BDS国家工程中心”)发布了国内首份《大语言模型提示注入攻击安全风险分析报告》(以下简称“报告”),为国内大模型安全发展提供整体指南。报告指出,提示注入攻击已成大模型安全威胁之首,建议从安全测评、安全防御、安全监测预警等方面,多维度提升大模型安全性。

大语言模型引领创新浪潮席卷全球,国内迄今已有80余个大模型公开发布。在引领新一轮工业革命的同时,大模型安全风险也引发广泛担忧。此前,BDS国家工程中心的AI安全实验室在承担“安全大脑国家新一代人工智能开放创新平台”研究中,对ChatGPT、BARD、Bing Chat等大模型产品进行了风险评估,发现主流厂商的相关服务全部存在提示注入攻击的安全风险。此外,AI安全实验室还在主流AI框架中发现200多个漏洞,影响超过40亿终端设备。5月30日,二十届中央国家安全委员会第一次会议上也明确提出,需“提升网络数据人工智能安全治理水平”。

目前大语言模型面临的风险类型包括提示注入攻击、对抗攻击、后门攻击、数据污染、软件漏洞、隐私滥用等多种风险。在这些安全威胁中,提示注入攻击因利用有害提示覆盖大语言模型的原始指令,具有极高危害性,也被全球性安全组织OWASP列为大语言模型十大安全威胁之首。

为推动行业采取有效防御措施,构建更加安全可信的大语言模型,BDS国家工程中心发布了国内首份《大语言模型提示注入攻击安全风险分析报告》。 报告面向大语言模型的提示注入攻击和防御技术展开研究,并通过构建了包含36000条的提示注入攻击验证数据的数据集,覆盖3类典型攻击方法和6类安全场景,用于对大语言模型的提示注入攻击风险测评。

测评结果显示,目前的大型语言模型普遍面临提示注入攻击安全风险,包括在自动问答系统中误导用户,或者通过对话系统中的输入操纵回答结果。该报告在大模型安全测评、安全防御、安全监测预警方面给出相关建议。在安全测评方面,需进行网络安全测评和内容安全测评,检测模型软件、插件及供应链等的安全漏洞,并评估模型是否产生有害、有偏见、侵权或与事实不符的内容,以提出整改建设方案。在安全防御方面,报告建议应构建多层次的协同防御体系,包括过滤和清洗训练数据、添加多样化的输入示例来提高模型鲁棒性,以及拦截各类注入攻击等措施来保护模型免受攻击。在安全监测预警方面,需建设大语言模型安全风险监测预警平台,包括构建威胁情报库和建立自动化预警系统,以实时追踪安全事件、攻击模式和漏洞信息,并及时发出预警。

基于报告形成测评能力,未来,BDS国家工程中心将通过“安全大脑国家新一代人工智能开放创新平台”,为国内大模型提供提示注入攻击风险安全测评,全面推动我国构建安全可信的人工智能。

本站资源来自互联网,仅供学习,如有侵权,请通知删除,敬请谅解!
搜索建议:分析报告  分析报告词条  注入  注入词条  模型  模型词条  攻击  攻击词条  提示  提示词条  
热议

 ufo(为何UFO频繁到访大连?...

虽然很多有关UFO的目击事件,我们知道的一般都是发生在国外,不过事实上,在我国境内,UFO的目击事件也是有不少的,比方说著名的谁被我飞行,以及农民孟照国说自己和...(展开)

热议

 春节趣事作文200字

【精品】春节趣事作文200字汇编8篇无论是身处学校还是步入社会,许多人都有过写作文的经历,对作文都不陌生吧,作文是由文字组成,经过人的思想考虑,通过语言组织来表...(展开)