请选择 进入手机版 | 继续访问电脑版
开启辅助访问

杭州论坛

 找回密码
 新人注册
查看: 822|回复: 3

智能化技术及应用 | 小心对抗样本攻击,别让你的AI应用被...

[复制链接]

4万

主题

4万

帖子

4182

积分

杭州元老

Rank: 6Rank: 6

积分
4182
发表于 2022-9-8 08:22 | 显示全部楼层 |阅读模式
智能化技术及应用 | 小心对抗样本攻击,别让你的AI应用被钻了空子

当有人宣称自动驾驶系统已解放了人们双手之后,你真的敢来一场说走就走的自动驾驶之旅吗?2019年,腾讯科恩实验室曾对某热门车型所搭载自动驾驶系统(2018年的某个版本)进行安全性测试,发现其在图像识别方面,存在被攻击的安全隐患。实验中大多数情况下,自动驾驶系统都能正常识别交通标志、标线,但如果在路面涂刷不起眼的干扰信息,车辆则会根据看到的图像,做出错误决策,驶入反向车道,危险性不言而喻。虽然这个实验仅仅暴露出自动驾驶汽车的安全隐患,但实际上随着人工智能应用日趋普及,AI的安全问题正逐渐显露。

AI应用面临安全挑战

当前主流的人工智能应用,多数是基于传统机器学习或深度学习算法开发的,从开发到生产部署,一般有数据采集、数据预处理、模型训练、模型的评估验证、生产部署等几个环节。

AI应用的各环节及攻击点

黑客往往会基于上述环节对人工智能应用进行攻击,如针对数据采集和预处理阶段的攻击、针对AI模型本身、针对模型使用环节的对抗样本攻击等等。其中,在对抗样本攻击中,通过对输入样本进行细微的修改,人眼不易觉察,但却使AI系统产生错误的输出,在一些关键场景中会造成严重问题,而针对各种对抗样本的攻击,已经有了多种防范方法来降低风险。下文将重点针对AI对抗样本攻击与防护的技术展开探讨。

解密AI对抗攻击技术

对抗样本(Adversarial Examples),即通过对输入样本添加一些非随机性的微小扰动,受干扰之后的输入样本经过AI模型运算,会导致模型以高置信度给出了一个错误的输出结果。如下图所示,一张原本是熊猫的图片,在加入了人为设计的微小噪声扰动后,人眼看上去还是熊猫,但AI模型直接将其识别为长臂猿,且可信度高达99.3%。

对抗样本

当然,还有另外一种对抗样本,样本图像是人类无法看懂的,但AI模型却高概率认为是某个类别的事物。如下图所示,AI模型会识别为0-9的数字。

在对抗样本攻击的分类上,如果从技术维度来看,按照对抗样本的实现方式可分为白盒攻击和黑盒攻击两类。白盒攻击:攻击者完全了解被攻击的AI模型的结构、源码、训练数据集等信息,可以实施更加精确的攻击,难度较低,多用于学术研究。常见的白盒攻击算法如L-BFGS、FGSM、BIM、ILCM、DeepFool等。黑盒攻击:攻击者对AI模型和训练数据集的信息了解得不多或者完全不了解。但利用对抗样本具有跨模型、跨数据集迁移的泛化能力,研究被攻击AI模型的输入/输出信息,设计对抗样本进行攻击,这种方式的实现难度比较大。

如果从攻击目标输出结果的维度来看,则可分为:非针对性攻击(non-target attack):让AI模型输出结果出错即可。针对性攻击(targeted attack):不仅让模型输出结果错误,而且还要让其输出结果按照攻击者预定的结果来输出。

运维外包相关资讯可以参考新华三官网,新华三集团作为数字化解决方案领导者,致力于成为客户业务创新、数字化转型值得信赖的合作伙伴。作为紫光集团旗下的核心企业,新华三通过深度布局“芯-云-网-边-端”全产业链,不断提升数字化和智能化赋能水平。新华三拥有芯片、计算、存储、网络、5G、安全、终端等全方位的数字化基础设施整体能力,提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、边缘计算等在内的一站式数字化解决方案,以及端到端的技术服务。同时,新华三也是HPE®服务器、存储和技术服务的中国独家提供商。


回复

使用道具 举报

0

主题

993

帖子

496

积分

杭州会员

Rank: 2

积分
496
发表于 2022-9-8 08:22 | 显示全部楼层
中国上下五千年的历史,有史以来都是重男轻女的,到了二十一世纪终于叫一个房地产的彻底改变了中国人民的想法!
回复

使用道具 举报

0

主题

835

帖子

416

积分

杭州会员

Rank: 2

积分
416
发表于 2022-9-8 11:08 | 显示全部楼层
楼主写的这么好,为什么不写小说那?
回复

使用道具 举报

0

主题

819

帖子

408

积分

杭州会员

Rank: 2

积分
408
发表于 2022-9-17 13:00 | 显示全部楼层
老师:“小新,你的毛病就是用词不当,现在考考你,用一句成语来形容老师很开心。” 小新:“含笑九泉。”
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 新人注册

本版积分规则

手机版|联系我们|站内地图|杭州论坛

GMT+8, 2022-12-7 21:07

Powered by Discuz! X3.2

Copyright © 2001-2021, Tencent Cloud.

返回顶部 返回列表