) 可以追溯到古代，当时的哲学家们编造出了许多关于人造实体如何被赋予人类
近几十年来，AI 长期处在技术进步的前沿，它被大范围的应用于安防监控、无人驾驶、金融预测、医疗诊断、视频游戏等领域。
一些 AI 成果包括人脸识别、自然语言处理、语音识别、文本生成、语言翻译、药物开发等已经深刻改变了人们对健康、生活、学习和别的方面的看法。毫无疑问，在未来，许多企业将依靠人工智能来提高效率和工作流程。
但是，在 AI 推动生产效率的提升和产业的数字化转变发展方式与经济转型的同时，它所带来的技术风险和隐私伦理问题同样值得警惕，黑客也在利用 AI 技术开发软件程序并执行隐形攻击。
更重要的是，AI 技术本身也存在安全漏洞。当前主流的深度神经网络等技术具有的“黑箱属性”，导致 AI算法存在不可解释性。这也就从另一方面代表着 AI 技术在算法安全性上存在着不确定因素，可能会在产业应用落地中出现各种安全风险隐患和风险。
当身处数字化转变发展方式与经济转型的各个产业正在享受这一波新的智能化技术红利的时候，AI 安全问题，就如同网络安全、信息安全一样，被提上产业数字化建设的日程表了。
那么，如何部署 AI 技术才会更安全？我们该如何防范利用算法漏洞对 AI 系统来进行的恶意攻击？在训练 AI 模型时，如何保障数据的隐私和安全？带着这样一些问题，我们采访到了瑞莱智慧 RealAI公司首席执行官田天，请他来与我们聊一聊 AI 安全领域面临的挑战以及应对之策。
田天：前几年大家更多关注的是，人工智能如何在场景中应用起来，去提升生活品质以及生产效率等等。但是近年来随着人工智能开始应用在很多高价值关键场景，比如金融、交通等领域，很多安全风险隐患开始慢慢地反映出来。我们关注到至少有三方面存在比较重大的安全隐患：
第一，模型算法本身的安全性、可靠性问题。现阶段人工智能的发展很多都是基于深度学习、深度神经网络。随着神经网络模型结构越来越复杂，模型慢慢的变大，参数慢慢的变多。其实反过来讲，神经网络模型也是一个越来越复杂、越来越难以理解的黑盒模型。然而黑盒模型就非常有可能存在一些难以被发现的错误逻辑，或者说结构性的算法漏洞、算法后门，黑客可通过这些漏洞发起攻击。
以目前大规模落地的人脸识别系统为例，人脸识别系统依靠海量人脸数据来进行特征提取、训练，进而进行识别，整一个完整的过程为黑箱模式，缺乏可解释性，黑产分子可利用漏洞进行多种模式的绕过与攻击。例如对抗样本攻击，在人脸照片上添加少量干扰或将对抗补丁打印制作后由真人佩戴，就能欺骗人脸识别系统。除了人脸识别系统，无人驾驶汽车搭载的感知系统也同样能够被攻击，比如障碍物上加装干扰因素，改变表面颜色、修改形状，就可能误导感知算法，让车辆无法感知到障碍物，这些都是算法层的安全漏洞，存在巨大的安全隐患。
第二，数据安全。人工智能的发展离不开大数据，要构造能力更强的人工智能，需要更加多、更关键以及更高价值的数据。但是高价值数据往往与个人隐私信息，甚至商业机密信息相绑定。那么在落地 AI 的过程中，就可能在数据应用或者流通环节造成信息泄露。比如近些年愈演愈烈的电信诈骗，源头就来自于个人隐私信息泄露，诈骗分子利用非法渠道获取的隐私数据伪造身份信息实行欺诈。所以，如何在保证发挥人工智能作用的同时，确保数据使用的安全，这是最重要的问题。
第三，技术的应用可控问题，简单来讲就是 AI 滥用问题。因AI是一个能力非常强的工具，但是工具就具有两面性质，可以被用于造福人类的场景，反过来也可能被不正当的利用。比如最典型的深度合成技术，也就是我们熟知的“AI 换脸”，这项技术能够升级影视制作、广告营销等场景中的内容制作效率和质量，并为一些全新场景提供了技术可能，例如虚拟主播。但这项技术目前却被大规模的滥用，比如通过“AI 换脸”技术进行色生成、编造虚假新闻等。一些黑产分子甚至利用软件程序低成本地合成带有各种动作的人脸视频，结合注入攻击手段后便可以轻易欺骗线上人脸识别系统，进而从事诈骗行为。我们大家都认为防范 AI 滥用，也是整个AI应用环节必须要关注到的安全风险。
InfoQ：现在大家对抗性机器学习的受关注热度比较高，什么是对抗性机器学习，常见的对抗性机器学习的场景有哪些？
田天：对抗性机器学习最典型的是针对深度学习、深度神经网络的对抗，也就是上个问题中算法安全部分我们提到的。深度神经网络其实是很复杂的模型，而复杂模型本身就是一个黑盒，黑盒的设计者、开发者也不知道模型内部结构、算法的运算逻辑是怎样的。对抗机器学习包含攻击手段与防御手段。攻击端是利用攻击手段去寻找模型设计过程中存在的缺陷或漏洞，相当于找模型何时会出错。防御侧则是在发现隐患或漏洞后，通过对抗训练、外部接入保护的方法等方式，来提升整个模型的安全性，保证模型在受到攻击后的安全运行。
其实，在AI应用的各个场景中，广泛存在着对抗机器学习的问题。典型的比如图像领域的人脸识别、图像分类以及目标检测，都存在算法安全问题，像上面提到的通过特定的攻击方式能够让模型失效，因此就需要通过对抗学习的方式来提升安全性。除此，语音识别、推荐系统，甚至自然语言处理等等，各个场景都存在着对抗。另外按照攻击类型来分，可分为有目标攻击和无目标攻击等不一样。所以整个对抗机器学习是一个非常大的技术体系，有必要进行专门研究。
InfoQ：我们花费大量的人力、物力研发出了一个模型以后，是不是攻击者也要付出很大的代价来攻击它？
田天：对于攻击者来说，如果要做白盒攻击，就需要获得被攻击模型的所有信息，包括网络结构、参数等等，这其实是非常难、成本很高的一件事情。退而求其次，如果去做黑盒攻击，实施起来相对就会容易一些，一类被称为查询攻击的方法是需要去持续请求被攻击模型，获得该模型在特定样本上给出来的反馈结果，另一类被称为迁移攻击的方法，还可以不用在实施真正的攻击前去请求被攻击模型。所以攻击技术也在演化，相当于是很多人在尝试去降低攻击的成本，而且随技术的开源化、工具化，攻击的难度和成本肯定是逐步降低的。
InfoQ：目前对抗性机器学习对于 AI 和机器学习系统造成的主要危害有哪些？
田天：主要危害在于让算法出错，使 AI 系统无法给出正确的结果。以人脸识别为例，比如刷脸闸机，一般的情况下，只有存有身份信息获得授权的人员才能通过。但是利用算法漏洞，我作为一个未授权人员通过在面部添加特定干扰，就能让系统出错通过闸机。这相当于产品的基本功能失效了，存在很明显的危害。
InfoQ：在无人驾驶领域，比如很多车企之前就曝光因自动驾驶系统失控发生多起安全事故，威胁到驾驶员的人身安全，对这种现象您怎么看？
田天：无人驾驶的很多安全问题也源自于算法本身的不可靠、鲁棒性差。一方面在于，无人驾驶系统本身的鲁棒性就比较差，在特殊的场景下，或者一些极端情况下很容易出错另外，还有可能被人利用算法漏洞恶意发起攻击，与上面人脸识别的问题类似，攻击者修改目标物体的颜色、形状等，就能让无人驾驶车辆的摄像头，甚至激光雷达失效，目前这类攻击成功率是非常高的。
田天：针对这样的一个问题，我们在做两方面的工作。以网络安全作为对比，随着网络的发展，互联网领域存在很多网络安全风险隐患，因此出现了一系列工具来增强网络系统的安全性，比如大家比较熟悉的杀毒软件、防火墙。
类似的，我们在做针对 AI 系统的杀毒软件和防火墙。这里的“杀毒软件”是我们推出的业内首个人工智能安全平台 RealSafe，通过内置一系列攻击算法和防御算法，提供从模型安全测试到模型安全加固一站式能力。例如一套人脸识别系统，接入到平台后，可以调用攻击算法模块对系统自动进行模拟攻击，平台会输出安全性评分报告，借此得知系统模型在什么样的情况下容易受到攻击。在发现安全隐患之后，针对每一种漏洞或攻击风险，平台搭载了对应的防御模块，通过对抗训练或者其他方式来增强模型的安全性。
另外，我们也开发标准化的 AI 安全防火墙。比如现阶段的人脸识别系统存在一系列的模型和算法漏洞，容易受到攻击，我们在现有人脸识别流程中前置防火墙模块，识别请求先过防火墙，防火墙来判断里面输入数据中是不是真的存在攻击。如果没有攻击，正常进入后面的识别环节，如果有攻击就直接拒绝，保证系统不受攻击，更加安全。
InfoQ：您说的 AI 安全平台和防火墙这样的工具，目前的效果是如何的，如果要给这个效果从 1-10 打分，您会打几分？
田天：安全问题进入 AI 时代，最明显的特征就是深度神经网络增强了 AI 的自我学习和升级迭代能力，而这种能力自然也被攻击者所掌握。所以，AI 时代谈安全，其实不单单是谈“魔高一尺道高一丈”的问题，更是谈“魔”和“道”谁对谁的感知能力更强，谁更有预见性和主动权的问题。针对这样的新特点，瑞莱智慧人脸识别防火墙 RealGuard 具备两个最主要的优势：一是对人脸识别物理和数字世界的全景式安全态势感知能力，始终力争让“道”走在“魔”的前面，这其中的底气来源于瑞莱智慧依托清华多年来对AI安全算法、对构建第三代人工智能的科研攻坚。二是对攻击防御的高准确率，目前，RealGuard 可以针对对抗样本攻击、面部替换攻击、表情操纵攻击等新型人脸识别安全风险，做到全覆盖防御。如果说要对效果进行打分，那我更愿意用产品的客观运行数据说话，RealGuard 目前针对攻击的拒绝率达到 98% 以上。
田天：目前这两款产品已经在金融、政府等领域落地。比如在金融领域，我们与多家国有行、股份制银行合作，提供人脸识别系统的安全检测与加固服务；在政府领域，我们与公安部门合作，提供监控视频智能化方案，基于攻防加固提升监控系统的安全性；包括我们与多家整车厂商合作，提供无人驾驶安全解决方案。
田天：现在这样的领域已经走出实验室，进入到产业化的阶段。随着近年来安全事件的层出不穷，以及政策监管的重视，市场迫切地需要针对 AI 应用的安全产品。其实包括我们在内，国内外近年来也陆续出现一些团队开始从事这一领域，布局商业化的 AI 安全产品，推出相关的软件、系统、硬件等等。尤其今年来看，产业慢慢的开始进入快速发展的落地期，金融、公安等重点领域都开始落地。
InfoQ：您觉得未来 AI 安全将会朝哪个方向发展，有哪些技术值得关注？
田天：第一，AI 对抗攻防技术必须要持续研究。因为攻击和防御是一个持续升级的过程，新的攻击手段会不断地产生，因此也需要不断研究新的防御手段；
第二，对合成技术的安全问题需要加大关注。因为随着技术的不断成熟，合成类内容在清晰度、流畅度、逼真度等各方面都有大幅提升，已经超越了人眼分辨的极限，真假难辨的背后是对社会信任的冲击，危害性在不断增强，因此必须依靠技术手段对这类伪造内容进行判别以及溯源；
第三，需要去发展与人工智能相适应的隐私保护技术，确保人工智能应用过程中，对敏感数据的保护，不泄露数据。并且，这三方面需要去并行发展。
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。举报投诉
privacy security threat 2、车辆跟踪攻击平台Vehicle tracking attack platform 3、身份隐私保护方案ldentity
和漏洞的信息。这些信息有多种形式，从原始的、未经处理的数据到可供人类消费的成品情报。
我们所有的连接系统——从连接到医院患者的脉搏血氧仪到打印机墨盒再到物联网设备——都
越来越频繁： 来自CNCERT的报告显示，2021年上半年，我国境内遭篡改的网站有
数据泄露和网络攻击呈上升趋势，任何企业都无法幸免。这就是为什么了解最常见的网络
非营利组织使用 NVIDIA Jetson 平台和 Triton 推理服务器，实时检测穿山甲、犀牛等 50 多个物种所
，因为它们破坏了端点（计算机、平板电脑、智能手机、物联网设备）与网络其余部分之间的信任关系。通过检查下面概述的不同类型的内部
CI/CD 管道 的支持。因此，Klocwork是理想的 SAST 工具。使用 Klocwork 可帮助您的开发团队及早预防网络
也至关重要。许多内部参与者可以访问源代码，更改开发流程并分发公司特定的商业机密。通过实施特定于员工的基于硬件的许可，您可以增强
1、窃听：攻击者通过监视网络数据获得敏感信息,从而导致信息泄密。主要表现为网络上的信息被窃听,这种仅窃听而不破坏网络中传输信息的网络侵犯者被称为消极侵犯者。恶意攻击者往往以此为基础,再利用其它工具进行更具破坏性的攻击； 2、重传：攻击者事先获得部分或全部信息,以后将此信息发送给接收者； 3、篡改：攻击者对合法用户之间的通讯信息进行修改、删除、插入,再将伪造的信息发送给接收者,这就是纯粹的信息破坏,这样的网络侵犯者
攻击是家常便饭的时代，即使投入了大量保护资金，较小型公司也更容易受到攻击。许多企业仍然没有将网络
漏洞案例中，企业都建立了“足够好”的控制措施，并且遵守了行业法规要求。
模式的网络表示学习算法——HSEN2vec。该算法旨在最大限度地捕获异构
人工智能颠覆性应用的增加、危机时期网络作用的扩大、政策与技术之间依赖关系的增长，是网络
的三大趋势。报告从相关技术发展的角度和可能产生的级联效应评估了这些趋势，指出这些趋势反映出
短板。 2021年4月26日，北京——是德科技公司（NYSE：KEYS）今日发布第四期《是德科技
产业链全景图！收藏备用随时看！ 文章出处：【微信公众号：工业IoT】欢迎添加关注！文章转载请注明出处。 责任编辑：haq
的主要责任者是技术堆栈和实力更为雄厚的云服务商，这是一个常见的误区，企业过于依赖云服务商正在给企业带来更大的
越来越多的网络攻击开始出现，我们经常可以看到这样的新闻，例如“黑客组织利用物联网设备漏洞攻击企业网络”、“物联网智能锁未打补丁的缺陷让家庭
谋求非对称优势、捍卫全球领导地位，早已成为美国霸权的主要手段。而这背后，持续涌动的网络
一直令强权国家“如鲠在喉”。尤其，对于将太空能力视为所有军事能力的决定因素的美国，维护其太空
华为在智能制造方面的经验对于中国制造升级非常有价值，在了解华为是如何实现智能制造之前，让我们先来看看
据Gartner统计，到2020年，将有208亿台设备接入互联网，并产生超过20泽（10的21次方）字节的数据。这都将给底层网络基础设施带来巨大压力，并且每台物联网设备
机构(Enisa)列出了它认为最有可能试图侵入5G网络的组织，并警告称，随着下一代移动互联的到来，电信基础设施等
作为网站所有者或管理员，您当然希望尽一切可能保护您的网站免受攻击和其他
，它们越来越多地被用来窃取网站访问者的个人信息，如银行支付账户、姓名和地址。
如果把电子邮件、电子邮箱、电子邮件服务器和用户看成一个电子邮件相关联的系统，从攻击窃密的角度，电子邮件相关的
随着云计算、大数据、物联网和人工智能等新一代信息通信技术的加快速度进行发展，网络
当前，全球正进入以信息产业为主导的经济发展新时期，随着数字化、网络化、智能化深入各个行业
怎样的挑战，其最大的挑战是什么？ 据梭子鱼中国近期发起的调查活动结果显示，30.7%的参与者表示云
计算资源昂贵、训练时间长、训练数据多、开发去中心应用困难等问题，结合区块链技术后能较好地解决以上问题。把区块链中挖矿及电力消耗过程中过剩的资源转换为
：①通过自动钓鱼或创建虚假电子邮件、网站、链接等手段窃取信息；②通过自动发现软件漏洞进行更快速的黑客攻击；③利用人工智能对于外界的理解缺陷，欺骗
随着标签制造成本的下降，RFID技术的应用必将更广泛，随之带来一系列
物联网被称为继计算机、Internet之后，世界信息产业的第三次浪潮。在高歌猛进的同时，物联网背后隐藏的
论逐渐甚嚣尘上，在全球范围引起了广泛关注。包括著名物理学家霍金，微软创始人比尔盖茨，特斯拉CEO马斯克在内的
论者与Facebook人工智能实验室主任Yann LeCun，前谷歌大脑创始人吴恩达在内的
