扬子晚报网9月6日讯（记者 刘丽媛）未来某一天，你的自动驾驶汽车行驶在公路上，突然”抽风“，把危险场景识别为安全场景，朝着障碍物撞上去……这不是危言耸听，通过”数据下毒“对人工智能进行干扰，就有可能造成这样的危险。南京学者对”数据下毒“展开研究，希望借此找到防范“AI黑客”的完善方案。

研究”数据下毒“

是为了防止人工智能“中毒”

为什么要研究给数据”下毒“？创新工场南京国际人工智能研究院执行院长说，这样的研究并不是简单地揭示AI入侵的危险，而是希望通过研究，有针对性地制定防范“AI黑客”的完善方案。

9月4日，被誉为机器学习和神经网络领域的顶级会议之一的NeurIPS 2019揭晓收录论文名单，创新工场南京国际人工智能研究院的论文《深度困惑:一种利用自编码器生成恶意训练样本的方法》，冯霁是论文的第一作者。

“顾名思义，‘数据下毒’即让训练数据‘中毒’。”冯霁告诉记者，论文围绕现阶段人工智能系统的安全性展开研究。

深度学习需要大量的训练数据，如果数据被黑客“下毒”，后果不堪设想。论文提出了一种高效生成对抗训练样本的方法，通过微弱扰动数据库的方式，彻底破坏对应的学习系统的性能，达到“数据下毒”的目的。

冯霁举例，假如一家从事机器人视觉技术开发的公司希望训练机器人识别现实场景中的器物、人员、车辆等，却不慎被入侵者利用论文中提及的方法篡改了训练数据。研发人员在目视检查训练数据时，通常不会感知到异常（因为使数据“中毒”的噪音数据在图像层面很难被肉眼识别），训练过程也一如既往地顺利。然而，用这样的模型驱动的机器人在真实场景中会彻底“懵圈”，陷入什么也认不出的尴尬境地。

更可怕的是，如果有黑客精心调整“下毒”时所用的噪音数据，会使得训练出来的机器人视觉模型“故意认错”某些东西，比如应用于自动驾驶的人工智能将障碍认成是通路，或将危险场景标记成安全场景等。

这个会议有多火爆？

参会堪比追星 门票几分钟售罄

对于普通人来说，NeurIPS这个名字很陌生，但NeurIPS在AI业内人士里却享有盛名。这个会议有多火爆？据说，会议门票像明星演唱会一样难抢，动辄在数分钟内售磬。

NeurIPS全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，自1987年诞生至今已有32年的历史，一直以来备受学术界和产业界的高度关注。该会议固定在每年的12月举行，由NIPS基金会主办。在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议，同时也是人工智能领域最富盛名的年度会议之一。

记者了解到，今年的 NeuralPS 大会备受关注。此次会议投稿数量创下了历史新纪录，全世界学者共提交6743 篇有效论文，接受率仅有 21.17%。由于投稿数量太大，NeuralPS 投稿服务器一度宕机。