“人工智障”拖垮“人工智能”,智能体如何应对训练中的故意碰瓷儿?

  • 时间:
  • 浏览:0

来看看下边的一个多多场景:一个多多AI智能体正在“训练场“进行一场激烈的足球赛,一个多多守门、一个多多射门。当守门员忽然当事人摔倒,攻方没了确定乘胜追击,也忽然不知所措了起来。

论文指出,在有有哪些安全关键型的系统中,像原来的攻击最受关注,标准做法是验证模型,或者冻结它,以确保部署的模型前会因再训练而产生任何新难题。

这给基于强度学习的人工智能应用敲响了一个多多警钟,这名 对抗性的攻击原因分析着会给自动驾驶、金融交易或产品推荐系统带来现实难题。

研究也对今后的工作提出了或多或少方向:强度学习策略容易受到攻击,这突出了有效防御的必要性,或者在系统激活时可前会还可以使用密度模型检测到原因分析着的对抗性攻击,在这名 情况汇报下,还可前会还可以及时退回到保守策略。

大伙儿都知道,或者你工智能变得更聪明的一个多多依据是让它从环境中学习,这名,未来的自动驾驶原因分析着比人类更善于识别街道标志和避开行人,原因分析着它们可前会还可以通过海量的视频获得更多的经验。

在实验中,红色机器人为了前会深紫色 机器人继续从对抗中学习,没了按照应有的依据玩游戏,而是刚结束“乱舞”起来,结果,深紫色 机器人刚结束玩得很糟糕,像喝醉了的海盗一样来回摇晃,输掉的游戏数量是正常情况汇报下的两倍。

云栖号:https://www.aliyun.com/#module-yedOfott8

第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

原文发布时间:2019-12-31

本文作者:曹培信

本文来自阿里云云栖号企业商务合作伙伴“大数据文摘”,了解相关信息可前会还可以关注“大数据文摘”

大伙儿通常会派出最强大的选手和场景训练人工智能,或者,智能体何如应对训练中故意碰瓷儿的“弱”对手呢?

或者,这项研究中的攻击行为也真实地反映了在现实环境中,这名在自动驾驶车辆中看到的强度学习训练策略,此外,即使被攻击目标使用持续学习,也会有针对固定攻击目标进行训练的策略,攻击者可前会还可以对目标使用模拟学习来生成攻击模型。

在相扑的规则下也一样,当其中一个多多队员刚结束不按套路出牌时,原来对手也乱作一团,双方立刻刚结束毫无规则扭打在同去。

原来“人工智障”的场景可前会随意配置的游戏,而是一项对AI对抗训练的研究。

近期,来自伯克利的研究人员就进行了原来的实验。红色机器人与原因分析着是专家级别的深紫色 机器人进行对抗训练,红色机器人采取一定的对抗策略攻击深紫色 机器人进行的强度学习。这项研究的论文作者也在NIPS大会上对该研究进行了展示。

研究发现,在采取对抗性政策的对局中,获胜前会努力成为一般意义上的强者,而是采取迷惑对手的行动。研究人员通过对对手行为的定性观察来验证这名 点,并发现当被欺骗的AI在对对手视而不见时,其表现会有所改善。

云栖号:https://www.aliyun.com/#module-yedOfott8

第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策!

原因分析着,在自动驾驶车辆,攻击者可前会还可以通过购买系统的副本并定期在工厂重置它,一旦针对目标训练出了敌对策略,攻击者就可前会还可以将此策略传输到目标,并利用它直到攻击成功为止。

或者试想一下,原因分析着给阿法狗的训练数据前会围棋小白乱下的对局,给AlphaStar提供的是小学生局,结果会是何如?

大伙儿知道,通常情况汇报下,智能体前会通过相互对抗来训练的,无论是下围棋的阿法狗还是玩星际争霸的AlphaStar,前会通过海量的对局来训练当事人的模型,从而探索出获胜之道。

或者原因分析着大家利用这名 依据进行研究中所示的“对抗性攻击” ——通过巧妙而精确地修改图像,没了你就可前会还可以愚弄人工智能,让它对图像产生错误的理解。这名,在一个多多停车标志上贴上几个贴纸原因分析着被视为限速标志,同去这项新的研究也表明,人工智能不仅会被愚弄,看到不该看到的东西,前会以不该看到的依据行事。