您当前位置:大发棋牌首页  > 大发棋牌 > VR/AR

“捉迷藏”也能学习?OpenAI用其教会AI团队大发棋牌合作 !

2019-10-12     来源:网易智能 举报



图1:OpenAI的AI自己学会了如何玩捉迷藏大发棋牌游戏

【网易智能讯10月10日消息】捉迷藏的大发棋牌游戏 自古已有之,它给无数孩子带来了无穷的童年乐趣。然而,现在这种古老大发棋牌游戏 又在人工智能(AI)领域被赋予了新生,它不仅可以揭示很多大发棋牌关于 AI如何权衡其所面临的决策问题,甚至展现了AI与其影响范围内的其他AI(或称近邻)互动的方式。

总部位于美国旧金山的AI研究大发棋牌公司 OpenAI的研究人员日前发表论文,对捉迷藏大发棋牌游戏 在AI中发挥的重要作用进行了阐述。OpenAI由特斯拉首席执行官埃隆·马斯克(Elon Musk)等硅谷大亨联合建立的,并得到了职业社交网站LinkedIn联合创始人里德·霍夫曼(Reid Hoffman)等名人的支持。

在最新发表的论文中,研究人员描述了大量由AI控制的代理如何在虚拟环境中捉迷藏的场景,并在此过程大发棋牌中学 习利用越来越复杂的大发棋牌方法 来躲避和寻找对方。测试结果表明,竞争中的双人AI代理团队的自大发棋牌我 提高速度比任何单个代理都快。论文的共同作者说,这表明正在发挥作用的力量可以被利用,并适应其他AI领域,以提高效率。

今天开源的捉迷藏AI大发棋牌培训 环境,加入了无数其他OpenAI、DeepMind和谷歌等大发棋牌公司 为应对AI难题而提供的众源解决方案。去年12月,OpenAI发布了CoinRun,旨在测试强化学习代理的适应性。最近,该机构推出了Neural MMO,即大型强化学习模拟器,可以在类似角色扮演大发棋牌游戏 (RPG)的世界中训练AI代理。在6月份,谷歌旗下Google Brain部门开源了Research Football Environment,这是用于训练AI掌握足球的3D强化学习模拟器。DeepMind上个月揭开了OpenSpiel的面纱,这是个大发棋牌视频 大发棋牌游戏 AI大发棋牌培训 平台。

两位共同作者在这篇最新的论文中写道:“创造能够解决各种复杂的、与人类相关任务的智能人工代理,一直是AI社区中的一个长期挑战。与人类特别相关的AI代理将是能够感知物理世界中的物体、并与之互动的代理。”

训练和玩耍 

捉迷藏代理依赖于强化学习,这是一种利用奖励来推动大发棋牌软件 政策朝着目标方向发展的大发棋牌技术 ,可以在反复试验中自大发棋牌我 学习。近年来,与海量计算匹配的强化学习取得了巨大的成功,但也有其局限性。指定奖励函数或收集演示来监督任务可能既耗时又昂贵。最先进的大发棋牌方法 要求对专家演示数据进行监督性学习,并使用奖励进一步提高绩效。此外,单个代理在强化任务大发棋牌中学 习的技能受到任务描述的限制;一旦代理学会了解决任务,就没有太多改进空间了。

相反,研究人员追求的是一种他们称之为“无方向探索”的政策。在这种政策下,代理在他们对大发棋牌游戏 世界的理解中自由进化,以设计出创造性的制胜策略。这类似于DeepMind科学家去年倡导的多智能体学习大发棋牌方法 ,在一项研究中,多个AI系统被训练为在大发棋牌游戏 《雷神之锤III竞技场》(Quake III Arena)上玩“夺旗大发棋牌游戏 ”(Capture The Flag)。与这项研究一样,AI代理事先没有被教授大发棋牌游戏 规则,但他们随着时间的推移学会了基本策略,并最终在技能上超过了大多数人类玩家。

微软的Suphx AI、OpenAI的OpenAI Five、DeepMind的AlphaStar以及Facebook的Pluribus,分别采用了类似的策略来掌握麻将、《刀塔2》(Dota 2)、《星际争霸》(StarCraft II)以及德州扑克。


图2:OpenAI的AI在大发棋牌游戏 中横穿地图

在捉迷藏大发棋牌游戏 中,几个代理(隐藏者)必须在短时间内避开竞争对手的视线。在此期间,这些竞争对手被固定住,而大发棋牌搜索 者被指示密切关注隐藏者的动向。(在这里,“视线”是指各个代理面前的135度圆锥形范围。)如果代理冒险离开大发棋牌游戏 区太远,并被迫在随机生成的房间和墙壁中游荡,并会因此受到惩罚。它们可以拾取分散在环境中的目标(主要是箱子),这些箱子会无限期地锁定在适当的位置。

代理们在训练过程中发现了多达六种独特的策略,每一种都能大发棋牌帮助 它们进入下一个大发棋牌游戏 阶段。起初,隐藏者和大发棋牌搜索 者只是逃跑并相互追逐,但经过大约2500万场捉迷藏大发棋牌游戏 之后,隐藏者学会了通过将箱子一起移动并靠墙来构建隐藏庇护所的策略。在进行另外7500万场比赛后,大发棋牌搜索 者学会了移动并利用坡道跳过箱子进入避难所的大发棋牌方法 。

再进行1000万场比赛后,隐藏者开始将箱子构建的坡道带到游乐区的边缘并将其锁定,以防止大发棋牌搜索 者使用它们。最后,在总共3.8亿场比赛后,大发棋牌搜索 者自学将箱子带到大发棋牌游戏 区的边缘,并有效地利用它们冲进隐藏者的避难所中,这利用了大发棋牌游戏 空间允许他们在不接触地面的情况下可与箱子一起移动的优势。

受过训练的代理学会了协作,例如分别将他们自己的箱子带到一个未建造好的避难所地点。此外,他们作为一个团队相互保护,试图通过在准备阶段锁定箱子来防御大发棋牌搜索 者的“箱子冲浪”。


图3:OpenAI的AI代理随着时间的推移而自大发棋牌我 完善

研究人员表示,规模在这方面起到了关键作用。默认模型需要在34小时的大发棋牌培训 中出现1.23亿次才能达到将技能提升到懂得“斜坡防御”的阶段,并且批量越大,大发棋牌培训 时间越快。例如,将参数(从历史训练数据大发棋牌中学 习的模型部分)的数量从50万增加到580万,样本效率就提高了2.2倍。

基准稳健性

为了评估代理的稳健性,研究人员设计了一套五项基准智力测试,分为两个领域:认知和记忆。所有测试都使用与捉迷藏环境相同的动作空间、观察空间和对象类型:

1)对象计数任务(Object Counting)衡量的是代理是否具有对象持久性的感觉,即理解事物即使在无法察觉情况下仍然存在的能力。

2)锁定和返回任务(Lock and Return),衡量代理在执行新任务时是否可以记住其原始位置。

3)在顺序锁定任务(Sequential Lock)中,四个箱子位于三个没有门但每个房间都有坡道的随机房间中,代理必须按照它们以前没有观察到的特定顺序锁定所有箱子的位置。

4)在蓝图构建任务(Construction From Blueprint)中,代理必须将箱子(开放房间中的八个)放置在多达四个目标位置的顶部。

5)在避难所构建任务(Shelter Construction)中,代理必须在圆柱体周围建造由箱子组成的避难所。

在五个任务的其中3个里,在捉迷藏环境中接受预大发棋牌培训 的代理学习速度更快,并获得了比两个基线更高的最终回报。他们在锁定和返回任务、顺序锁定任务以及蓝图构建任务任务方面做得稍好些,但在对象计数和避难所构建方面表现较差。


图4:这个代理在使用坡道入侵堡垒

研究人员将好坏参半的结果归咎于既“纠缠”又难以微调的技能表征。他们写道:“大发棋牌大发棋牌我 们 推测,捉迷藏预大发棋牌培训 优于基线的任务是由于重复使用学习到的特征所致,而在其余任务上优于基线的转移将需要重用学习的技能,而这要困难得多。这种评估指标强调了开发大发棋牌技术 的必要性,以便将在一个环境中大发棋牌培训 的策略有效低应用到另一个环境中。”

未来工作 

那么,大发棋牌大发棋牌我 们 能从这样的研究中得到什么?简单的大发棋牌游戏 规则、多代理竞争和大规模的标准强化学习算法可以刺激代理在没有监督的情况下学习复杂的策略和技能。

研究人员写道:“这些设置的成功激发了人们的信心,认为这些环境最终可以使代理获得无限数量的技能。这会促使它们形成以人类相关技能为中心的行为,而不是通过其他自大发棋牌我 监督的强化学习大发棋牌方法 生成的技能。”



这些进步不仅仅会推动大发棋牌游戏 设计前进。研究人员断言,他们的工作是朝着可能产生“物理基础”和“人类相关”行为的大发棋牌技术 迈出的重要一步,并且可能支持诊断疾病、预测复杂蛋白质结构和分段CT扫描的系统。

Alphabet旗下AI大发棋牌公司 DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis) 曾表示:“大发棋牌大发棋牌我 们 的大发棋牌游戏 AI是大发棋牌大发棋牌我 们 通向通用人工智能的垫脚石。大发棋牌大发棋牌我 们 进行自大发棋牌我 测试和所有这些大发棋牌游戏 测试的原因是,它们是大发棋牌大发棋牌我 们 所开发算法的便利试验场。最终,大发棋牌大发棋牌我 们 正在开发可以转化到现实世界中的算法,以便处理真正具有挑战性的问题,并大发棋牌帮助 这些领域的专家。”(选自:VentureBeat 作者:Kyle Wiggers 编译:网易智能 参与:小小)

【免责声明】本网站发布的资料部分来源于大发棋牌互联网 ,转载的目的在于传递大发棋牌更多 信息及用于网络分享,并不代表大发棋牌本站 赞同其观点和对其真实性负责,也不构成任何其他建议。大发棋牌本站 部分作品是由网络投稿和发布、编辑整理上传,对此类作品大发棋牌本站 仅提供交流平台,不为其大发棋牌版权 负责。如果您发现网站上有侵犯您的知识产权的作品,请与大发棋牌大发棋牌我 们 取得联系,大发棋牌大发棋牌我 们 会及时修改或大发棋牌删除 。

返回大发棋牌网大发棋牌首页 >>


文章关键字: 也能  团队大发棋牌合作  教会

本页大发棋牌地址 :http://woyess.com/tech/VRAR/20191012/1602614.html
大发棋牌热门 点击:
  • 雷军微博抽奖送蔚来ES6,中奖用户:9个月了没交车
    雷军微博抽奖送蔚来ES6,中奖用户:9个月了没交车

    IT之家 举报|2019.09.30

    (原标题:微博中奖蔚来ES6用户深夜吐槽:提车从六月推到九月,还让大发棋牌我 等) IT之家9月29日消息 不知道大家是否还记得去年年底,在2018蔚来日(NIO

    热度:
    热度:

  • 华为Mate30系列开售3小时卖出100万台 多个配色断货
    华为Mate30系列开售3小时卖出100万台 多个配色断货

    快大发棋牌 举报|2019.09.30

    (原标题:华为Mate30系列销量势如破竹:开售3小时卖出100万台 多个配色断货) 作者:朝晖华为Mate 30系列发布后,销量势如破竹。今天上午,华为

    热度:
    热度:

  • 未来15年怎么干?杨振宁等共谋中长期大发棋牌发展规划
    未来15年怎么干?杨振宁等共谋中长期大发棋牌发展规划

    新华社 举报|2019.09.30

    (原标题:未来15年中国大发棋牌创新怎么干?知名专家共谋国家中长期大发棋牌发展规划) 会议现场 本文图片均来自大发棋牌日报新华社大发棋牌北京 9月28日电 题:未来15年中国科

    热度:
    热度: