当前位置:首页 > 篮球资讯 > 正文内容

谷歌发布一个新的强化学习环境:Google Research Football

杏彩体育2年前 (2023-02-02)篮球资讯126

本文为 AI 研习社编译的技术博客,原标题 : Introducing Google Researc
打开凤凰新闻,查看更多高清图片

本文为 AI 研习社编译的技术博客,原标题 :

Introducing Google Research Football: A Novel Reinforcement Learning Environment

作者 | Karol Kurach、Olivier Bachem

翻译 | 汪鹏       编辑 | 王立鱼

原文链接:

https://ai.googleblog.com/2019/06/introducing-google-research-football.html

强化学习(RL)的目标是培养能够与环境互动并解决复杂任务的智能体,实现在机器人,自动驾驶汽车等领域中的实际应用。通过让智能体玩游戏,如标志性的 Atari console games  , Alphago  ,或大型游戏,如Dota 2或魔兽世界 2 ,所有这些都提供了新算法和新算法的挑战性环境,推动了这一领域的快速发展。可以以安全,可重复的方式快速测试想法。对于RL来说,足球比赛尤其具有挑战性,因为它需要在短期控制,学习概念(如传球)和高水平战略之间实现自然平衡。

今天我们很高兴地宣布推出 Google Research Football Environment,这是一个全新的RL环境,智能体的目标是掌握世界上最受欢迎的体育足球。以流行的足球游戏为模型,足球环境提供基于物理的3D足球模拟,其中智能体控制他们团队中的一个或所有足球运动员,学习如何在他们之间传球,并设法克服对手的防守以进球。足球环境提供了几个关键组件:高度优化的游戏引擎,一系列严格的研究问题,称为足球基准,以及足球学院,一组逐步变硬的RL场景。为了便于研究,我们在Github上发布了基础开源代码的测试版。

足球引擎

足球环境的核心是一个高级的足球模拟,称为足球引擎,它基于大量修改版本的游戏足球。根据两支对方球队的输入动作,它模拟了足球的比赛,包括进球,犯规,角球和点球,以及越位。 足球引擎采用高度优化的C ++代码编写,允许它在现成的机器上运行,无论是GPU还是没有基于GPU的渲染。这使其在单个六核机器上达到每天大约2500万步的性能。

足球引擎是一种先进的足球模拟,支持所有主要的足球规则,如开球(左上),进球(右上),犯规,牌(左下),角球和点球(右下)和越位。

足球引擎还具有针对RL的额外功能。首先,它允许从不同的状态表示中学习,这些状态表示包含诸如玩家位置之类的语义信息,以及从原始像素学习。其次,为了研究随机性的影响,它可以在随机模式(默认启用)中运行,其中在环境和对手AI动作中都存在随机性,并且在确定性模式中,其中没有随机性。第三,足球引擎开箱即用,与广泛使用的OpenAI Gym API兼容。最后,研究人员可以通过使用键盘或游戏手柄与对方或其代理人对战来获得对游戏的感觉。

足球基准

通过足球基准测试,我们为基于足球引擎的RL研究提出了一系列基准问题。这些基准的目标是针对固定的基于规则的对手进行足球的“标准”游戏,该对手是为此目的而手工设计的。我们提供三个版本:简单足球难度,中等难度和困难难度,对手的实力不同。

作为参考,我们提供两种最先进的强化学习算法的基准测试结果:DQN和IMPALA,它们既可以在一台机器上的多个过程中运行,也可以在多台机器上同时运行。我们研究了为算法提供的唯一奖励是获得的目标以及我们为将球移近目标而提供额外奖励的设置。

我们的研究结果表明,足球基准是各种困难的有趣研究问题。特别是,简单足球难度似乎适用于单机算法的研究,而足球困难基准则证明即使对于大规模分布式RL算法也具有挑战性。基于环境的性质和基准的难度,我们期望它们可用于研究当前的科学挑战,例如样本有效RL,稀疏奖励或基于模型的RL。

不同基线的不同难度级别的代理与对手的平均目标差异。 简单的对手可以被训练为2000万步的DQN代理打败,而中等和困难的对手需要分布式算法,例如训练2亿步的IMPALA

足球学院及未来方向

完整足球基准下,训练智能体可能具有挑战性,我们还提供足球学院,各种难度的各种场景。这使研究人员能够开始研究新的研究思路,允许测试高级概念(例如传递),并为研究课程学习研究思路提供基础,智能体可以从逐渐困难的情景中学习。足球学院场景的示例包括智能体必须学习如何针对空目标进行评分的设置,他们必须学习如何在玩家之间快速传递,以及他们必须学习如何执行反击。使用简单的API,研究人员可以进一步定义自己的场景并训练代理来解决它们。

热门:一个成功的策略,朝着目标(根据需要,因为一些对手追逐我们的球员)和对阵守门员的比分。第二:驾驶和完成反击的美妙方式。第三:解决2对1比赛的简单方法。底部:角球后角球得分。

足球基准和足球学院考虑标准的RL设置,其中智能体与固定的对手竞争,即,对手可以被认为是环境的一部分。然而,实际上,足球是一个双人游戏,两个不同的团队竞争,而一个人必须适应对方团队的行动和战略。足球引擎为研究这种环境提供了独特的机会,一旦我们完成了实现自我发挥的持续努力,就可以研究更有趣的研究设置。雷锋网雷锋网雷锋网

点击谷歌发布一个新的强化学习环境:Google Research Football】即可访问!

今日资源推荐:

一份可以作为Python编程语言的指南或者教程。它主要是为新手而设计,不过对于有经验的程序员来说,它同样有用。即便你对计算机的了解只是如何在计算机上保存文本文件,你都可以通过本书学习Python。如果你有编程经验,你也可以使用本书学习Python。

点击链接即可获取:https://ai.yanxishe.com/page/resourceDetail/535

扫描二维码推送至手机访问。

版权声明:本文由杏彩体育-专注全球体育资讯发布,如需转载请注明出处。

本文链接:http://www.redirected.net/?id=10309

分享给朋友:

“谷歌发布一个新的强化学习环境:Google Research Football” 的相关文章

什么样的篮球是好篮球?

什么样的篮球是好篮球?

前两段内容都是ZT 篮球规则关于“篮球”的部分有三点要求 球的材料、尺寸和重量 1、球是圆形的,为认可的暗橙色; 2、外壳用皮、像胶或合成物质制成; 3、圆周不得小于...

新手打篮球怎么入门?

新手打篮球怎么入门?

先练运球,练习运球期间再练习三步上篮,同时练习投篮。可以三分之二的时间练习运球,三分之一的时间练习投篮。 具体顺序如下 首先是原地的运球的训练,标准是能做到和动图中一样,左右手都要练 第一,原...

狂轰6球!小贝见证青春风暴!从英格兰足球想到中国篮球

狂轰6球!小贝见证青春风暴!从英格兰足球想到中国篮球

原标题:狂轰6球!小贝见证青春风暴!从英格兰足球想到中国篮球 狂轰6球!小贝见证青春风暴!从英格兰足球想到中国篮球 英格兰将刚刚结束的世界杯小组赛变成了一场进球大战,6-2狂胜亚洲排名第一的伊朗。这支赛前被看作是夺冠大热的球队,首秀让人惊喜,6球当中3球来自00后。...

打了这么多年的篮球,这些小知识你都知道吗?

打了这么多年的篮球,这些小知识你都知道吗?

篮球场上的五个位置 (1号位)控球后卫 PointGuard/PG 控球后卫在防守上要挡死对方的对位球员,进攻上有时负责跑快攻,有时负责组织快攻,阵地战会组织全队的进攻,投远距离投篮,保持外线运球的流动性,负责强侧的联结。...

乐不思蜀?霍华德再度表态:我喜欢在这里打篮球,不想回NBA了

乐不思蜀?霍华德再度表态:我喜欢在这里打篮球,不想回NBA了

  近日,效力T1联赛的前NBA球员霍华德接受了采访,他谈到了T1联赛,也谈到了自己在这里的所见所闻,他认为,自己非常喜欢这里,都不想回家了。      霍华德表示:两场比赛出战近90分钟,很久没连续出赛这么久,我的身体确实还在调整这样的状态,我的腿部和队友相撞,因此有些疲...

球迷呼吁篮协尽快解决CBA新赛季的直播问题,怒批资本垄断的危害

球迷呼吁篮协尽快解决CBA新赛季的直播问题,怒批资本垄断的危害

近日,许多球迷纷纷发声,强烈建议和呼吁篮协和相关体育主管部门以及电视台体育频道,要从大局出发,顺应人民群众的新期待,在第二阶段的CBA比赛中,一定要尽快解决CBA篮球赛事的电视直播问题,千万不要让篮球市场被资本垄断而跑偏方向甚至陷入泥潭。立体看体育,客观评篮球。大家好,鲁...