百度PARL再次赢得神经突起仿生挑战增强学习控制的顺畅行走 ,科创板过会企业在哪看,金融办和银保监局

  • 时间:
  • 浏览:9
  • 来源:饱览福建新闻网
科创板过会企业在哪看,金融办和银保监局

百度PARL再次赢得神经突起仿生挑战增强学习控制的顺畅行走

2019年机器学习神经网络领域的顶级会议将于12月8日至14日在加拿大温哥华举行。不久前,会议宣布了论文评审的结果。今年,会议收到6743份有效文件和1428份文件,接受率为21.17%。作为中国第一个加入人工智能领域的科技巨头,百度今年选择了几篇论文。

此外,此次大会主办的“学会移动”(NeurIPS 2019:)强化学习竞赛结束,百度在2018年夺冠后再次夺冠。比赛非常艰难。在近300支参赛队伍中,只有3支队伍完成了最后的挑战。百度基于飞桨的强化学习框架PARL不仅成功完成了挑战,还以143分领先第二名。显然,百度在精读领域有明显优势,冠军含金量相当高。

近年来,随着机械设计和动态控制技术的发展,仿生机器人正在不断进步。例如,波士顿动力公司最近发布的机器人可以跑、拉卡车,甚至“反击”人类。控制这些机器人的主要节点是动态关节。

与钢制机械控制的机器人相比,人体的复杂性更差。探索和理解人体本身是人类的最终目标之一。人体有206块骨头和639块肌肉。正是对这些骨骼和肌肉的精细控制,造就了人类卓越而灵活的运动能力和平衡保持能力。近年来,许多研究希望了解人体的运动机理,甚至学习从肌肉层面端到端直接控制仿生人体。对于人体控制等复杂场景,强化学习是一种重要的研究方法。

强化学习是机器学习的范式和方法之一。它用于描述和解决代理在与环境交互的过程中通过学习策略获得最大回报或实现特定目标的问题。然而,直接使用强化学习仍然非常困难。原因之一是人体控制的解决方案空太大了!多达200个多维连续状态空非常复杂,一般的强化学习算法根本无法工作。正因为如此,许多旨在控制人体的研究和竞赛应运而生,吸引了各行各业的专家参与竞赛。

神经科学:学习移动强化学习竞赛就是本着这一理念诞生的。比赛由斯坦福仿生动力学实验室举办。比赛基于斯坦福国家医学康复研究中心开发的Opensim人体骨骼模型。参赛者需要根据模型中多达100个多维的状态描述特征来确定模型肌肉的信号并控制模型身体的行走。

挑战成立于2017年,今年是第三年。在2017年的第一次挑战中,竞赛规则集中在谁能让模特以最快的速度行走。2018年,比赛将整个模型的运动控制从2D改变为3D,并引入了一个带有假肢的模型。今年,比赛难度再次加大。

据报道,比赛分为两轮。第一轮主要要求实时变速。真正的挑战集中在第二轮。参赛者只有两周时间完成任务。这一轮不仅需要实时切换速度,还需要在360度内调整行走方向,增加了模型控制的难度。由于实际状态空和动作空密集且非常大,基于强化学习的算法无法准确掌握模型体的行走姿态。

尽管竞争逐年加剧,百度今年还是取得了优异的成绩。据了解,在百度的最佳解决方案中,甚至还有一些普通人做不到的动作,比如突然平稳地从站立状态返回,同时以所需的速度行走,这个过程需要保持稳定,不会摔倒。

百度在本次比赛中的出色表现和再次夺冠,主要是由于其在训练机制、通用算法库和迭代效率方面的巨大技术积累。

首先,百度构建了「课程学习」的训练机制,先从高速奔跑中学习姿态,再逐步降速提升行走稳定性,从而学到了一个和人类极为相似的行走姿态。根据历届参赛选手提供的行走视频来看,百度通过这种方法学习出来的行走姿势是最为自然的,接近真实人类行走姿势的。这个行走姿势不仅可以维持人体的平衡性,还可以灵活地应付各种速度大小、角度的变化。

其次,百度采用了自主开发的强化学习框架PARL。通过重用已在通用算法库中实现的算法,参赛者可以在不同算法之间快速切换,并保持有效的迭代频率。PARL的算法库涵盖了经典的连续控制算法增强、主流的DDPG/多酚氧化酶等算法,到最先进的基于模型的算法和其他相关算法。虽然算法库包含各种类型的复杂算法,但它的界面非常简单,基本上是一种可以导入的方法。

最后,百度基于PARL高效灵活的并行化培训能力进行了强化学习培训,培训效率提高了数百倍。PARL并行接口的设计思想是使用python的多线程代码来实现真正的高并发性。竞争对手只需要编写多线程代码,然后添加PARL的并行修饰符来调度不同机器的计算资源,以实现高并发性能。

此次夺冠的百度“PARL”以PaddlePaddle Reference Learning命名,基于百度桨叶开发的灵活高效的强化学习框架。PARL多年来将百度深厚的技术修养和产品应用经验应用于精读领域,具有较高的可扩展性、再现性和可重用性,以及强大的大规模并行化支持能力。开发人员可以通过PARL用几行代码定制他们的模型,一个修改器可以实现并行。此外,PARL代码风格统一,包含几个入门级强化学习算法,对初学者相当友好。

事实上,百度在2012年就开始关注强化学习。当时,百度已经将多臂强盗的研究成果应用到百度的搜索和推荐产品和功能中。此后,强化学习先后登陆杜密、凤超、新闻提要推荐等越来越多的相关产品。

今年1月,百度正式发布了深度强化学习框架PARL。更强的强化学习能力也使更多的开发人员能够通过飞桨平台。

相关热词搜索:科创板过会企业在哪看,金融办和银保监局

百度知道合作伙伴完全开放40000家机构抢先“回应”

中新网11月29日电11月29日,百度知道在“知伴营销生态峰会”上宣布:百度知道该平台已经解决了5.5亿用户问题,超过1.8亿用户参与了回答。为了更好地解决用户的专业问答需求,

2019-12-02

潘云河院士向学生团队颁发了C4大奖赛百度闫飞推出了另一个“人工智能人才团队”

人工智能技术的不断突破为人工智能的应用带来了更多的想象空间,人工智能人才将在实践中涌现。11月23日,由教育部三大教学委员会和全国高校计算机教育研究所主办,百度、浙江大学和德清

2019-11-25

俄罗斯“百度”Yandex在硬件战中推出测试交付机器人

俄语区最大的搜索引擎——被称为俄罗斯“百度”的Yandex在11月7日表示,已经开始测试自动交付机器人,这是该公司最新的技术优势工具。该机器人以太平洋空勘探中常用的设备“漫游者

2019-11-08

百度阿波罗自动驾驶仪在河北沧州启动载人测试

11月6日,百度阿波罗自动驾驶仪团队在河北沧州正式启动载人测试。目前,百度已获准在沧州经济开发区所有试验路段进行大规模载人试验,这意味着中国首个区级自主载人试验网正式开通。据了

2019-11-07

百度PARL再次赢得神经突起仿生挑战增强学习控制的顺畅行走

2019年机器学习神经网络领域的顶级会议将于12月8日至14日在加拿大温哥华举行。不久前,会议宣布了论文评审的结果。今年,会议收到6743份有效文件和1428份文件,接受率为2

2019-11-04