百度PARL再次赢得神经突起仿生挑战增强学习控制的顺畅行走 ,科创板过会企业在哪看,金融办和银保监局

  • 时间:
  • 浏览:57
  • 来源:饱览福建新闻网
科创板过会企业在哪看,金融办和银保监局

百度PARL再次赢得神经突起仿生挑战增强学习控制的顺畅行走

2019年机器学习神经网络领域的顶级会议将于12月8日至14日在加拿大温哥华举行。不久前,会议宣布了论文评审的结果。今年,会议收到6743份有效文件和1428份文件,接受率为21.17%。作为中国第一个加入人工智能领域的科技巨头,百度今年选择了几篇论文。

此外,此次大会主办的“学会移动”(NeurIPS 2019:)强化学习竞赛结束,百度在2018年夺冠后再次夺冠。比赛非常艰难。在近300支参赛队伍中,只有3支队伍完成了最后的挑战。百度基于飞桨的强化学习框架PARL不仅成功完成了挑战,还以143分领先第二名。显然,百度在精读领域有明显优势,冠军含金量相当高。

近年来,随着机械设计和动态控制技术的发展,仿生机器人正在不断进步。例如,波士顿动力公司最近发布的机器人可以跑、拉卡车,甚至“反击”人类。控制这些机器人的主要节点是动态关节。

与钢制机械控制的机器人相比,人体的复杂性更差。探索和理解人体本身是人类的最终目标之一。人体有206块骨头和639块肌肉。正是对这些骨骼和肌肉的精细控制,造就了人类卓越而灵活的运动能力和平衡保持能力。近年来,许多研究希望了解人体的运动机理,甚至学习从肌肉层面端到端直接控制仿生人体。对于人体控制等复杂场景,强化学习是一种重要的研究方法。

强化学习是机器学习的范式和方法之一。它用于描述和解决代理在与环境交互的过程中通过学习策略获得最大回报或实现特定目标的问题。然而,直接使用强化学习仍然非常困难。原因之一是人体控制的解决方案空太大了!多达200个多维连续状态空非常复杂,一般的强化学习算法根本无法工作。正因为如此,许多旨在控制人体的研究和竞赛应运而生,吸引了各行各业的专家参与竞赛。

神经科学:学习移动强化学习竞赛就是本着这一理念诞生的。比赛由斯坦福仿生动力学实验室举办。比赛基于斯坦福国家医学康复研究中心开发的Opensim人体骨骼模型。参赛者需要根据模型中多达100个多维的状态描述特征来确定模型肌肉的信号并控制模型身体的行走。

挑战成立于2017年,今年是第三年。在2017年的第一次挑战中,竞赛规则集中在谁能让模特以最快的速度行走。2018年,比赛将整个模型的运动控制从2D改变为3D,并引入了一个带有假肢的模型。今年,比赛难度再次加大。

据报道,比赛分为两轮。第一轮主要要求实时变速。真正的挑战集中在第二轮。参赛者只有两周时间完成任务。这一轮不仅需要实时切换速度,还需要在360度内调整行走方向,增加了模型控制的难度。由于实际状态空和动作空密集且非常大,基于强化学习的算法无法准确掌握模型体的行走姿态。

尽管竞争逐年加剧,百度今年还是取得了优异的成绩。据了解,在百度的最佳解决方案中,甚至还有一些普通人做不到的动作,比如突然平稳地从站立状态返回,同时以所需的速度行走,这个过程需要保持稳定,不会摔倒。

百度在本次比赛中的出色表现和再次夺冠,主要是由于其在训练机制、通用算法库和迭代效率方面的巨大技术积累。

首先,百度构建了「课程学习」的训练机制,先从高速奔跑中学习姿态,再逐步降速提升行走稳定性,从而学到了一个和人类极为相似的行走姿态。根据历届参赛选手提供的行走视频来看,百度通过这种方法学习出来的行走姿势是最为自然的,接近真实人类行走姿势的。这个行走姿势不仅可以维持人体的平衡性,还可以灵活地应付各种速度大小、角度的变化。

其次,百度采用了自主开发的强化学习框架PARL。通过重用已在通用算法库中实现的算法,参赛者可以在不同算法之间快速切换,并保持有效的迭代频率。PARL的算法库涵盖了经典的连续控制算法增强、主流的DDPG/多酚氧化酶等算法,到最先进的基于模型的算法和其他相关算法。虽然算法库包含各种类型的复杂算法,但它的界面非常简单,基本上是一种可以导入的方法。

最后,百度基于PARL高效灵活的并行化培训能力进行了强化学习培训,培训效率提高了数百倍。PARL并行接口的设计思想是使用python的多线程代码来实现真正的高并发性。竞争对手只需要编写多线程代码,然后添加PARL的并行修饰符来调度不同机器的计算资源,以实现高并发性能。

此次夺冠的百度“PARL”以PaddlePaddle Reference Learning命名,基于百度桨叶开发的灵活高效的强化学习框架。PARL多年来将百度深厚的技术修养和产品应用经验应用于精读领域,具有较高的可扩展性、再现性和可重用性,以及强大的大规模并行化支持能力。开发人员可以通过PARL用几行代码定制他们的模型,一个修改器可以实现并行。此外,PARL代码风格统一,包含几个入门级强化学习算法,对初学者相当友好。

事实上,百度在2012年就开始关注强化学习。当时,百度已经将多臂强盗的研究成果应用到百度的搜索和推荐产品和功能中。此后,强化学习先后登陆杜密、凤超、新闻提要推荐等越来越多的相关产品。

今年1月,百度正式发布了深度强化学习框架PARL。更强的强化学习能力也使更多的开发人员能够通过飞桨平台。

相关热词搜索:科创板过会企业在哪看,金融办和银保监局

百度教育行业报告全面解析教育新趋势,教育品牌营销抓住用户意图是关键

已经过去的2019年,对于教育行业来说,是挑战与机遇并存的一年。而2020年,一场突如其来的疫情,再一次使教育行业的传统格局受到巨大冲击,线上教育逆势崛起,线下实体课程举步维艰

2020-06-23

百度地图新增摊位上传绿色通道 用户使用地图可直接导航至地摊前

要说当下最火的一个热词,想必就是”地摊经济“了。各行各业都在探索”地摊经济+某某“的全新市场模式。除了有不少网友再朋友圈晒起了自

2020-06-04

多视角沉浸式看展 百度直播将UCCA儿童节公益特展“快递到家”

作为疫情之下的第一个六一儿童节,如何宅家不出门,也能安抚蠢蠢欲动的“小神兽”?作为百度App《多元·新知·新童年》主题活动的

2020-06-02

百度云智学院荣获首批北京市高精尖技能提升培训机构“双认证”

近日,百度云智学院获得北京市科委和经信局双重认可,获得高精尖技能提升培训机构资质。今年,北京政府面向个人和企业的高精尖技能提升培训提供了大力支持,补贴力度前所未有,面向企业的培

2020-05-27

中国智能音箱销量排名:阿里百度小米垄断前三 占比高达96.4%

5月25日消息,IDC发布的中国智能音箱设备市场月度销量跟踪报告显示,2020年1-4月,中国智能音箱销量为1056万台,同比下降14.7%。疫情对市场的冲击导致今年前4个月市

2020-05-25