欧博亚洲客户端(www.aLLbetgame.us):OpenAI雄心壮志的机械人设计失败了:强化学习没法用?

Allbet Gmaing

欢迎进入欧博Allbet官网(www.aLLbetgame.us),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

,

机械之心报道

机械之心编辑部

不是谁都能像波士顿动力一样能不停找到下家。

曾经训练出单手解魔方机械人的 OpenAI,眼下已经遣散了机械人团队。这家执着于实现通用人工智能(AGI)的公司现在放弃了机械人研究,理由是「数据不够厚实」。

近期,OpenAI 公司团结首创人 Wojciech Zaremba 在一档播客节目中透露了这个新闻。当主持人问到「你们为什么选择了机械人领域」的时刻,Wojciech Zaremba 却示意,OpenAI 已将重点转移到其他领域,由于在那些领域中数据更容易获得。

视频地址:https://youtu.be/429QC4Yl-mA

Wojciech Zaremba:我们曾在机械人手艺上研究了几年,直到最近我们改变了 OpenAI 的关注点,现实上,我遣散了机械人团队。

主持人:你为什么这样做?

Wojciech Zaremba:事实证实,只要能够接见数据,以及借助机械学习、无监视和强化学习,我们就可以取得伟大的提高…… 现实上有许多领域的数据异常厚实。而数据问题阻碍了我们在机械人手艺方面的生长。

「遣散机械人团队这个决议对我来说很难,但前段时间我意识到,从公司的角度来看,现实上这样是最好的」,Wojciech Zaremba 说道。

一份 OpenAI 方面发送给 VentureBeat 的声明示意:「在通过我们的魔方机械人项目和其他项目推进强化学习的最新手艺之后,去年 10 月,我们决议不再继续进一步的机械人研究,而是将团队气力整合到其他项目中。由于人工智能及其能力的快速提高,我们发现其他方式,例如凭证人类反馈举行强化学习,可以使我们的研究取得更快的希望。」

2019 年,OpenAI 展示了单手解魔方机械人的研究功效,一度引发科技圈的讨论热潮。单手玩魔方,对于一样平凡人类来说都很难题,而那台 13000 年履历训练出来的五指机械手,还原魔方的几率到达了 20-60%,纵然受到戴橡胶手套、绑住食指和中指、蒙上一块布等滋扰,也不会影响其事情效率。

这是 OpenAI 此前两年多事情的研究功效。2017 年 5 月,OpenAI 宣布了 Roboschool,这是一个用于在模拟环境中控制机械人的开源软件。同年,该公司示意已经确立了一个完全在模拟中训练并部署在一个物理机械人上的系统,只需要完成一次学习就能学会新义务。2018 年,OpenAI 提供了模拟机械人环境和 Hindsight Experience Replay 的 baseline 实现,这是一种可以从失败中学习的强化学习算法。

若是我们是一家机械人公司,或者公司的使命与现在有所差异,我以为我们会继续下去。事实上,我异常信托机械人所接纳的方式和偏向,然则从我们想要实现的目的――也就是构建 AGI 来看,现在另有所欠缺。当缔造机械人时,我们以为可以依附自主天生数据和强化学习走得很远。

这让人们想起了昨天 AI 圈内讨论的一个话题:

图源:https://www.zhihu.com/question/449478247/answer/2001407526

固然,在回覆的更新部门中,俞扬示意:说没法用只是吐个槽,要想发论文,就只能沿着所谓的 SOTA 来改善,纵然是看起来没有希望的偏向。俞扬进一步说道:

很多多少留言说明晰「没法用」反映出人人的心声。现实上强化学习这个古老的研究领域 2016 前在海内一直对照冷的泉源就是没法用。研究领域人人也都清晰强化学习算法样本行使率低,然后做出了许多改善,然则要改善到什么水平才气有用呢,实在凭证我们的履历有一个尺度:

欧博亚洲客户端

欢迎进入欧博亚洲客户端(www.aLLbetgame.us),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

零试错:一次试错不能有,上线即能施展效果,还要显著优于基线。

offline RL 是个准确的偏向,然则现在的主流研究也有许多显著的弯路,可能发论文与做落地自己就是差其余事,人人的体贴点不能能完全一致吧。

另外就是我们的落地越来越多,不再想着去说服别人 RL 可以用了。

对 AGI 的执着

一直以来,OpenAI 都以为伟大的算力是通向 AGI 或让 AI 学习任何人类学习义务之路的需要步骤。虽然 Yoshua Bengio、Yann LeCun 等大佬都以为 AGI 不能能存在,但 OpenAI 的团结首创人及其看法支持者始终信托壮大的盘算机与强化学习、预训练和其他手艺相连系,可让 AI 实现跨越式提高,这几位团结首创人包罗 Greg Brockman、首席科学家 Ilya Sutskever、Elon Musk、Reid Hoffman 和 Y Combinator 前总裁 Sam Altman。

这条蹊径上的代表功效就是DALL-E,这是一个 120 亿参数的文本 - 图像引擎,本质上是一个视觉创意天生器,称为「图像版 GPT-3」。DALL-E 能够连系差其余想法来合成物体,其中一些物体在现实天下中不太可能存在――好比蜗牛和竖琴的夹杂体。

输入「牛油果形状的椅子」,就可以获得绿油油、形态各异的牛油果椅子图像。

Brockman 和 Altman 十分信托 AGI 将能够掌握比任何人都多的领域知识,稀奇是识别人类专家无法掌握的庞大的、跨学科的联系。此外他们展望,社会科学等相关领域的研究者若是与部署的 AGI「亲热互助」,有助于解决天气转变、医疗保健和教育方面的耐久挑战。

Zaremba 断言,预训练是确立大型庞大 AI 系统的一种稀奇壮大的手艺。预训练有助于模子学习可在目的义务上重用的通用特征,以提高其准确性。GitHub 最近推出了代码天生工具 Copilot,在 OpenAI 开发其支持模子 Codex 的历程中,预训练起到了主要作用。GitHub Copilot 提供代码建议的服务适用于 Microsoft Visual Studio 等开发环境中的整行代码。Codex 是 OpenAI GPT-3 的微调版本。

一连几条推特,Zaremba 都在为 Copilot 宣传:「若是小我私人电脑是工程师心中的自行车,那么 Copilot 就是自动驾驶的特斯拉。」

「我信托预训练能够让模子在提升相同智能能力的情形下,成本仅用原方式的 1/100。」Zaremba 说道。

说点儿现实的因素

深入思索,OpenAI 放弃机械人手艺可能反映了该公司面临的经济现实。随着研发成本的增添, DeepMind 近年来也履历了类似的转变 ,从有声望的项目转向商业应用――例如卵白质结构展望。

众所周知,机械人手艺是一个成本高昂的领域。由于经济缘故原由举行大规模更改的机械人公司并不是个例:

好比工业机械人公司 Rethink Robotics 在试图寻找收购方失败后数月关门大吉;本田 Asimo 机械人在 2018 年宣布终止开发;就连业内领先的波士顿动力公司近年来也是多次易主,在韩国现代汽车团体以 11 亿美元收购控股权之前,2014 年曾被谷歌以 30 亿美元的价钱收购,2017 年又被软银收购。

一年前,微软宣布向 OpenAI 投资 10 亿美元配合开发微软 Azure 云平台的新手艺。作为交流,OpenAI 赞成将其部门知识产权允许给微软,而且在开发下一代盘算硬件时用 Azure 训练和运行 AI 模子。

之后的几个月里,OpenAI 宣布了一个 Microsoft Azure 驱动的 API,允许开发职员探索 GPT-3 的功效。GPT-3 现在已被众多业内开发者在 300 多个差其余应用程序中使用,平均天天发生 45 亿个单词。2020 年底,微软宣布将独家允许 GPT-3 为客户开发和交付 AI 解决方案,以及确立行使自然语言天生能力的新产物。最近,微软又宣布 GPT-3 将与 Power Apps「深度」集成。

而 DALL-E、Jukebox 等项目也具有显著的商用价值,OpenAI 展望 DALL-E 有一天甚至可以壮大到取代 3D 渲染引擎。

在这些商业动向的背后,是机械人商业化场景落地难的现实现状。在 AI 产业落地面临庞大场景挑战的今天,对于 OpenAI 来说,放弃成本高昂且研发功效匮乏的机械人研究团队,也许是一个久远的明智选择。

参考链接:https://venturebeat.com/2021/07/16/openai-disbands-its-robotics-research-team/

惠普事情站人工智能互助同伴招募

作为新基建主要领域,人工智能(AI)正渗透到社会生涯各个领域。在万物互联的时代大靠山下,互助共赢是行业生长的新趋势。惠普事情站现提议 #互助同伴招募设计 #,诚邀每个深耕人工智能领域的企业互助,一起探索更多 AI 行业生长新时机。

添加回复:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。