企业网站开发丨薇,房城乡建设部网站,深圳网站建设费用大概多少,wordpress设置幻灯片具身智能关键技术研究#xff1a;操纵、决策、导航 董 豪 | 北京大学助理教授
依然是边看边做些记录 这张图的重点是在说#xff0c;我们的大脑#xff0c;也是不同的部分处理不同的功能。这里面有些功能#xff0c;比如视觉、听觉理解等功能#xff0c;LLM已经具备操纵、决策、导航 董 豪 | 北京大学助理教授
依然是边看边做些记录 这张图的重点是在说我们的大脑也是不同的部分处理不同的功能。这里面有些功能比如视觉、听觉理解等功能LLM已经具备而有些功能没有具备这些就是具身智能的重点 这就是具身智能的三个关键研究点。 仿真是方便的数据来源。通过已有的3D数据合成数据。 通过数据训练抓取功能。还有目标姿态估计这样才能放置物体这也是可以通过仿真获得海量数据进行训练的。 有了抓取和姿态估计就可以完成很多任务。 灵巧手也可以通过合成数据训练。这里先要回答灵巧手和二指等有什么区别区别在于人的手有一个预抓取动作。 具体的训练通过强化学习。因为这不是一个静态的抓取是连续的动作 抓取之后然后是操纵。这里是通过强化学习训练。 探索仿真的边界。通过探索仿真是有边界的。 然后这里是探索双手的操作。 准备开源的平台OmniSim 实现仿真到仿真。比如一个开门不可能在真实环境去开一千个门吧需要利用仿真 那仿真的边界在哪呢目前最好的是视觉。 对于一个门没有把手即使是人也需要尝试。这里就是交互式的尝试这些都需要机器人在真实世界交互后才能提升。 我们也希望机器人能在真实世界学习提升而不是固化了。 这个就是在真实世界里学习。 柔性物体的操作是比较难的通过强化学习一个方法解决多种任务 这是机械臂的操作 这是通过在大淘宝买的东西做的机械臂。虽然误差大但是通过视觉的闭环依然可以工作。 如果仿真中没有的物体这么办通过借助大模型因为大模型见多识广可以举一反三。 将仿真的操作能力注入大模型最后部署的是大模型。 具体的方式就是通过问大模型让大模型告诉如何操作。 然后发现即使比较差的仿真加上大模型也可以比较好的工作。大模型可以做到新类别的泛化。 那接下来就需要把长长的动作进行任务分解。 上面这个图就是大模型把一个任务分解为一系统API。 接下来是通过视觉的问题任务经过数据集、微调环节解决机器人的视觉问答任务。 任务编排不是瓶颈大模型都可以实现。难点还是机械臂的操作。 然后是收纳这个需要机器人自动完成。方法是从网络上获取大量图片比如获取什么是整洁的样子通过网上的几千张样例图片获得分布的知识。 最后是具身导航这个现在提的不多但是未来可能有大用处。 物体导航。比如在屋里找相应的东西。 这个也可以通过多模态的视觉语言大模型完成。 这是另外一个导航任务。视觉语言导航跟随人的指令 这是一个真实世界部署的大模型而不是仿真。方法是通过多专家讨论的方式并不需要训练什么模型。 这是提出的第三种导航范式需求驱动导航因为前两种对人并不友好。 这个是把之前的所有导航方式进行集成。前面的三种导航范式可以覆盖所有的各种任务。 最后总结一下具身智能的关键点。过去是通过仿真实现基本的操作和导航技能包括自监督的学习现在是通过大模型解决仿真到真实世界的gap利用大模型的知识那接下来还是要利用真实世界的数据。
备
下面视频链接的第3个演讲大约在视频的1小时25分钟开始 https://www.bilibili.com/video/BV1Zx4y147os/?spm_id_from333.1007.tianma.2-3-6.clickvd_source986224b0c4e79ec28556778dc7d42405
