灵初智能发布首个基于强化学习的端到端具身模型 Psi R0，双灵巧手协同进行复杂操作

2022年12月30日，灵初智能宣布推出首个采用强化学习（RL）的端到端具身模型 Psi R0。

据悉，这一模型支持双灵巧手同时进行复杂操作，串联多项技能进行混合训练，形成具有推理能力的智能体，以完成并封闭长期灵巧操作任务。此外，Psi R0 还能够在跨物品、跨场景等不同级别上实现泛化。

举例来说，在电商环境下，商品打包是一种典型的长期任务，需要对上万件商品进行抓取、扫码、放置、打结等多个操作。Psi R0 能够通过双灵巧手流畅地完成这一系列动作（据称在客户现场，这一系列动作能够代替一个完整的工位），成为首个通过强化学习训练并完成长期灵巧操作任务的具身机器人。

官方表示，基于 RL 的 Psi R0 模型利用大量仿真数据训练双手操作的智能体，并通过双向训练框架串联多项技能，率先在开放环境中完成长期任务，拥有强大的泛化能力和高鲁棒性（robustness）。

这种技能训练框架从物体时空轨迹中提取关键信息以构建通用目标函数，解决奖励函数设计难题。在后续训练阶段，通过少量高质量真实数据对齐，进一步提高长期任务的成功率。

此外，双向训练框架中的转移可行性函数发挥重要作用，微调技能以提升串联的成功率和泛化性，同时赋予模型自主切换技能的能力，确保在操作失败时迅速调整策略，以保证高成功率。

广告声明：本文包含外部链接，旨在提供更多信息，并节省选择时间，仅供参考。