智东西（公众号：zhidxcom）
作者 | 夏舍予
编辑 | 徐珊
智东西8月23日消息，根据外媒Tech Xplore报道，加州大学伯克利分校的研究人员开发了一种分层强化学习框架（a hierarchical reinforcement learning framework ），该框架可以提高四足机器人足球射门的精准度。目前中国机器人初创企业宇树科技的机器狗Unitree A1已经应用了该技术。
李中宇（音译）是该项目的研究人员之一，他说：“四足机器人是仿造人类的腿建造的，人类的腿不仅可以运动，还能踢足球。我们希望四足机器人也能获得踢足球的能力”
一、先跟踪，后规划，分层框架能让机器狗精准射门
近年来，技术的进步为机器人带来了更可靠的硬件和更先进的控制算法。因此，现在机器人有可能处理更加复杂的任务，例如与人类一起踢足球。李忠宇和他的团队开发的分层强化学习框架可以提高四足机器人足球射门的精准度。
分层强化学习框架由两个部分组成：运动控制策略（a motion control policy）和运动规划策略（a motion planning policy）。前者能够跟踪机器人腿部的任意运动轨迹，后者能够在这些轨迹中选择一个最佳的路线，进而让机器人把足球踢进目标位置。
记录机器狗的不同运动轨迹
李忠宇说：“为了让训练结果更接近真实情况，我们会用真实世界的数据训练机器人。”
在训练过程中，李忠宇及其团队发现，虽然分层强化学习框架可以让机器人精准地把足球射向任意目标，但这个任务非常复杂，因为机器人必须在保持平衡的情况下，摆动它的腿来获取动力。
二、变形和摩擦，机器人足球技术两大挑战
但这其中存在另一个问题：足球会变形。李忠宇说：“机器人不仅要处理腿与可变形足球之间难以建模的软接触（soft contact）情况，还要处理球与地面之间滚动摩擦的不确定性。而我们开发的分层强化学习框架或许可以帮助四足机器人处理腿与软物体（球、绳子、皮带、衣服等）之间的互动任务。”
机器狗正在进行射门测试
机器人界有一个著名的足球赛，叫做“机器人世界杯”（Robot World Cup），几十年来，比赛主办方一直邀请研究人员带着机器人参与足球比赛。
李忠宇说：“未来，我们将继续设计其他分层框架及机器学习模型。我们的终极目标是希望开发出一种可以与人类进行足球比赛的四足机器人。”
结语：传球基础上再射门，机器狗足球技术逐步提升
其实，机器狗能踢足球，已经不是一件新鲜事。2019年，麻省理工学院的仿生机器人实验室就研发出了名为迷你猎豹（Mini Cheetah）的机器狗，迷你猎豹就已经实现了传球功能。
但是，机器狗Unitree A1部署的分层强化学习框架能让机器狗在传球的基础上，提升足球射门的精度。这意味着，机器狗在足球方向的技术又有了新的提升。
或许，在不久的未来，我们真的能够看到四足机器人与人类同台竞技的场面，让我们拭目以待吧。
来源：Tech Xplore
