https://blogs.nvidia.com/blog/hugging-face-lerobot-open-source-robotics/
翻译：
Hugging Face的LeRobot开源框架结合NVIDIA人工智能和机器人技术，将使研究人员和开发者能够推动各行各业的进步。
在德国慕尼黑举办的机器人学习大会（CoRL）上，Hugging Face与NVIDIA宣布合作，通过汇聚开源机器人社区，加速机器人研发。
Hugging Face的LeRobot开放AI平台与NVIDIA AI、Omniverse和Isaac机器人技术相结合，将使研究人员和开发者能够推动制造、医疗和物流等多个行业的进步。
物理人工智能时代的开源机器人
物理人工智能时代——机器人理解环境物理特性——已经到来，它正在迅速改变全球各行业。
为了推动和维持这一快速创新，机器人研究人员和开发者需要访问涵盖机器人训练、仿真和推理开发过程的开源、可扩展框架。通过共享框架发布模型、数据集和工作流，最新进展无需重写代码即可轻松使用。
Hugging Face领先的开放AI平台服务于超过500万机器学习研究人员和开发者，提供工具和资源以简化AI开发流程。Hugging Face 用户可以访问并微调最新的预训练模型，并在通用 API 上构建 AI 流水线，拥有超过 150 万个模型、数据集和应用程序，免费访问 Hugging Face Hub。
由Hugging Face开发的LeRobot，将其Transformers和Diffusers库的成功范式扩展到机器人领域。LeRobot 提供一套全面的工具套件，用于共享数据收集、模型训练和仿真环境，并设计低成本的机械手套件。
英伟达的人工智能技术、仿真和开源机器人学习模块化框架，如NVIDIA Isaac Lab，能够加速LeRobot的数据收集、训练和验证工作流程。研究人员和开发者可以分享他们与LeRobot和Isaac Lab共同构建的模型和数据集，为机器人社区创建一个数据飞轮。
通过仿真扩展机器人开发
开发物理人工智能是一项挑战。与使用大量互联网文本数据的语言模型不同，基于物理的机器人依赖物理交互数据和视觉传感器，而视觉传感器在大规模收集方面较为困难。收集真实机器人数据以便在大量任务和环境中灵活操作既耗时又劳动力密集。
为了简化这一过程，基于NVIDIA Isaac Sim的Isaac Lab通过演示或试错模拟，利用高精度渲染和物理模拟，创建逼真的合成环境和数据，从而实现机器人训练。通过结合GPU加速物理模拟与并行环境执行，Isaac实验室能够从单一演示中生成大量训练数据——相当于数千个真实世界体验。
生成的运动数据随后用于通过模拟学习训练策略。在模拟中成功训练和验证后，策略会部署到真实机器人上，进一步测试和调优以实现最佳性能。
这一迭代过程利用了真实数据的准确性和模拟合成数据的可扩展性，确保机器人系统的稳健可靠。
通过在Hugging Face上分享这些数据集、政策和模型，形成了一个机器人数据飞轮，使开发者和研究人员能够相互提升，加速该领域的进步。
佐治亚理工学院助理教授Animesh Garg表示：“机器人社区在共同建设时才能蓬勃发展。”通过拥抱Hugging Face的LeRobot和NVIDIA Isaac Lab等开源框架，我们加快了人工智能驱动机器人领域的研究与创新步伐。”
促进协作与社区参与
计划中的协作工作流程包括通过远程操作和仿真在Isaac实验室收集数据，并以标准LeRobotDataset格式存储。利用GR00T-Mimic生成的数据将用于训练机器人策略并进行模仿学习，随后在仿真中进行评估。最后，验证后的策略通过NVIDIA Jetson部署在现实机器人上，实现实时推断。
合作的初步步骤已经完成，展示了运行在NVIDIA Jetson Orin Nano上的LeRobot软件的物理拨片配置，提供了一个强大且紧凑的计算平台用于部署。
LeRobot首席研究科学家Remi Cadene表示：“将Hugging Face开源社区与NVIDIA硬件和Isaac Lab仿真结合，有望加速机器人人工智能创新。”
这项工作建立在NVIDIA社区在边缘生成式人工智能领域的贡献基础上，支持最新的开放模型和库，如Hugging Face Transformers，优化大型语言模型（LLM）、小型语言模型（SLMs）和多模态视觉语言模型（VLMs），以及基于动作的视觉语言动作模型（VLA）、扩散策略和语音模型——所有这些都具有强大的， 社区驱动的支持。
Hugging Face与NVIDIA携手，旨在加速全球机器人研究人员和开发者生态系统的工作，推动从运输到制造和物流等各类行业的变革。
了解 CoRL 上 NVIDIA 的机器人研究论文，包括 VLM 集成以提升环境理解、时间导航和长远规划。欢迎参加CoRL举办的NVIDIA研究人员研讨会。
本博客是博主个人学习时的一些记录，不保证是为原创，个别文章加入了转载的源地址，还有个别文章是汇总网上多份资料所成，在这之中也必有疏漏未加标注处，如有侵权请与博主联系。 如果未特殊标注则为原创，遵循 CC 4.0 BY-SA 版权协议。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。