从真实数据到合成数据，机器人预训练数据集迎来新突破
　　预训练数据集是影响大模型性能的核心要素，机器人大模型也不例外。由于机器人训练数据集对任务相关性和多样性要求较高，收集真实数据昂贵且耗时，目前最大的机器人数据集Open X-Embodiment仅包含100多万条真实机器人轨迹数据。近期，MimicGen基于175个人工示范数据，可以生成涵盖18个任务、多种场景、任务对象和机械臂的5万多个合成数据，且与等量真实数据的训练效果相当；RoboGen可以无限生成任务、场景和训练数据，实现机器人7x24小时全自动技能学习。我们认为，从真实数据到合成数据，预训练数据集来源的丰富将会加速机器人大模型的发展。
　　多样化的机器人训练数据集是机器人大模型泛化能力提升的基础
　　经过大量文本语料库训练的大语言模型往往优于仅在特定数据集上训练得到的模型，机器人大模型也是一样。面对一项新任务时，最初版本的机器人大模型RoboCat在经过500次人工演示训练后，执行成功率仅为36%；经过自我生成的数据集训练后，其执行成功率提升至74%。RT-1-X与RT-1架构相同，经过包含16多万个任务的100多万条机器人轨迹数据训练后，在特定任务上的平均性能较RT-1（经过包含700多个任务的13万条机器人轨迹训练）提升50%。由此可见，大量多样化机器人训练数据对提升大模型性能至关重要。
　　大模型对数据集的任务相关性和多样性要求高，真实数据昂贵耗时
　　相关性高的任务数据帮助大模型实现正迁移（加入新的机器人数据集后，模型泛化能力提高）；丰富的任务种类可以增强大模型的通用性。在RT-1中，Google依靠自身强大的资金和科研实力，耗时17个月，仅收集到包含700多个任务（任务种类少）的13万条机器人数据，而且训练后得到的RT-1基本不具备泛化能力（任务相关性低）。目前最大的机器人数据集OpenX-Embodiment仅包含100多万条真实机器人轨迹数据。因此，我们认为仅依靠人工示范收集的真实数据难以满足具身大模型的训练需求。
　　合成数据与等量真实数据的训练效果相当，合成任务数量可为无限个
　　在机器人合成数据最新进展方面，MimicGen能够基于175个人工示范数据，生成涵盖18个任务、多种场景、任务对象和机械臂的5万多个合成数据。经过合成数据的训练，机器人在长期复杂任务和毫米级精度接触任务中的执行成功率显著提高；等量的人工示范数据和合成数据对机器人的训练效果相当。RoboGen将大语言模型和生成式模型中蕴含的大规模知识与模拟世界中的物理信息相结合，可以自动生成任务、场景和训练数据，实现机器人7x24小时全自动技能学习；其中机器人可学习的任务数量是无限个，包括刚性/关节操作和软体操作等，还能够学习长期复杂任务。
　　风险提示：模型泛化能力不足，数据集训练结果不及预期，机器人通用性不及预期。