在端到端一统江湖但数据瓶颈开始成为新挑战后,必须转向强化学习,必须把云端生成式世界模型作为新基座。 特斯拉自动驾驶副总裁Ashok Elluswamy在演讲中透露,当前特斯拉正在用世界模拟器来评估车端模型。几乎同时,理想VLA模型负责人詹锟也围绕世界模型,在具身智能研讨会做了题为《World Model:Evolving from Data Closed-loop to Tr

在端到端一统江湖但数据瓶颈开始成为新挑战后✿ღღ✿✿,必须转向强化学习✿ღღ✿✿,必须把云端生成式世界模型作为新基座✿ღღ✿✿。
特斯拉自动驾驶副总裁Ashok Elluswamy在演讲中透露✿ღღ✿✿,当前特斯拉正在用世界模拟器来评估车端模型✿ღღ✿✿。几乎同时✿ღღ✿✿,理想VLA模型负责人詹锟也围绕世界模型✿ღღ✿✿,在具身智能研讨会做了题为《World Model✿ღღ✿✿:Evolving from Data Closed-loop to Training Closed-loop》(世界模型让我们从数据闭环走向训练闭环)的分享夏目贵志bg✿ღღ✿✿。
首先回忆一下上半场✿ღღ✿✿,端到端架构统一自动驾驶的技术栈✿ღღ✿✿,释放了Scaling Law的潜力✿ღღ✿✿,让AI能力快速提高✿ღღ✿✿。
但理想很快发现✿ღღ✿✿,AI基于模仿学习只能学到数据的平均水平✿ღღ✿✿,难以超越人类司机的能力✿ღღ✿✿,技术范式需要改变✿ღღ✿✿。几乎同时欢迎公海来到赌船✿ღღ✿✿,大规模算力基础设施和高保真仿真环境技术也在快速成熟✿ღღ✿✿,为范式迁移创造了条件✿ღღ✿✿。于是理想决定从数据闭环迈向训练闭环✿ღღ✿✿。
数据闭环大家都很熟悉了✿ღღ✿✿,就是数据采集✿ღღ✿✿、模型训练✿ღღ✿✿、评估和部署的循环✿ღღ✿✿,但这无法覆盖到一些边缘场景✿ღღ✿✿。
具体实现方法如下✿ღღ✿✿:理想在云端构建了一套世界模型训练环境✿ღღ✿✿,来训练具备先验知识和驾驶能力的车端VLA模型✿ღღ✿✿。这是全球首个将世界模型与强化学习闭环落地于量产自动驾驶系统的完整架构✿ღღ✿✿。
由于行业对世界模型的定义有所不同✿ღღ✿✿,这里需要说明一下✿ღღ✿✿,理想所说的世界模型是一个全面的系统✿ღღ✿✿,包括环境的构建✿ღღ✿✿、智能体的构建✿ღღ✿✿、反馈的构建以及场景的多种推演世界模型是理想此次在ICCV分享的核心内容✿ღღ✿✿,据介绍该系统主要具备三大能力✿ღღ✿✿:
首先是区域级别的仿真和评估✿ღღ✿✿,这是车端VLA能进行长时序拟真评估的关键✿ღღ✿✿。据介绍✿ღღ✿✿,理想目前采用重建和生成结合的仿真路线欢迎公海来到赌船✿ღღ✿✿。
因为在理想看来✿ღღ✿✿,重建和生成各具优势✿ღღ✿✿。重建能把操作对象完美还原✿ღღ✿✿,稳定性更好✿ღღ✿✿,但一般输出的是静态结果✿ღღ✿✿。
比如理想此前参与的首个自动驾驶3DGS街景重建算法Street Gaussians✿ღღ✿✿,该工作被顶会ECCV 2024收录✿ღღ✿✿。
Hierarchy UGP是业内首个大规模自动驾驶重建模型✿ღღ✿✿,在作者专有的数据集和公开的Waymo数据集上都实现了SOTA✿ღღ✿✿。
该模型分为根✿ღღ✿✿、子场景和图元三层✿ღღ✿✿。其中根层是入口欢迎公海来到赌船欢迎公海来到赌船✿ღღ✿✿,然后子场景层将空间进一步划分✿ღღ✿✿,并提取出各种元素✿ღღ✿✿。最后图元层用定义在4D空间的统一高斯图元(Unified Gaussian Primitive)将元素建模✿ღღ✿✿。这个方法可以同时对刚性和非刚性运动重建✿ღღ✿✿。
以上两项成果主要围绕重建工作✿ღღ✿✿,此外在重建和生成结合方向上✿ღღ✿✿,理想还联合GigaAI提出基于补充生成新视角的重建范式ReconDreamer✿ღღ✿✿,相关成果入选了今年的CVPR✿ღღ✿✿。
尽管过去在重建方面取得了不错的成绩✿ღღ✿✿,但詹锟认为由于生成方式能低成本✿ღღ✿✿、大规模生成边缘场景✿ღღ✿✿,而且数据很多样✿ღღ✿✿,所以未来的仿真工作中✿ღღ✿✿,重建的占比将越来越少✿ღღ✿✿,对应地生成的占比越来越多✿ღღ✿✿,而且该趋势不可逆✿ღღ✿✿。
探讨完世界模型的第一层应用仿真✿ღღ✿✿,再往下来看合成全新数据能力✿ღღ✿✿,可以构建多样的场景集✿ღღ✿✿,让场景的数据均衡分布✿ღღ✿✿,最终实现更全面的评估✿ღღ✿✿,提高模型性能✿ღღ✿✿。
在理想看来✿ღღ✿✿,合成数据主要有场景编辑✿ღღ✿✿、迁移和全场景生成这三层应用✿ღღ✿✿。这项能力让理想的数据更全面✿ღღ✿✿,从下图中可以看出✿ღღ✿✿,过去依靠采集方式获取的数据(上半部分)✿ღღ✿✿,集中在晴天✿ღღ✿✿、普通道路和普通车辆等简单场景夏目贵志bg欢迎公海来到赌船✿ღღ✿✿,而现在与合成的数据结合后(下半部分)夏目贵志bg✿ღღ✿✿,覆盖场景更广✿ღღ✿✿、极端案例更多✿ღღ✿✿、种类更加复杂✿ღღ✿✿,对应地模型能得到更全面的提升✿ღღ✿✿。
最后一层应用是理想认为最具挑战性的强化学习世界引擎✿ღღ✿✿,这一层让模型能在训练环境中自由探索并获得反馈✿ღღ✿✿,主要有五大关键因素✿ღღ✿✿:
在五个因素中✿ღღ✿✿,理想认为仿真智能体是目前最棘手的问题✿ღღ✿✿,完整地建模他车夏目贵志bg✿ღღ✿✿、他车和自车以及他车和他车的交互行为✿ღღ✿✿,甚至比实现单车L4级自动驾驶还要难
詹锟在分享中介绍了两种解决方法✿ღღ✿✿,一种是业内此前尝试过的自博弈(Self-play)✿ღღ✿✿,另一种是理想应用的范式✿ღღ✿✿。其通过给定目标函数和奖励函数来约束多个智能体的行为✿ღღ✿✿,包括他们的个体动态和交互动态✿ღღ✿✿,同时通过调整奖励权重改变智能体的行为分布✿ღღ✿✿,从而实现样本多样性✿ღღ✿✿。
上述一系列技术成果推动着理想的辅助驾驶能力快速进步✿ღღ✿✿,开始通过渐进升维方式✿ღღ✿✿,向L4迈进✿ღღ✿✿。詹锟在分享中还展示了一小段理想在园区内部道路的辅助驾驶能力✿ღღ✿✿。
理想在一众造车新势力中率先实现盈利✿ღღ✿✿,跑通商业化闭环✿ღღ✿✿,这是其近年科研成果不断开花落地的重要原因✿ღღ✿✿。
2023年和2024年✿ღღ✿✿,理想全年研发投入连续超百亿元✿ღღ✿✿,2025年上半年财报显示✿ღღ✿✿,理想同期研发投入为53亿元✿ღღ✿✿,预估今年仍将超过百亿✿ღღ✿✿。
数百亿砸向的不仅仅是上层的辅助驾驶算法✿ღღ✿✿,还包括底层的整车操作系统理想星环OS✿ღღ✿✿。星环OS首次上车于2024年✿ღღ✿✿,一方面实现了开发过程中的软硬件解耦✿ღღ✿✿,将芯片的适配和验证加快至4周内完成✿ღღ✿✿。
另一方面✿ღღ✿✿,星环OS上车后打通了整车割裂的多个模块夏目贵志bg✿ღღ✿✿,提升了车辆整体的性能✿ღღ✿✿,以AEB(自动紧急制动)功能为例✿ღღ✿✿,实现该功能一般需要经过以下三个环节✿ღღ✿✿:
整个功能链路经过了多个控制器✿ღღ✿✿,它们分别属于不同域✿ღღ✿✿,信息在每个环节中传递✿ღღ✿✿,就像咱们工作中要协调多个部门✿ღღ✿✿,在传统架构下会产生一些延迟✿ღღ✿✿。而星环OS采用跨系统架构设计✿ღღ✿✿,能够让不同控制器响应更快✿ღღ✿✿,协调更好✿ღღ✿✿。
据理想介绍✿ღღ✿✿,在车辆以120km/h速度行驶的情况下夏目贵志bg夏目贵志bg✿ღღ✿✿,星环OS相比传统OS可以缩短7米刹停距离✿ღღ✿✿,7米距离✿ღღ✿✿,极端情况下很可能就是两个相反的结果✿ღღ✿✿。
该成果不仅服务着130多万名理想车主✿ღღ✿✿,在今年也开始惠及整个行业✿ღღ✿✿。2025年3月✿ღღ✿✿,理想星环OS正式亮相随后开源✿ღღ✿✿,相关源码逐步公开✿ღღ✿✿。
据理想介绍✿ღღ✿✿,自研星环OS投入资金超10亿✿ღღ✿✿,上车后每年整体降低了几十亿BOM成本✿ღღ✿✿。所以说✿ღღ✿✿,这项成果开源给行业后也能够帮助很多车企省去数亿元研发预算✿ღღ✿✿,快速获得整车OS能力✿ღღ✿✿。
自己开源✿ღღ✿✿,帮行业节流✿ღღ✿✿,一个围绕星环OS的生态联盟很快成形✿ღღ✿✿。2025年9月✿ღღ✿✿,长城汽车✿ღღ✿✿、英飞凌✿ღღ✿✿、芯驰科技✿ღღ✿✿、汇川联合动力✿ღღ✿✿、欣旺达和德赛西威等16位产业链玩家与理想汽车共同签署《星环OS社区章程》✿ღღ✿✿。
值得一提的是✿ღღ✿✿,理想的开源成果不仅得到了工业界的积极响应✿ღღ✿✿,也被学术界AI顶会认可✿ღღ✿✿。本届ICCV就收录了理想的开源数据集3DRealCar
3DRealCar采用完全开放可商用的Apache 2.0开源协议✿ღღ✿✿,其包含了2500辆真实汽车✿ღღ✿✿,平均每辆车采集了200张高分辨率RGB-D图像✿ღღ✿✿,是目前行业唯一的高质量✿ღღ✿✿、大规模线度视角和不同光照条件✿ღღ✿✿。澳门✿ღღ✿✿,公海赌网平台✿ღღ✿✿。留学✿ღღ✿✿,澳门公海赌赌船官网✿ღღ✿✿,就业市场✿ღღ✿✿,柳州✿ღღ✿✿。