​刘煜冬：自动驾驶产业进展分享——端到端技术革命

刘煜冬：自动驾驶产业进展分享——端到端技术革命

文 | 钛资本研究院

近期，百度旗下无人驾驶网约车 " 萝卜快跑 " 成为热门话题，特斯拉预计将于 2024 年 8 月发布 "Robotaxi"；同时国内政策密集出台刺激无人驾驶的发展，2024 年年初，工业和信息化部等五部门联合印发 " 车路云一体化 " 应用试点通知，涵盖主流一二线城市。自动驾驶技术将为新能源车产业的重要增长动力。端到端架构逐渐成为今年智能驾驶领域竞赛的主旋律，为争夺风口中的领先优势，汽车公司开始加大力度研发。

智能驾驶赛道投资逻辑有哪些？端到端自动驾驶技术有何发展趋势？近期钛资本邀请到辰韬资本执行总经理刘煜冬博士就相关话题进行分享，他长期专注于智能驾驶赛道投资，曾任职于吉利汽车研究院和滴滴出行，主导多款智能电动汽车的智能驾驶系统量产开发和感知算法的前瞻研究，在技术规划、产品定义、团队管理、生态合作等领域拥有丰富的实操经验。本期分享主持人是钛资本汪泽青，重点关注新能源、新材料、AI、机器人产业链及交通出行领域。

辰韬资本智能驾驶赛道投资逻辑

1. 专注智能驾驶

辰韬资本是一家专注于新兴产业的私募股权投资机构，智能驾驶是其重点投资的垂直赛道之一。专注智能驾驶赛道的原因主要有三点：首先，智能驾驶作为交通与人工智能结合的领域，市场空间巨大，预计超过万亿级别；其次，智能驾驶是一个长期赛道，技术与产业格局尚未稳定，为初创公司提供了持续的切入机会；最后，智能驾驶行业的人才和技术延展性好，核心技术人才的流动带来 AI 和机器人等相关行业的投资机会。

在过去七八年中，辰韬资本投资了近 20 家智能驾驶相关公司，大多数投资发生在种子轮和天使轮阶段，作为重要股东参与。投资领域主要分为三个板块：第一是聚焦于不同细分场景的无人驾驶公司，如矿山、港口、城市配送、环卫清扫等；第二个是智能驾驶相关核心供应链，包括线控底盘和上游传感器、零部件公司；第三个是近两年备受关注的自动驾驶相关的软件和服务公司，尤其是生成式 AI 和数据服务。

2. 行业已经开始了第二波成长周期

智能驾驶被视为一个长周期赛道，自 2015 年以来，中国自动驾驶市场经历了第一波增长。尽管近两年关注度有所下降，但这一趋势符合技术发展的 Gartner 曲线，预示着未来仍有巨大的增长潜力和投资机会。

目前，智能驾驶行业正处于第一波投资高峰后的调整期，面临商业化等挑战，但长期前景依然乐观。我们对技术的发展趋势有清晰的预判，认为行业已经开始了第二波成长周期。这一周期的信号包括无人驾驶公司的商业化拐点和相关公司的上市潮，预示着智能驾驶产业进入了一个新的投资阶段。因此，我们基金从去年开始投资，并持续寻找新机会。

辰韬资本目前主要关注两个投资方向：一是无人驾驶在不同场景的商业化，相信无人驾驶技术将变革交通并产生实际价值；二是自动驾驶领域的前沿技术突破和应用，特别是端到端自动驾驶技术，这将是未来两到五年内自动驾驶产业变革的主要因素。对自动驾驶领域的大模型、4D 毫米波雷达、激光雷达技术以及各种芯片技术保持高度敏感和关注。接下来的分享将围绕无人驾驶的不同场景和端到端技术进行具体说明。

3. 无人驾驶不同场景的投资逻辑

我们采用四象限分类法，根据速度（低速、高速）、载重（载物、载人）对无人驾驶应用场景进行区分。在技术难度方面，高速自动驾驶比低速难，载人比载物难，开放场景比特定场景难。因此，辰韬资本最初将投资重点放在了低速载物的无人驾驶领域，涉及矿山运输、末端物流配送、无人清扫和港口场景等细分市场。

4. 不同场景自动驾驶的商业化进展

我们将其分为 To G、TO B（企业市场）和 TO C（消费者市场）。在 TO G 领域，环卫和安防是主要应用场景，环卫已实现初步规模化落地，安防则有巡检机器人在部分城市应用。

TO B 端，矿山和港口无人驾驶商业化进展最快，已形成清晰的商业模式并开始规模化复制。

另外，城市配送场景今年迎来爆发性增长，头部公司宣布将车队规模扩大至上万台，实现了超过十倍的规模增长。城市配送的快速增长得益于在配送环节找到合适的应用场景，如与快递物流公司、生鲜商超配送等合作。对于 B 端的干线物流，由于属于开放场景，技术难度较大，目前仍处于小规模测试运营阶段。

To C 端，无人驾驶应用主要是 Robotaxi（无人驾驶出租车）和 Robobus（无人驾驶公交车）。

5. 无人驾驶出租车：萝卜快跑进展总结

百度的萝卜快跑项目对整个自动驾驶行业的破圈效应是一个积极信号。

无人驾驶场景的三个发展阶段：无人化、规模化和商业化。在无人化阶段，百度已经展示了其无人驾驶能力，百度在 2022 年已经实现了 RoboTaxi（无人驾驶出租车）的无人化，在武汉等地进行了主驾无人的测试，并通过遥控驾驶中心支持无人驾驶出租车的运行。规模化方面，百度宣布了 RoboTaxi 的投放计划，预计到年底投放约 1000 台车辆，目前已在武汉投放了部分，初步显示出规模化的迹象。商业化阶段则关注盈利能力，刘煜冬认为 Robo Taxi 的盈利时间尚不明确，主要取决于遥控驾驶的安全配比和未来公司的定价能力。目前，Robo Taxi 以补贴形式提供超低价格的服务，未来是否能在提高乘车费用的同时保持订单规模，是业界需要关注的问题。

无人驾驶行业正在经历积极的商业化尝试，尽管面临挑战，但技术的进步和商业模式的创新为行业的未来发展提供了广阔空间。百度等公司的实践不仅推动了技术的发展，也为整个行业的商业化探索提供了宝贵经验。

萝卜快跑项目在技术、产业和行业三个层面产生了显著影响。技术层面：萝卜快跑展示了一种结合车端算法和遥控驾驶兜底的系统方案，提供了一种可规模化的解决方案。这种模式在车端技术尚不完美的情况下，通过遥控驾驶为消费者提供了真正的无人驾驶体验。未来可能会有更多乘用车主机厂和其他自动驾驶公司参考这一方案，推广无人驾驶出租车的广泛应用。

产业层面：萝卜快跑的相对规模化应用为行业提供了产业分工的示范。它涉及到下游的运营方和上游的零部件公司，为这些相关方带来了增量受益。随着运营的成熟，百度可能会进一步细化运营环节和资产持有方案，推动产业分工，这对整个产业的发展是有利的。

行业层面：萝卜快跑的破圈效应重新引起了大众对自动驾驶行业的兴趣，这一事件是自动驾驶行业的 "ChatGPT 时刻 "，意味着它不仅是技术突破，更重要的是吸引了大众的关注。随着更多人的关注，自动驾驶行业将吸引更多的资源投入，包括人才和资金。

端到端自动驾驶技术发展趋势

端到端技术的发展不仅推动了学术界和产业界的深入研究，也为自动驾驶行业带来了新的投资机会和研究方向。尽管端到端技术仍处于探索阶段，但其在未来自动驾驶领域的应用前景广阔，值得业界和投资者密切关注。

1. 端到端自动驾驶开启新一轮产业革命

端到端技术在过去一年内受到了学术界和产业界的广泛关注，特别是上海人工智能实验室的研究成果获得 CVPR2023 最佳论文奖后，这一技术再次成为学术界的焦点。端到端概念自 2016 年至 2018 年的探索历程，特斯拉在该领域的积极表态，2023 年 8 月 Elon Musk 直播展示了基于端到端架构的 FSD v12，正式开始将端到端推向市场。最近半年内，中国头部智能驾驶公司陆续推出端到端自动驾驶上车规划。2024 年 5 月聚焦研发端到端自动驾驶系统的初创公司 Wayve 获 10 亿美元融资，是自动驾驶行业自 2022 年进入低谷以来第一笔融资额超过 10 亿美元的交易，显示资本市场对这一领域的信心。

2. 自动驾驶架构演进

端到端是一种从传感器输入到轨迹规划或控制信号输出的全过程，完全由 AI 或神经网络实现的技术。

端到端技术的发展分为几个阶段：首先是感知端到端，其中感知模块已经由深度学习实现，但决策规划仍基于规则定义；其次是决策规划模块化，尝试用 AI 网络替代规则定义的决策规划；然后是模块化端到端，模块间传递的是影像表达的特征，并可进行联合训练和优化；最后是单一神经网络的端到端方案，借鉴了生成式 AI 和大模型技术，尽管成熟度较低，但潜力巨大。

端到端与大模型和世界模型不是同一概念，尽管端到端方案可能会借鉴大模型或多模态大模型的能力，理想汽车最近发布的端到端系统就使用了多模态大模型。世界模型目前主要作为训练数据的技术手段，未来可能成为自动驾驶的关键技术。

端到端技术可以兼容各类传感器，不仅限于纯视觉系统。尽管特斯拉是纯视觉系统的引领者，端到端方案也可以整合激光雷达、毫米波雷达等不同输入。摄像头数据是自动驾驶领域最容易获取和积累的数据类型，因此常被用于纯视觉系统。

3. 端到端技术的发展历史

2016 年至 2018 年间，一些公司如英伟达和 Waymo 进行了早期探索，但这些成果并未实现量产。主要原因是当时的网络架构相对简单，基于 CNN，且学习方式如模仿学习和强化学习也较为基础，缺乏先进的网络结构支持。

第二个发展阶段，大语言模型等底层技术架构在该领域的应用。transformer 等网络技术架构的广泛应用，以及自动驾驶模型的复杂性和可靠性的提高，都是这一阶段的核心变化。同时，生成式 AI 和大语言模型证明了通用 API 范式能够通向物理世界 AGI，吸引了更多研究者和从业人员投入这一方向。

4. 端到端技术在过去一年之所以引起关注的三个推动力

首先是特斯拉 V12 系统的性能指标成倍提升，其次是端到端技术本身的产品价值，包括解决更多长尾场景和提升用户体验的拟人化方面；最后是技术驱动，大语言模型的影响，以及端到端系统的数据驱动特性和 scaling law。

端到端技术对车企和自动驾驶公司组织架构的影响，认为它会简化组织架构，提高开发迭代效率。目前许多行业头部主机厂已经官宣了端到端方案的量产搭载计划，尽管真正的端到端系统可能要到明年才会量产。

自动驾驶系统和算法公司，如商汤、小马智行、地平线等，已经开始端到端的研发投入，并预计在未来半年到一年内会有主机厂项目上车。同时，生成式 AI 和工具链的公司，例如光轮智能和极佳科技，也在端到端领域进行了初步的解决方案投入和探索。

5. 端到端技术将引发产业链上游技术的进一步发展

端到端技术将引发产业链上游技术的进一步发展，并带来行业生态的变化。首先，随着 AI 模型复杂度的提升，开源生态将扮演越来越重要的角色。开源社区在人才集聚、大规模协作以及复杂模型开发方面具有优势，这在过去三年 BEV 发展过程中已得到印证。通过对比 2021 年到 2024 年的开源项目和边缘项目成绩，展示了开源生态与边缘项目在推动领域发展上的齐头并进。

其次，端到端技术对传统的仿真和测试验证方法论提出了挑战。由于端到端需要控车，传统仿真方法的开环测试不再适用，且现有模拟器的保真度存在问题。因此，需要开发一套新的闭环仿真工具链，这可能需要结合生成式 AI 和合成数据领域的能力，这一领域将为新公司提供机会。

第三，端到端技术将推动芯片架构的创新。由于端到端带来的参数量更大的 AI 模型和新的神经网络算子，对芯片公司提出了新挑战，需要更灵活的芯片架构来适应自动驾驶 AI 算法的快速演进。

从产业发展趋势来看，端到端技术将加速自动驾驶整体渗透率的提升。预计，端到端技术的到来将使高速 NOA 和城市 NOA 等功能在未来两三年内更加普及，为普通消费者提供服务。

由于端到端技术的泛化能力强，未来可能会出现更多自动驾驶跨地理区域或国家的应用。目前自动驾驶公司进入新国家需要经历大量适应性调试，但端到端技术有望减少这一过程，提高跨场景应用的能力，甚至可能带来商用车和乘用车不同场景的演变。

6. 端到端自动驾驶与通用机器人之间的关系

这两个领域历史上一直在互相借鉴和共同成长。自动驾驶领域的很多技术起源于机器人行业，包括传感器、感知定位算法、SLAM（同步定位与地图构建）、规划算法，以及操作系统和中间件等。

在过去五年中，尽管机器人行业的发展相比自动驾驶行业较为缓慢，但自动驾驶行业经历产业化提速，硬件零部件和传感器成本的降低实际上反哺了机器人行业。最近一年端到端自动驾驶所代表的数据驱动 AI 方式正在逐渐跑通量产，并预计将来能够反哺通用机器人领域，这些领域同样需要通用智能。

展望未来，自动驾驶和机器人是实现物理世界 AI 的两个最重要领域。许多研究者将通用智能分为自动驾驶和机器人两个部分。从实现物理世界 AGI 的角度来看，自动驾驶行业目前具有更明显的优势，因为它的任务复杂度相对较低，且已经建立了获取数据和迭代算法的完整链路，这为机器人行业提供了可借鉴的模式。

端到端自动驾驶的发展不仅推动了自动驾驶技术的进步，也为机器人行业带来了新的机遇和技术借鉴，两者将继续在 AI 技术的发展下相互促进，共同推动物理世界 AI 的实现。

问答

Q1：激光雷达和毫米波雷达作为输入端的传感器，将来的发展趋势如何？

A：激光雷达和毫米波雷达的成本都在不断降低，符合摩尔定律。当前出货的激光雷达和 4D 毫米波雷达的成本分别为 2000~3000 元、600 元左右，存在显著差距。预计两年后，激光雷达成本可降至约 1000 元，毫米波雷达可降至 300 多元。毫米波雷达与光学系统（如激光雷达和摄像头）的互补性强。光学系统在雨雾雪扬尘等恶劣天气下可能失效，而毫米波雷达在这些环境下更可靠。长期来看，利用不同传感器的优势是关键，尤其是在 L3 和 L4 级别的自动驾驶中。对于 L2 级别，低成本方案可能更倾向于视觉加毫米波雷达的组合。

Q2：TOB 领域不同的细分场景下，自动驾驶的公司毛利率目前做到什么水平以及潜在能做到什么水平？

A：根据 TO B 公司商业模式的框架，可以分为卖产品和做运营两种不同的模式。从行业发展初期来看，做运营更能考验公司能力并证明实力，因为运营需要对整个流程负责。相对而言，卖产品的毛利率没有太多讨论价值，因为定价并不反映全产业链条的价值。而做运营的公司目前正处于从负毛利率到转正的阶段，目标毛利率在 30% 甚至 40%，而一些场景仍处于负毛利运营状态。

Q3：从投资机构的视角来看，很多大家都觉得自动驾驶这个布局的时间已经过去了，您站在行业的角度来看，还有值得去看的一些细分领域吗？

A：回顾互联网行业的发展，任何行业的成熟期都会出现新的机会和更细化的分工。当前自动驾驶行业正处于类似 2010 年或 2012 年互联网行业的转折点，预示着未来可能出现意想不到的新商业模式。从投资阶段来看，现在对于某些成长期投资机构来说，投资商业化拐点是一个好的时机，特别是矿山和城市配送领域，这些领域的车队规模在一年内实现了从几百台到几千台的显著增长，显示出商业化的明确拐点。因此，对于中后期投资来说，现在是一个较好的布局时机。

早期投资更应关注技术变化，尤其是端到端技术的发展，这为算法和工具链层面带来了新的机遇，例如闭环仿真和面向端到端的生成式数据解决方案。除了端到端技术，高阶智驾传感器的放量也为上游产业带来了机会，例如激光雷达出货量的显著增长，带来国产化程度较低的芯片和激光器等组件的潜在市场。随着技术的不断创新和市场的不断扩大，自动驾驶行业将涌现出更多的早期投资机会，正如当年互联网行业成熟期出现了拼多多和抖音一样，未来的发展充满无限可能。

Q4: 端到端对于车端算力会有怎样的要求？从算力中心的角度来讲，需要多大的投入？

A：端到端自动驾驶技术并不会直接提高算力需求。但因为它是一种数据驱动的方案，符合 scaling law，为了实现更好的性能，业界普遍会扩大模型规模，这增加了对高算力芯片的需求。一些公司如理想汽车采用双系统策略，其中一个能力更强的多模态大模型做端到端，另一个轻量化的端到端模型，这两个模型都是部署在现有的自动驾驶芯片上，大模型的推理速度更慢，显示出其对算力需求更高。随着模型规模的增大，训练成本和训练算力的需求也随之增加。入门端到端训练可能需要 1000 张等效 A100 的卡，而头部公司可能已经达到万卡级别的布局。以特斯拉为例，其在训练算力上的大规模投入可能是其他公司难以赶上的，国内也有小鹏和商汤等公司在训练算力上的有巨大的投入。总体而言，端到端技术的发展推动了对更高算力芯片和更大训练算力的需求，以支持更大规模模型的训练和部署，这不仅反映了技术进步，也体现了行业对高性能自动驾驶解决方案的追求。

Q5: 对于现在做自动驾驶的这些公司，是否有机会或有契机跨界转到人形或者通用机器人的赛道？

A: 国内人形机器人的发展与特斯拉推出 Optimus 人形机器人密切相关。Figure 团队也汇集了来自苹果汽车、北美各大车企的人才，这种跨行业人才流动是自然的，因为自动驾驶和机器人技术在很多方面是相通的。

目前人形机器人本体的问题尚未完全解决，因此尚未实现自动驾驶技术的大规模迁移至机器人领域。引用行业观点，未来人形机器人公司中可能有一半会是车企，我个人部分认同这一观点。这表明，随着技术发展，自动驾驶与机器人领域的融合将越来越深入。

钛资本研究院观察

端到端架构有望成为自动驾驶的终极解决方案。智能驾驶系统目前普遍分为感知、预测、规划三个模块，端到端模型则是将三个模块融为一体，从感知端输入信息，在执行端直接输出结果。在模块化的技术架构下，信息的传递会出现减损，系统的维护难度大，无法从容应对复杂路况。端到端模型无须程序员编写代码去制定规则，而是用海量数据去训练系统，赋予机器自主学习、思考和分析的能力。钛资本将持续关注技术迭代，与行业、资本伙伴一起把握技术进步的机会。