美食天下2024年10月12日发布:特斯拉用大模型颠覆了自动驾驶蔚小理百度还抄得动吗？

自动驾驶系统分为感知、预测、规划和控制四大模块，其中感知靠摄像头、激光雷达搜集信息。传统摄像头收集的数据是 2D 图像，但现实世界是 3D 的，因此需要将 2D 图像数据通过模型分析融合后升维至 3D。业界早期采用 CNN/RNN+IPM 技术实现 3D 视角绘制，但经常导致转换出来的 3D 场景失真。

2021年，特斯拉发布了“BEV+Transformer”的感知算法架构。BEV 即鸟瞰图，它通过多个摄像头获得全方位视角图像，再通过共享 2D 特征提取器对不同摄像头获取的画面进行重建、拼接，最终形成 3D 全局视角。

Transformer 是一种基于自注意力的深度学习模型，它不像 CNN+RNN 通过串行顺序处理数据，而是通过自注意力集中机制捕捉序列中不同元素的相关性，更适应BEV 下的数据融合与处理。

“BEV +Transformer ”大大提升了FSD感知的准确度，并从此摆脱了对高精地图的依赖。值得注意的是，“BEV+Transformer”发布于2021年，那时openAI和大模型还鲜为人知。

“BEV +Transformer ”之于自动驾驶的意义有多重要？最近在深圳举办的全球自动驾驶峰会上，一众从业者在讨论如何用大模型重构自动驾驶时，其中一位嘉宾、昇启科技创始人孙琪指出，“BEV +Transformer”就是自动驾驶的iPhone时刻。它颠覆了自动驾驶界过去十几年积累的技术，包括特斯拉自己的。也只有特斯拉，才有勇气革自己的命。

在推出BEV +Transformer之后， 2021 年特斯拉又加入 Video Netural Net，引入时序数据来增加神经网络的记忆。2022年又引入占用网络Occupancy，神经网络不必去识别障碍物是什么物体，只需识别被占用空间的位置和形状，大幅提升了FSD感知算法的泛化能力，尤其在处理Corner case 时更加得心应手。

不过这些仅仅针对FSD的感知部分，至于预测、规划和控制模块是如何用大模型进行改造，最终实现端到端，特斯拉还未公布技术路线，这也是整个自动驾驶界尤其中国厂商正翘首以待的。

2023年，我们看到阿里、腾讯、百度等众多互联网公司被openAI和微软、谷歌牵着鼻子走，跟得好生辛苦。殊不知，在电动车领域，为了跟上特斯拉FSD的节奏，无论主机厂商还是智驾公司，已经苦哈哈地追了两年。

办法只有一个，那就是抄特斯拉的作业。

跟得最紧的是小鹏。2022年的1024科技日上，小鹏发布了基于Transformer和BEV 的 XNet 1.0，XNet 1.0可以根据周围环境实时构建出类“高精度地图”。一年后的2023年科技日，小鹏发布了XBrain，XBrain=XNet 2.0+ XPlanner +more，XNet 2.0被称为“三网合一”，即动态BEV+静态BEV+占据网络，跟特斯拉FSD感知部分惊人的相似。

华为则是投入最大的自动驾驶厂商，其智能汽车BU研发团队多达7000人。2023 年 4 月 16 日，华为发布高阶智能辅助驾驶系统 ADS 2.0，基于BEV +Transformer架构，加入了GOD （通用障碍物检测网络）和RCR （道路拓朴推理网络）两大算法，其中GOD就是对标特斯拉的Occupancy，提高对障碍物识别的精准度。

蔚来、理想也宣称自己的NOA(领航辅助驾驶)重感知、轻地图，这是BEV +Transformer的重要特征；就连过去堆叠雷达的百度，发布和吉利打造的第一款车极越01，也宣称是纯视觉方案。

在自动驾驶的感知部分，大家貌似已经跟上了特斯拉。至于后面的预测、规划、控制，就等特斯拉公布路线图了。据说，中国做自动驾驶的企业已经形成一个潜规则，特斯拉公布的技术路线，只要在两年内能复刻出来，就不算落后，团队就不用担责。

不过问题在于，不是谁都有能力跟得上特斯拉。跟随特斯拉就意味着要自己打造一个自动驾驶的大模型，接踵而来的就是算法、算力、数据三道门槛。

孙琪认为，最容易实现的是算力，有钱采购就行。算法和数据的门槛高度则由企业性质决定，主机厂有数据但算法能力弱，创业和科技公司算法能力强但缺少数据。

通观造车新势力，无一不处处承压。算法就算抄特斯拉的技术路线，也需要大量AI人才。据说AI人才平均年薪已涨到100-150万/人，大厂都是几百上千的团队规模，一年光薪资成本就要烧掉几亿甚至几十亿。

数据上，更是难以望特斯拉之项背。特斯拉已经卖出了400多万辆车，截至2023年Q1，FSD V11已经有40万订阅用户。截至2023年Q3，FSD的行驶里程达到5.25亿英里。特斯拉还有影子模式，即使车主不打开系统，FSD也可以模仿车主的驾驶经验。

而中国造车新势力厂商相形见绌。截至2023年11月，蔚来汽车累计销售43万辆，小鹏累计销售37万辆，理想汽车累计突破60万辆。

华为造车不是很顺利，但靠着和赛力斯、北汽、长安的合作，算是卖了一些车。我没查到具体的总销量，根据媒体报道，2022年华为共交付7.5万辆车，今年截至11月份，问界5累计交付了12万辆，由此估算其交付量大概二三十万辆。

上述厂商还没跑通影子模式，不过也可以拿到用户的图像数据。但今年10月27日刚造出第一部车的百度，就只能完全依靠路测数据。

就算有数据，恐怕也没有足够的算力来支持。BEV+Transformer相当于把摄像头感知到的画面直接扔进AI算法里，生成一个鸟瞰视角的3D空间，并在这个空间内输出感知结果，对算力提出了更高要求。

特斯拉从2016年开始自研芯片，2021年发布超级计算机Dojo。2023年7月Dojo开始量产，预计2024年底突破100EFlops（每秒百亿亿次浮点运算）。即便如此，特斯拉仍然要购买大量的英伟达GPU来训练其神经网络。根据一个机构披露的英伟达2023年Q3 GPU采购名单前12，特斯拉还是买了1.5万块英伟达H100。

这份名单显示，百度买了3万块H100，百度要训练文心大模型，这3万块肯定不是全用于自动驾驶。至于蔚小理，都不在这份名单上。

小鹏在2022年8月宣布和阿里打造一个智算中心，算力为600 PFLOPs（每秒千万亿次浮点运算）。

而蔚来、理想一直以来更关注车端的算力。今年这两家在推NOA时都玩了个花样，理想搞了个通勤NOA，蔚来玩了个用户心愿单。在我看来，若非技术不成熟，那一定是算力不够，只能从局部入手，先开通用户需要的路线。

华为在算力上最占优势，它是国内惟一在车端和云端都有自研芯片的自驾厂商。

财大气粗的主机商尚且如此，那些自动驾驶创业公司就更难了。他们既养不起庞大的研发团队，也买不起算力，更缺乏数据。对于他们来说，最好的结局恐怕就是自降身价、委身大厂。

特斯拉用大模型颠覆了自动驾驶技术，引发了中国自驾产业的变盘。未来在自动驾驶领域还有创业机会吗？孙琪认为，只能往产业纵深走，做Tier2、Tier3。昇启成立于2022年8月，定位于做自动驾驶的工具软件。目前特斯拉用大模型解决了感知部分的输入和输出，而昇启希望能用大模型把感知的输出结果变成预测、规划、控制的输入，实现后者的端到端模型自主训练，与BEV +Transformer实现大模型的级联。

其实主机厂们的未来，也仍然存在变数。比如蔚小理在这条路上是否有足够的资金一直卷下去？华为智驾有没有可能在传统主机市场形成垄断地位？特斯拉未来是否会把FSD开放给第三方？

大模型下的自动驾驶才刚刚开局。

【2024年正版资料免费大全】【澳门今天晚上开什么】

【澳门正版资料免费更新结果查询】 【2024年新奥门免费资料】

【香港王中王资料大全免费】 【澳门王中王100%期期中】

【新澳门一码一肖100准打开】 【2024澳门新资料大全免费直播】

【澳门正版资料】 【2004新奥精准资料免费提供】

【新奥资料免费精准新奥生肖卡】 【新澳门精准资料大全管家婆料】【澳门天天开彩好正版挂牌】

点赞数: 0