什么是端到端大模型？小米端到端大模型有何不同？

Xiaomi HAD（Xiaomi Hyper Autonomous Driving） 将全面接入端到端大模型，智驾体验重大升级，预计12月底开启先锋版推送。
那么什么是端到端大模型？小米的端到端大模型与主流的端到端大模型有什么区别？到底什么是车位到车位，上车就能用？一篇文章带你详细了解！
端到端大模型
汽车的“机械大脑”
简单来说，端到端大模型就像是人的大脑，你的眼睛看到了红灯，大脑就立即告诉你要停车。端到端大模型就是智能驾驶的“机械大脑”。
在端到端技术到来之前，传统的智驾大体上都是一个个有规则的子模块连接而成，相当于一个个工作车间，对传感器收集到的信息进行判断加工，最后输出行驶指令。模块化架构的优点是分工明确，如果发现问题，可以分模块检查解决。但是缺点也很明显：上限很低，在执行复杂的驾驶任务的时候，会有明显的机械感，某些时候还需要人工接管。

而端到端就是一端传感器输入信息，另一端直接输出行驶指令。将感知、预测、规划这些原本分开的流程，整合为统一的大模型，并进行全部计算。去掉了信息在流水线上传递这一过程，误差和延迟都大大减少。
只需要一个模型（one model），就能把摄像头、毫米波雷达、激光雷达等传感器收集到的感知信息，转换为方向盘的转动方向和角度、加速踏板的踩踏深度等具体的操作指令。通过大量的数据训练，不需要写规则，也不需要处理极端场景，可以做到拟人驾驶，这种技术大幅提升了智驾系统的上限。

小米端到端大模型
更拟人、更高效、更安全
目前主流的端到端大模型是生成式大模型，直接生成一条执行轨迹，如果训练不到位，就会出现很多莫名其妙的“幻觉”，这也是我们说的下限很低。

小米的智驾对端到端的运行方式有着独到的思考，从模仿轨迹转为筛选轨迹。大模型首先实时生成所有合理的行驶轨迹，进而逐一考量安全、舒适、合规、效率等各方面因素，选择最优解并执行。从照猫画虎的模仿者变成明辨是非的评判者，在体验不变的前提下，做到了下限有兜底，体验更稳定，更舒适。

在全面接入端到端大模型后，车辆的行驶轨迹更拟人，更加平滑、自然，急加速和急刹车明显减少。除此之外，车辆还可以根据公交车道的限行情况，智能预判，并规划最佳行驶路径，提前做出更合理的驾驶决策。
同时智驾的博弈能力更强，更加自信果断。具体表现在：
极限通行能力提升：只比车宽40cm的极限窄路也可以顺利通行；
障碍物的识别能力更强：对于路边不规则停放的两轮车、路边停放车辆的外后视镜、不规则的悬空障碍，如外卖车的保温箱，绿植都可以轻松识别；
绕行能力提升：在前车缓慢行驶时，可以更果断，更快速地发起绕行。
端到端大模型的最大优势就是更高效。在符合功能激活的场景下，只要挂入D挡，就可原地启动，一键开启智驾状态，支持地下停车场、地上停车楼、地面停车场、小区、路边等各类停车区域，实现任何场景下的起步。
接入端到端大模型的小米智能驾驶还可以做到ETC、闸机卡口通行，车位到车位，全程无断点。卡口前智能降速，灵活等待；进出口机智识别，精确选择；抬杆后即刻起步，高效利索。

VLM视觉语言大模型
应对更多复杂场景
在复杂场景中，有一些物品可能是在大模型的训练数据中不太常见的，这个时候拥有丰富的阅历对模型来说至关重要。智驾团队将小米集团成熟的VLM视觉语言大模型接入智能驾驶系统，该模型学习了来自互联网的海量信息，并且具备了成熟的复杂场景理解能力。
小米智能驾驶以VLM视觉语言大模型为知识底座，从而认识文字和较为罕见的物体，进行更周全的决策。与此同时，智驾还可以告诉驾驶员它的所见所做，安全感和互动感明显提升。
在行驶过程中，VLM可以对路面情况实时分析，在识别坑洼路面、施工场景、丁字路口等路面情况后，也会提示驾驶员。在未来VLM甚至可以根据不良路况采取不同的驾驶措施，举个例子：在漆黑小路和积雪路段可以小幅度的降低速度，并长时间地低速行驶，直至路况缓解。而遇到减速带，坑洼等单点不良路况时，则会较大幅度、较短时间的降低车速，通过后快速提至正常车速。
Xiaomi HAD（Xiaomi Hyper Autonomous Driving）全面接入小米端到端大模型，上限大幅度提高的同时下限有保障。实现了上车就能用，车位到车位的全场景智能驾驶。端到端大模型的加持大幅提升智驾的能力与体验，并将助力小米智能驾驶成为第一梯队。
Xiaomi HAD将于12月底先锋版推送，敬请期待！Xiaomi HAD 将在 小米SU7 Pro 、小米SU7 Max和小米SU7 Ultra 上搭载。