Tech Talk｜蔚来眼中的世界，有多特别？

开篇先看一段视频。

我们把真实世界的视频画面与ESD的画面拼在一起，让你更清楚地了解，“蔚来”所看到的世界是怎样一种形态。

你一定注意到了视频下方仪表屏幕显示的路况画面，某种意义上讲，该画面可以被看作车辆周围真实环境的「数字孪生」。

其学名叫ESD（Environment Simulation Display），即：环境感知及模拟显示。ESD能够对车辆周边环境进行细腻的展示，为驾驶员展示车辆所看到的世界，形成一种人机互动的情绪价值。

现在，车机系统升级至Banyan 2.0.0及以上版本的车型，均可在ESD中显示多种交通参与者及道路标识模型，同时还会展示真实世界里的机动车辆刹车灯、转向灯等灯语信息。

谈及智能驾驶，其实和人类走路有一些共通的逻辑。人类走路，如何走，并且走得稳，是身体各部分整体配合的成果，大致链路是：

第一步，需要通过眼睛、耳朵等感觉器官和肢体将前方场景的视觉信息与触觉信息通过神经传递给大脑。这时，大脑就会作出相应判断，场景安全与否，能不能迈步走？是靠左走，还是靠右走？步子要迈大一点，还是挪一小步？

第二步，则是依靠大脑将作出的判断通过神经网络传递给四肢，四肢开始执行行走的命令；同时，锥体外系（所有躯体运动的传导通路）介入，以保持四肢动作协调，并同步调节四肢动作的细腻度。

对于智能驾驶要做的，大致上也是这两件事。第一步——感知，第二步——规控。

感知，就是将从传感器（高清摄像头、激光雷达、毫米波雷达等）获取到的数据通过感知算法，输出展示自己车辆周围环境物体（包括车辆、行人、非机动车、车道线、交通灯、交通指示牌等）的实时状态（包括位置、速度等）。

规控，就是根据传感器感知到的自己车辆周围的环境，做出最优决策规划，然后提示和控制车辆行驶状态。

当下，蔚来的智能驾驶全新感知框架，应用了BEV模型和占据栅格两项核心先进技术。

BEV模型基于鸟瞰图，将多种传感器的信息进行特征提取，通过视角转换，将所有信息统一成鸟瞰图进行展示，并同步进行数据整合，从而对车辆周围环境完成俯视角度的全景感知。它可以用于检测和跟踪车辆周围的目标以及道路结构，提供丰富、真实的环境信息用于车辆决策和规划。

通俗一点说，BEV建立了一个3D坐标系世界，将摄像头等传感器采集到的2D图像通过算法进行3D建模，并将图像信息放置到3D坐标系中，从而提供给车辆「鸟瞰式」的全景感知图景。

车身四周摄像头看到的世界，通过BEV视角转换后以鸟瞰图形式进行展示

在BEV出现之前，低阶的辅助驾驶系统一般使用2D感知算法。这类算法基于输入式摄像头来工作——车辆的摄像头先输入一张真实世界的图像，通过像素点检测物体，再根据物体在图片中的位置，推测物体在对应3D世界里的位置。

为了能获取到更多的信息，车辆普遍搭载多个摄像头，系统需要将每个摄像头捕捉到的信息进行关联融合；但是由于多个摄像头之间的关联难度高，不同摄像头之间、不同帧之间预测一致性较低等原因，导致预测的精度较低。

比如一辆从我们右侧驶过的汽车，会先后出现并消失在多个摄像头捕捉的画面中。如何准确判断出消失在后视摄像头中的车，正是刚刚出现在前视摄像头中的那辆？

基于对信息准确性的需求，工程师们尝试将3D感知技术应用到智能驾驶领域，至此，BEV应运而生。

相比传统的感知模式，BEV感知视野更开阔立体，计算效率更高，同时目标检测精度也更高。

占据栅格，英文全称：Occupancy Grid，是一种常用的环境建模方法。它将空间环境划分为无数个3D网格，每个网格有是否被占据两种状态。

例如，在我们视野前方有一只水杯，在它所占用的空间里，如果转换成3D网格，即水杯占用空间的每一个3D网格就会被标记为“占据”状态。

换言之，车辆通过传感器感知到周围空间中有哪些障碍物，以及障碍物本身的形态。通过应用占据栅格建模法，可以对行驶道路上的每个网格进行占据状态建模，以分析哪些是障碍物，会不会对安全行驶造成影响。

蔚来是全球首家将占据栅格技术与高性能激光雷达相结合的汽车品牌。车顶瞭望塔式的1,550nm超远距离高精度激光雷达，其最远探测距离达500米，可在逆光、暗光等严苛环境下准确识别前方障碍物，为感知框架提供稳定的道路信息输入。

通过这条视频，我们可以看到在车辆前方的区域内，结合激光雷达的感知，感知框架在空间中“绘制”了大量彩色的3D色块，每一个色块代表该空间栅格被物体占据，也就是道路周边有障碍物存在。

而高性能激光雷达的超长探测距离，则为智能驾驶的规控提供了更充分的反应时间，进一步提升行车安全。

结合BEV模型与占据栅格技术，蔚来智能驾驶全新感知框架建立了360度的视觉识别体系，并可在激光雷达所覆盖的前向120度范围内形成占据栅格网络。

此时，BEV负责提供车辆周边物体的类型与运动状态，占据栅格则负责提供精确的位置和形状信息，提高行车方向上的感知精度。

通过将感知结果可视化，可以看到车辆360度空间中有许多“空心”的线框体，每一个线框体实际上代表识别到的物体。视觉感知系统通过长期训练、学习，可以将感知到的物体类型做识别并赋予不同颜色的线框，比如车辆和行人用蓝色标识，静止障碍物则用灰色标识。

基于这些信息，车辆则可以判断是否有障碍物或危险存在，是否需要紧急制动，由此提高行车安全。

截至2023年8月1日，NOP+累计使用里程近6,900万公里，并以每周约400万公里的速度快速增长，为用户在日常通勤及长途出行中提供更轻松、愉悦、安全的驾驶体验。