特斯拉人工智能日基于transformer模型的FSD向量空

　　在上一篇文章中，我们介绍了特斯拉的神经网络HydraNet。目前，HydraNet只能处理来自单个摄像头的输入。
　　人工智能日
　　向量空间
　　当特斯拉AI团队致力于FSD时，他们很快发现这还不够。他们需要更多的摄像头，而感知系统的预测结果必须转化为三维空间，这也是PlanControl系统的基础。特斯拉称这个3D空间为向量空间。车辆及其所在空间的信息，如车辆的位置、速度、车道、标志、信号灯、周围物体等，都需要被数字化，然后在这个向量空间中可视化。
　　OccupancyTracker占用空间跟踪器
　　特斯拉AI团队使用C开发了一个名为OccupancyTracker的系统。该系统将图像中检测到的路况信息拼接起来，但是这种设计有两个问题：
　　问题1：跨相机融合和跟踪器很难编写。调整占用空间跟踪器及其所有超参数非常复杂。手动调试C程序对于每个程序员来说都是一场噩梦。
　　问题2：图像空间不是正确的输出空间。神经网络模型应该在向量空间而不是图像空间中进行预测。
　　来自：特斯拉人工智能日
　　如上，使用camera检测然后进行图像融合，问题是每个camera都有很好的预测结果，但是投到向量空间后精度损失严重。（见上图底部投影中的红蓝线）。从根本上说，这是因为需要每个像素具有极其准确的深度才能实际进行此投影。很难在图像的每一个微小像素中如此准确地预测深度。
　　在图像空间（percameradetectionthenfusion）中，无法解决以下两种情况：遮挡区域的预测预测更大的物体（一个物体跨越两个以上的相机，最多五个相机）
　　这两种情况的预测无法进行很好的预测。如果处理不当，甚至会造成致命的交通事故。
　　总的来说，TeslaAI团队想要布局一个如上图右侧所示的神经网络。它用一个主干处理每一个图像，并将其从图像空间特征重新表示为矢量特征，最后进入头部的解码。
　　这里有两个困难：
　　如何将特征从图像空间转换为向量空间？以及如何使其可区分图像空间与向量空间，从而使端到端训练成为可能。深度学习算法函数的convex优化问题。我们所有的优化方法只有在函数可微时才有效。
　　如果你想从你的神经网络中预测向量空间，你需要基于向量的数据集。
　　来自：特斯拉人工智能日
　　特斯拉的AI团队使用BEW预测而不是图像空间预测。例如，上图中，输出空间中的单个黄色像素来自特斯拉前方的三个摄像头（主前摄像头、窄前摄像头、宽前摄像头）检测到的道路边缘的投影。此投影取决于路面几何形状，如果检测点被遮挡，可能需要检测其他位置。真的很难真正做到正确检测并对此位置进行固定的转换。
　　来自：特斯拉人工智能日
　　为了解决这个问题，TeslaAI团队使用了Transformer模型来表示这个向量空间，而Transformer模型使用了多头注意力机制。
　　WhatisTransformer？
　　Transformer翻译过来是变形金刚，当然，这里的Transformer并不是讲述的电影。而是近年来最受关注的深度学习模型。最早在谷歌论文AttentionIsAllYouNeed中提出，主要应用于自然语言处理（NLP）领域。
　　Transformer的核心是注意力机制。BERT、GPT、VIT、SWIN等其他模型都是基于Transformer。这些以注意力机制为核心的模型被广泛应用于NLP、CV、AI等任务中。
　　一般来说，Transformer模型具有编码器解码器结构。编码器解码器由一堆相同的层组成。主要是，每个encoder层包含一个MultiHeadAttention层和一个FeedForward层；每个解码器层包含两个多头注意力层和一个前馈神经网络层。
　　Attention有很多种：SoftAttention、HardAttention、SelfAttention、DotProductAttention、SingleAttention、MultiHeadAttention。在论文Attentionisallyouneed中，Attention机制由MultiHeadAttention和ScaledDotProductAttention组成。
　　从图像空间到向量空间，我们可以类比从一种语言翻译到另一种语言的翻译过程。如上图，既然Transformer在自然语言翻译方面有着如此出色的表现，那我们能不能用它把ImageSpace翻译成VectorSpace呢？
　　特斯拉AI团队利用Transformer模型把图像空间转换到向量空间
　　如何训练这个Transformer？
　　ImagetoBEVTransformer图像空间转换到向量空间的训练过程：
　　1、初始化输出空间大小的栅格：OutputSpaceRaster，Positional对输出空间栅格上的点和所有图像及其特征进行位置编码，并馈送到编码器。
　　2、编码器（具有多头自注意力）对此进行处理并生成初始向量空间栅格的编码表示。
　　3、目标BEV（具有向量空间特征）通过位置编码转换并馈送到解码器。
　　4、经过解码器与编码器交互，以产生目标BEV的编码表示
　　5、输出层将其转换为BEV特征并输出向量空间（BEV）。
　　6、Transformer的损失函数将此输出序列与训练数据中的目标序列进行比较。此损失用于生成梯度，以在反向传播期间训练Transfomer。
　　推理Inference
　　在Tesla模型中，如上例所示，使用Transformer将ImageSpace转换为VectorSpace的过程可以简单概括为以下几个步骤：
　　1、初始化一个输出空间大小的栅格：OutputSpaceRaster
　　2、对输出空间栅格上的点进行位置编码。接下来，使用多层感知器（MLP）将其编码为一组Q向量。例如黄点。
　　3、所有图像（来自8个摄像头）及其特征也会计算自己的K和V。（图中MultiCam图像特征库部分）
　　4、注意力机制计算（Transformer中的点积注意力）以在MultiCam图像特征库中搜索并将结果输出到向量空间。
　　你可以这样理解：首先你问Transformer网络，我是输出空间（向量空间）中的一个像素（黄色点）在这个位置。我正在寻找这种类型的功能。你（八台摄像机）看到了什么？此时，有3个摄像头响应这个位置是路边。经过一些处理，最后在向量空间中的那个位置输出一条道路边缘。
　　初始向量空间栅格上的每个像素都要经过这样处理的，所有变换后的像素构成一个完整的向量空间拼图。特斯拉AI团队已经证明，这种转变是非常有效的。
　　虚拟相机
　　因为特斯拉8个摄像头的参数不同：焦距、视角、景深、安装位置不同，不同摄像头下的同一个物体也不一样，这种数据不能直接用于训练，所以在训练之前，我们需要将8个摄像头标准化为一个合成虚拟摄像头。
　　特斯拉团队在图像校正层的正上方插入了一个新层，这是一个相机校准功能，它将所有图像转换为一个虚拟的普通相机。做校正变换后，之前模糊的图像会变得清晰。这大大提高了性能。
　　上图是部分结果，来自神经网络的预测结果得到显着改善。这是一个直接在向量空间中预测的多相机网络。多摄像头网络的另一个好处是它改进了对象检测，尤其是当camera只看到一小部分汽车或在狭小空间中越过摄像头边界的汽车时。
　　视频神经网络架构
　　上面我们得到了一个基于VectorSpace向量空间的多摄像头网络解决方案，但是要实现最终的自动驾驶，我们还需要在网络中添加另一个维度：时间。
　　自动驾驶中除了检测车辆、信号灯、路边、标志等物体外，我们还需要预测：这辆车是否停放，是否在移动，移动的速度有多快，是否被遮挡。有时，我们还需要记录驾驶情况等信息。
　　因此，特斯拉AI团队试图将两个模块插入到神经网络架构中：一个特征队列模块将随着时间的推移缓存其中一些特征，另一个视频模块将暂时融合这些信息。除了来自8个摄像头的信息外，它们还将运动学、惯性测量单元（IMU）馈送到神经网络中。运动学信息基本上是速度和加速度。从这里我们可以看到，这个版本的TeslaAI只使用了8个摄像头和IMU。
　　特征队列
　　如上图，就是FeatureQueue的布局。基本上有三个队列：EgoKinematics、MultiCamFeatures和PositionalEncodings。众所周知，队列的操作使其成为先进先出（FIFO）的数据结构。队列的弹出和推送机制对于特斯拉AI案例非常重要。尤其是什么时候将数据推送到特征队列中？
　　队列推送机制有两种：TimeBasedQueue（存储时间序列信息）和SpaceBasedQueue（存储空间信息）。
　　基于时间的队列
　　如上图所示，自动驾驶汽车正驶向路口，前方的车辆将开始通过路口，并将暂时开始遮挡前方的部分车辆。自动驾驶汽车在这个十字路口停留了一段时间。
　　那时，我们需要某种基于时间的队列，例如，我们每27毫秒将特征输入到队列中。（每帧采样数，特斯拉相机参数为1280x96036Hz，每帧间隔为1360。0277seconds27milliseconds）。如果汽车暂时被遮挡，神经网络有能力及时查看或者参考记忆帧。即使汽车现在看起来被遮挡了，在之前的特征中也有它的记录，神经网络仍然可以使用它来进行检测。
　　基于空间的队列
　　如上图，自动驾驶汽车在左转弯车道上，而旁边的车道是直行的。那时，确实有必要了解路上的左转线标记。有时，此标志已经在很早之前被检测到，如果自动驾驶汽车只有基于时间的队列，可能会在等待红灯时忘记左转功能。所以特斯拉AI团队使用了SpaceBasedQueue，每次汽车行驶一定的固定距离（每1米）推送相关信息。
　　所以，TeslaAI团队有一个TimeBasedQueue和一个SpaceBasedQueue来缓存特征并进入视频模块。
　　视频模块
　　对于视频模块，有很多方法可以在时间上融合这些信息：3DConvolutions、Transformer、AxialTransformers、RecurrentNeuralNet和SpatialRNN。其中，TeslaAI团队非常喜欢空间递归神经网络（SpatialRNN）。
　　RNNLSTMGRU
　　在介绍SpatialRNN之前，我们首先了解循环神经网络RNN、LSTM和GRU。
　　循环神经网络（RNN）是一种用于处理序列数据的神经网络。主要用于自然语言处理（NLP）。RNN是一种具有循环结构的神经网络。RNN虽然让网络有记忆，但它只有短期记忆，无法记住远距离的信息。因为长时记忆需要RNN使用更多的RNN单元，这样会造成梯度消失的问题，也就无法拥有长时记忆。
　　GRU是对RNN隐藏层的修改，它可以更好地捕获远程连接，并有助于解决梯度消失问题。另一种允许在一个单元中同时拥有长期和短期记忆的单元是LSTM。它甚至比GRU更强大。GRU和LSTM都是RNN的变体。他们都有Gates机制。而GRU可以看作是LSTM的简化版本。
　　空间循环神经网络SpatialRNN
　　因为网络需要有长时间记忆，所以需要用到RNN。从上面的截图中，我们可以看到SpatialRNN的单元看起来使用了GRU结构。
　　为什么特斯拉使用GRU而不是LSTM？
　　对于LSTM来说，GRU的参数更少，收敛速度更快，所以它实际上需要更少的时间和更少的计算能力。而这部分需要在自动驾驶汽车芯片上快速完成，计算能力有限。因此，现阶段特斯拉AI团队选择了相对简单的GRU，而不是LSTM或更复杂的结构。
　　具体来说，在特斯拉自动驾驶结构中，我们在二维表面上行驶。TelsaAI团队实际上将隐藏状态组织成二维格子。当汽车行驶时，网络仅更新汽车附近和汽车能见度的部分。TelsaAI团队正在使用运动学原理将汽车的位置整合到隐藏特征网格中，并且只在汽车附近的点更新RNN。
　　如图，每个网格都有一个RNN网络，红色矩形代表自动驾驶汽车，白色矩形是自动驾驶汽车周围一定范围内的特征。当自动驾驶汽车从A的位置移动到B的位置时，特征框也会移动。这时候，我们只需要更新特征框覆盖的黄色框内的RNN即可。
　　SpatialRNN的实际表现非常出色
　　这个例子可视化了SpatialRNN隐藏状态下的不同通道。在这15个通道中，您可以看到道路的中心、边缘、线条、路面等。
　　此示例显示了隐藏状态下前10个通道的平均值，用于不同交叉点的不同遍历。因为RNN随时跟踪正在发生的事情。神经网络具有实际选择性地读取和写入该内存的能力。因此，如果我们旁边有一辆车，并且挡住了道路的某些部分，那么网络就有能力不写入这些位置。当汽车开走并且我们有一个非常好的视野时，RNN肯定想写下关于那部分空间的信息。这样可以看到驾驶的特征信息是完整的，不会因为临时遮挡而丢失信息，导致错误操作。
　　空间RNN的好处
　　1、提高对临时遮挡的鲁棒性
　　在这个例子中，那里有两辆车（从屏幕顶部），一辆车将驶过（从屏幕右侧）并短暂遮挡它们。屏幕中间底部的红色块是自动驾驶汽车。有单帧（橙色）和视频（蓝色）预测。当它们都在视野范围内时，预测大致相等。当它们被遮挡时，单帧网络会丢弃检测，但视频模块会记住它们。而当它们仅被部分遮挡时，单帧网络会做出非常糟糕的预测（红色圆圈内的不稳定橙色块）。
　　2。从视频架构中提高深度和速度
　　SpatialRNN在深度估计，尤其是速度方面的能力显着提高。展示了removetheradar项目的一个片段，其中绿色为雷达深度和速度，橙色为单帧性能，蓝色为视频模块性能。
　　特斯拉视觉网络最终结构
　　原始图像在底部输入并经过校正层以校正相机并将所有内容放入通用虚拟相机中，通过RegNets残差网络将它们处理成多个不同尺度的特征，并将多尺度信息与BiFBN融合，通过一个transformer模块将其重新表示到向量空间。加入时间或空间的特征队列，由视频模块（如SpatialRNN）处理。最后进入HydraNet的多头预测结构。
　　在当前的神经网络中，时间和空间的融合是相当晚的。他们计划对空间或时间进行更早的融合，例如在底部使用costvolumesoropticalflow或光流网络。
　　当前神经网络的输出是密集的栅格，在车内进行后处理实际上是相当昂贵的，而且存在系统的延迟。
　　从上图中的TeslaAI模型来看，Tesla使用的模型是一些常见的物体检测领域的模型，如RNN、LSTM、Transformer、ResNet、RegNet、BiFPN、YOLO，但TeslaAI团队对物体检测模型的理解更深，应用之广。他们融合多个模型并深入挖掘模型的潜力。