一种复杂路况下的端到端的自动驾驶方法及系统

1.本发明涉及自动驾驶技术领域，特别地涉及一种复杂路况下的端到端的自动驾驶方法及系统。


背景技术：

2.近年来，卷积神经网络(convolution neural network，cnn)在计算机视觉领域取得了巨大的成功，例如在图像分类、目标检测和语义分割等领域，在庞大的数据驱动下，cnn实现了令人惊喜的结果。而端到端的自动驾驶，其流程主要分为：首先利用车载摄像机或者雷达以及数据传感器，采集大量的人类驾驶数据，包括了驾驶员视角的前景图像和与之相对应的驾驶员采取的一些控制措施，例如方向盘转角、油门和刹车等，将前景图像和控制信息作为输入图像和其对应的标签制作成数据集，然后设计算法对数据集进行学习归纳，最后，在新的道路上或者输入新的前景图像，给出相应的控制措施的预测。
3.目前大多数的端到端的自动驾驶算法大都是基于cnn，其庞大的计算量和欠缺的可解释性，恰好是自动驾驶所需要的。此外，对于输入数据较为理想的情况下，cnn能够得到很好的预测控制结果，但是当数据有噪声或者干扰时，或者输入受到了损坏，例如突然的阳光直射等，将会导致十分不稳定的预测。
4.然而复杂路况下的端到端的自动驾驶，其任务更复杂，简单的cnn提取不到更有用的信息，19个ltc控制神经元并不能应对更为复杂的高维信息。


技术实现要素：

5.有鉴于此，本发明提出一种复杂路况下的端到端的自动驾驶方法及系统，用以解决在复杂路况下的自动驾驶问题。
6.本发明第一方面提供一种复杂路况下的端到端的自动驾驶方法，该方法包括：获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到方向盘转角、车速、油门踏板深度和制动踏板深度信息，将方向盘转角、车速、油门踏板深度和制动踏板深度信息作为决策结果。
7.进一步的，所述历史车辆驾驶数据包括历史车辆前方图像和对应的控制信息；所述控制信息至少包括复杂路况下的方向盘角度、车速、油门踏板深度、制动踏板深度数据。
8.进一步的，利用历史车辆前方图像和对应的控制信息制作数据集；将数据集中历史车辆前方图像划分为训练集，将数据集中历史车辆前方图像对应的控制信息划分为测试集。
9.进一步的，所述神经回路网络模型包括感知层、中间层、命令层和动作层，所述感
知层用于接收脉冲映射后的高维特征向量，所述中间层和所述命令层用于对高维特征向量进行处理，所述动作层用于输出预测值。
10.进一步的，所述预测值与测试集之间的损失的计算方法为：
[0011][0012]
其中，n是指数据集的数目，y
pre
是指控制信息的预测值，y
real
是指测试集中的控制信息。
[0013]
进一步的，所述根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型包括：将损失反馈到所述神经回路网络模型中并调整所述神经回路网络模型中训练参数；根据损失训练所述神经回路网络模型，直至损失低于预设阈值，则停止训练；将包含训练参数的所述神经回路网络模型，确定为预测模型。
[0014]
本发明第二方面提供一种复杂路况下的端到端的自动驾驶系统，该系统包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上所述复杂路况下的端到端的自动驾驶方法的步骤。
[0015]
上述的复杂路况下的端到端的自动驾驶方法及系统，解决了复杂路况下基于cnn算法的生物不可解释性，而且还可以根据路况的复杂程度选择不同的特征提取网络和不同神经元个数以及不同稀疏度的神经回路网络模型。
附图说明
[0016]
为了说明而非限制的目的，现在将根据本发明的优选实施例、特别是参考附图来描述本发明，其中：
[0017]
图1是本技术实施例提供的一种复杂路况下的端到端的自动驾驶方法的流程图；
[0018]
图2是本技术实施例选取的pinet网络对输入图像进行特征提取的示意图；
[0019]
图3是本技术实施例选取的pinet网络提取特征的特征图显示结果示意图；
[0020]
图4是本技术实施例提供的网络架构图；
[0021]
图5是本技术实施例提供的一种复杂路况下的端到端的自动驾驶系统的示意图。
具体实施方式
[0022]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
[0023]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
[0025]
下面结合附图对本技术实施例提供的一种复杂路况下的端到端的自动驾驶方法进行详细描述。
[0026]
请参阅图1，该复杂路况下的端到端的自动驾驶方法包括：
[0027]
步骤101：获取复杂路况下的历史车辆驾驶数据，并制作数据集。
[0028]
本技术实施例中，该历史车辆驾驶数据包括历史车辆前方图像和对应的控制信息，控制信息至少包括方向盘角度、车速、油门踏板深度、制动踏板深度数据。
[0029]
本技术实施例中，通过车载摄像机采集复杂路况下的车辆前方图像。通过激光雷达及传感器采集复杂路况下的方向盘角度、车速、油门踏板深度、制动踏板深度数据等。
[0030]
在一些实施例中，还将历史车辆前方图像作为输入图像，将方向盘角度、车速、油门踏板深度、制动踏板深度数据作为输入图像对应的标签，基于输入图像和与其相对应的标签制作数据集。将数据集中历史车辆前方图像划分为训练集，将数据集中历史车辆前方图像对应的控制信息划分为测试集。
[0031]
步骤102：将数据集中历史车辆前方图像输入特征提取网络，得到相应的高维特征向量。
[0032]
本技术实施例中，采用cnn网络作为特征提取网络。将数据集中车辆前方图像输入到特征提取网络，提取到相应的高维特征向量。
[0033]
本技术实施例中，采用的提取特征的cnn网络，可以是任意一种在计算机视觉任务中取得最好表现的网络，例如，resnet，retinanet，pinet和hrnet等，只保留其提取特征的部分，最后的决策部分舍弃不用。
[0034]
图2是本技术实施例选取的pinet网络对输入图像进行特征提取的示意图。请参阅图2，pinet网络主要包含了五层卷积模块，resizing layer是由三个步长为2的卷积、批量归一化和激活操作的卷积块组成，达到对原始大尺寸图像进行缩小尺寸提取特征的目的，输出的图像尺寸为80*64像素，通道数为128。layer 1是pinet网络里的漏斗状结构，主要由四个下采样的卷积层和四个上采样的卷积层组成，经过该层，输入的尺寸和通道数并没有发生改变，本实施例保留了第四次下采样的最小尺寸的特征图，大小为5*4像素，通道数为128的特征图。layer 2、layer3和layer 4与layer 1一样，都是漏斗状的卷积模块，并且都保留下最小尺寸的特征图。将四个保留的特征图按照通道数进行拼接，形成5*4像素，512通道大小的特征图，然后经过一个卷积层形成5*4像素，128通道大小的特征图，最后经过拉直层形成2560的向量，经过脉冲神经网络脉冲映射，降低运算量，然后输入到神经回路网络中进行预测。
[0035]
图3是本技术实施例选取的pinet网络提取特征的特征图显示结果示意图。本技术实施例中，随机选取的一张输入图像，选取了20张特征图，放大至640*412像素，形成的特征展示图。可以看出随着网络层数的增加，特征图囊括的信息越来越多，特征图也变得抽象起来。
[0036]
步骤103：建立脉冲神经网络，采用脉冲神经网络对步骤102提取到的高维特征向量进行脉冲映射。
[0037]
本技术实施例中，利用特征提取网络得出的高维特征向量建立脉冲神经网络snn。
[0038]
本技术实施例中，采用脉冲神经网络snn对步骤102提取到的高维特征向量进行脉冲映射，降低运算量。脉冲神经网络snn作为第三代神经网络，其使用脉冲神经元模型来模拟和解释生物神经元的信息处理过程。
[0039]
将步骤步骤102提取到的高维特征向量输入到脉冲神经网络snn，经脉冲神经网络
snn中脉冲神经元模型处理，得到脉冲映射后的特征向量。
[0040]
步骤104：将脉冲映射后的高维特征向量输入到神经回路网络模型，得到控制信息的预测值。
[0041]
本技术实施例中，采用神经回路网络模型ncp对输入图像的控制信息进行预测。神经回路网络(neural circuit policies,ncp)其主要功能是：学习将高维输入映射为转向命令，其拥有19个控制神经元，拥有253个突触神经元，实现了将32个封装的输入高维特征决策出转向命令。
[0042]
图4是本技术实施例提供的网络架构图。请参图4，神经回路网络模型ncp主要包含了四层分层网络，分别包括感知层(sensory neuron)、中间层(interneuron)、命令层(commandneuron)和动作层(montorneuron)，感知层用于接收脉冲映射后的高维特征向量，中间层和命令层用于对高维特征向量进行处理，动作层用于输出控制信息的预测值。本技术实施例中，其神经回路网络模型ncp中感知层、中间层、命令层和动作层传导信号的方式是基于ltc(liquid time constant，液态时间常数)神经元，神经动力学是由连续常微分方程给出，其具有非线性时变突触传递机制，极大的丰富了时间序列的表达能力。与数量级更大的黑盒学习cnn相比，该网络显示了更优越的泛化性、可解释性和鲁棒性。所获得的神经代理使复杂自治系统的任务特定部分具有高保真自主性。
[0043]
ncp网络的神经元个数根据路况数据的复杂度，进行动态调整，其稀疏度同样也可以进行动态调整，直至达到理想的决策结果。其神经元的传导方式是采用ltc神经元，每个神经元xi(t)的状态动力学，在通过神经突触链接到神经元j时表示如下：
[0044][0045]
其中，是带有泄露电导的神经元i的时间常数，w
ij
是神经元i到j的突出权重，是模电容，是模电容，是静息电位，e
ij
是定义突出极性的反转突触电位。
[0046]
步骤105，计算步骤104预测到控制信息的预测值与步骤101中数据集中的控制信息之间的损失。
[0047]
本技术实施例中，数据集中的控制信息包括方向盘转角、车速、油门踏板深度和制动踏板深度，是以数字呈现的。因此本技术实施例使用均方误差来计算控制信息的预测值和数据集中的控制信息之间的损失。损失的计算方法如下：
[0048][0049]
其中，n是指数据集的数目，y
pre
是指控制信息的预测值，y
real
是数据集中的控制信息。
[0050]
步骤106，根据损失调整神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型。
[0051]
在一些实施例中，根据损失调整神经回路网络模型中的训练参数并训练神经回路网络模型，得到预测模型包括：
[0052]
将损失反馈到神经回路网络模型中并调整神经回路网络模型中训练参数；
[0053]
根据损失训练神经回路网络模型，直至损失低于预设阈值，则停止训练；
[0054]
将包含训练参数的神经回路网络模型，确定为预测模型。
[0055]
本技术实施例中，训练过程中，当损失满足预设要求，可以认为此时神经回路网络模型的性能较高，满足使用要求。例如，可以设定预设阈值，当损失的值小于预设阈值时，则满足要求，结束训练，将包含训练参数的神经回路网络模型，确定为预测模型。
[0056]
本技术实施例中，计算得到控制信息的预测值与数据集中的控制信息之间的损失后，并利用反向传播对神经回路网络模型进行参数更新，获取最优的预测模型。
[0057]
步骤107，获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到方向盘转角、车速、油门踏板深度和制动踏板深度信息，将方向盘转角、车速、油门踏板深度和制动踏板深度信息作为决策结果。
[0058]
上述的复杂路况下的端到端的自动驾驶方法，解决了复杂路况下基于cnn算法的生物不可解释性，而且还可以根据路况的复杂程度选择不同的特征提取网络和不同神经元个数以及不同稀疏度的神经回路网络模型。
[0059]
上述的复杂路况下的端到端的自动驾驶方法，融合了cnn强大的特征提取性能和rnn的时序性，并且rnn神经元基于ltc神经元模型，仿造仿生特性的网络接线图，搭建的具有更好的生物可解释性和稀疏性，消除了rnn时序性带的不利影响，并且利用脉冲神经网络snn降低了运算复杂度并提高了运算速度。
[0060]
相应于上面的方法实施例，请参阅图5，本技术实施例还提供一种复杂路况下的端到端的自动驾驶系统。该系统200可以包括：
[0061]
存储器201，用于存储计算机程序；
[0062]
处理器202，用于执行上述存储器201存储的计算机程序时可实现如下步骤：
[0063]
获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到方向盘转角、车速、油门踏板深度和制动踏板深度信息，将方向盘转角、车速、油门踏板深度和制动踏板深度信息作为决策结果。
[0064]
对于本技术实施例提供的装置的介绍请参照上述方法实施例，本技术在此不做赘述。
[0065]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种复杂路况下的端到端的自动驾驶方法，其特征在于，包括：获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到方向盘转角、车速、油门踏板深度和制动踏板深度信息，将方向盘转角、车速、油门踏板深度和制动踏板深度信息作为决策结果。2.根据权利要求1所述的复杂路况下的端到端的自动驾驶方法，其特征在于，所述历史车辆驾驶数据包括历史车辆前方图像和对应的控制信息；所述控制信息至少包括复杂路况下的方向盘角度、车速、油门踏板深度、制动踏板深度数据。3.根据权利要求2所述的复杂路况下的端到端的自动驾驶方法，其特征在于，利用历史车辆前方图像和对应的控制信息制作数据集；将数据集中历史车辆前方图像划分为训练集，将数据集中历史车辆前方图像对应的控制信息划分为测试集。4.根据权利要求1所述的复杂路况下的端到端的自动驾驶方法，其特征在于，所述神经回路网络模型包括感知层、中间层、命令层和动作层，所述感知层用于接收脉冲映射后的高维特征向量，所述中间层和所述命令层用于对高维特征向量进行处理，所述动作层用于输出预测值。5.根据权利要求3所述的复杂路况下的端到端的自动驾驶方法，其特征在于，所述预测值与测试集之间的损失的计算方法为：其中，n是指数据集的数目，y
pre
是指控制信息的预测值，y
real
是指测试集中的控制信息。6.根据权利要求1所述的复杂路况下的端到端的自动驾驶方法，其特征在于，所述根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型包括：将损失反馈到所述神经回路网络模型中并调整所述神经回路网络模型中训练参数；根据损失训练所述神经回路网络模型，直至损失低于预设阈值，则停止训练；将包含训练参数的所述神经回路网络模型，确定为预测模型。7.一种复杂路况下的端到端的自动驾驶系统，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述复杂路况下的端到端的自动驾驶方法的步骤。

技术总结
本发明公开了一种复杂路况下的端到端的自动驾驶方法及系统，该方法包括：获取复杂路况下的历史车辆驾驶数据，并制作数据集；将数据集划分成训练集和测试集；将训练集输入特征提取网络，得到高维特征向量；建立脉冲神经网络，采用脉冲神经网络对提取到的高维特征向量进行脉冲映射；将脉冲映射后的高维特征向量输入到神经回路网络模型，得到预测值；计算预测值与测试集之间的损失；根据损失调整所述神经回路网络模型中的训练参数并训练所述神经回路网络模型，得到预测模型；获取复杂路况下的实时车辆前方图像，将实时车辆前方图像输入预测模型，得到决策结果。得到决策结果。得到决策结果。


技术研发人员：孙国梁 王洪剑 郑四发 陈涛 林江
受保护的技术使用者：清华大学
技术研发日：2022.12.29
技术公布日：2023/6/28