一种面向自动驾驶视觉感知系统的对抗场景生成方法

1.本发明涉及一种对抗场景生成方法，特别涉及一种面向自动驾驶视觉感知系统的对抗场景生成方法。


背景技术：

2.目前，随着人民群众生活逐渐富裕，城市居民出行需求不断增长，对汽车需求量不断扩大。汽车保有量的持续增长给城市交通带来巨大压力，局部路段在高峰时期堵塞严重，事故频发。目前自动驾驶技术和智慧交通等相关技术的不断发展，有望解决人为因素导致的交通出行问题，因此自动驾驶技术具有广阔的发展前景和实用价值。
3.在自动驾驶开发过程中，相较于实车测试，虚拟仿真测试具有高效且低成本的显著优点而被广泛采纳。仿真测试往往在一定的驾驶场景中进行，而在这些场景中，对抗场景定义是指具备针对性、攻击性与扩展性的关键场景，适用于评估自动驾驶系统的安全边界。因此，研究对抗场景对发展自动驾驶技术具有重要意义。
4.场景衍生是指以基于因果关系分析的关键性现象评估方法为基础，并配合特定场景结构化构建机制得到的关键场景空间。对抗场景生成技术属于一种特殊的场景衍生技术，需要通过分析对抗性因素和实际驾驶环境来建立出成体系的对抗场景库，进而完善自动驾驶技术。
5.对于现阶段自动驾驶的应用，人工智能算法的大量融入确确实实大幅提升了其性能，但是人工智能算法的鲁棒性不足问题也一同被带进了自动驾驶系统中，特别是自动驾驶视觉感知系统，往往与各类人工智能图像处理算法深度结合，使这一问题变得更加严重。为了能够测试自动驾驶视觉感知系统的鲁棒性，有针对性的生成对抗场景，建立成体系的对抗场景库是一种可行性极高、有效性极强的方法。
6.综上所述，基于对抗场景技术的研究对自动驾驶技术的发展具有重要意义，通过分析基于对抗场景测试能改善有关于自动驾驶而面临的各种问题，因此，对抗场景的研究与应用是一个具有重大现实意义和研究价值的科研问题。
7.中国专利cn202310119796.1公开了一种自动驾驶汽车的测试场景构建方法、设备和介质，建立了静态元素集合，并从各待处理测试场景中确定出仿真测试场景，实现通过排列组合静态元素以及与交通参与者元素对应的动态参数，提高测试场景覆盖度。中国专利cn202310003893.4公开了一种自动驾驶仿真测试的场景库构建方法、装置、设备及介质，通过采集多个带创建场景，并进行格式转换，再由格式转换后的静态场景的逻辑路网、路面特性和动态场景生成自动驾驶仿真测试的场景库。中国专利202211734449.1公开了涉及一种自动驾驶测试场景自动构建方法、装置、设备和存储介质，通过构建测试场景，动态配置测试场景得到多个案例场景并依次运行判断反馈，提高了场景生成效率和质量。以上述三项专利为代表，现有技术主要关注与实现面向自动驾驶的测试场景的构建，而没有关注到现实中纷杂的对抗性因素，并不能针对自动驾驶测试用对抗场景进行生成，无法解决自动驾驶视觉感知系统对抗场景库的需求问题。


技术实现要素：

8.本发明的目的是为了在确保生成的场景具有覆盖度和实用性的前提下，解决现有自动驾驶测试场景生成技术中对抗性因素考虑不足的问题，进而提供一种面向自动驾驶视觉感知系统的对抗场景生成方法。
9.本发明提供的面向自动驾驶视觉感知系统的对抗场景生成方法，其方法包括的步骤如下：
10.第一步、场景元素提取与基础场景库构建，具体步骤如下：
11.步骤一、基础场景元素提取；
12.步骤二、对抗场景元素提取，对抗场景元素是指真实存在于驾驶场景中的场景构成元素，具体包括环境中的对抗场景元素和镜头上是对抗场景元素两大类会影响光线传播的对抗场景元素，环境中的对抗场景元素主要包括环境中的恶劣天候类对抗场景元素和光环境类对抗场景元素两类，而镜头上的对抗场景元素主要包括镜头遮挡类对抗场景元素和动态交通参与物形位强耦合类对抗场景元素；
13.步骤三、基础场景库构建，基础场景是对抗场景的基石，生成的所有对抗场景都是在原始的基础场景上加入对抗性的元素形成的，基础场景库的构建过程就是基础场景的生成和合理性验证过程；
14.第二步、基于对抗元素的对抗场景生成，具体步骤如下：
15.步骤一、基于恶劣天候元素的对抗场景生成；
16.步骤二、基于光环境元素的对抗场景生成，光环境元素是指环境中与光线相关的各种环境因素的综合影响结果，由于光环境元素的影响因素较多，因此在建模时单独提出作为独立因素进行建模；
17.步骤三、基于相机遮挡元素的对抗场景生成；
18.步骤四、基于动态交通参与物形位强耦合的对抗场景生成，通过动态交通参与物形位强耦合度元素对场景进行片段提取，动态交通参与物形位强耦合度指在整个动态环境中相邻的两个交通参与物在某一时刻在相机视角中，形位耦合区域与两交通参与物总区域面积的比值，表述为如下公式：
[0019][0020]
式中，sc表示形位耦合区域；sa表示a物体空间投影区域；sb表示b物体空间投影区域；
[0021]
本步骤中，首先在整个基础场景中搜索可能发生动态交通参与物形位强耦合的时间段和发生形位强耦合的动态交通参与物，根据上述公式计算动态交通参与物形位强耦合度，通过设置阈值的方式，在时间轴上筛选动态交通参与物形位强耦合度合格的片段，从而生成了对抗场景；
[0022]
上述的步骤一、步骤二、步骤三和步骤四之间为并列关系，彼此的作用相互独立，根据需求有条件地选择其中有需要的对抗场景元素进行对抗场景生成，各对抗场景元素具有叠加性，能够同时作用以生成更加有效的对抗场景；
[0023]
第三步、基于视觉图像衍生方法的对抗场景生成，包括的步骤如下：
[0024]
步骤一、基于随机噪声注入的对抗场景生成；
[0025]
步骤二、基于采样攻击的对抗场景生成；
[0026]
步骤三、基于语义分割与裁剪相结合的对抗场景生成；
[0027]
本步中的步骤一、步骤二和步骤三之间为并列关系，彼此相互独立，在本步的进行过程中，根据需求有条件地选择其中有需要的对抗场景元素进行对抗场景生成，并且由于各对抗场景元素之间相互独立，因此在生成对抗场景时，各对抗场景元素具有叠加性，同时作用以生成更加有效的对抗场景；
[0028]
第四步、对抗场景库评估与整合，包括的步骤如下：
[0029]
步骤一、对抗场景有效性评估，通过上述第一步、第二步和第三步的过程，生成了对抗场景，并保留着原始的基础场景，为了证明所生成的对抗场景的有效性，并筛掉无效的对抗场景，通过将其作用于常用视觉感知算法从而对其有效性进行全面的评估；
[0030]
步骤二、对抗场景库整合，根据步骤一的评估，对有效的对抗场景进行整合形成对抗场景库，方法包括阈值法和按权计分法；
[0031]
阈值法指根据步骤一提出的欺骗度指标和对抗性指标，分别设置阈值进行评判，对于欺骗度和对抗性皆达标的对抗场景进行整合，而剔除掉欺骗度或对抗性至少有其一不达标的对抗场景；
[0032]
按权计分法指首先将步骤一提出的欺骗度指标和对抗性指标进行归一化处理，然后根据两种指标和实际问题的关系设置权重系数，最后将归一化后的欺骗度指标乘以欺骗度权重的结果和将归一化后的对抗性指标乘以对抗性权重的结果相加得到最后评分，并根据分值评判对抗场景是否合格，将合格对抗场景进行整合得到对抗场景库。
[0033]
第一步步骤一中基础场景元素提取分为以下两个环节：
[0034]
环节一、基础场景静态元素提取，静态元素指感知环境中全程保持静态的元素，基础场景静态元素包括环境静态元素和道路静态元素，环境静态元素主要包括环境中的江河湖海、田园山川、房屋街道和城市绿化，环境静态元素的提取方法主要是三维立体建模；道路静态元素进一步划分为交通信号元素和道路元素，其提取主要参考gb5768国家标准，其中交通信号元素主要包括各类交通标志和交通信号灯，与环境静态元素相同，交通信号提取采用三维立体建模的方法进行，而道路元素主要包括车道类型、车道线类型、车道宽度、坡度和路面附着系数，主要根据国家标准的规定采用穷举的方法进行提取，对于无法穷举的元素采用等差数列的形式进行提取；
[0035]
环节二、基础场景动态元素提取，动态元素指感知环境中存在动态特征的交通参与物及其动态属性，交通参与物主要包括车辆、行人和动物，其提取采用三维立体建模的方法进行；动态属性则根据不同的交通参与物类型而不同，如车辆的动态属性包括与主车的横纵向相对距离、行车轨迹和驾驶风格，动态属性采取等差数列的形式进行提取。
[0036]
第一步步骤三中基础场景库构建包括的环节如下：
[0037]
环节一、基础场景生成，基础场景生成基于高覆盖度的原则进行，通过设置场景各种元素的数量，然后通过穷举的方法，从第一步步骤一中提取出的基础场景元素选择进行排列组合；
[0038]
环节二、基础场景合理性筛选，经过环节一中所述的排列组合方法所生成的基础场景将包含一部分不合理场景，通过设置明确的规则，在环节一每通过排列组合生成一个基础场景，就通过一次规则筛查，将通过筛查的保留下最终整合形成基础场景库。
[0039]
第二步步骤一中基于恶劣天候元素的对抗场景生成包括的环节如下：
[0040]
环节一、能见度建模，在能见度建模环节，通过恶劣天候的程度计算最大能见度，并作用于自动驾驶视觉感知系统，能见度建模通过查表法进行，规定不同等级的恶劣天候与能见度之间的关系，能见度作用于自动驾驶视觉感知系统的方法通过直接影响其渲染范围的方式进行；
[0041]
环节二、光环境变化建模，不同程度的恶劣天候会引起光照强度的不同，因而影响了场景的光环境，由于光环境不止受恶劣天候的影响，因此在本环节建模时，将恶劣天候的影响输入给接下来的第二步中的步骤二，通过与第二步步骤二中其他影响光环境的因素叠加作用共同进行光环变化建模；
[0042]
环节三、天气环境遮挡物建模，恶劣天候对场景的对抗效果还表现在会出现一定的遮挡物，遮挡物建模分为两种，一种是雾、霾和沙尘类的均匀遮挡物，这类遮挡物通过一层半透明的静态滤镜形式进行建模；另一种为雨和雪类的不均匀遮挡物，这类遮挡物则通过三维动态建模的形式进行建模。
[0043]
第二步步骤三中的基于相机遮挡元素的对抗场景生成主要通过在基础场景的基础上添加相机遮挡这种对抗场景元素来生成对抗场景，相机遮挡元素分布于对抗场景的相机镜头上，分为全透明遮挡、半透明遮挡和不透明遮挡三大类，具体环节如下：
[0044]
环节一、基础形状生成，相机遮挡元素的一个重要属性是其形状属性，复杂多样的形状通常由一个或数个简单的基础图形组合而成，首先进行基础形状生成的环节来为生成完整的相机遮挡元素提供数据基础，基础形状主要包括正多边形、圆形与椭圆形和扇形，基础形状生成时根据其类型的不同进行不同的二维建模；
[0045]
环节二、基础形状叠加，一个完整的相机遮挡元素通常由一个或数个简单的基础图形组合而成，将前述环节一中生成的基础形状进行叠加得到相机遮挡元素的形状，在进行基础形状叠加时，将每一个基础形状抽象为一个向量，那么叠加的过程就为抽选合适的向量并为其起点和方向角赋值两个过程；
[0046]
在进行了基础形状的叠加后会出现几个基础形状连成一个整块的复杂形状的情况，这样，这个复杂形状就变成了一个整体，这个整体成为一个连通集，对连通集进行融合提取，在对抗场景的相机镜头平面内，连通集的识别方法定义为对于一个复杂形状中的任意两个点，若该两点之间找到一条通路，该通路上的所有点都属于这个复杂形状，那么它就是一个连通集，根据此定义的逆否命题即完成连通集的整合提取；
[0047]
环节三、遮挡元素透光性设置，对于相机遮挡元素而言，除了形状属性外还有透光性属性，一个遮挡元素中的一个连通集具有相同的透光性属性，在此前提下，对遮挡元素中的每个连通集进行透光性属性设置，根据透光性的不同，将遮挡元素分为全透明遮挡、半透明遮挡和不透明遮挡三大类，其中全透明遮挡对光线无遮挡作用，仅需对其折射率进行赋值即完成其透光性元素的设置；半透明遮挡首先需要设置其对光线强弱的削减系数，再设置其折射率，此外半透明遮挡还带有一定的颜色，通过设置其对不同颜色的光的不同削减系数来实现；不透明遮挡由于对光线几乎完全遮挡，表现为对相机镜头此部分光线的完全遮盖，并将穿过此部分的光线完全变化为另一种颜色；
[0048]
环节四、在基于相机遮挡元素的对抗场景生成过程中，需要对遮挡基础形状的面积进行约束，过大面积的遮挡虽然必然会有较高的对抗性，但在实际自动驾驶场景中几乎
不会发生，为了保证所生成的对抗场景库的有效性，需要避免过大面积的遮挡，在环节二中额外增加遮挡元素总面积计量，并计算遮挡面积百分比，通过设置最大遮挡面积百分比来规避此类情况。
[0049]
第三步步骤一中随机噪声是真实驾驶场景中视觉感知系统必定会面对的干扰因素，在生成对抗场景时，引入随机噪声这一元素，使得对抗场景更加有效，更能够使得测试场景真实性显著上升，根据真实驾驶场景中存在的数字图像噪声形式，注入噪声主要包括以下方法：
[0050]
方法一、高斯噪声，高斯噪声是真实驾驶环境中最广泛存在的噪声，它指的是概率密度函数服从高斯分布即正态分布的一类噪声，如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声，高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性；
[0051]
随机噪声的建模通过其概率密度函数进行，高斯噪声的pdf表示为如下公式：
[0052][0053]
式中，z表示灰度值或像素值，z表示z的平均值，σ表示z的标准差，标准差的平方σ2称为z的方差；
[0054]
方法二、瑞利噪声，瑞利噪声是一种广泛存在于数字图像中的噪声，它指的是由于图像信号在传输或存储的过程中，受到信号功率的不同的干扰，导致图像的亮度值发生变化而产生的噪声，它的强度与图像亮度的平方根成正比，因此图像灰度越高瑞利噪声的影响也越明显，其pdf表示为如下公式：
[0055][0056]
方法三、伽马噪声，伽马噪声又称爱尔兰噪声，是由于图像在采集过程中信号强度的变化和电路波动的原因引起的噪声，会导致图像对比度的减弱，并且在图像的低灰度级处呈现较高的噪声干扰效果，其pdf表示为如下公式：
[0057][0058]
方法四、脉冲噪声，脉冲噪声在快速过渡的情况下产生，如在成像期间发生的错误开关操作，其中，双极脉冲噪声是最常见的脉冲噪声之一，又称椒盐噪声，也称散粒噪声或尖峰噪声，它随机改变一些像素值，是由图像传感器、传输信道或解码处理过程中产生的黑白相间的亮暗点噪声，由图像切割引起，双极脉冲噪声的pdf表示为如下公式：
[0059][0060]
方法五、指数噪声，指数噪声是由于图像在采集过程中信号强度的变化和光线散
射的原因引起的噪声，指数噪声会引起图像亮度的随机变化，且它的特点是在高灰度级处呈现较高的噪声干扰，而在低灰度级处则干扰较小，其pdf表示为如下公式：
[0061][0062]
方法六、乘性噪声，乘性噪声由信道不理想引起，它们与信号的关系是相乘，乘性噪声更加自然柔和，往往伴随在图像的整个产生过程中，且由于其柔和的乘性特性，常规的滤波方法无法很好地处理这种噪声，具有较强的对抗性，乘性噪声不使用pdf来表示，而直接表示为如下公式：
[0063]
v(t)＝f(t)f(s(t))
[0064]
式中，f(t)为噪声函数，f(s(t))为原图像素矩阵或像素值。
[0065]
第三步步骤二中基于采样攻击的对抗场景生成包括环节如下：
[0066]
环节一、白盒攻击对抗，白盒攻击对抗是指在已知人工智能算法的模型结构的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法，白盒攻击对抗采用一些针对性的方法快速的找到人工智能算法的“弱点”，具有较强的对抗性，白盒攻击对抗包括的方法如下：
[0067]
方法一、快速梯度符号法，快速梯度符号法是一种利用人工智能算法fgsm的梯度来进行对抗攻击的方法，对于自动驾驶视觉感知系统，fgsm使用相对于输入场景图像的损失的梯度来创建使损失函数最大化的新场景图像，fgsm生成对抗场景表示为如下公式：
[0068][0069]
式中，xa表示对抗场景的值；x表示原始基础场景生成的图像数据值；y表示原始基础场景的输出值；∈表示较小的扰动数值；θ表示模型参数；j表示损失计算函数；
[0070]
fgsm生成对抗场景时，首先根据人工智能算法的损失函数确定梯度方向，然后根据干扰的强弱需求程度确定扰动量大小，并根据上式作用于图像的每一个像素点，通常扰动量设置较小，甚至生成的对抗场景与基础场景之间的差别是人眼无法察觉的程度，即得到一个效果较好的对抗场景；
[0071]
方法二、投影梯度下降法，投影梯度下降pgd法是一种迭代学习的方法，对于自动驾驶视觉感知系统，pgd法通过多次施加极小扰动并进行投影的方式，对图像进行作用来创建对抗场景图像，pgd法生成对抗场景表示为如下公式：
[0072]
x0＝x
[0073][0074]
式中x0表示原始的基础场景生成的图像数据值；xn表示第n次迭代的对抗场景生成的图像数据值；y
true
原始基础场景的输出值；α表示较小的扰动数值；θ表示模型参数；j表示损失计算函数；
[0075]
pgd法生成对抗场景时，首先根据人工智能算法的损失函数确定梯度方向，然后根据干扰的强弱需求程度确定扰动量大小，并循环进行投影并迭代数次得到对抗场景图像，通常扰动量设置较小，甚至生成的对抗场景与基础场景之间的差别是人眼无法察觉的程度，即得到一个效果较好的对抗场景；
[0076]
方法三、c&w法，c&w法是一种基于优化的方法，它使用对抗目标函数，通过优化步骤来生成可重复性高、通用性强的对抗场景，即在数个模型、数个输入上都能起到有效的对抗效果，c&w法表示为如下公式：
[0077][0078]rn
＝a
n-xn[0079]
min||rn||+cf(an)
[0080]
s.t.f(an)＝max(max{z(an)t:i≠t}-z(an)t-k)
[0081]
式中，wn表示优化参数；an表示对抗样本；xn表示干净样本；rn代表对抗样本与干净样本的距离；c表示超参数，用以权衡两loss之间的关系；z(an)t表示对抗样本输入模型后，未经过softmax层输出结果的第t个类别值；k表示置信度；
[0082]
在使用c&w法生成对抗场景时，根据实际场景需求调节参数c和k，由于c&w法的优化方法特性，其生成的对抗场景干扰与对应的原基础场景相似度较高，但也造成了其生成较慢效率较低的特点；
[0083]
环节二、黑盒攻击对抗，黑盒攻击对抗是指在未知人工智能算法的模型结构，但能够获得完整的人工智能算法输入输出信号的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法，由于黑盒攻击对抗的黑盒特性，黑盒攻击对抗采用一些非针对性的方法快速的找到人工智能算法的“弱点”，虽然对抗性较环节一中所述的白盒攻击对抗较弱，但通用性更强，黑盒攻击对抗包括的方法如下：
[0084]
方法一、粒子群优化方法，粒子群优化方法是一种典型的群体智能优化方法，该方法中假定每个粒子记录下自己到过的历史最优位置，使得粒子之间通过记忆信息共享实现群体的优化，粒子群算法是一种不需要梯度信息的全局优化算法，能够直接引用于黑盒攻击对抗的应用情景，粒子群优化方法表述为如下公式：
[0085]
w(g)＝(w
ini-w
end
)(g
k-g)/gk+w
end
[0086]vi+1
＝w(g)
×
vi+c1×
rand
×
(p
besti-xi)+c2×
rand
×
(g
besti-xi)
[0087]
x
i+1
＝xi+vi[0088]
式中，w
ini
为初始权重因子值，w
end
为最终权重因子值，c1和c2为初始化学习因子，rand为系统产生的介于0和1之间的随机数，每个粒子的历史最优位置p
besti
、粒子群的全局最优位置g
besti
；
[0089]
在应用粒子群优化方法生成对抗场景时，首先在场景空间中随机设置数个初始粒子，并设置适应度以记录粒子的运动，根据历史最佳适应度找到每个粒子历史最优位置进而得到粒子群的全局最优位置，在应用过程中需要设置迭代参数、全局最优解满足条件和最大迭代步数来防止过量的不必要计算；
[0090]
方法二、零阶优化攻击对抗方法，零阶优化的攻击是一种有效的黑盒攻击，它只访问模型的输入图像和输出的置信度分数，并进行零阶优化，通过直接估计目标模型的梯度来生成对抗场景，零阶优化攻击对抗方法的核心在于对黑盒模型的梯度进行估计，从而使得其“白盒化”，估计梯度的方法为对输入施加一个极小的扰动并利用其输出计算梯度，表示为如下公式：
[0091][0092][0093]
式中，和分别表示估计的一阶梯度和二阶梯度；h为一个很小的常数，通常取值h＝0.0001；e为是一个标准基向量，方向同x；
[0094]
在得到近似的梯度之后，零阶优化攻击对抗方法就完成了黑盒模型的“白盒化”，进而使用环节一中所述的各种白盒攻击对抗方法来进行对抗场景生成；
[0095]
方法三、迁移攻击对抗方法，迁移攻击对抗方法是指利用对抗场景的迁移性和人工智能算法的相似性，首先自己设计训练一个与原黑盒人工智能算法相类似的白盒人工智能算法模型，再对这个白盒模型施加环节一中所述的各种白盒攻击对抗方法来进行对抗场景生成；
[0096]
环节三、无盒攻击对抗，无盒攻击对抗是指在有限地获取部分不完整人工智能算法数据的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法；
[0097]
上述的环节一、环节二和环节三彼此之间是并列关系，由于三者是在不同前提条件下完成同一项任务，在实际应用过程中需要根据应用情景的不同条件选择其中最合适的一个环节进行应用。
[0098]
第三步步骤三中自动驾驶视觉感知系统的计算处理都是基于感知得到的图像数据来进行的，在第二步和第三步前两个步骤中，通过各种方法影响了生成的整个图像的质量来生成对抗场景，而在本步骤中，则通过语义分割与裁剪相结合的方法，首先将即将进行计算处理的图像数据进行语义分割，再根据语义分割的结果，根据关键因素的位置进行裁剪，通过干扰关键因素的图像信息，生成对抗场景，包括的环节如下：
[0099]
环节一、语义分割，在本环节中，主要对自动驾驶视觉感知系统的图像数据进行语义分割，并提取关键因素的位置，对基础场景元素想成像位置进行投影，即可完成图像的语义分割任务，并且进行关键因素的提取，提取方法包括评分法和分类法，主要思想是根据基础场景元素的属性，特别是种类进行标记，然后根据标记的数值进行一次二分类，分为关键因素和次要因素；
[0100]
环节二、裁剪，基于第三步步骤一中语义分割和提取出的关键元素位置信息，对图像数据进行裁剪，裁剪需要满足图像长宽比不变、所有关键因素都不能被完全裁去和关键因素部分裁去。
[0101]
第四步步骤一中的对抗场景有效性评估包括的环节如下：
[0102]
环节一、对抗场景欺骗性评估，将对抗场景与原始的基础场景之间的差距定义为对抗场景的欺骗性，对抗场景的欺骗性越强，则表示对抗场景与原始的基础场景越相似，越难以区分出二者的区别，对抗场景的欺骗性评价指标选用范数进行表述，对于视觉感知系统而言，使用场景中图像数据的平均二范数和无穷范数表示，二者分别表示为如下公式：
[0103]
[0104][0105]
式中，r、g、b分别表示像素值的不同通道；下角标a表示对抗场景，b表示与之对应的基础场景；
[0106]
从实际数据意义出发，平均二范数表示了对抗场景相对于原始的基础场景的改变累积量；而无限范数表示了对抗场景相对于原始的基础场景的最大改变，二者一同，能够较全面的评价对抗场景的欺骗性；
[0107]
环节二、对抗场景对抗性评估，对抗场景的对抗性是对抗场景是否有效的最主要指标，它是指对抗场景中各项对抗性因素发挥作用的程度，对抗场景的对抗性通过平均精度均值map表示为如下公式：
[0108][0109]
式中，n表示帧计数；apa表示对抗场景作用时的测试精度；apb表示基础场景作用时的测试精度；
[0110]
常用视觉感知算法包括yolo识别算法、r-cnn识别算法和ssd识别算法，为了保证对抗场景的综合性能，测试验证时所选取的视觉感知方法种类需多样化，采用yolov5+fastr-cnn两个算法进行测试验证。
[0111]
本发明的有益效果：
[0112]
1)本发明所述的面向自动驾驶视觉感知系统的对抗场景生成方法，对自动驾驶测试场景中的所有常用对抗场景元素进行了系统性的梳理；
[0113]
2)本发明所述的面向自动驾驶视觉感知系统的对抗场景生成方法，基于视觉图像衍生方法进行了详尽的方法设计，具有极高可行性；
[0114]
3)本发明所述的面向自动驾驶视觉感知系统的对抗场景生成方法，包括了一种综合性的对抗场景有效性验证方法，从而确保了生成的对抗场景的有效性；
[0115]
4)本发明所述的面向自动驾驶视觉感知系统的对抗场景生成方法所生成的对抗场景具有较高的覆盖度；
[0116]
5)本发明所述的面向自动驾驶视觉感知系统的对抗场景生成方法适用于各种形式的自动驾驶视觉感知系统，无论是单目视觉、双目视觉、多目视觉或是多相机系统都能够适用，具有极高的适应能力；
[0117]
6)本发明所述的面向自动驾驶视觉感知系统的对抗场景生成方法符合各项标准的规定，实用性较高。
附图说明
[0118]
图1为本发明所述的对抗场景生成方法的整体步骤示意图。
[0119]
图2为本发明所述的对抗场景生成方法的整体架构示意图。
[0120]
图3为本发明所述的对抗场景生成方法第一步的整体架构示意图。
[0121]
图4为本发明所述的对抗场景生成方法第二步的整体架构示意图。
[0122]
图5为本发明所述的对抗场景生成方法第三步的整体架构示意图。
[0123]
图6为本发明所述的对抗场景生成方法第四步的整体架构示意图。
[0124]
图7为本发明所述的对抗场景生成方法第一步中的示例性结果示意图。
[0125]
图8为本发明所述的对抗场景生成方法第二步步骤三中相机遮挡元素的示例性结果示意图。
[0126]
图9为本发明所述的对抗场景生成方法第三步步骤一中注入的部分随机噪声的示例性结果示意图。
[0127]
图10为本发明所述的对抗场景生成方法第三步步骤二中部分采样攻击的示例性结果示意图。
[0128]
图11为本发明所述的对抗场景生成方法生成的对抗场景示例性结果示意图。
具体实施方式
[0129]
请参阅图1至图11所示：
[0130]
本发明提供的一种面向自动驾驶视觉感知系统的对抗场景生成技术，其方法如下所述：
[0131]
第一步、场景元素提取与基础场景库构建；
[0132]
第二步、基于对抗元素的对抗场景生成；
[0133]
第三步、基于视觉图像衍生方法的对抗场景生成；
[0134]
第四步、对抗场景库评估与整合。
[0135]
第一步中场景元素提取与基础场景库构建的过程如下：
[0136]
步骤一、基础场景元素提取。要想生成对抗场景，首先需要生成基础场景作为前提，基础场景可以视为基础场景元素的集合，因此，在本步骤中对基础场景元素进行提取，以供基础场景生成时使用。基础场景元素提取分为以下两个环节：
[0137]
环节一、基础场景静态元素提取。静态元素指感知环境中全程保持静态的元素，基础场景静态元素包括环境静态元素和道路静态元素。环境静态元素主要包括环境中的江河湖海、田园山川、房屋街道和城市绿化等，环境静态元素的提取方法主要是三维立体建模；道路静态元素可进一步划分为交通信号元素和道路元素，其提取主要参考gb5768等国家标准，其中交通信号元素主要包括各类交通标志和交通信号灯，与环境静态元素相同，交通信号提取采用三维立体建模的方法进行，而道路元素主要包括车道类型、车道线类型、车道宽度、坡度和路面附着系数等，主要根据国家标准的规定采用穷举的方法进行提取，对于无法穷举的元素采用等差数列的形式进行提取。
[0138]
环节二、基础场景动态元素提取。动态元素指感知环境中存在动态特征的交通参与物及其动态属性。交通参与物主要包括车辆、行人和动物等，其提取采用三维立体建模的方法进行；动态属性则根据不同的交通参与物类型而不同，如车辆的动态属性包括但不限于与主车的横纵向相对距离、行车轨迹和驾驶风格等，动态属性由于无法其特性采取等差数列的形式进行提取。
[0139]
进一步的，本步骤基础场景元素提取的结果根据其类别进行分类整合，作为步骤三中基础场景库构建的数据基础。
[0140]
步骤二、对抗场景元素提取。对抗场景元素是指真实存在于驾驶场景中的场景构成元素，但是在一般的自动驾驶测试场景构成中往往不是作为主要关注对象而被忽略或简化，但是对于自动驾驶视觉感知系统能够产生有效的对抗效果的场景元素。现有的自动驾
驶视觉感知系统建模都是基于光线追踪的方法建模的，通过模拟真实驾驶场景中的光线传播过程来实现视觉感知的仿真，基于此，在本步骤中对对抗场景元素进行了提取，具体包括环境中的对抗场景元素和镜头上是对抗场景元素两大类会影响光线传播的对抗场景元素。环境中的对抗场景元素主要包括环境中的恶劣天候类对抗场景元素和光环境类对抗场景元素两类，而镜头上的对抗场景元素主要包括镜头遮挡类对抗场景元素和动态交通参与物形位强耦合类对抗场景元素。提取出的4种对抗场景元素的具体作用机理将在接下来的第二步中详细阐述。
[0141]
步骤三、基础场景库构建。基础场景是对抗场景的基石，生成的所有对抗场景也都是在原始的基础场景上加入对抗性的元素形成的。基础场景库的构建过程也就是基础场景的生成和合理性验证过程。
[0142]
环节一、基础场景生成。基础场景生成基于高覆盖度的原则进行，通过设置场景各种元素的数量，然后通过穷举的方法，从步骤一中提取出的基础场景元素选择进行排列组合。例如，首先确定需要建立一个直线道路行驶时周围有4辆车辆、3位行人的基础场景，接下来通过穷举的方法选择出直线道路*1+车辆*4+行人*3的所有可能组合，在接下来将动态属性元素添加到每个车辆和行人上，并添加环境静态元素，最终整合记录得到基础场景。由于使用了穷举的方法，生成的基础场景数量十分庞大，这样做的好处是保证了基础场景的覆盖度，但也造成了可能含有不合理基础场景的缺点，对于不合理场景的筛选将由接下来的环节二进行。
[0143]
环节二、基础场景合理性筛选。经过环节一中所述的排列组合方法所生成的基础场景将包含一部分不合理场景，如场景中行驶车辆的速度差距较大、车流量过大等，为了排除此类不合理场景，本环节通过设置明确的规则，在环节一每通过排列组合生成一个基础场景，就通过一次规则筛查，将通过筛查的保留下最终整合形成基础场景库。
[0144]
经过上述两个环节得到的基础场景整合到一个集合中即可形成基础场景库，进一步的，基础场景库将作为后续第二步、第三步和第四步的输入的数据来源的重要部分。
[0145]
第二步中基于对抗场景元素的对抗场景生成，通过第一步中步骤二提取得到的4种对抗场景元素，向建立的基础场景注入干对抗场景元素生成对抗场景，针对4种对抗场景元素，本步的具体过程如下：
[0146]
步骤一、基于恶劣天候元素的对抗场景生成。恶劣天候是最常见的一类对抗场景元素，包括风、雨、雪、雾、霾和沙尘等。在建模时，依据主要是恶劣天候的严重程度，如雾的等级，不同的恶劣天候虽然不尽相同，但起作用在环境中可以简化为以下的建模方法：
[0147]
环节一、能见度建模。恶劣天候往往会使得能见度下降，在能见度建模环节，通过恶劣天候的程度计算最大能见度，并作用于自动驾驶视觉感知系统。能见度建模可以通过查表法进行，规定不同等级的恶劣天候与能见度之间的关系即可。进一步的，能见度作用于自动驾驶视觉感知系统的方法通过直接影响其渲染范围的方式进行。
[0148]
环节二、光环境变化建模。不同程度的恶劣天候会引起光照强度的不同，因而影响了场景的光环境。由于光环境不止受恶劣天候的影响，因此在本环节建模时，将恶劣天候的影响输入给接下来的步骤二，通过与步骤二中其他影响光环境的因素叠加作用共同进行光环变化建模。
[0149]
环节三、天气环境遮挡物建模。恶劣天候对场景的对抗效果还表现在会出现一定
的遮挡物。遮挡物建模分为两种，一种是雾、霾和沙尘类的均匀遮挡物，这类遮挡物可以通过一层半透明的静态滤镜形式进行建模；另一种为雨和雪类的不均匀遮挡物，这类遮挡物则通过三维动态建模的形式进行建模。
[0150]
步骤二、基于光环境元素的对抗场景生成。光环境元素是指环境中与光线相关的各种环境因素的综合影响结果。由于光环境元素的影响因素较多，因此在建模时单独提出作为独立因素进行建模。
[0151]
步骤三、基于相机遮挡元素的对抗场景生成。在本步骤中主要通过在在基础场景的基础上添加相机遮挡这种对抗场景元素来生成对抗场景。相机遮挡元素分布于对抗场景的相机镜头上，通常可分为全透明遮挡、半透明遮挡和不透明遮挡三大类，本步骤的具体实施方法表述如下：
[0152]
环节一、基础形状生成。相机遮挡元素的一个重要属性是其形状属性，复杂多样的形状通常由一个或多个简单的基础图形组合而成，因此首先进行基础形状生成的环节来为生成完整的相机遮挡元素提供数据基础。基础形状主要包括正多边形、圆形与椭圆形和扇形等，基础形状生成时根据其类型的不同进行不同的二维建模，以正多边形为例，在正多边形生成时通过设置其边的数目以及每边的边长即可确定唯一的正多边形。
[0153]
环节二、基础形状叠加。一个完整的相机遮挡元素通常由一个或多个简单的基础图形组合而成，因此在本步骤中通过将环节一中生成的基础形状进行叠加得到相机遮挡元素的形状。在进行基础形状叠加时，将每一个基础形状抽象为一个向量，那么叠加的过程就可以解释为抽选合适的向量并为其起点和方向角赋值两个过程。
[0154]
在进行了基础形状的叠加后会出现几个基础形状连成一个整块的复杂形状的情况，这样，这个复杂形状就变成了一个整体，这个整体成为一个连通集。在环节三中需要对各个连通集进行处理，因此在本环节中还需要对连通集进行融合提取。在对抗场景的相机镜头平面内，连通集的识别方法可以定义为对于一个复杂形状中的任意两个点，若该两点之间可以找到一条通路，该通路上的所有点都属于这个复杂形状，那么它就是一个连通集。根据此定义的逆否命题即可完成连通集的整合提取。
[0155]
环节三、遮挡元素透光性设置。对于相机遮挡元素而言，除了形状属性外还有透光性属性。通常我们可以认为一个遮挡元素中的一个连通集具有相同的透光性属性，在此前提下，对遮挡元素中的每个连通集进行透光性属性设置。根据透光性的不同，将遮挡元素分为全透明遮挡、半透明遮挡和不透明遮挡三大类，其中全透明遮挡(如现实中雨滴遮挡)对光线无遮挡作用，仅需对其折射率进行赋值即可完成其透光性元素的设置；半透明遮挡(如现实中油渍遮挡)首先需要设置其对光线强弱的削减系数，再设置其折射率，此外半透明遮挡通常本身还带有一定的颜色，这一点通过设置其对不同颜色的光的不同削减系数来实现；不透明遮挡(如现实中的泥泞)由于对光线几乎完全遮挡，表现为对相机镜头此部分光线的完全遮盖，并将穿过此部分的光线完全变化为另一种颜色。
[0156]
进一步的，在基于相机遮挡元素的对抗场景生成过程中，需要对遮挡基础形状的面积进行约束，过大面积的遮挡虽然必然会有较高的对抗性，但在实际自动驾驶场景中几乎不会发生，为了保证所生成的对抗场景库的有效性，应该避免多大面积的遮挡，因此在环节二中额外增加遮挡元素总面积计量，并计算遮挡面积百分比，通过设置最大遮挡面积百分比来规避此类情况。
[0157]
步骤四、基于动态交通参与物形位强耦合的对抗场景生成。现有的视觉识别方案大都是基于局部特征的方案，而在动态变化的交通环境中，一旦发生动态交通参与物形位强耦合现象，视觉特征将会收到极大的干扰从而发生错误。本步骤与前三个步骤的生成方法略有不同，不同于前三步骤的添加对抗场景元素，本步骤通过动态交通参与物形位强耦合度元素对场景进行片段提取。动态交通参与物形位强耦合度指在整个动态环境中相邻的两个交通参与物在某一时刻在相机视角中，形位耦合区域与两交通参与物总区域面积的比值，表述为如下公式：
[0158][0159]
式中，sc表示形位耦合区域；sa表示a物体空间投影区域；sb表示b物体空间投影区域。
[0160]
本步骤中，首先在整个基础场景中搜索可能发生动态交通参与物形位强耦合的时间段和发生形位强耦合的动态交通参与物。根据上述公式计算计算动态交通参与物形位强耦合度，通过设置阈值的方式，在时间轴上筛选动态交通参与物形位强耦合度合格的片段，从而生成了对抗场景。
[0161]
本步中的步骤一、步骤二、步骤三和步骤四之间为并列关系，彼此的作用相互独立。在本步进行的过程中，根据需求有条件地选择其中有需要的对抗场景元素进行对抗场景生成，并且由于各对抗场景元素之间相互独立，因此在生成对抗场景时，各对抗场景元素具有叠加性，同时作用以生成更加有效的对抗场景。
[0162]
第三步中基于视觉图像衍生方法的对抗场景生成的过程如下：
[0163]
步骤一、基于随机噪声注入的对抗场景生成。随机噪声是真实驾驶场景中视觉感知系统必定会面对的干扰因素，在生成对抗场景时，引入随机噪声这一元素，不仅使得对抗场景更加有效，更能够使得测试场景真实性显著上升。根据真实驾驶场景中存在的数字图像噪声形式，注入噪声主要包括以下方法：
[0164]
方法一、高斯噪声。高斯噪声是真实驾驶环境中最广泛存在的噪声，它指的是概率密度函数服从高斯分布(即正态分布)的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。
[0165]
随机噪声的建模通过其概率密度函数(probability density function，pdf)进行，高斯噪声的pdf可表示为如下公式：
[0166][0167]
式中，z表示灰度值(或像素值)，表示z的平均值，σ表示z的标准差。标准差的平方σ2称为z的方差。
[0168]
方法二、瑞利噪声。瑞利噪声是一种广泛存在与数字图像中的噪声，它指的是由于图像信号在传输或存储的过程中，受到信号功率的不同的干扰，导致图像的亮度值发生变化而产生的噪声。它的强度与图像亮度的平方根成正比，因此图像灰度越高瑞利噪声的影响也越明显，其pdf可表示为如下公式：
[0169][0170]
方法三、伽马噪声。伽马噪声又称爱尔兰噪声，它通常是由于图像在采集过程中信号强度的变化和电路波动等原因引起的噪声。它通常会导致图像对比度的减弱，并且在图像的低灰度级处呈现较高的噪声干扰效果，其pdf可表示为如下公式：
[0171][0172]
方法四、脉冲噪声。脉冲噪声通常在快速过渡的情况下产生，如在成像期间发生的错误开关操作等。其中，双极脉冲噪声是最常见的脉冲噪声之一，又称椒盐噪声，也称散粒噪声或尖峰噪声，它随机改变一些像素值，通常是由图像传感器、传输信道或解码处理等过程中产生的黑白相间的亮暗点噪声，通常由图像切割引起。双极脉冲噪声的pdf可表示为如下公式：
[0173][0174]
方法五、指数噪声。指数噪声通常是由于图像在采集过程中信号强度的变化和光线散射等原因引起的噪声。它通常会引起图像亮度的随机变化，且它的特点是在高灰度级处呈现较高的噪声干扰，而在低灰度级处则干扰较小，其pdf可表示为如下公式：
[0175][0176]
方法六、乘性噪声。乘性噪声一般由信道不理想引起，它们与信号的关系是相乘。乘性噪声更加自然柔和，往往伴随在图像的整个产生过程中，且由于其柔和的乘性特性，常规的滤波方法无法很好地处理这种噪声，具有较强的对抗性。乘性噪声通常不使用pdf来表示，而直接表示为如下公式：
[0177]
v(t)＝f(t)f(s(t))
[0178]
式中，f(t)为噪声函数，f(s(t))为原图像素矩阵(或像素值)。
[0179]
步骤二、基于采样攻击的对抗场景生成。现有的自动驾驶视觉识别系统通常是基于人工智能算法的，因而除了步骤一中普适的基于随机噪声注入的对抗场景生成方法外，具有针对性的与人工智能算法对抗的方法就成为了另一条对抗场景生成的方法，这种方法就是基于采样攻击的对抗场景生成方法。本步骤所述的基于采样攻击的对抗场景生成主要包括以下三个环节：
[0180]
环节一、白盒攻击对抗。白盒攻击对抗是指在已知人工智能算法的模型结构的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法。由于白盒攻击对抗的白盒特性，白盒攻击对抗通常采用一些针对性的方法快速的找到人工智能算法的“弱点”，因而具有较强的对抗性。白盒攻击对抗包括但不限于以下方法：
[0181]
方法一、快速梯度符号法。快速梯度符号法(fast gradient sign method，fgsm)是一种利用人工智能算法的梯度来进行对抗攻击的方法，对于自动驾驶视觉感知系统，fgsm使用相对于输入场景图像的损失的梯度来创建使损失函数最大化的新场景图像。fgsm生成对抗场景可以表示为如下公式：
[0182][0183]
式中，xa表示对抗场景的值；x表示原始基础场景生成的图像数据值；y表示原始基础场景的输出值；∈表示较小的扰动数值；θ表示模型参数；j表示损失计算函数。
[0184]
进一步的，fgsm生成对抗场景时，首先根据人工智能算法的损失函数确定梯度方向，然后根据干扰的强弱需求程度确定扰动量大小，并根据上式作用于图像的每一个像素点。通常扰动量设置较小，甚至生成的对抗场景与基础场景之间的差别是人眼无法察觉的程度，即可得到一个效果较好的对抗场景。
[0185]
方法二、投影梯度下降法。投影梯度下降(projected gradient descent，pgd)法是一种迭代学习的方法，对于自动驾驶视觉感知系统，pgd法通过多次施加极小扰动并进行投影的方式，对图像进行作用来创建对抗场景图像。pgd法生成对抗场景可以表示为如下公式：
[0186]
x0＝x
[0187][0188]
式中x0表示原始的基础场景生成的图像数据值；xn表示第n次迭代的对抗场景生成的图像数据值；y
true
原始基础场景的输出值；α表示较小的扰动数值；θ表示模型参数；j表示损失计算函数。
[0189]
与fgsm类似的，pgd法生成对抗场景时，也是首先根据人工智能算法的损失函数确定梯度方向，然后根据干扰的强弱需求程度确定扰动量大小，并循环进行投影并迭代数次得到对抗场景图像。通常扰动量设置较小，甚至生成的对抗场景与基础场景之间的差别是人眼无法察觉的程度，即可得到一个效果较好的对抗场景。
[0190]
方法三、c&w法。c&w法是一种基于优化的方法，它使用对抗目标函数，通过优化步骤来生成可重复性高、通用性强的对抗场景，即在多个模型、多个输入上都能起到有效的对抗效果。c&w法可以表示为如下公式：
[0191][0192]rn
＝a
n-xn[0193]
min||rn||+cf(an)
[0194]
s.t.f(an)＝max(max{z(an)t:i≠t}-z(an)t-k)
[0195]
式中，wn表示优化参数an表示对抗样本；xn表示干净样本rn代表对抗样本与干净样本的距离；c表示超参数，用以权衡两loss之间的关系；z(an)t表示对抗样本输入模型后，未经过softmax层输出结果的第t个类别值；k表示置信度。
[0196]
在使用c&w法生成对抗场景时，根据实际场景需求调节参数c和k。由于c&w法的优化方法特性，其生成的对抗场景干扰与对应的原基础场景相似度较高，但也造成了其生成较慢效率较低的特点。
[0197]
环节二、黑盒攻击对抗。黑盒攻击对抗是指在未知人工智能算法的模型结构，但能够获得完整的人工智能算法输入输出信号的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法。由于黑盒攻击对抗的黑盒特性，黑盒攻击对抗通常采用一些非针对性的方法快速的找到人工智能算法的“弱点”，虽然对抗性较环节一中所述的白盒攻击对抗较弱，但通用性更强。黑盒攻击对抗包括但不限于以下方法：
[0198]
方法一、粒子群优化方法。粒子群优化方法是一种典型的群体智能优化方法，该方法中假定每个粒子记录下自己到过的历史最优位置，使得粒子之间通过记忆信息共享实现群体的优化。粒子群算法是一种不需要梯度信息的全局优化算法，因此能够直接引用于黑盒攻击对抗的应用情景，具有参数较少、易于设置和调整、具有较快的收敛速度的优点。粒子群优化方法表述为如下公式：
[0199]
w(g)＝(w
ini-w
end
)(g
k-g)/gk+w
end
[0200]vi+1
＝w(g)
×
vi+c1×
rand
×
(p
besti-xi)+c2×
rand
×
(g
besti-xi)
[0201]
x
i+1
＝xi+vi[0202]
式中，w
ini
为初始权重因子值，w
end
为最终权重因子值，c1和c2为初始化学习因子，rand为系统产生的介于0和1之间的随机数，每个粒子的历史最优位置p
besti
、粒子群的全局最优位置g
besti
。
[0203]
在应用粒子群优化方法生成对抗场景时，首先在场景空间中随机设置若干初始粒子，并设置适应度以记录粒子的运动，根据历史最佳适应度找到每个粒子历史最优位置进而得到粒子群的全局最优位置。在应用过程中主要需要设置迭代参数、全局最优解满足条件和最大迭代步数来防止过量的不必要计算。
[0204]
方法二、零阶优化攻击对抗方法。零阶优化的攻击是一种有效的黑盒攻击，它只访问模型的输入图像和输出的置信度分数，并进行零阶优化，通过直接估计目标模型的梯度来生成对抗场景。零阶优化攻击对抗方法的核心在于对黑盒模型的梯度进行估计，从而使得其“白盒化”，估计梯度的方法为对输入施加一个极小的扰动并利用其输出计算梯度，表示为如下公式：
[0205][0206][0207]
式中，和分别表示估计的一阶梯度和二阶梯度；h为一个很小的常数，通常取值h＝0.0001；e为是一个标准基向量，方向同x。
[0208]
在得到近似的梯度之后，零阶优化攻击对抗方法就完成了黑盒模型的“白盒化”，进而可以使用环节一中所述的各种白盒攻击对抗方法来进行对抗场景生成。
[0209]
方法三、迁移攻击对抗方法。迁移攻击对抗方法是指利用对抗场景的迁移性和人工智能算法的相似性，首先自己设计训练一个与原黑盒人工智能算法向类似的白盒人工智能算法模型，再对这个白盒模型施加环节一中所述的各种白盒攻击对抗方法来进行对抗场景生成。
[0210]
环节三、无盒攻击对抗。无盒攻击对抗是指在仅能有限地获取部分不完整人工智能算法数据的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法。
这种方法由于与实际应用情景相似而具有极高的实用性，但由于不确定性较强，无盒攻击对抗的效果往往无法得到保证，需要与第四步的有效性验证环节强绑定，才能得到有效的对抗场景。无盒攻击对抗的方法比较分散，包括但不限于以支持向量机(supportvectormachine，svm)为代表的分类算法等低维输入高效能机器学习算法。
[0211]
进一步的，本步骤中的环节一、环节二和环节三彼此之间是并列关系，由于三者是在不同前提条件下完成同一项任务，在实际生产应用过程中需要根据应用情景的不同条件选择其中最合适的一个环节进行应用。
[0212]
步骤三、基于语义分割与裁剪相结合的对抗场景生成。自动驾驶视觉感知系统的计算处理都是基于感知得到的图像数据来进行的，在第二步和第三步前两个步骤中，通过各种方法影响了生成的整个图像的质量来生成对抗场景，而在本步骤中，则通过语义分割与裁剪相结合的方法，首先将即将进行计算处理的图像数据进行语义分割，再根据语义分割的结果，根据关键因素的位置进行裁剪，通过干扰关键因素的图像信息，生成对抗场景。本步骤包括以下两个环节：
[0213]
环节一、语义分割。在本环节中，主要对自动驾驶视觉感知系统的图像数据进行语义分割，并提取关键因素的位置。与传统的计算机视觉语义分割任务不同，由于原始基础场景信息是在第一步的步骤三中通过三维建模建立的，所以语义分割任务就简单了许多，仅需对基础场景元素想成像位置进行投影，即可完成图像的语义分割任务。
[0214]
进一步的，在本步骤中还需要进行关键因素的提取，提取方法包括但不限于评分法、分类法等。主要思想是根据基础场景元素的属性，特别是种类进行标记，然后根据标记的数值进行一次二分类，分为关键因素和次要因素。
[0215]
环节二、裁剪。基于步骤一中语义分割和提取出的关键元素位置信息，对图像数据进行裁剪，裁剪需要满足图像长宽比不变、所有关键因素都不能被完全裁去和关键因素应被尽可能多的部分采去。
[0216]
进一步的，本步中的步骤一、步骤二和步骤三之间为并列关系，彼此相互独立。在本步的进行过程中，根据需求有条件地选择其中有需要的对抗场景元素进行对抗场景生成，并且由于各对抗场景元素之间相互独立，因此在生成对抗场景时，各对抗场景元素具有叠加性，同时作用以生成更加有效的对抗场景。
[0217]
第四步中对抗场景库评估与整合的过程如下：
[0218]
步骤一、对抗场景有效性评估。通过上述第一步、第二步和第三步的过程，生成了对抗场景，并保留着原始的基础场景，为了证明所生成的对抗场景的有效性，并筛掉无效的对抗场景，通过将其作用于常用视觉感知算法从而对其有效性进行全面的评估，主要包括以下两个环节：
[0219]
环节一、对抗场景欺骗性评估。将对抗场景与原始的基础场景之间的差距定义为对抗场景的欺骗性。对抗场景的欺骗性越强，则表示对抗场景与原始的基础场景越相似，越难以区分出二者的区别。对抗场景的欺骗性评价指标选用范数进行表述，对于视觉感知系统而言，使用场景中图像数据的平均二范数和无穷范数表示，二者可以分别表示为如下公式：
[0220]
[0221][0222]
式中，r、g、b分别表示像素值的不同通道；下角标a表示对抗场景，b表示与之对应的基础场景。
[0223]
从实际数据意义出发，平均二范数表示了对抗场景相对于原始的基础场景的改变累积量；而无限范数表示了对抗场景相对于原始的基础场景的最大改变，二者一同，能够较全面的评价对抗场景的欺骗性。
[0224]
环节二、对抗场景对抗性评估。对抗场景的对抗性是对抗场景是否有效的最主要指标，它是指对抗场景中各项对抗性因素发挥作用的程度，对抗场景的对抗性通过平均精度均值(mean average precision，map)，表示为如下公式：
[0225][0226]
式中，n表示帧计数；apa表示对抗场景作用时的测试精度；apb表示基础场景作用时的测试精度。
[0227]
进一步的，所述的常用视觉感知算法包括但不限于各种版本的yolo识别算法、r-cnn识别算法和ssd识别算法等，为了保证对抗场景的综合性能，测试验证时所选取的视觉感知方法种类需多样化，采用yolov5+fastr-cnn两个算法进行测试验证。
[0228]
步骤二、对抗场景库整合。根据步骤一的两个环节的评估，对有效的对抗场景进行整合形成对抗场景库，方法包括但不限于阈值法和按权计分法。
[0229]
阈值法指根据步骤一提出的欺骗度指标和对抗性指标，分别设置阈值进行评判，对于欺骗度和对抗性皆达标的对抗场景进行整合，而剔除掉欺骗度或对抗性至少有其一不达标的对抗场景。
[0230]
按权计分法指首先将步骤一提出的欺骗度指标和对抗性指标进行归一化处理，然后根据两种指标和实际问题的关系设置权重系数，最后将归一化后的欺骗度指标乘以欺骗度权重的结果和将归一化后的对抗性指标乘以对抗性权重的结果相加得到最后评分，并根据分值评判对抗场景是否合格，将合格对抗场景进行整合得到对抗场景库。

技术特征：
1.一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：其方法包括的步骤如下：第一步、场景元素提取与基础场景库构建，具体步骤如下：步骤一、基础场景元素提取；步骤二、对抗场景元素提取，对抗场景元素是指真实存在于驾驶场景中的场景构成元素，具体包括环境中的对抗场景元素和镜头上是对抗场景元素两大类会影响光线传播的对抗场景元素，环境中的对抗场景元素主要包括环境中的恶劣天候类对抗场景元素和光环境类对抗场景元素两类，而镜头上的对抗场景元素主要包括镜头遮挡类对抗场景元素和动态交通参与物形位强耦合类对抗场景元素；步骤三、基础场景库构建，基础场景是对抗场景的基石，生成的所有对抗场景都是在原始的基础场景上加入对抗性的元素形成的，基础场景库的构建过程就是基础场景的生成和合理性验证过程；第二步、基于对抗元素的对抗场景生成，具体步骤如下：步骤一、基于恶劣天候元素的对抗场景生成；步骤二、基于光环境元素的对抗场景生成，光环境元素是指环境中与光线相关的各种环境因素的综合影响结果，由于光环境元素的影响因素较多，因此在建模时单独提出作为独立因素进行建模；步骤三、基于相机遮挡元素的对抗场景生成；步骤四、基于动态交通参与物形位强耦合的对抗场景生成，通过动态交通参与物形位强耦合度元素对场景进行片段提取，动态交通参与物形位强耦合度指在整个动态环境中相邻的两个交通参与物在某一时刻在相机视角中，形位耦合区域与两交通参与物总区域面积的比值，表述为如下公式：式中，s
c
表示形位耦合区域；s
a
表示a物体空间投影区域；s
b
表示b物体空间投影区域；本步骤中，首先在整个基础场景中搜索可能发生动态交通参与物形位强耦合的时间段和发生形位强耦合的动态交通参与物，根据上述公式计算动态交通参与物形位强耦合度，通过设置阈值的方式，在时间轴上筛选动态交通参与物形位强耦合度合格的片段，从而生成了对抗场景；上述的步骤一、步骤二、步骤三和步骤四之间为并列关系，彼此的作用相互独立，根据需求有条件地选择其中有需要的对抗场景元素进行对抗场景生成，各对抗场景元素具有叠加性，能够同时作用以生成更加有效的对抗场景；第三步、基于视觉图像衍生方法的对抗场景生成，包括的步骤如下：步骤一、基于随机噪声注入的对抗场景生成；步骤二、基于采样攻击的对抗场景生成；步骤三、基于语义分割与裁剪相结合的对抗场景生成；本步中的步骤一、步骤二和步骤三之间为并列关系，彼此相互独立，在本步的进行过程中，根据需求有条件地选择其中有需要的对抗场景元素进行对抗场景生成，并且由于各对抗场景元素之间相互独立，因此在生成对抗场景时，各对抗场景元素具有叠加性，同时作用
以生成更加有效的对抗场景；第四步、对抗场景库评估与整合，包括的步骤如下：步骤一、对抗场景有效性评估，通过上述第一步、第二步和第三步的过程，生成了对抗场景，并保留着原始的基础场景，为了证明所生成的对抗场景的有效性，并筛掉无效的对抗场景，通过将其作用于常用视觉感知算法从而对其有效性进行全面的评估；步骤二、对抗场景库整合，根据步骤一的评估，对有效的对抗场景进行整合形成对抗场景库，方法包括阈值法和按权计分法；阈值法指根据步骤一提出的欺骗度指标和对抗性指标，分别设置阈值进行评判，对于欺骗度和对抗性皆达标的对抗场景进行整合，而剔除掉欺骗度或对抗性至少有其一不达标的对抗场景；按权计分法指首先将步骤一提出的欺骗度指标和对抗性指标进行归一化处理，然后根据两种指标和实际问题的关系设置权重系数，最后将归一化后的欺骗度指标乘以欺骗度权重的结果和将归一化后的对抗性指标乘以对抗性权重的结果相加得到最后评分，并根据分值评判对抗场景是否合格，将合格对抗场景进行整合得到对抗场景库。2.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第一步步骤一中基础场景元素提取分为以下两个环节：环节一、基础场景静态元素提取，静态元素指感知环境中全程保持静态的元素，基础场景静态元素包括环境静态元素和道路静态元素，环境静态元素主要包括环境中的江河湖海、田园山川、房屋街道和城市绿化，环境静态元素的提取方法主要是三维立体建模；道路静态元素进一步划分为交通信号元素和道路元素，其提取主要参考gb5768国家标准，其中交通信号元素主要包括各类交通标志和交通信号灯，与环境静态元素相同，交通信号提取采用三维立体建模的方法进行，而道路元素主要包括车道类型、车道线类型、车道宽度、坡度和路面附着系数，主要根据国家标准的规定采用穷举的方法进行提取，对于无法穷举的元素采用等差数列的形式进行提取；环节二、基础场景动态元素提取，动态元素指感知环境中存在动态特征的交通参与物及其动态属性，交通参与物主要包括车辆、行人和动物，其提取采用三维立体建模的方法进行；动态属性则根据不同的交通参与物类型而不同，如车辆的动态属性包括与主车的横纵向相对距离、行车轨迹和驾驶风格，动态属性采取等差数列的形式进行提取。3.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第一步步骤三中基础场景库构建包括的环节如下：环节一、基础场景生成，基础场景生成基于高覆盖度的原则进行，通过设置场景各种元素的数量，然后通过穷举的方法，从第一步步骤一中提取出的基础场景元素选择进行排列组合；环节二、基础场景合理性筛选，经过环节一中所述的排列组合方法所生成的基础场景将包含一部分不合理场景，通过设置明确的规则，在环节一每通过排列组合生成一个基础场景，就通过一次规则筛查，将通过筛查的保留下最终整合形成基础场景库。4.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第二步步骤一中基于恶劣天候元素的对抗场景生成包括的环节如下：环节一、能见度建模，在能见度建模环节，通过恶劣天候的程度计算最大能见度，并作
用于自动驾驶视觉感知系统，能见度建模通过查表法进行，规定不同等级的恶劣天候与能见度之间的关系，能见度作用于自动驾驶视觉感知系统的方法通过直接影响其渲染范围的方式进行；环节二、光环境变化建模，不同程度的恶劣天候会引起光照强度的不同，因而影响了场景的光环境，由于光环境不止受恶劣天候的影响，因此在本环节建模时，将恶劣天候的影响输入给接下来的第二步中的步骤二，通过与第二步步骤二中其他影响光环境的因素叠加作用共同进行光环变化建模；环节三、天气环境遮挡物建模，恶劣天候对场景的对抗效果还表现在会出现一定的遮挡物，遮挡物建模分为两种，一种是雾、霾和沙尘类的均匀遮挡物，这类遮挡物通过一层半透明的静态滤镜形式进行建模；另一种为雨和雪类的不均匀遮挡物，这类遮挡物则通过三维动态建模的形式进行建模。5.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第二步步骤三中的基于相机遮挡元素的对抗场景生成主要通过在基础场景的基础上添加相机遮挡这种对抗场景元素来生成对抗场景，相机遮挡元素分布于对抗场景的相机镜头上，分为全透明遮挡、半透明遮挡和不透明遮挡三大类，具体环节如下：环节一、基础形状生成，相机遮挡元素的一个重要属性是其形状属性，复杂多样的形状通常由一个或数个简单的基础图形组合而成，首先进行基础形状生成的环节来为生成完整的相机遮挡元素提供数据基础，基础形状主要包括正多边形、圆形与椭圆形和扇形，基础形状生成时根据其类型的不同进行不同的二维建模；环节二、基础形状叠加，一个完整的相机遮挡元素通常由一个或数个简单的基础图形组合而成，将前述环节一中生成的基础形状进行叠加得到相机遮挡元素的形状，在进行基础形状叠加时，将每一个基础形状抽象为一个向量，那么叠加的过程就为抽选合适的向量并为其起点和方向角赋值两个过程；在进行了基础形状的叠加后会出现几个基础形状连成一个整块的复杂形状的情况，这样，这个复杂形状就变成了一个整体，这个整体成为一个连通集，对连通集进行融合提取，在对抗场景的相机镜头平面内，连通集的识别方法定义为对于一个复杂形状中的任意两个点，若该两点之间找到一条通路，该通路上的所有点都属于这个复杂形状，那么它就是一个连通集，根据此定义的逆否命题即完成连通集的整合提取；环节三、遮挡元素透光性设置，对于相机遮挡元素而言，除了形状属性外还有透光性属性，一个遮挡元素中的一个连通集具有相同的透光性属性，在此前提下，对遮挡元素中的每个连通集进行透光性属性设置，根据透光性的不同，将遮挡元素分为全透明遮挡、半透明遮挡和不透明遮挡三大类，其中全透明遮挡对光线无遮挡作用，仅需对其折射率进行赋值即完成其透光性元素的设置；半透明遮挡首先需要设置其对光线强弱的削减系数，再设置其折射率，此外半透明遮挡还带有一定的颜色，通过设置其对不同颜色的光的不同削减系数来实现；不透明遮挡由于对光线几乎完全遮挡，表现为对相机镜头此部分光线的完全遮盖，并将穿过此部分的光线完全变化为另一种颜色；环节四、在基于相机遮挡元素的对抗场景生成过程中，需要对遮挡基础形状的面积进行约束，过大面积的遮挡虽然必然会有较高的对抗性，但在实际自动驾驶场景中几乎不会发生，为了保证所生成的对抗场景库的有效性，需要避免过大面积的遮挡，在环节二中额外
增加遮挡元素总面积计量，并计算遮挡面积百分比，通过设置最大遮挡面积百分比来规避此类情况。6.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第三步步骤一中随机噪声是真实驾驶场景中视觉感知系统必定会面对的干扰因素，在生成对抗场景时，引入随机噪声这一元素，使得对抗场景更加有效，更能够使得测试场景真实性显著上升，根据真实驾驶场景中存在的数字图像噪声形式，注入噪声主要包括以下方法：方法一、高斯噪声，高斯噪声是真实驾驶环境中最广泛存在的噪声，它指的是概率密度函数服从高斯分布即正态分布的一类噪声，如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声，高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性；随机噪声的建模通过其概率密度函数进行，高斯噪声的pdf表示为如下公式：式中，z表示灰度值或像素值，z表示z的平均值，σ表示z的标准差，标准差的平方σ2称为z的方差；方法二、瑞利噪声，瑞利噪声是一种广泛存在于数字图像中的噪声，它指的是由于图像信号在传输或存储的过程中，受到信号功率的不同的干扰，导致图像的亮度值发生变化而产生的噪声，它的强度与图像亮度的平方根成正比，因此图像灰度越高瑞利噪声的影响也越明显，其pdf表示为如下公式：方法三、伽马噪声，伽马噪声又称爱尔兰噪声，是由于图像在采集过程中信号强度的变化和电路波动的原因引起的噪声，会导致图像对比度的减弱，并且在图像的低灰度级处呈现较高的噪声干扰效果，其pdf表示为如下公式：方法四、脉冲噪声，脉冲噪声在快速过渡的情况下产生，如在成像期间发生的错误开关操作，其中，双极脉冲噪声是最常见的脉冲噪声之一，又称椒盐噪声，也称散粒噪声或尖峰噪声，它随机改变一些像素值，是由图像传感器、传输信道或解码处理过程中产生的黑白相间的亮暗点噪声，由图像切割引起，双极脉冲噪声的pdf表示为如下公式：方法五、指数噪声，指数噪声是由于图像在采集过程中信号强度的变化和光线散射的
原因引起的噪声，指数噪声会引起图像亮度的随机变化，且它的特点是在高灰度级处呈现较高的噪声干扰，而在低灰度级处则干扰较小，其pdf表示为如下公式：方法六、乘性噪声，乘性噪声由信道不理想引起，它们与信号的关系是相乘，乘性噪声更加自然柔和，往往伴随在图像的整个产生过程中，且由于其柔和的乘性特性，常规的滤波方法无法很好地处理这种噪声，具有较强的对抗性，乘性噪声不使用pdf来表示，而直接表示为如下公式：v(t)＝f(t)f(s(t))式中，f(t)为噪声函数，f(s(t))为原图像素矩阵或像素值。7.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第三步步骤二中基于采样攻击的对抗场景生成包括环节如下：环节一、白盒攻击对抗，白盒攻击对抗是指在已知人工智能算法的模型结构的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法，白盒攻击对抗采用一些针对性的方法快速的找到人工智能算法的“弱点”，具有较强的对抗性，白盒攻击对抗包括的方法如下：方法一、快速梯度符号法，快速梯度符号法是一种利用人工智能算法fgsm的梯度来进行对抗攻击的方法，对于自动驾驶视觉感知系统，fgsm使用相对于输入场景图像的损失的梯度来创建使损失函数最大化的新场景图像，fgsm生成对抗场景表示为如下公式：式中，x
a
表示对抗场景的值；x表示原始基础场景生成的图像数据值；y表示原始基础场景的输出值；∈表示较小的扰动数值；θ表示模型参数；j表示损失计算函数；fgsm生成对抗场景时，首先根据人工智能算法的损失函数确定梯度方向，然后根据干扰的强弱需求程度确定扰动量大小，并根据上式作用于图像的每一个像素点，通常扰动量设置较小，甚至生成的对抗场景与基础场景之间的差别是人眼无法察觉的程度，即得到一个效果较好的对抗场景；方法二、投影梯度下降法，投影梯度下降pgd法是一种迭代学习的方法，对于自动驾驶视觉感知系统，pgd法通过多次施加极小扰动并进行投影的方式，对图像进行作用来创建对抗场景图像，pgd法生成对抗场景表示为如下公式：x0＝x式中x0表示原始的基础场景生成的图像数据值；x
n
表示第n次迭代的对抗场景生成的图像数据值；y
true
原始基础场景的输出值；α表示较小的扰动数值；θ表示模型参数；j表示损失计算函数；pgd法生成对抗场景时，首先根据人工智能算法的损失函数确定梯度方向，然后根据干扰的强弱需求程度确定扰动量大小，并循环进行投影并迭代数次得到对抗场景图像，通常扰动量设置较小，甚至生成的对抗场景与基础场景之间的差别是人眼无法察觉的程度，即
得到一个效果较好的对抗场景；方法三、c&w法，c&w法是一种基于优化的方法，它使用对抗目标函数，通过优化步骤来生成可重复性高、通用性强的对抗场景，即在数个模型、数个输入上都能起到有效的对抗效果，c&w法表示为如下公式：r
n
＝a
n-x
n
min||r
n
||+cf(a
n
)s.t.f(a
n
)＝max(max{z(a
n
)t:i≠t}-z(a
n
)t-k)式中，w
n
表示优化参数；a
n
表示对抗样本；x
n
表示干净样本；r
n
代表对抗样本与干净样本的距离；c表示超参数，用以权衡两loss之间的关系；z(a
n
)t表示对抗样本输入模型后，未经过softmax层输出结果的第t个类别值；k表示置信度；在使用c&w法生成对抗场景时，根据实际场景需求调节参数c和k，由于c&w法的优化方法特性，其生成的对抗场景干扰与对应的原基础场景相似度较高，但也造成了其生成较慢效率较低的特点；环节二、黑盒攻击对抗，黑盒攻击对抗是指在未知人工智能算法的模型结构，但能够获得完整的人工智能算法输入输出信号的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法，由于黑盒攻击对抗的黑盒特性，黑盒攻击对抗采用一些非针对性的方法快速的找到人工智能算法的“弱点”，虽然对抗性较环节一中所述的白盒攻击对抗较弱，但通用性更强，黑盒攻击对抗包括的方法如下：方法一、粒子群优化方法，粒子群优化方法是一种典型的群体智能优化方法，该方法中假定每个粒子记录下自己到过的历史最优位置，使得粒子之间通过记忆信息共享实现群体的优化，粒子群算法是一种不需要梯度信息的全局优化算法，能够直接引用于黑盒攻击对抗的应用情景，粒子群优化方法表述为如下公式：w(g)＝(w
ini-w
end
)(g
k-g)/g
k
+w
end
v
i+1
＝w(g)
×
v
i
+c1×
rand
×
(p
besti-x
i
)+c2×
rand
×
(g
besti-x
i
)x
i+1
＝x
i
+v
i
式中，w
ini
为初始权重因子值，w
end
为最终权重因子值，c1和c2为初始化学习因子，rand为系统产生的介于0和1之间的随机数，每个粒子的历史最优位置p
besti
、粒子群的全局最优位置g
besti
；在应用粒子群优化方法生成对抗场景时，首先在场景空间中随机设置数个初始粒子，并设置适应度以记录粒子的运动，根据历史最佳适应度找到每个粒子历史最优位置进而得到粒子群的全局最优位置，在应用过程中需要设置迭代参数、全局最优解满足条件和最大迭代步数来防止过量的不必要计算；方法二、零阶优化攻击对抗方法，零阶优化的攻击是一种有效的黑盒攻击，它只访问模型的输入图像和输出的置信度分数，并进行零阶优化，通过直接估计目标模型的梯度来生成对抗场景，零阶优化攻击对抗方法的核心在于对黑盒模型的梯度进行估计，从而使得其“白盒化”，估计梯度的方法为对输入施加一个极小的扰动并利用其输出计算梯度，表示为如下公式：
式中，和分别表示估计的一阶梯度和二阶梯度；h为一个很小的常数，通常取值h＝0.0001；e为是一个标准基向量，方向同x；在得到近似的梯度之后，零阶优化攻击对抗方法就完成了黑盒模型的“白盒化”，进而使用环节一中所述的各种白盒攻击对抗方法来进行对抗场景生成；方法三、迁移攻击对抗方法，迁移攻击对抗方法是指利用对抗场景的迁移性和人工智能算法的相似性，首先自己设计训练一个与原黑盒人工智能算法相类似的白盒人工智能算法模型，再对这个白盒模型施加环节一中所述的各种白盒攻击对抗方法来进行对抗场景生成；环节三、无盒攻击对抗，无盒攻击对抗是指在有限地获取部分不完整人工智能算法数据的前提下，针对人工智能算法进行专门的对抗攻击从而生成对抗场景的方法；上述的环节一、环节二和环节三彼此之间是并列关系，由于三者是在不同前提条件下完成同一项任务，在实际应用过程中需要根据应用情景的不同条件选择其中最合适的一个环节进行应用。8.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第三步步骤三中自动驾驶视觉感知系统的计算处理都是基于感知得到的图像数据来进行的，在第二步和第三步前两个步骤中，通过各种方法影响了生成的整个图像的质量来生成对抗场景，而在本步骤中，则通过语义分割与裁剪相结合的方法，首先将即将进行计算处理的图像数据进行语义分割，再根据语义分割的结果，根据关键因素的位置进行裁剪，通过干扰关键因素的图像信息，生成对抗场景，包括的环节如下：环节一、语义分割，在本环节中，主要对自动驾驶视觉感知系统的图像数据进行语义分割，并提取关键因素的位置，对基础场景元素想成像位置进行投影，即可完成图像的语义分割任务，并且进行关键因素的提取，提取方法包括评分法和分类法，主要思想是根据基础场景元素的属性，特别是种类进行标记，然后根据标记的数值进行一次二分类，分为关键因素和次要因素；环节二、裁剪，基于第三步步骤一中语义分割和提取出的关键元素位置信息，对图像数据进行裁剪，裁剪需要满足图像长宽比不变、所有关键因素都不能被完全裁去和关键因素部分裁去。9.根据权利要求1所述的一种面向自动驾驶视觉感知系统的对抗场景生成方法，其特征在于：所述的第四步步骤一中的对抗场景有效性评估包括的环节如下：环节一、对抗场景欺骗性评估，将对抗场景与原始的基础场景之间的差距定义为对抗场景的欺骗性，对抗场景的欺骗性越强，则表示对抗场景与原始的基础场景越相似，越难以区分出二者的区别，对抗场景的欺骗性评价指标选用范数进行表述，对于视觉感知系统而言，使用场景中图像数据的平均二范数和无穷范数表示，二者分别表示为如下公式：
式中，r、g、b分别表示像素值的不同通道；下角标a表示对抗场景，b表示与之对应的基础场景；从实际数据意义出发，平均二范数表示了对抗场景相对于原始的基础场景的改变累积量；而无限范数表示了对抗场景相对于原始的基础场景的最大改变，二者一同，能够较全面的评价对抗场景的欺骗性；环节二、对抗场景对抗性评估，对抗场景的对抗性是对抗场景是否有效的最主要指标，它是指对抗场景中各项对抗性因素发挥作用的程度，对抗场景的对抗性通过平均精度均值map表示为如下公式：式中，n表示帧计数；ap
a
表示对抗场景作用时的测试精度；ap
b
表示基础场景作用时的测试精度；常用视觉感知算法包括yolo识别算法、r-cnn识别算法和ssd识别算法，为了保证对抗场景的综合性能，测试验证时所选取的视觉感知方法种类需多样化，采用yolov5+fastr-cnn两个算法进行测试验证。

技术总结
本发明公开了一种面向自动驾驶视觉感知系统的对抗场景生成方法，其方法包括的步骤为：第一步、场景元素提取与基础场景库构建；第二步、基于对抗元素的对抗场景生成；第三步、基于视觉图像衍生方法的对抗场景生成；第四步、对抗场景库评估与整合；有益效果：对自动驾驶测试场景中的所有常用对抗场景元素进行了系统性的梳理；基于视觉图像衍生方法进行了详尽的方法设计，具有极高可行性；包括了一种综合性的对抗场景有效性验证方法，从而确保了生成的对抗场景的有效性；对抗场景具有较高的覆盖度；无论是单目视觉、双目视觉、多目视觉或是多相机系统都能够适用，具有极高的适应能力；符合各项标准的规定，实用性较高。实用性较高。实用性较高。


技术研发人员：孙博华 冷炘伦 赵帅 吕吉亮 陶永超 高振海 李思泽 张宇飞
受保护的技术使用者：吉林大学
技术研发日：2023.06.09
技术公布日：2023/9/12