仿真测试结果的有效性评估方法及装置与流程

1.本发明涉及无人驾驶仿真技术领域，具体而言，涉及一种仿真测试结果的有效性评估方法及装置。


背景技术：

2.近年来，虽然车辆无人驾驶技术得到了飞速发展，但公众及监管方对其安全性仍存在顾虑，考虑到无人驾驶系统本身的不可解释性及其运行环境的复杂性，需要利用针对实际驾驶场景采集的场景数据，模拟仿真无人驾驶车辆的驾驶场景进行仿真测试。
3.目前，在进行仿真测试后，通常直接根据无人驾驶车辆的仿真测试结果判定无人驾驶系统是否存在安全隐患。然而，仿真场景数据与真实场景数据是存在区别的，得到的仿真测试结果数据很可能是无效数据，因此并不能直接将仿真测试结果数据作为评价无人驾驶系统安全性的有效数据。


技术实现要素：

4.本发明提供一种仿真测试结果的有效性评估方法及装置，主要在于能够评估无人驾驶车辆仿真测试结果的有效性。
5.根据本发明实施例的第一方面，提供一种仿真测试结果的有效性评估方法，包括：
6.将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；
7.根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；
8.根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
9.根据本发明实施例的第二方面，提供一种仿真测试结果的有效性评估装置，包括：
10.匹配单元，用于将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；
11.计算单元，用于根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；
12.评估单元，用于根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
13.根据本发明实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：
14.将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；
15.根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；
16.根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
17.根据本发明实施例的第四方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：
18.将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；
19.根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；
20.根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
21.本发明实施例的创新点包括：
22.1、以无人驾驶车辆在封闭道路场景下的测试结果为依据，对无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性进行评估，是本发明实施例的创新点之一。
23.2、采用场景映射算法，实现封闭道路场景与模拟仿真场景之间的精准映射，是本发明实施例的创新点之一。
24.3、根据模拟仿真场景的有效性评估结果和置信度要求，给出仿真运行次数建议，是本发明实施例的创新点之一。
25.本发明提供的一种仿真测试结果的有效性评估方法及装置，与现有技术直接根据无人驾驶车辆的仿真测试结果判定无人驾驶系统是否存在安全隐患的方式相比，能够将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景，与此同时，根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度，最终根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。由此能够依据无人驾驶车辆在封闭道路场景下的测试结果，对无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性进行精确评估，从而能够保证无人驾驶车辆的仿真测试结果的可靠性，以便利用该仿真测试结果准确评价无人驾驶系统的安全性。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1示出了本发明实施例提供的一种仿真测试结果的有效性评估方法流程示意
图；
28.图2示出了本发明实施例提供的另一种仿真测试结果的有效性评估方法流程示意图；
29.图3示出了本发明实施例提供的一种仿真测试结果的有效性评估装置的结构示意图；
30.图4示出了本发明实施例提供的另一种仿真测试结果的有效性评估装置的结构示意图；
31.图5示出了本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.目前，由于仿真测试结果数据很可能是无效数据，因此并不能直接将仿真测试结果数据作为评价无人驾驶系统安全性的有效数据。
35.为了解决上述问题，本发明实施例提供了一种仿真测试结果的有效性评估方法，如图1所示，该方法包括：
36.步骤101、将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景。
37.其中，模拟仿真场景库中记录有模拟不同真实道路场景的多个模拟仿真场景，封闭道路场景与真实道路场景较为贴近，是一种实测场景。
38.本发明实施例主要适用于评估无人驾驶车辆的仿真测试结果有效性的场景。本发明实施例的执行主体为能够评估仿真测试结果有效性的装置或者设备。
39.由于封闭道路场景是实测场景，无人驾驶车辆在封闭道路场景下的测试结果的置信度较高，又由于同一测试场景下的测试结果应该较为相近，因此本发明实施例可以利用无人驾驶车辆在封闭道路场景下的测试结果，评估无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性。
40.对于本发明实施例，在进行仿真测试结果的有效性评估之前，可以将多个封闭道路场景与模拟仿真场景库中的多个模拟仿真场景进行一一对应。具体地，可以先按照封闭道路场景所处的地理位置和模拟仿真场景所处的地理位置，将封闭道路场景与模拟仿真场景进行匹配，确定每个封闭道路场景对应的模拟仿真场景。
41.进一步地，如果在地理位置匹配过程中，与封闭道路场景相匹配的模拟仿真场景存在两个或者多个，则需要根据无人驾车辆在至少两个相匹配的模拟仿真场景下的仿真测试结果中的各个车辆参数值，以及无人驾驶车辆在封闭道路场景下的封闭测试结果中的各
个车辆参数值，将封闭道路场景与至少两个相匹配的模拟仿真场景做进一步匹配，确定唯一与封闭道路场景相对应的模拟仿真场景。由此按照上述方式能够实现封闭道路场景与模拟仿真场景之间的映射，进而通过该映射关系，能够依据封闭道路场景下的封闭测试结果，对相应模拟仿真场景下的仿真测试结果的有效性进行评估。
42.步骤102、根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度。
43.其中，仿真测试结果和封闭测试结果所涉及的各个车辆参数，包括时变参数和非时变参数，时变参数为随时间变化的参数，具体包括车辆横向加速度、车辆纵向加速度等，非时变参数为不随时间变化的参数，具体包括碰撞次数、紧急制动次数、起步溜坡距离等。需要说明的是，本发明实施例中仿真测试结果和封闭测试结果所涉及的各个车辆参数并不局限于上述列举的车辆参数，也可以包括其他参数。
44.对于本发明实施例，在确定封闭道路场景对应的模拟仿真场景之后，可以根据封闭道路场景下的封闭测试结果，评估相应模拟仿真场景下的仿真测试结果的有效性。具体地，可以对比封闭测试结果中的各个车辆参数值与仿真测试结果中的各个车辆参数值，即确定封闭测试结果中的各个车辆参数值与仿真测试结果中的各个车辆参数值之间的差异程度，该差异程度越大，说明仿真测试结果偏离封闭测试结果越远，仿真测试结果的置信度越低；该差异程度越小，说明仿真测试结果与封闭测试结果越接近，仿真测试结果的置信度越高。
45.步骤103、根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
46.对于本发明实施例，为了评估仿真测试结果的有效性，即仿真测试结果的置信度，步骤103具体包括：根据所述历史测试结果之间的历史差异程度，确定正态分布曲线；确定所述差异程度在所述正态分布曲线上的概率密度值；根据所述概率密度值，确定所述仿真测试结果对应的有效性评分；当所述有效性评分大于预设评分时，确定所述仿真测试结果有效。
47.对于本发明实施例，可以预先收集特定时间区域内无人驾驶车辆在封闭道路场景下的历史测试结果和在模拟仿真场景下的历史测试结果，通过对比每组历史测试结果，能够得到一个历史差异程度数据，因此可以将获取的历史差异程度数据看作符合正态分布，根据各个历史差异程度数据，能够计算出该正态分布的期望值μ和标准差σ。进一步地，将当前计算出的仿真测试结果与封闭测试结果之间的差异程度数据代入至正态分布的概率密度函数中，能够得到该差异程度数据对应的概率密度值，其中，概率密度函数的具体公式如下：
[0048][0049]
其中，f(x)为概率密度函数，μ为正态分布的期望值，σ为正态分布的标准差，将计算出的差异程度数据作为x代入上述公式，能够得到概率密度值。
[0050]
进一步地，可以按照正态分布的概率密度值0-1，将评分划分成0-100。例如，通过
计算确定该差异程度数据对应的概率密度值为0.98，此时确定仿真测试结果对应的有效性评分为98分。该有效性评分越高，仿真测试结果对应的有效性(置信度)越高；相反有效性评分越低，仿真测试结果对应的有效性(置信度)越低。
[0051]
进一步地，可以将确定的有效性评分与预设评分进行比对，当有效性评分大于预设评分时，确定本次仿真测试结果有效；当有效性评分小于或者等于预设评分时，确定本次仿真测试结果无效。例如，预设评分为80分，本次确定的有效性评分为85分，由于其大于预设评分80分，因此确定本次仿真测试结果有效。
[0052]
由此可知，依据无人驾驶车辆在封闭道路场景下的测试结果，利用正态分布的概率密度函数计算仿真测试结果的有效性评分，以实现对仿真测试结果的有效性评估是本发明的发明点。
[0053]
需要说明的是，本发明实施例中的预设评分可以根据实际业务需求进行设定，本发明实施例对此不做具体限定。
[0054]
本发明实施例实施例提供的一种仿真测试结果的有效性评估方法，与现有技术直接根据无人驾驶车辆的仿真测试结果判定无人驾驶系统是否存在安全隐患的方式相比，能够依据无人驾驶车辆在封闭道路场景下的测试结果，对无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性进行精确评估，从而能够保证无人驾驶车辆的仿真测试结果的可靠性，以便利用该仿真测试结果准确评价无人驾驶系统的安全性。
[0055]
进一步的，为了更好的说明上述对仿真测试结果的有效性评估过程，作为对上述实施例的细化和扩展，本发明实施例提供了另一种仿真测试结果的有效性评估方法，如图2所示，所述方法包括：
[0056]
步骤201、获取所述封闭道路场景对应的地理位置信息，以及模拟仿真场景库中各个模拟仿真场景对应的地理位置信息。
[0057]
其中，地理位置信息具体可以为通过gps定位得到的经纬度信息，或者通过高精度地图定位得到的坐标信息。
[0058]
对于本发明实施例，在封闭道路场景和模拟仿真场景搭建的过程中，已知场景的地理位置信息，因此可以获取封闭道路场景对应的地理位置信息，以及模拟仿真场景对应的地理位置信息，以便基于该地理位置信息，将封闭道路场景模拟仿真场景进行匹配。
[0059]
步骤202、根据所述封闭道路场景对应的地理位置信息，以及所述各个模拟仿真场景对应的地理位置信息，将所述封闭道路场景与所述各个模拟仿真场景进行地理位置匹配。
[0060]
对于本发明实施例，在地理位置匹配的过程中，如果封闭道路场景对应的地理位置信息与模拟仿真场景库中某模拟仿真场景对应的地理位置信息相同，则确定封闭道路场景与该模拟仿真场景相匹配；相反如果封闭道路场景对应的地理位置信息与模拟仿真场景库中某模拟仿真场景对应的地理位置信息不同，则确定封闭道路场景与该模拟仿真场景不匹配。
[0061]
步骤203、若存在唯一与所述封闭道路场景相匹配的模拟仿真场景，则将唯一相匹配的模拟仿真场景确定为所述封闭道路场景对应的模拟仿真场景。
[0062]
对于本发明实施例，如果模拟仿真场景库中仅存在一个与封闭道路场景地理位置相同的模拟仿真场景，则将唯一相匹配的模拟仿真场景确定为该封闭道路场景对应的模拟
仿真场景。
[0063]
步骤204、若存在至少两个与所述封闭道路场景相匹配的模拟仿真场景，则从至少两个相匹配的模拟仿真场景中确定所述封闭道路场景对应的模拟仿真场景。
[0064]
对于本发明实施例，如果模拟仿真场景库中存在至少两个与封闭道路场景地理位置相同的模拟仿真场景，则从至少两个相匹配的模拟仿真场景中确定该封闭道路场景唯一对应的模拟仿真场景。针对该过程，作为一种可选实施方式，所述方法包括：获取所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果，以及在至少两个相匹配的模拟仿真场景下的测试结果；计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度；根据所述至少两个相匹配的模拟仿真场景分别对应的余弦相似度，确定最大余弦相似度及其对应的模拟仿真场景；将所述最大余弦相似度对应的模拟仿真场景确定为所述封闭道路场景对应的模拟仿真场景。
[0065]
具体地，可以根据无人驾驶车辆在封闭道路场景下的封闭测试结果中的各个车辆参数值，以及在至少两个相匹配的模拟仿真场景下的测试结果中的各个车辆参数值，分别计算至少两个测试结果与封闭测试结果之间的余弦相似度，余弦相似度的具体计算公式如下：
[0066][0067]
其中，cos(θ)为至少两个测试结果中的任意一个仿真测试结果与封闭测试结果之间的余弦相似度，x和y分别为仿真测试结果和封闭测试结果，xi为仿真测试结果中的各个车辆参数值，yi为封闭测试结果中的各个车辆参数值，w和v分别为仿真测试结果和封闭测试结果对应的权重向量，具体可以根据专家经验和历史数据优化拟合得出，wi和vi分别为相应的权重分量。由此通过上述公式能够计算出至少两个模拟仿真场景下的测试结果分别与封闭测试结果之间的余弦相似度。
[0068]
由于相似场景的测试结果比较接近，因此计算的余弦相似度越大，代表仿真测试结果与封闭测试结果越接近，即模拟仿真场景与封闭道路场景之间的相似度越高；相反计算的余弦相似度越小，代表仿真测试结果与封闭测试结果相差越大，即模拟仿真场景与封闭道路场景之间的相似度越低。由此在确定至少两个相匹配的模拟仿真场景分别与封闭道路场景之间的余弦相似度之后，可以筛选出最大余弦相似度对应的模拟仿真场景，并将最大余弦相似度对应的模拟仿真场景确定为封闭道路场景唯一对应的模拟仿真场景。
[0069]
由此可知，通过分别计算至少两个相匹配的模拟仿真场景下的测试结果与封闭道路场景下的封闭测试结果之间的余弦相似度，能够筛选出封闭道路场景唯一对应的模拟仿真场景，从而能够依据无人驾驶车辆在封闭道路场景下的测试结果，对无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性进行精确评估，该部分内容是本发明的发明点。
[0070]
对于本发明实施例，仿真测试结果和封闭测试结果所涉及的参数可能既包括时变参数，也包括非时变参数，非时变参数的参数值由于是固定值，不随时间变化，因此可以直接用来参与计算，而时变参数是一条随时间变化的连续曲线，并不能直接用来参与计算，因此需要提取时变参数的离散特征值，并根据该离散特征值，计算相应的时频域特征，将计算
的时频域特征作为参与余弦相似度计算的参数值。
[0071]
基于此，所述计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度，包括：若至少两个所述测试结果和所述封闭测试结果中所涉及的各个车辆参数随时间变化，则分别提取至少两个所述测试结果中所涉及的各个车辆参数的离散特征值，以及所述封闭测试结果中所涉及的各个车辆参数的离散特征值；根据至少两个所述测试结果中所涉及的各个车辆参数的离散特征值，分别确定至少两个所述测试结果中的各个车辆参数值；根据所述封闭测试结果中所涉及的各个车辆参数的离散特征值，确定所述封闭测试结果中的各个车辆参数值；根据至少两个所述测试结果中的各个车辆参数值，以及所述封闭测试结果中的各个车辆参数值，计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度。
[0072]
具体地，针对测试结果中所涉及的时变参数，如车辆横向加速度、车辆纵向加速度等，可以每隔预设时间间隔获取相应时间节点的离散特征值，如在1分钟内，每隔10s获取一次车辆纵向加速度，由此能够得到车辆纵向加速度的6个离散特征值。进一步地，在获取时变参数的离散特征值之后，可以根据该离散特征值，计算时变参数的方根幅值、均方根值、峰值、脉冲指标等，并将其作为时变参数的时频域特征参与余弦相似度的计算。其中，方根幅值、均方根值、峰值、脉冲指标的具体计算公式如下：
[0073][0074][0075]
p3＝max|x(n)|
[0076][0077]
其中，p1、p2、p3和p4分别为方根幅值、均方根值、峰值和脉冲指标，x(n)代表获取的时变参数的离散特征值，n代表离散特征值的数量，n代表第n个离散特征值。由此按照上述公式能够得到时变参数的时频域特征，以便使用该时频域特征参与余弦相似度的计算。
[0078]
例如，测试结果中所涉及的参数包括碰撞次数、紧急制动次数、车辆纵向加速度，由于碰撞次数和紧急制动次数是非时变参数可以直接参与余弦相似度计算，而车辆纵向加速度是时变参数，不能直接参与余弦相似度的计算，因此需要按照上述方式提取车辆纵向加速度的时频域特征，将该时频域特征作为参数值参与余弦相似度的计算，最终测试结果中参与计算的各个车辆参数值为(x1,x2,x3,x4,x5,x6)，x1和x2分别代表碰撞次数和紧急制动次数，x3、x4、x5和x6分别代表车辆纵向加速度的方根幅值、均方根值、峰值和脉冲指标。
[0079]
由此可知，通过上述时频域特征的计算公式，能够确定封闭测试结果和仿真测试结果中参与计算的参数值，从而能够计算出两者之间的差异程度，进而能够依据该差异程度，对仿真测试结果的有效性进行评估，该部分内容是本发明的发明点。
[0080]
步骤205、根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭
测试结果中各个车辆参数值之间的差异程度。
[0081]
对于本发明实施例，针对确定仿真测试结果与封闭测试结果之间差异程度的具体过程，步骤205具体包括：根据所述仿真测试结果中的各个车辆参数值，确定所述仿真测试结果对应的第一向量；根据所述封闭测试结果中的各个车辆参数值，确定所述封闭测试结果对应的第二向量；计算所述第一向量与所述第二向量之间的欧式距离；根据计算的所述欧式距离，确定所述差异程度。
[0082]
例如，仿真测试结果对应的第一向量为(x1,x2,x3,x4,x5,x6)，x1和x2分别代表碰撞次数和紧急制动次数，x3、x4、x5和x6分别代表车辆纵向加速度的方根幅值、均方根值、峰值和脉冲指标，封闭测试结果对应的第二向量为(y1,y2,y3,y4,y5,y6)，y1和y2分别代表碰撞次数和紧急制动次数，y3、y4、y5和y6分别代表车辆纵向加速度的方根幅值、均方根值、峰值和脉冲指标，计算第一向量与第二向量之间的欧式距离，将计算的欧式距离确定为仿真测试结果和封闭测试结果之间的差异程度数据。
[0083]
步骤206、根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
[0084]
对于本发明实施例，在计算出仿真测试结果和封闭测试结果之间的差异程度数据之后，可以将该差异程度数据与历史差异程度数据相结合，评估仿真测试结果的有效性，该过程与步骤103完全相同，在此不再赘述。
[0085]
进一步地，本发明实施例不仅能够对仿真测试结果的有效性进行评估，还能够给出仿真运行次数的建议，合理规划仿真测试强度。基于此，所述方法还包括：获取所述仿真测试结果对应的置信度要求；将所述概率密度值确定为所述无人驾驶车辆对应的有效性指标；根据所述置信度要求和所述有效性指标，得到建议的仿真运行次数。其中，仿真运行次数的具体计算公式如下：
[0086]kn
+z＝1
[0087]
n＝log(1-z)/logk
[0088]
其中，k为有效性指标，z为置信度要求，n为仿真运行次数。
[0089]
由此可知，按照上述公式能够得到建议的仿真运行次数，通过该仿真运行次数，能够合理规划仿真测试强度，该部分内容是本发明的发明点。
[0090]
本发明实施例实施例提供的另一种仿真测试结果的有效性评估方法，与现有技术直接根据无人驾驶车辆的仿真测试结果判定无人驾驶系统是否存在安全隐患的方式相比，能够依据无人驾驶车辆在封闭道路场景下的测试结果，对无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性进行精确评估，从而能够保证无人驾驶车辆的仿真测试结果的可靠性，以便利用该仿真测试结果准确评价无人驾驶系统的安全性。
[0091]
进一步地，作为图1的具体实现，本发明实施例提供了一种仿真测试结果的有效性评估装置，如图3所示，所述装置包括：匹配单元31、计算单元32和评估单元33。
[0092]
所述匹配单元31，可以用于将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景。
[0093]
所述计算单元32，可以用于根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参
数值与所述封闭测试结果中各个车辆参数值之间的差异程度。
[0094]
所述评估单元33，可以用于根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
[0095]
在具体应用场景中，所述匹配单元31，如图4所示，包括：获取模块311、匹配模块312和第一确定模块313。
[0096]
所述获取模块311，可以用于获取所述封闭道路场景对应的地理位置信息，以及模拟仿真场景库中各个模拟仿真场景对应的地理位置信息。
[0097]
所述匹配模块312，可以用于根据所述封闭道路场景对应的地理位置信息，以及所述各个模拟仿真场景对应的地理位置信息，将所述封闭道路场景与所述各个模拟仿真场景进行地理位置匹配。
[0098]
所述第一确定模块313，可以用于若存在唯一与所述封闭道路场景相匹配的模拟仿真场景，则将唯一相匹配的模拟仿真场景确定为所述封闭道路场景对应的模拟仿真场景。
[0099]
所述第一确定模块313，还可以用于若存在至少两个与所述封闭道路场景相匹配的模拟仿真场景，则从至少两个相匹配的模拟仿真场景中确定所述封闭道路场景对应的模拟仿真场景。
[0100]
进一步地，所述第一确定模块313，包括：获取子模块、计算子模块和确定子模块。
[0101]
所述获取子模块，可以用于获取所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果，以及在至少两个相匹配的模拟仿真场景下的测试结果。
[0102]
所述计算子模块，可以用于计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度。
[0103]
所述确定子模块，可以用于根据所述至少两个相匹配的模拟仿真场景分别对应的余弦相似度，确定最大余弦相似度及其对应的模拟仿真场景。
[0104]
所述确定子模块，还可以用于将所述最大余弦相似度对应的模拟仿真场景确定为所述封闭道路场景对应的模拟仿真场景。
[0105]
进一步地，所述计算子模块，具体可以用于若至少两个所述测试结果和所述封闭测试结果中所涉及的各个车辆参数随时间变化，则分别提取至少两个所述测试结果中所涉及的各个车辆参数的离散特征值，以及所述封闭测试结果中所涉及的各个车辆参数的离散特征值；根据至少两个所述测试结果中所涉及的各个车辆参数的离散特征值，分别确定至少两个所述测试结果中的各个车辆参数值；根据所述封闭测试结果中所涉及的各个车辆参数的离散特征值，确定所述封闭测试结果中的各个车辆参数值；根据至少两个所述测试结果中的各个车辆参数值，以及所述封闭测试结果中的各个车辆参数值，计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度。
[0106]
在具体应用场景中，所述计算单元32，包括第二确定模块321和计算模块322。
[0107]
所述第二确定模块321，可以用于根据所述仿真测试结果中的各个车辆参数值，确定所述仿真测试结果对应的第一向量。
[0108]
所述第二确定模块321，还可以用于根据所述封闭测试结果中的各个车辆参数值，确定所述封闭测试结果对应的第二向量。
[0109]
所述计算模块322，可以用于计算所述第一向量与所述第二向量之间的欧式距离。
[0110]
所述第二确定模块321，还可以用于根据计算的所述欧式距离，确定所述差异程度。
[0111]
在具体应用场景中，所述评估单元33，具体可以用于根据所述历史测试结果之间的历史差异程度，确定正态分布曲线；确定所述差异程度在所述正态分布曲线上的概率密度值；根据所述概率密度值，确定所述仿真测试结果对应的有效性评分；当所述有效性评分大于预设评分时，确定所述仿真测试结果有效。
[0112]
在具体应用场景中，所述装置还包括：获取单元34和确定单元35。
[0113]
所述获取单元34，可以用于获取所述仿真测试结果对应的置信度要求。
[0114]
所述确定单元35，可以用于将所述概率密度值确定为所述无人驾驶车辆对应的有效性指标。
[0115]
所述确定单元35，还可以用于根据所述置信度要求和所述有效性指标，得到建议的仿真运行次数。
[0116]
需要说明的是，本发明实施例提供的一种仿真测试结果的有效性评估装置所涉及各功能模块的其他相应描述，可以参考图1所示方法的对应描述，在此不再赘述。
[0117]
基于上述如图1所示方法，相应的，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现以下步骤：将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
[0118]
基于上述如图1所示方法和如图3所示装置的实施例，本发明实施例还提供了一种电子设备的实体结构图，如图5所示，该电子设备包括：处理器41、存储器42、及存储在存储器42上并可在处理器上运行的计算机程序，其中存储器42和处理器41均设置在总线43上所述处理器41执行所述程序时实现以下步骤：将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。
[0119]
通过本发明实施例的技术方案，能够依据无人驾驶车辆在封闭道路场景下的测试结果，对无人驾驶车辆在相应模拟仿真场景下的测试结果的有效性进行精确评估，从而能够保证无人驾驶车辆的仿真测试结果的可靠性，以便利用该仿真测试结果准确评价无人驾驶系统的安全性。
[0120]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
[0121]
本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上
述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
[0122]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

技术特征：
1.一种仿真测试结果的有效性评估方法，其特征在于，包括：将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。2.根据权利要求1所述的方法，其特征在于，所述将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景，包括：获取所述封闭道路场景对应的地理位置信息，以及模拟仿真场景库中各个模拟仿真场景对应的地理位置信息；根据所述封闭道路场景对应的地理位置信息，以及所述各个模拟仿真场景对应的地理位置信息，将所述封闭道路场景与所述各个模拟仿真场景进行地理位置匹配；若存在唯一与所述封闭道路场景相匹配的模拟仿真场景，则将唯一相匹配的模拟仿真场景确定为所述封闭道路场景对应的模拟仿真场景；若存在至少两个与所述封闭道路场景相匹配的模拟仿真场景，则从至少两个相匹配的模拟仿真场景中确定所述封闭道路场景对应的模拟仿真场景。3.根据权利要求2所述的方法，其特征在于，所述从至少两个相匹配的模拟仿真场景中确定所述封闭道路场景对应的模拟仿真场景，包括：获取所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果，以及在至少两个相匹配的模拟仿真场景下的测试结果；计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度；根据所述至少两个相匹配的模拟仿真场景分别对应的余弦相似度，确定最大余弦相似度及其对应的模拟仿真场景；将所述最大余弦相似度对应的模拟仿真场景确定为所述封闭道路场景对应的模拟仿真场景。4.根据权利要求3所述的方法，其特征在于，所述计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度，包括：若至少两个所述测试结果和所述封闭测试结果中所涉及的各个车辆参数随时间变化，则分别提取至少两个所述测试结果中所涉及的各个车辆参数的离散特征值，以及所述封闭测试结果中所涉及的各个车辆参数的离散特征值；根据至少两个所述测试结果中所涉及的各个车辆参数的离散特征值，分别确定至少两个所述测试结果中的各个车辆参数值；根据所述封闭测试结果中所涉及的各个车辆参数的离散特征值，确定所述封闭测试结果中的各个车辆参数值；根据至少两个所述测试结果中的各个车辆参数值，以及所述封闭测试结果中的各个车辆参数值，计算至少两个所述测试结果分别与所述封闭测试结果之间的余弦相似度。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度，包括：根据所述仿真测试结果中的各个车辆参数值，确定所述仿真测试结果对应的第一向量；根据所述封闭测试结果中的各个车辆参数值，确定所述封闭测试结果对应的第二向量；计算所述第一向量与所述第二向量之间的欧式距离；根据计算的所述欧式距离，确定所述差异程度。6.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性，包括：根据所述历史测试结果之间的历史差异程度，确定正态分布曲线；确定所述差异程度在所述正态分布曲线上的概率密度值；根据所述概率密度值，确定所述仿真测试结果对应的有效性评分；当所述有效性评分大于预设评分时，确定所述仿真测试结果有效。7.根据权利要求6所述的方法，其特征在于，在所述根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性之后，所述方法还包括：获取所述仿真测试结果对应的置信度要求；将所述概率密度值确定为所述无人驾驶车辆对应的有效性指标；根据所述置信度要求和所述有效性指标，得到建议的仿真运行次数。8.一种仿真测试结果的有效性评估装置，其特征在于，包括：匹配单元，用于将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；计算单元，用于根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；评估单元，用于根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本发明公开了一种仿真测试结果的有效性评估方法及装置，本发明涉及无人驾驶仿真技术领域，其中包括：将无人驾驶车辆的封闭道路场景与模拟仿真场景库中的各个模拟仿真场景进行地理位置匹配，根据匹配结果确定所述封闭道路场景对应的模拟仿真场景；根据所述无人驾驶车辆在所述封闭道路场景下的封闭测试结果和在所述模拟仿真场景下的仿真测试结果，计算所述仿真测试结果中各个车辆参数值与所述封闭测试结果中各个车辆参数值之间的差异程度；根据所述差异程度，以及所述无人驾驶车辆的历史测试结果之间的历史差异程度，评估所述仿真测试结果的有效性。通过应用本申请的技术方案，能够评估无人驾驶车辆仿真测试结果的有效性。能够评估无人驾驶车辆仿真测试结果的有效性。能够评估无人驾驶车辆仿真测试结果的有效性。


技术研发人员：刘法旺
受保护的技术使用者：工业和信息化部装备工业发展中心
技术研发日：2022.09.13
技术公布日：2023/9/20