一种自动驾驶测试场景泛化方法、装置及计算机存储介质与流程

1.本发明涉及自动驾驶领域，特别是涉及一种自动驾驶测试场景泛化方法、装置及计算机存储介质。


背景技术：

2.自动驾驶测试场景对自动驾驶研发和测试工作起着关键作用。在以场景为驱动的自动驾驶研发测试中，测试场景的科学、有序构建，能有效支撑自动驾驶的测试研发工作。同时，自动驾驶研发测试工作的开展能够反馈给场景库并丰富自动驾驶测试场景，形成正向循环。随着自动驾驶技术的快速发展，场景数量与种类也需要不断更新与丰富，这导致了海量的数据产生。当前主流的泛化工具，只能对泛化参数进行全量的组合泛化，这样导致在参数较多或者每个参数的水平数较多时，泛化生成的场景数量非常庞大，执行生成的测试用例所需的资源或者时间过多。并且泛化工具泛化之后的场景与原场景的关系都是割裂的，泛化完成之后新生成的泛化场景与原场景无关联，导致泛化场景管理混乱，且不利于后续场景的修改。因此，如何使用一些可行的方法对生成的测试场景进行有效的组织、管理与应用，迫在眉睫。


技术实现要素：

3.本发明的目的在于提供一种自动驾驶测试场景泛化方法、装置及计算机存储介质，提高测试场景覆盖度，增加泛化后测试场景的有效性，提高测试效率，使测试场景生成变得高效，灵活性强，且生成的测试场景更贴近实际需求。
4.为达到上述目的，本发明的技术方案是这样实现的：
5.第一方面，本发明实施例提供了一种自动驾驶测试场景泛化方法，所述自动驾驶测试场景泛化方法包括：
6.获取自动驾驶测试场景需要泛化的参数的正交表；
7.根据所述正交表泛化所述自动驾驶测试场景；
8.根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集。
9.作为其中一种实施方式，所述获取自动驾驶测试场景需要泛化的参数的正交表之前，包括：
10.获取用于测试自动驾驶程序的虚拟交通场景；
11.获取泛化场景的需求，所述泛化场景的需求与所述需要泛化的参数相对应。
12.作为其中一种实施方式，所述获取泛化场景的需求之后，包括：
13.根据所述泛化场景的需求确定所述需要泛化的参数；
14.对所述需要泛化的参数配置参数的取值范围以及参数的步长。
15.作为其中一种实施方式，所述对所述需要泛化的参数配置参数的取值范围以及参数的步长，包括：
16.使用均匀分布函数和/或正态分布函数和/或指数分布函数配置所述参数的取值范围和/或所述参数的步长。
17.作为其中一种实施方式，所述获取自动驾驶测试场景需要泛化的参数的正交表，包括：
18.将经泛化处理后的参数以参数列表的形式保存在参数数据库中，所述参数列表包括参数、参数的配置信息以及测试用例，所述参数列表与所述泛化场景的需求相对应。
19.作为其中一种实施方式，所述根据所述正交表泛化所述自动驾驶测试场景，包括：
20.根据所述泛化场景的需求，从所述参数数据库中调用对应的参数列表。
21.作为其中一种实施方式，所述根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集，包括：
22.根据所述预设约束条件及所述参数列表生成测试场景文件，并将所述测试场景文件保存在场景库中。
23.作为其中一种实施方式，所述根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集之后，包括：
24.从所述场景库中调用并加载对应的测试场景文件，解析所述测试场景文件生成虚拟的自动驾驶测试场景。
25.第二方面，本发明实施例提供了一种自动驾驶测试场景泛化装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述自动驾驶测试场景泛化方法的步骤。
26.第三方面，本发明实施例提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述自动驾驶测试场景泛化方法的步骤。
27.本发明实施例提供的一种自动驾驶测试场景泛化方法、装置及计算机存储介质，所述自动驾驶测试场景泛化方法包括：获取自动驾驶测试场景需要泛化的参数的正交表；根据所述正交表泛化所述自动驾驶测试场景；根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集。如此，首先获取自动驾驶测试场景需要泛化的参数的正交表，根据正交表泛化自动驾驶测试场景，然后根据预设约束条件对泛化后的自动驾驶测试场景进行二次过滤，生成自动驾驶测试场景集，提高了测试场景覆盖度，增加了泛化后测试场景的有效性，提高了测试效率，使得测试场景生成变得高效，灵活性强，且生成的测试场景更贴近实际需求。
附图说明
28.图1为本发明实施例提供的一种自动驾驶测试场景泛化方法的流程示意图；
29.图2为本发明实施例提供的一种自动驾驶测试场景示意图；
30.图3为本发明实施例提供的一种自动驾驶测试场景泛化装置的结构示意图。
具体实施方式
31.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而
且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本发明不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
32.应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
33.应该理解的是，虽然本发明实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
34.需要说明的是，在本文中，采用了诸如s101、s102等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行s102后执行s101等，但这些均应在本发明的保护范围之内。
35.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
36.参见图1，为本发明实施例提供的一种自动驾驶测试场景泛化方法，该自动驾驶测试场景泛化方法可以由本发明实施例提供的一种自动驾驶测试场景泛化装置来执行，该自动驾驶测试场景泛化装置可以采用软件和/或硬件的方式来实现，所述自动驾驶测试场景泛化方法包括以下步骤：
37.步骤s101：获取自动驾驶测试场景需要泛化的参数的正交表；
38.需要说明的是，正交表是一种实验设计方法，针对多个因素的影响，通过对每个因素进行不同水平的组合以及多个试验的设计来确定适合的因素组合，以达到最佳的目的。正交表要求每个因素的水平之间是正交的，即彼此独立，相互不影响，保证实验数据的精确性和可靠性。标准正交表可以从已出版的试验设计类图书的附录找到常用标准正交表，也可以直接使用专业的试验设计类统计工具软件生成，比如用minitab统计软件的doe模块生成常用的标准正交表。
39.这里，以自动驾驶的基本功能，前方车辆切入时，触发自车减速避让功能为例做为自动驾驶测试场景，在此例子中选择主车速度v_ego、目标车速度v_target、目标车切入距
离d，目标车切入的时间t做为需要泛化的参数，可获取正交表如表1所示：
40.casev-egov-targetdt140101022402020334030304440404055405050665010204750201058503040295040303105050103116010305126020404136030106146040202156050205167010403177020302187030205197040104207050306218010502228020206238030403248040504258050402265010506276020503288030505297040406307050504318010103328020304
41.表1
42.因此根据正交设计仅使用32个测试用例即可覆盖该自动驾驶测试场景，而使用排列组合的方式则需要54＝625个测试用例去实现，测试场景数量庞大执行生成的测试用例所需的资源或者时间成本太高，测试代价太大。
43.在一实施方式中，所述获取自动驾驶测试场景需要泛化的参数的正交表之前，包
括：
44.获取用于测试自动驾驶程序的虚拟交通场景；
45.获取泛化场景的需求，所述泛化场景的需求与所述需要泛化的参数相对应。
46.这里，根据泛化场景的需求或逻辑场景在所使用的软件中搭建基础场景，例如，主车以车速60km/h行驶，前方目标车距离主车40m，以车速20km/h切入时，触发主车减速避让功能，以此自动驾驶的基本功能为例做为自动驾驶测试场景，如图2所示。获取泛化场景的需求，所述泛化场景的需求与需要泛化的参数相对应。
47.需要说明的是，自动驾驶程序可以指支持自动驾驶的控制程序，所谓自动驾驶，可以指车辆本身拥有环境感知、路径规划并且自主实现车辆控制的能力，也就是用电子技术控制车辆进行的仿人驾驶。根据对车辆操控任务的把握程度，自动驾驶车辆可以分为l0级非自动化(no automation)、l1级驾驶员辅助(driver assistance)、l2级部分自动化(partial automation)、l3级有条件自动化(conditional automation)、l4级高度自动化(high automation)、l5级完全自动化(full automation)。
48.在一实施方式中，所述获取泛化场景的需求之后，包括：
49.根据所述泛化场景的需求确定所述需要泛化的参数；
50.对所述需要泛化的参数配置参数的取值范围以及参数的步长。
51.这里，基于搭建的逻辑场景，确定具体逻辑场景参数即需要泛化的参数，在前方车辆切入时，触发自车减速避让功能做为自动驾驶测试场景的例子中，选择主车速度v_ego、目标车速度v_target、目标车切入距离d，目标车切入的时间t做为需要泛化的参数。然后对需要泛化的参数配置参数的取值范围以及参数的步长，例如：
52.40km/s≤v_ego≤80km/s，间隔10；取值为：40，50，60，70，80；
53.10km/s≤v_target≤50km/s，间隔10；取值为：10，20，30，40，50；
54.10m≤d≤50m，间隔10；取值为：10，20，30，40，50；
55.2s≤t≤6s，间隔1；取值为：2，3，4，5，6。
56.在一实施方式中，所述对所述需要泛化的参数配置参数的取值范围以及参数的步长，包括：
57.使用均匀分布函数和/或正态分布函数和/或指数分布函数配置所述参数的取值范围和/或所述参数的步长。
58.具体地，在上述实施例中确认参数取值时，使用的是均匀分布的方式进行参数的选择，除此选择方法外，还可以利用正态分布函数、指数分布函数等常用的函数，对参数根据需求进行选择。以正态分布为例，例如取以上切入测试用例中的自车速度为例，在城市场景中，自车速度主要集中在60km/h附近，超过100km/h或者低于20km/h的时段不多，因此在泛化测试用例时尽量使自车车速集中在常见速度段，可以使用均值为60km/h的正态分布函数来选择所需的水平值，还可以通过设置不同的标准差对速度水平值的集中度进行调整，而不仅仅是使用均匀分布的形式。同样，在某些场景参数泛化时也可根据实际情况使用指数分布函数，优化参数水平的选取，在保证测试用例不大幅增加的情况下，提高测试用例的有效性和覆盖面。
59.在一实施方式中，所述获取自动驾驶测试场景需要泛化的参数的正交表，包括：
60.将经泛化处理后的参数以参数列表的形式保存在参数数据库中，所述参数列表包
括参数、参数的配置信息以及测试用例，所述参数列表与所述泛化场景的需求相对应。
61.步骤s102：根据所述正交表泛化所述自动驾驶测试场景；
62.具体地，根据步骤s101中获取的自动驾驶测试场景需要泛化的参数的正交表，对自动驾驶测试场景进行泛化处理。
63.在一实施方式中，所述根据所述正交表泛化所述自动驾驶测试场景，包括：
64.根据所述泛化场景的需求，从所述参数数据库中调用对应的参数列表。
65.步骤s103：根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集。
66.具体地，根据正交表泛化自动驾驶测试场景后，还可编写合理的参数泛化条件约束函数，生成仿真测试逻辑场景可用的合理参数验证集。例如以上步骤经过正交设计得到的测试用例，可以再通过一些限制条件，对测试用例进行进一步的筛选，过滤掉不满足需求的测试用例。例如，根据实际场景，k考虑到切入速度大于自车速度的测试用例对自车正常行驶影响不大，因此设置过滤条件：v_target≤v_ego，根据设置的过滤条件，可以过滤掉表1中的case5、case10，得到新的自动驾驶测试场景集。基于逻辑场景参数验证集，调用场景编辑软件的接口，对生成的验证集进行参数提取，即可将得到的逻辑场景泛化自动生成所需的测试场景。如此，根据设置的其它条件对测试场景进行二次过滤，生成的测试场景集与原始测试场景之间可存在关联，修改原始测试场景时，对应的泛化场景会相应的进行自动关联修改，使得测试场景生成变得高效，灵活性强，且生成的测试场景更贴近实际需求。
67.在一实施方式中，所述根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集，包括：
68.根据所述预设约束条件及所述参数列表生成测试场景文件，并将所述测试场景文件保存在场景库中。
69.这里，如果参数列表包含多行的，则对参数列表的每一行生成一个测试场景文件，测试场景文件需要采用场景库能够识别的格式。
70.在一实施方式中，所述根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集之后，包括：
71.从所述场景库中调用并加载对应的测试场景文件，解析所述测试场景文件生成虚拟的自动驾驶测试场景。
72.这里，测试场景文件被解析，并被加载用于生成所需的自动驾驶测试场景。
73.综上，上述实施例提供的自动驾驶测试场景泛化方法中，首先获取自动驾驶测试场景需要泛化的参数的正交表，根据正交表泛化自动驾驶测试场景，然后根据预设约束条件对泛化后的自动驾驶测试场景进行二次过滤，生成自动驾驶测试场景集，提高了测试场景覆盖度，增加了泛化后测试场景的有效性，提高了测试效率，使得测试场景生成变得高效，灵活性强，且生成的测试场景更贴近实际需求。
74.基于前述实施例相同的发明构思，本发明实施例提供了一种自动驾驶测试场景泛化装置，如图3所示，该自动驾驶测试场景泛化装置包括：处理器110和用于存储能够在处理器110上运行的计算机程序的存储器111；其中，图3中示意的处理器110并非用于指代处理器110的个数为一个，而是仅用于指代处理器110相对其他器件的位置关系，在实际应用中，处理器110的个数可以为一个或多个；同样，图3中示意的存储器111也是同样的含义，即仅
用于指代存储器111相对其他器件的位置关系，在实际应用中，存储器111的个数可以为一个或多个。所述处理器110用于运行所述计算机程序时，实现所述自动驾驶测试场景泛化方法。
75.该自动驾驶测试场景泛化装置还可包括：至少一个网络接口112。该自动驾驶测试场景泛化装置中的各个组件通过总线系统113耦合在一起。可理解，总线系统113用于实现这些组件之间的连接通信。总线系统113除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图3中将各种总线都标为总线系统113。
76.其中，存储器111可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，synclink dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储器111旨在包括但不限于这些和任意其它适合类型的存储器。
77.本发明实施例中的存储器111用于存储各种类型的数据以支持该自动驾驶测试场景泛化装置的操作。这些数据的示例包括：用于在该自动驾驶测试场景泛化装置上操作的任何计算机程序，如操作系统和应用程序；联系人数据；电话簿数据；消息；图片；视频等。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序，例如媒体播放器(media player)、浏览器(browser)等，用于实现各种应用业务。这里，实现本发明实施例方法的程序可以包含在应用程序中。
78.基于前述实施例相同的发明构思，本实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机程序，计算机存储介质可以是磁性随机存取存储器(fram，ferromagnetic random access memory)、只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)等
存储器；也可以是包括上述存储器之一或任意组合的各种设备，如移动电话、计算机、平板设备、个人数字助理等。所述计算机存储介质中存储的计算机程序被处理器运行时，实现上述所述的自动驾驶测试场景泛化方法。所述计算机程序被处理器执行时实现的具体步骤流程请参考图1所示实施例的描述，在此不再赘述。
79.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
80.在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
81.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种自动驾驶测试场景泛化方法，其特征在于，所述自动驾驶测试场景泛化方法包括：获取自动驾驶测试场景需要泛化的参数的正交表；根据所述正交表泛化所述自动驾驶测试场景；根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集。2.根据权利要求1所述的自动驾驶测试场景泛化方法，其特征在于，所述获取自动驾驶测试场景需要泛化的参数的正交表之前，包括：获取用于测试自动驾驶程序的虚拟交通场景；获取泛化场景的需求，所述泛化场景的需求与所述需要泛化的参数相对应。3.根据权利要求1或2所述的自动驾驶测试场景泛化方法，其特征在于，所述获取泛化场景的需求之后，包括：根据所述泛化场景的需求确定所述需要泛化的参数；对所述需要泛化的参数配置参数的取值范围以及参数的步长。4.根据权利要求3所述的自动驾驶测试场景泛化方法，其特征在于，所述对所述需要泛化的参数配置参数的取值范围以及参数的步长，包括：使用均匀分布函数和/或正态分布函数和/或指数分布函数配置所述参数的取值范围和/或所述参数的步长。5.根据权利要求3所述的自动驾驶测试场景泛化方法，其特征在于，所述获取自动驾驶测试场景需要泛化的参数的正交表，包括：将经泛化处理后的参数以参数列表的形式保存在参数数据库中，所述参数列表包括参数、参数的配置信息以及测试用例，所述参数列表与所述泛化场景的需求相对应。6.根据权利要求5所述的自动驾驶测试场景泛化方法，其特征在于，所述根据所述正交表泛化所述自动驾驶测试场景，包括：根据所述泛化场景的需求，从所述参数数据库中调用对应的参数列表。7.根据权利要求6所述的自动驾驶测试场景泛化方法，其特征在于，所述根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集，包括：根据所述预设约束条件及所述参数列表生成测试场景文件，并将所述测试场景文件保存在场景库中。8.根据权利要求7所述的自动驾驶测试场景泛化方法，其特征在于，所述根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集之后，包括：从所述场景库中调用并加载对应的测试场景文件，解析所述测试场景文件生成虚拟的自动驾驶测试场景。9.一种自动驾驶测试场景泛化装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述自动驾驶测试场景泛化方法的步骤。10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述自动驾驶测试场景泛化方法的步骤。

技术总结
本发明公开了一种自动驾驶测试场景泛化方法、装置及计算机存储介质，所述自动驾驶测试场景泛化方法包括：获取自动驾驶测试场景需要泛化的参数的正交表；根据所述正交表泛化所述自动驾驶测试场景；根据预设约束条件对泛化后的自动驾驶测试场景进行过滤，生成自动驾驶测试场景集。本发明提供的一种自动驾驶测试场景泛化方法、装置及计算机存储介质，首先获取自动驾驶测试场景需要泛化的参数的正交表，根据正交表泛化自动驾驶测试场景，然后根据预设约束条件对泛化后的自动驾驶测试场景进行二次过滤，提高了测试场景覆盖度，增加了泛化后测试场景的有效性，提高了测试效率，使得测试场景生成变得高效，灵活性强，且生成的测试场景更贴近实际需求。景更贴近实际需求。景更贴近实际需求。


技术研发人员：尹松 王俊平
受保护的技术使用者：合众新能源汽车股份有限公司
技术研发日：2023.06.07
技术公布日：2023/8/23