一种摄像头视频数据检索方法及相关设备与流程

1.本发明涉及视频数据检索领域，尤其涉及一种摄像头视频数据检索方法及相关设备。


背景技术：

2.现阶段，针对治安防控等城市级的人车检索场景，传统通过人工查看监控，跟踪识别目标的方式，难以实现目标快速的检索，且消耗大量的人力资源。而现状借助计算机构建的以图搜图系统采用端云计算架构，存在难汇聚、难存储、难检索的问题，无法很好的实现对人车的快速检索，更无法实现全城市范围内、连续多天全时间区段内的快速检索。
3.因此，现有技术还有待于改进和发展。


技术实现要素：

4.本技术要解决的技术问题在于，针对现有技术的不足，提供一种摄像头视频数据检索方法及相关设备，本发明能够满足城市级人车在全城市范围、全时间区段内快速检索。
5.为了解决上述现有技术问题的不足，本技术实施例第一方面提供了一种摄像头视频数据检索方法，所述方法包括：获取摄像头视频数据；对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。
6.所述对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息，具体包括：所述提取到的分类信息为抽帧图片、结构化数据和特征向量数据；对所述摄像头视频数据进行抽帧处理，得到抽帧图片；对所述抽帧图片中的基础属性信息提取，得到结构化数据；对所述抽帧图片进行特征信息提取，得到特征向量数据。
7.所述将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库，具体包括：将所述抽帧图片通过消息队列插入到数据库中的文件存储库；将所述结构化数据通过消息队列插入到数据库中的结构化数据库；将所述特征向量数据通过消息队列插入到数据库中的特征向量库。
8.所述获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索
的目标特征向量，具体包括：获取输入的待检索目标信息和检索条件，对待检索目标进行特征分类和特征提取，得到目标分类和目标特征向量；获取检索条件，确定相似度阈值、检索时间范围、检索空间范围。
9.所述相似度阈值为预设的阈值。
10.所述基于所述检索条件和目标的特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，具体包括：根据检索条件和目标特征向量，对所述特征向量库中的向量进行特征向量初筛，得到k个初筛特征向量；进行特征向量融合，即将得到的k个初筛特征向量加权平均融合得到第一融合特征向量；根据得到的第一融合特征向量和相似度阈值进行二次检索过程，即对所述特征向量库中的向量进行二次检索，得到m个二次检索特征向量；根据得到的m个二次检索特征向量进行轨迹还原校验过程，即根据得到的二次检索特征向量从数据库中获取到对应的m张抽帧图片及抽帧图片对应的结构化数据和特征向量数据，根据获取到的m张抽帧图片按时空顺序排序还原目标第一轨迹；在所述目标第一轨迹中每一张抽帧图片对应一个轨迹点；对所述目标第一轨迹进行轨迹跟踪校验，删除异常的轨迹点；轨迹还原校验结束后进行目标特征向量融合，即对第一轨迹中未删除的轨迹点对应的特征向量数据进行加权平均融合得到第二融合特征向量；基于得到的第一轨迹和第二融合特征向量采用空间渐进检索，得到目标当天在不同范围内的出行轨迹，当空间渐进检索完成后，合并所述目标当天在不同范围内的出行轨迹，得到目标在当前日期的移动轨迹；当进行跨天检索时，基于目标在当前日期的移动轨迹获取对应的抽帧图片，根据当前日期的移动轨迹对应的抽帧图片进行时间渐进检索，得到目标在所要搜寻时间内的移动轨迹；将空间渐进检索和时间渐进检索得到的不同日期的移动轨迹进行整合汇聚，得到目标在指定日期范围内的完整轨迹结果。
11.所述空间渐进检索，具体包括：所述空间渐进检索以上一次检索范围内目标轨迹还原校验过程得到的轨迹终点为圆心，以预设的距离范围为半径，根据上一次融合特征向量依次进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程，直到在二次检索时检索不到满足相似度阈值要求的特征向量时，目标在当天的轨迹检索结束，得到多条当天目标移动轨迹，汇总多条当天目标移动轨迹得到目标在当前日期的移动轨迹；在重复进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程中，每次进行二次检索时剔除已检索过的摄像头对应的数据。
12.所述时间渐进检索，具体包括：根据当前日期的移动轨迹对应的抽帧图片提取目标的局部特征；基于提取到的局部特征，设置搜索的空间范围为当前日期该目标出现的位置方圆
l千米内，搜索的日期范围为所要跨天检索的日期，在数据库中进行目标检索，得到相似度最高的一个特征向量；提取得到的相似度最高的特征向量对应的抽帧图片，提取该抽帧图片中目标整体特征向量；根据设置搜索的空间范围、搜索的日期范围和提取到的抽帧图片中目标整体特征向量，依次进行特征向量初筛、特征向量融合、二次检索过程、轨迹还原校验过程、目标特征向量融合过程以及空间渐进检索过程，得到目标所要跨天检索的日期的移动轨迹。
13.所述特征向量初筛具体包括粗筛过滤和精筛过滤；所述粗筛过滤即通过检索条件和目标特征向量对特征向量库中的特征向量进行过滤得到对应满足条件的特征向量；所述精筛过滤即计算粗筛过滤得到的特征向量与目标特征向量的相似度，根据设置的相似度阈值剔除相似度不满足的特征向量，得到初筛特征向量。
14.所述计算粗筛过滤得到的特征向量与目标特征向量的相似度时采用欧式距离进行计算。
15.本技术实施例第二方面提供了一种摄像头视频数据检索装置，所述一种摄像头视频数据检索装置包括：视频采集模块，用于获取摄像头视频数据；算法分析模块，用于对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；数据存储模块，用于将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；目标检索模块，用于获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。
16.本技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任意所述的摄像头视频数据检索方法中的步骤。
17.本技术实施例第四方面提供了一种终端设备，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如上任意所述的摄像头视频数据检索方法中的步骤。
18.有益效果：与现有技术相比，本技术提供了一种摄像头视频数据检索方法及相关设备，所述方法包括获取摄像头视频数据；对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检
索，通过检索到的结果还原目标多日出行轨迹并输出。通过上述方法，本发明能够对视频中的行人和车辆等目标进行特征提取，仅将提取到的分类信息分库进行存储，可避免全量视频的存储和汇聚的问题，同时基于特征进行检索的方式，可实现目标的高效检索；具体在检索策略上，采集时间渐进检索和空间渐进检索方式，保障检索效率，同时可避免全城市范围、全时间区段内盲目检索。
19.需要说明的是本发明所涉及的信息（包括但不限于用户设备信息、用户个人信息等）、数据（包括但不限于用户分析的数据、用户存储的数据、用户展示的数据等）以及信号，均为经用户授权或经各方充分授权的信息、数据以及信号；且相关信息、数据以及信号的收集、使用和处理均遵守相关国家和地区的法律法规和标准。
附图说明
20.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
21.图1为本发明提供的摄像头视频数据检索方法的流程图；图2为本发明实施例提供的摄像头视频数据检索的业务逻辑图图3为本发明实施例提供的时间渐进检索方式和空间渐进检索方式流程图；图4为本发明实施例提供的摄像头视频数据检索方法装置的具体结构图。
具体实施方式
22.本技术提供一种摄像头视频数据检索方法及相关设备，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
23.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
24.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
25.另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特
征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
26.现阶段，城市中遍布大量的摄像头对城市安全进行相应的处理，然而传统的对城市级的人车进行检索时采用的视觉感知系统采用端云计算架构，存在难汇聚、难存储、难检索的问题，而在相应的进行城市级人车检索时也无法很好的实现对人车的快速检索，更无法实现全城市范围、全时间区段内的快速检索。
27.针对现阶段相应的进行城市级人车检索时也无法很好的实现对人车的快速检索，更无法实现全城市范围、全时间区段内的快速检索的问题，本发明提供一种摄像头视频数据检索方法及相关设备，本发明能够满足城市级人车在全城市范围、全时间区段内快速检索。
28.实例性方法如图1中所示，为本发明实施例提供的一种摄像头视频数据检索方法的流程图，所述摄像头视频数据检索方法可以应用于终端设备。本发明实施例中，结合图1和图2对所述方法进行描述，所述方法包括如下步骤：步骤s10、获取摄像头视频数据；所述获取摄像头视频数据即对摄像头拍摄到的视频数据进行收集；如图2所示，s21视频采集模块进行视频流接入，获取摄像头视频数据的操作，而收集到的数据会被导入到算法处理模块s22中进行数据处理。
29.步骤s20、对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；对获取到的摄像头视频数据进行分类信息提取，从而将上述获取到的摄像头视频数据进行相应的分类信息提取和保存；如图2所示，s22算法分析模块对所述摄像头视频数据进行处理，具体的，进行目标关键帧提取后，进行图片基础信息提取和目标特征信息提取。
30.所述对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息，具体包括：所述提取到的分类信息为抽帧图片、结构化数据和特征向量数据；对所述摄像头视频数据进行抽帧处理，得到抽帧图片；对所述抽帧图片中的基础属性信息提取，得到结构化数据；对所述抽帧图片进行特征信息提取，得到特征向量数据。
31.具体的，对摄像头视频数据进行抽帧处理，得到抽帧图片；对得到的抽帧图片进行特征提取得到结构化数据和特征向量数据，而所述对得到的抽帧图片进行特征提取具体包括抽帧图片基础属性信息提取和抽帧图片中特征信息提取两部分；所述对抽帧图片基础信息提取，主要是提取抽帧图片的时间戳，进一步的，对抽帧图片基础信息提取得到抽帧图片的采集时间、采集地点，采集摄像头id、与后续提取到的特征向量数据相关联的id、抽帧图片在文件服务器中的存储地址以及其他算法分析模块对图片进行属性提取出来的各种属性信息，这些信息构成结构化数据；
所述对所述抽帧图片进行特征信息提取，得到特征向量数据，具体包括抽帧图片中目标检测、目标分割、目标特征分类、目标特征向量提取、目标属性信息提取过程；进一步的，通过目标检测，获取人和车等目标在图片所在的位置；根据不同的目标类型在抽帧图片中对应的位置坐标，裁剪并矫正为目标图像，所述目标图像中包含有目标，较佳的，在一种实现方式中，所述目标图像中只有单个人或单个车；对所述得到的目标图像进行目标特征分类，目标特征分类支持行人、人脸、机动车、非机动车等类型的分类，将目标图像进行相应的分类；通过reid算法（person re-identification），将目标图像转换成512维的特征向量；此外，还对目标图像属性进行提取，其中行人属性包括性别、上衣颜色、裤子颜色、鞋子颜色，是否背包、是否提手提袋等等，人脸属性包括发型等，机动车属性包括车牌颜色、车牌号、品牌、型号、车辆长度、车辆高度、车辆宽度、车身颜色等，非机动车属性包括车牌号、品牌、款型、车辆长度、车辆高度、车辆宽度、车身颜色、车轮、是否遮挡等。
32.步骤s30、将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；具体的，对提取到的信息按照抽帧图片、结构化数据、特征向量数据进行相应的存储，从而通过对视频流中的行人和车辆等目标进行特征提取，仅将结构化数据、特征向量数据和抽帧图片进行存储，可避免全量视频的存储和汇聚的问题，同时基于特征向量进行检索的方式，可实现后续目标的高效检索。如图2所示，s23的数据存储模块将提取到的所述信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库中，在用户要进行检索时可以在所述的文件存储库、结构化数据库和特征向量库中进行检索。
33.进一步的，所述将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库，具体包括：将所述抽帧图片通过消息队列插入到数据库中的文件存储库；将所述结构化数据通过消息队列插入到数据库中的结构化数据库；将所述特征向量数据通过消息队列插入到数据库中的特征向量库。
34.具体的，在插入时，数据插入策略具体为，支持按向量数目和时间间隔对特征向量数据进行批量入库，默认每十万条特征向量数据或每间隔60秒批量插入一次，在一种实施例中，每生成十万条特征向量数据时，进行一次抽帧图片、结构化和数据、特征向量数据的批量插入；在另一种实施例中，抽帧图片和结构化数据在得到后及时进行插入，而特征向量数据每十万条进行一次插入；在另一种实施例中，每隔60秒批量插入一次所有数据。
35.在数据存储时，特征向量数据采用分级存储，即特征向量数据采用多层级分组存储，基于milvus数据库，同一特征分类归为同一个向量集合，同一天的数据放在向量集合中的同一个分区（partition），即特征向量库；抽帧图片的基础属性信息，如图片的采集时间、采集地点，采集摄像头id，与特征向量关联的id，图片在文件服务器中的存储地址，以及算法模块对图片进行属性提取出来的各种属性信息入库到结构化数据库；经算法模块抽帧处理后的图片文件入库到文件存储库。
36.进一步的，本发明采用数据分布式存储策略，针对城市级海量数据场景，采用按区域分布式集群部署方式，将数据库中的数据按照区域分布进行相应的存储，避免简单地扩大磁盘和内存空间方式，导致检索效率的下降。
37.此外，在数据存储完成后，基于ivf_pq量化索引算法对入库的特征向量数据创建
索引。
38.步骤s40、获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标轨迹并输出。
39.在数据库中的数据存储完成后，在用户要进行相应的检索时，可以输入待检索目标信息和检索条件，再根据待检索目标信息解析出待检索的目标特征向量，通过所述目标特征向量在数据库中进行相应的检索，通过检索到的结果还原目标轨迹并输出给用户。
40.如图2所示，s24的目标检索模块中进行相应的数据检索过程，具体的，用户输入待检索目标信息，即对应图中的图片，对图片进行特征处理，再通过检索条件进行特征向量初筛、特征融合、以及二次检索过程，之后进行轨迹校验和特征融合后，分别进行空间渐进检索和时间渐进检索过程，最终进行轨迹融合输出目标轨迹。
41.进一步的，所述获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，具体包括：获取输入的待检索目标信息和检索条件，对所述待检索目标进行特征分类和特征提取，得到目标分类和目标特征向量；获取检索条件，确定相似度阈值、检索时间范围、检索空间范围。
42.具体的，所述输入的待检索目标信息为用户输入的带有目标的信息，在一种实施例中，所述输入的待检索目标信息是包含有目标的图片，该图片可以是用户通过摄像头视频截取、智能设备获取、临时拍照等方式得到的；所述检索条件包括检索时间范围、检索空间范围、相似度阈值与其他检索条件；所述检索时间范围确定方式可以是用户指定，如果用户没有明确指定时间范围，则默认搜索最近三天的数据；所述检索空间范围可以是用户选择指定区域，用户可以在地图上框选进行区域的选择，也可以选择指定地点，例如某机场内、某交通枢纽内等，而当无明确检索空间范围的，则默认搜索初始位置周边5千米，初始位置用户可以在地图上进行标注；所述其他检索条件包括目标的各种属性信息，如车辆的类型，摩托车、汽车、皮卡、厢式货车、卡车、公共汽车等；行人的属性特征，背背包、提手提袋、戴帽子、上下身穿着颜色等。
43.进一步的，所述相似度阈值为预设的阈值。
44.即用户在进行检索前可按照个人想要确定的检索精度进行相似度阈值的确定，通过设置的相似度阈值过滤相似度较低的向量。
45.所述通过所述特征在所述数据库中采用空间渐进检索方式和时间渐进检索方式进行检索，具体包括：根据检索条件和目标特征向量，对所述特征向量库中的向量进行特征向量初筛，得到k个初筛特征向量；进行特征向量融合，即将得到的k个初筛特征向量加权平均融合得到第一融合特征向量；根据得到的第一融合特征向量和相似度阈值进行二次检索过程，即对所述特征向量库中的向量进行二次检索，得到m个二次检索特征向量；根据得到的m个二次检索特征向量进行轨迹还原校验过程，即根据得到的二次检
索特征向量从数据库中获取到对应的m张抽帧图片及抽帧图片对应的结构化数据和特征向量数据，根据获取到的m张抽帧图片按时空顺序排序还原目标第一轨迹；在所述目标第一轨迹中每一张抽帧图片对应一个轨迹点；对所述目标第一轨迹进行轨迹跟踪校验，删除异常的轨迹点；轨迹还原校验结束后进行目标特征向量融合，即对第一轨迹中未删除的轨迹点对应的特征向量数据进行加权平均融合得到第二融合特征向量；基于得到的第一轨迹和第二融合特征向量采用空间渐进检索，得到目标当天在不同范围内的出行轨迹，当空间渐进检索完成后，合并所述目标当天在不同范围内的出行轨迹，得到目标在当前日期的移动轨迹；当进行跨天检索时，基于目标在当前日期的移动轨迹获取对应的抽帧图片，根据当前日期的移动轨迹对应的抽帧图片进行时间渐进检索，得到目标在所要搜寻时间内的移动轨迹；将由将空间渐进检索和时间渐进检索得到的不同日期的移动轨迹进行整合汇聚，得到目标在指定日期范围内的完整轨迹结果。
46.在检索策略上，本发明为保障检索效率，采集时间渐进检索和空间渐进检索方式，可避免全城市范围、全时间区段内盲目检索；为保障检索精度，本发明融合同一目标不同时段的特征向量进行二次迭代检索，降低目标的漏检。
47.进一步的所述特征向量初筛具体包括粗筛过滤和精筛过滤；所述粗筛过滤即通过检索条件和目标特征向量对特征向量库中的特征向量进行过滤得到对应满足条件的特征向量；所述精筛过滤即计算粗筛过滤得到的特征向量与目标特征向量的相似度，根据设置的相似度阈值剔除相似度不满足的特征向量，得到初筛特征向量。
48.所述计算粗筛过滤得到的特征向量与目标特征向量的相似度时采用欧式距离进行计算。即在进行特效向量初筛时，先在数据库中进行粗筛过滤得到满足待检索的目标的信息与特征的特征向量，再在粗筛过滤得到的特征向量中进行精筛计算，对粗筛过滤得到的向量与目标特征向量计算相似度，相似度计算时采用欧式距离，根据设置的相似度阈值剔除部分相似度不满足的特征向量，得到最相近的特征向量，其中选取最相近的k个初筛特征向量进行特征向量融合；而所述k的取值由用户按照实际情况进行选择。
49.具体的，所述进行二次检索具体为，根据融合得到的第一融合特征向量，再次按照特征向量初筛中精筛计算采用的相似度计算方法，根据设置的相似度阈值剔除部分相似度不满足的特征向量，得到符合条件的二次检索特征向量，其中选取最相近的m个二次检索特征向量进行轨迹还原校验过程；所述m的取值由用户按照实际情况进行选择。
50.具体的，进行轨迹还原校验过程时，根据m个二次检索特征向量对应的m张抽帧图片，结合抽帧图片的时间戳、空间位置等信息，还原目标的出现轨迹；在轨迹还原校验过程中，根据相邻轨迹点的时间戳和空间位置信息，计算目标在相邻轨迹点间的移动速度，如速度明显异常，即速度与其前后速度相差较多时，则抛弃该轨迹点；在一种实施例中，对m个轨迹点的位移和时间进行获取，计算平均速度，当目标在相邻轨迹点间的移动速度与平均速度相差超过一定阈值时，则抛弃这两个轨迹点，所述阈值由用户根据实际情况进行设定。
51.所述空间渐进检索，具体包括：
所述空间渐进检索以上一次检索范围内目标轨迹还原校验过程得到的轨迹终点为圆心，以预设的距离范围为半径，根据上一次融合特征向量依次进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程，直到在二次检索时检索不到满足相似度阈值要求的特征向量时，目标在当天的轨迹检索结束，并得到多条当天目标移动轨迹，汇总多条当天目标移动轨迹得到目标在当前日期的移动轨迹；在重复进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程中，每次进行二次检索时剔除已检索过的摄像头对应的数据。
52.进一步的描述为，在进行空间渐进检索时，将轨迹还原校验得到的第一轨迹的终点作为圆心，在方圆5千米范围内，剔除已检索过的摄像头，根据第二融合特征向量进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程，得到输出后的轨迹和输出的融合特征向量，采用输出后的轨迹和输出的融合特征向量再次进行下一次二次检索过程、轨迹还原校验过程以及目标特征向量融合过程；当在二次检索检索不到满足相似度阈值要求的特征向量时，目标在当天的轨迹检索结束。
53.在一种实施例中，当空间渐进检索每进行一次即将该次得到的目标轨迹与前一次的轨迹进行合并，最终经过多次合并得到目标在当前日期的移动轨迹。
54.所述时间渐进检索，具体包括：根据当前日期的移动轨迹对应的抽帧图片提取目标的局部特征；基于提取到的局部特征，设置搜索的空间范围为当前日期该目标出现的位置方圆l千米内，搜索的日期范围为所要跨天检索的日期，在数据库中进行目标检索，得到相似度最高的一个特征向量；提取得到的相似度最高的特征向量对应的抽帧图片，提取该抽帧图片中目标整体特征向量；根据设置搜索的空间范围、搜索的日期范围和提取到的抽帧图片中目标整体特征向量，依次进行特征向量初筛、特征向量融合、二次检索过程、轨迹还原校验过程、目标特征向量融合过程以及空间渐进检索过程，得到目标所要跨天检索的日期的移动轨迹。
55.针对跨天情况下，背景、光线、天气、角度、行人衣着等变化，会导致检索精度低的问题，需要对跨天检索流程进行优化，因此提取当前日期的移动轨迹对应的抽帧图片中目标的局部特征，所述局部特征为稳定的特征，例如行人的稳定特征就是人脸特征，车辆就是车牌特征；所述l的大小为用户根据实际情况进行设定；所述在数据库中进行目标检索的方式与所述二次检索中精筛计算采用的计算相似度的方式相同，从而得到相似度最高的一个特征向量；所述整体特征向量为对应抽帧图片在特征向量数据库中保存的全部特征向量数据。因此，为实现目标（特别是行人目标）连续多天的一次性检索，本发明将目标的多个特征进行融合，利用提取的人脸特征（稳定的特征）定位不同日期行人目标特征向量的检索策略，来解决行人每天衣着等特征变化大的情形下，连续跨天检索不到的问题。
56.本发明结合图3，对所述空间渐进检索方式和时间渐进检索方式进行进一步描述。具体的如图3所示：步骤s31.1-s31.4：用户输入待检索目标信息和检索条件，进入步骤s32；步骤s32：进行目标特征提取，提取完成进入步骤s33；步骤s33：根据检索条件和提取到的目标特征进行特征向量初筛，初筛得到对应的
初筛特征向量后，进入步骤s34；步骤s34：目标特征向量融合；步骤s35：融合完成进行二次检索，完成二次检索进入步骤s36.1；步骤s36.1:进行轨迹校验，即轨迹还原校验过程中获取第一轨迹的过程，完成后进入步骤s36.2；步骤s36.2：进行轨迹跟踪，即轨迹还原校验过程中对异常轨迹点的删除过程，进入步骤s37；步骤s37：特征融合，目标移动轨迹还原校验完成后，将轨迹点中对应的目标特征向量加权平均融合成新的特征向量，进入步骤s38；步骤s38：空间渐进检索，即以步骤s36.1中第一轨迹的终点为圆心，在预设的距离范围内，剔除已检索过的摄像头，重复步骤s35-步骤s37，直到步骤s35检索不到满足相似度阈值要求的特征向量时，目标在当天的轨迹检索结束，并对计算出来的轨迹进行轨迹合并，得到目标在当前日期的移动轨迹跟踪，并将该移动轨迹输入到步骤s10和步骤s39.1中；所述步骤s39.1-s39.6为时间渐进检索过程；步骤39.1：目标局部稳定特征提取，完成后进入步骤s39.2；步骤s39.2：目标局部稳定特征匹配检索，即基于提取到的局部特征，设置搜索的空间范围为前1天该目标出现的位置方圆l千米内，搜索的日期范围为全天，在数据库中进行目标检索，得到相似度最高的一个特征向量；进入步骤s39.3；步骤s39.3：目标整体全局特征提取；步骤s39.4-步骤s39.7：目标整体全局特征匹配检索、轨迹校验、轨迹跟踪、特征融合，即根据步骤s39.2中设置的时间和空间范围，结合步骤s39.3中的提取的目标整体特征向量，重复步骤s33-步骤s39，获取当天目标的移动轨迹，当完成时进入步骤s310;步骤s310：轨迹融合，将由空间渐进检索和时间渐进检索得到的不同日期的目标轨迹进行整合汇聚，得到目标在指定日期范围内的完整轨迹结果并输出。
57.如图4所示，本发明实施例第二方面提供了一种摄像头视频数据检索装置，所述一种摄像头视频数据检索装置包括：视频采集模块s41，用于获取摄像头视频数据；算法分析模块s42，用于对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；数据存储模块s43，用于将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；目标检索模块s44，用于获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。
58.本技术实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任意所述的摄像头视频数据检索方法中的步骤。
59.本技术实施例第四方面提供了一种终端设备，包括：处理器、存储器及通信总线；
所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如上任意所述的摄像头视频数据检索方法中的步骤。
60.综上所述，本发明提供了一种摄像头视频数据检索方法及相关设备，所述方法包括获取摄像头视频数据；对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。通过上述方法，本发明能够对视频中的行人和车辆等目标进行特征提取，仅将提取到的信息分库进行存储，可避免全量视频的存储和汇聚的问题，同时基于特征进行检索的方式，可实现目标的高效检索；具体在检索策略上，采集时空渐进式检索方式，保障检索效率，同时可避免全城市范围、全时间区段内盲目检索。
61.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
62.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
63.应当理解的是，本发明的应用不限于上述的举例，对本领域的技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变化都属于本发明所附权利要求的保护范围。

技术特征：
1.一种摄像头视频数据检索方法，其特征在于，所述方法包括：获取摄像头视频数据；对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。2.根据权利要求1所述的一种摄像头视频数据检索方法，其特征在于，所述对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息，具体包括：所述提取到的分类信息为抽帧图片、结构化数据和特征向量数据；对所述摄像头视频数据进行抽帧处理，得到抽帧图片；对所述抽帧图片中的基础属性信息提取，得到结构化数据；对所述抽帧图片进行特征信息提取，得到特征向量数据。3.根据权利要求2所述的一种摄像头视频数据检索方法，其特征在于，所述将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库，具体包括：将所述抽帧图片通过消息队列插入到数据库中的文件存储库；将所述结构化数据通过消息队列插入到数据库中的结构化数据库；将所述特征向量数据通过消息队列插入到数据库中的特征向量库。4.根据权利要求1所述的一种摄像头视频数据检索方法，其特征在于，所述获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，具体包括：获取输入的待检索目标信息和检索条件，对待检索目标进行特征分类和特征提取，得到目标分类和目标特征向量；获取检索条件，确定相似度阈值、检索时间范围、检索空间范围。5.根据权利要求4所述的一种摄像头视频数据检索方法，其特征在于，所述相似度阈值为预设的阈值。6.根据权利要求4所述的一种摄像头视频数据检索方法，其特征在于，所述基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，具体包括：根据检索条件和目标特征向量，对所述特征向量库中的向量进行特征向量初筛，得到k个初筛特征向量；进行特征向量融合，即将得到的k个初筛特征向量加权平均融合得到第一融合特征向量；根据得到的第一融合特征向量和相似度阈值进行二次检索过程，即对所述特征向量库中的向量进行二次检索，得到m个二次检索特征向量；根据得到的m个二次检索特征向量进行轨迹还原校验过程，即根据得到的二次检索特
征向量从数据库中获取到对应的m张抽帧图片及抽帧图片对应的结构化数据和特征向量数据，根据获取到的m张抽帧图片按时空顺序排序还原目标第一轨迹；在所述目标第一轨迹中每一张抽帧图片对应一个轨迹点；对所述目标第一轨迹进行轨迹跟踪校验，删除异常的轨迹点；轨迹还原校验结束后进行目标特征向量融合，即对第一轨迹中未删除的轨迹点对应的特征向量数据进行加权平均融合得到第二融合特征向量；基于得到的第一轨迹和第二融合特征向量采用空间渐进检索，得到目标当天在不同范围内的出行轨迹，当空间渐进检索完成后，合并所述目标当天在不同范围内的出行轨迹，得到目标在当前日期的移动轨迹；当进行跨天检索时，基于目标在当前日期的移动轨迹获取对应的抽帧图片，根据当前日期的移动轨迹对应的抽帧图片进行时间渐进检索，得到目标在所要搜寻时间内的移动轨迹；将空间渐进检索和时间渐进检索得到的不同日期的移动轨迹进行整合汇聚，得到目标在指定日期范围内的完整轨迹结果。7.根据权利要求6所述的一种摄像头视频数据检索方法，其特征在于，所述空间渐进检索，具体包括：所述空间渐进检索以上一次检索范围内目标轨迹还原校验过程得到的轨迹终点为圆心，以预设的距离范围为半径，根据上一次融合特征向量依次进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程，直到在二次检索时检索不到满足相似度阈值要求的特征向量时，目标在当天的轨迹检索结束，得到多条当天目标移动轨迹，汇总多条当天目标移动轨迹得到目标在当前日期的移动轨迹；在重复进行二次检索过程、轨迹还原校验过程以及目标特征向量融合过程中，每次进行二次检索时剔除已检索过的摄像头对应的数据。8.根据权利要求6所述的一种摄像头视频数据检索方法，其特征在于，所述时间渐进检索，具体包括：根据当前日期的移动轨迹对应的抽帧图片提取目标的局部特征；基于提取到的局部特征，设置搜索的空间范围为当前日期该目标出现的位置方圆l千米内，搜索的日期范围为所要跨天检索的日期，在数据库中进行目标检索，得到相似度最高的一个特征向量；提取得到的相似度最高的特征向量对应的抽帧图片，提取该抽帧图片中目标整体特征向量；根据设置搜索的空间范围、搜索的日期范围和提取到的抽帧图片中目标整体特征向量，依次进行特征向量初筛、特征向量融合、二次检索过程、轨迹还原校验过程、目标特征向量融合过程以及空间渐进检索过程，得到目标所要跨天检索的日期的移动轨迹。9.根据权利要求6所述的一种摄像头视频数据检索方法，其特征在于，所述特征向量初筛具体包括粗筛过滤和精筛过滤；所述粗筛过滤即通过检索条件和目标特征向量对特征向量库中的特征向量进行过滤得到对应满足条件的特征向量；所述精筛过滤即计算粗筛过滤得到的特征向量与目标特征向量的相似度，根据设置的
相似度阈值剔除相似度不满足的特征向量，得到初筛特征向量。10.根据权利要求9所述的一种摄像头视频数据检索方法，其特征在于，所述计算粗筛过滤得到的特征向量与目标特征向量的相似度时采用欧式距离进行计算。11.一种摄像头视频数据检索装置，其特征在于，所述装置包括：视频采集模块，用于获取摄像头视频数据；算法分析模块，用于对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；数据存储模块，用于将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；目标检索模块，用于获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-10任意一项所述的摄像头视频数据检索方法中的步骤。13.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如权利要求1-10任意一项所述的摄像头视频数据检索方法中的步骤。

技术总结
本发明公开了一种摄像头视频数据检索方法及相关设备，涉及视频数据检索领域，所述方法包括：获取摄像头视频数据；对获取到的所述摄像头视频数据进行分类信息提取，得到提取到的分类信息；将提取到的分类信息按照信息类别分别插入到数据库中的文件存储库、结构化数据库和特征向量库；获取输入的待检索目标信息和检索条件，根据待检索目标信息解析出待检索的目标特征向量，基于检索条件和目标特征向量采用空间渐进检索方式和时间渐进检索方式在所述文件存储库、结构化数据库和特征向量库中进行检索，通过检索到的结果还原目标多日出行轨迹并输出。通过上述方法，本发明能够满足城市级人车在全城市范围、全时间区段内快速检索。全时间区段内快速检索。全时间区段内快速检索。


技术研发人员：王耀威 王握 池虹雨 汤左淦 白鑫贝
受保护的技术使用者：鹏城实验室
技术研发日：2023.05.16
技术公布日：2023/7/12