用于视频处理和从视频序列生成缩略图的计算机实现的方法、计算机程序和设备以及包括这种设备的视频监控系统与流程

1.本发明涉及用于视频处理的计算机实现的方法、计算机程序和设备以及包括这种设备的视频监控系统。本发明还涉及用于从视频序列生成缩略图的计算机实现的方法、计算机程序和设备。特别地，本发明涉及需要处理示出不同的感兴趣对象或活动的视频序列并生成其缩略图的视频监控的领域。


背景技术：

2.视频监控系统通常包括大量摄像机，这些摄像机在一个或多于一个摄像机的视场中检测到对象和/或活动时记录视频数据。这些摄像机可以在由一个或多于一个传感器检测到对象和/或活动时被启用，该一个或多于一个传感器一直进行操作并且覆盖比摄像机的区域更宽的区域。因此，由摄像机进行的记录可以在对象和/或活动出现在摄像机的目标区域中时被有利地启用，并且在其余时间被停用。这样的操作方式允许将视频序列的记录限制到潜在重要的事件并且限制操作该视频监控系统所需的存储容量。
3.所记录的视频序列通常被存储在一个或多于一个记录服务器中，并且可以由希望检索感兴趣对象或活动的视频序列的操作者或用户访问。操作者通常将依赖于由视频分析软件生成的元数据并且利用一个或多于一个搜索插件查询元数据提取器来找到相关视频序列。该一个或多于一个搜索插件有利地能够在不同的数据库中查询元数据，所述不同的数据库可以是外部的和/或彼此独立的(或没有共享信息的自然方式)。这种数据库可以有利地由不同的参与者(例如，伙伴或第三方)创建。这些不同的数据库可以有利地包括与同一视频序列相关的元数据，例如，一个数据库可以包括与运载工具的颜色相关的元数据，而另一数据库可以包括与由一个或多于一个摄像机检测到的运载工具的品牌和/或型号相关的元数据。一个数据库还可以包括其所涉及的视频序列中的天气相关的元数据。
4.元数据还可以经由web资源上的按需查询或以任何其他适当的方式被访问。
5.元数据还可以有利地在虚拟(或虚拟化)管理软件(vms)中以元数据流的形式来供应。
6.因此，通常可以将来自不同源的元数据附加(或组合或关联)至源自单个摄像机或源自不同摄像机的视频序列。换句话说，在一些情形下，在一个元数据与摄像机之间不需要一对一的关系。
7.许多视频分析软件模块是可用的，这些模块可以分析视频监控数据并且检测特定对象或活动。这些模块通常将元数据与描述检测到的对象或活动的性质的数据一起附加到视频流，该元数据指示在帧中已经检测到对象或活动的时间和位置。可以检测的对象的类型的示例是人、汽车、牌照等。一些对象识别算法足够复杂以按年龄和性别对人分类，并且元数据可以指示所检测对象的特性，诸如运载工具的颜色或类型或人的年龄或人的性别等。一些视频分析模块还可以检测活动，诸如行为模式(诸如游荡等)等，并且这些也可以由包括在视频监控数据中且与视频数据相关联的元数据指示。一旦元数据已经被包括在视频
监控数据中，它可以用于进行对特定对象、活动或事件的搜索。例如，可以对黑色suv、或特定年龄、性别和头发颜色的人、或具有特定牌照的运载工具执行搜索。
8.生成元数据的视频分析软件可以在各种位置中运行。分析软件可以在摄像机上、在分析服务器上、记录服务器上或在客户端设备处运行。在基于云的系统中，视频分析可以在云中运行。
9.当操作者或用户希望检索在特定时间段期间与两个或多于两个搜索标准相匹配的目标区域的视频序列时，出现若干问题。
10.首先，作为他/她的搜索的结果，可以向用户呈现来自用于搜索的各个搜索插件的视频序列，即，各搜索插件将为其查找的任何标准提供搜索结果，即使这些搜索结果与来自另一搜索插件的搜索结果是冗余的也是如此。例如，第一搜索插件将提供包括具有特定头发颜色的人的视频序列，第二搜索插件将提供包括来自特定年龄组的人的视频序列，并且第三搜索插件将提供包括具有特定颜色的汽车的视频序列。如果用户已经指定他/她正在查找这些标准，则向用户同时呈现示出同一场景的三个视频序列不一定是有用的。当一个或多于一个搜索插件提供若干个搜索结果时，该问题被复杂化。此外，用户不能组合、查看和处理由视频序列的关联元数据提供的所有这些视频序列以创建对这些视频序列与搜索标准如何匹配的连贯理解。总之，向用户呈现太多的搜索结果，这将牵涉所有视频序列的耗时分析。
11.其次，用户不能指定搜索结果应当与搜索标准匹配得有多接近。例如，用户不能通过添加更多的搜索插件(以及因此标准)来缩小搜索结果的数量，因为各插件将提供附加的搜索结果。因此，在许多摄像机生成大量记录的视频序列的环境中(例如在购物中心中)，在添加更多搜索标准以生成相关搜索结果和通过限制搜索标准的数量将搜索结果的数量限制为合理数量之间，存在用户的权衡。此外，例如当用户不确定关于一个标准(例如，他/她正在查找的汽车是蓝色还是黑色)时，用户不能选择被呈现仅与一些搜索标准匹配的搜索结果。总之，作为搜索结果呈现的视频序列的内容可能与用户的搜索请求不适当地匹配。
12.因此，通常需要通过提高搜索结果的相关性来更好地应对这样的用户的搜索请求。
13.此外，还需要通过定义更多的相关缩略图来改进向用户呈现(或显示)搜索结果的方式，缩略图示出用户搜索的两个感兴趣对象或活动。
14.更特别地，如果作为用户进行的搜索的结果而呈现的视频序列是从在检测到特定对象和/或活动时单独记录的两个视频序列所创建的序列(或片段)，则需要定义该片段的缩略图。
15.本发明和所附权利要求所提出的技术方案旨在应对上述问题中的至少一个问题。


技术实现要素：

16.本发明提供一种视频处理的计算机实现的方法，包括：获得目标区域的包括感兴趣的第一预定对象或活动的第一视频序列；获得所述目标区域的包括感兴趣的第二预定对象或活动的第二视频序列；确定所述第一视频序列的记录时段和所述第二视频序列的记录时段是否重叠一定时间段；以及在所述第一视频序列和所述第二视频序列的记录时段重叠一定时间段的情况下，使用所述第一视频序列和/或所述第二视频序列的至少来自重叠的
时间段的帧来定义至少一个第一视频片段。
17.本发明还提供一种从视频序列生成缩略图的计算机实现的方法，包括：识别视频序列的包括感兴趣的第一对象或活动的第一帧；识别所述视频序列的包括感兴趣的第二对象或活动的第二帧；以及使用所述视频序列的所述第一帧的至少一部分和所述第二帧的至少一部分来生成缩略图，其中所述缩略图包括所述第一对象或活动以及所述第二对象或活动。视频序列有利地是上述第一视频片段，并且所述第一对象或活动和所述第二对象或活动分别是感兴趣的上述第一预定对象或活动和感兴趣的第二预定对象或活动。
18.本发明的优选特征在权利要求2至19中陈述。
19.本发明还提供根据权利要求20所述的一种用于视频处理的计算机程序。
20.本发明还提供根据权利要求21至22中任一项所述的一种视频处理设备。
21.本发明还提供根据权利要求23至25中任一项所述的一种视频监控系统。
附图说明
22.现在将参考附图仅通过示例的方式来描述本发明的实施例，在附图中：
23.图1示意性地例示可以实现本发明的视频监控系统；
24.图2例示两个不同的搜索插件的图形用户界面；
25.图3是根据本发明的视频处理的计算机实现的方法的流程图；
26.图4至图16示意性地例示根据本发明的视频处理的计算机实现的方法可以返回的不同搜索结果；
27.图17是根据本发明的从视频序列生成缩略图的计算机实现的方法的流程图；
28.图18至图22(b)例示根据本发明的从视频序列生成缩略图的计算机实现方法可以返回的不同缩略图。
具体实施方式
29.图1示出可以实现本发明的实施例的视频监控系统100的示例。系统100包括客户端设备120、管理服务器130、视频处理设备140、缩略图生成设备150、索引服务器160和与多个摄像机110a、110b、110c连接的记录服务器170。注意，本发明不限于该配置。上述服务器或设备中的一个或多于一个也可以组合成单个设备或服务器。例如，客户端设备120、视频处理设备140和缩略图生成设备150的功能可以由单个设备(例如，客户端设备120)执行。类似地，管理服务器130、索引服务器160和记录服务器170的功能可以由单个服务器(例如，记录服务器170)执行。本发明不限于该配置。其他服务器或装置可以存在于系统100中。例如，可以提供归档服务器(未例示)用于对存储在记录服务器170中的较旧数据进行归档，该较旧数据不需要从记录服务器170立即访问，但是用户不期望永久地删除。在主记录服务器发生故障的情况下，可以提供故障转移记录服务器(未例示)。分析服务器还可以运行用于图像分析(例如，运动或对象检测、面部识别、事件检测)的分析软件。这些设备或服务器中的一些设备或服务的功能也可以跨不同的设备或服务器散布。例如，缩略图生成设备150的功能可以跨客户端设备120和记录服务器170散布。
30.多个视频监控摄像机110a、110b、110c向记录服务器170发送视频数据。客户端设备120例如是提供接口的固定终端，其中操作者能够经由该接口查看来自摄像机110a、
110b、110c的实况视频数据或来自记录服务器170的记录的视频数据。
31.摄像机110a、110b、110c捕获图像数据并且将其作为多个视频数据流发送到记录服务器170。
32.记录服务器170存储由摄像机110a、110b、110c捕获的视频数据流。视频数据根据操作者选择查看哪些实况流或记录的流而从记录服务器170流传输到客户端设备120。
33.客户端设备120被配置为经由第一网络/总线121与管理服务器130、视频处理设备140、缩略图生成设备150、索引服务器160和记录服务器170通信。记录服务器170经由第二网络/总线122与摄像机110a、110b、110c通信。注意，本发明不限于这些特定网络/总线121、122，并且上述设备和服务器可以以不同的方式连接。例如，客户端设备120、视频处理设备140、缩略图生成设备150、索引服务器160和记录服务器170可以直接连接到管理服务器130，然后管理服务器130用作它们之间的接口。可替换地，管理服务器130、视频处理设备140、缩略图生成设备150、索引服务器160和记录服务器170可以直接连接到客户端设备120，然后客户端设备120用作它们之间的接口。
34.管理服务器130包括用于管理与监控/监视系统100的配置有关的信息的管理软件，所述信息诸如是警报的条件、所附的外围装置(硬件)的细节、哪些数据流记录在哪个记录服务器中等。管理服务器130还管理诸如操作者许可等的用户信息。当客户端设备120连接到系统或用户登录时，管理服务器130确定用户是否被授权查看视频数据。管理服务器130还发起初始化或设置过程，在初始化或设置过程期间，管理服务器130将配置数据发送到客户端设备120。配置数据定义系统中的摄像机以及各摄像机连接到哪个记录服务器(如果存在多个记录服务器)。然后，客户端设备120将配置数据存储在高速缓存中。配置数据包括客户端设备120识别摄像机和从摄像机和/或记录服务器获得数据所需的信息。注意，本发明不局限于该特定示例，并且配置数据可以存储在视频监控系统的另一设备或服务器中。
35.可以通过对象识别软件将对象检测/识别应用于视频数据。对象识别软件生成与视频流相关联的元数据(或内容元数据)，并且定义在帧中的何处已经检测到对象。内容元数据还可以定义已经检测到什么类型的对象或活动，例如人、汽车、狗、自行车、警报、运动。其他类型的视频分析软件也可以生成内容元数据，诸如行为检测(例如游荡检测)、牌照识别或面部识别等。
36.对象检测/识别软件或生成元数据的任何视频分析软件可以在客户端设备120上运行，或者在分析服务器上运行，或者在记录服务器170上运行，或者可以在摄像机本身上运行。对于本发明而言，在何处生成元数据不是必要的。元数据可以与视频监控数据一起存储在记录服务器中，并且与或不与其相关联的视频数据一起流传输到客户端设备。
37.图1的视频监控系统是可以实现本发明的系统的示例。然而，其他架构也是可能的。例如，图1的系统是“现场”系统，但是本发明也可以在基于云的系统中实现。在基于云的系统中，摄像机将数据流传输到云，并且至少记录服务器170在云中。此外，可以在云中执行视频分析。客户端设备从云请求要由用户查看的视频数据。
38.客户端设备120例如可以从索引服务器160或者从记录服务器170获取元数据。可替代地，由客户端设备120获取的视频数据可以包括由在别处(例如，在分析服务器、记录服务器或摄像机处)执行的视频分析生成的元数据。
39.还存在可以实现本发明的另外的替代方式。例如，可以在索引服务器160或记录服务器170处执行视频序列的搜索，其中从客户端设备120发送搜索查询。
40.在本示例中，记录服务器170运行分析软件而不需要专用分析服务器，并且所生成的元数据在索引服务器160上以有组织的方式被索引，该索引服务器可以由用户经由客户端设备120(例如，经由图形用户界面(gui)(诸如图2中所示的gui等))查询。
41.图2的gui包括两个搜索插件(sp)200、210，这两个搜索插件可以在存储在记录服务器170中的视频序列中搜索特定种类的内容并且返回特定视频序列作为与不同搜索查询相匹配的搜索结果。在本示例中，第一搜索插件200可以搜索特定颜色和类型的运载工具，并且第二搜索插件210可以搜索处于特定姿态或进行特定运动的人。然而，本发明不限于该示例，并且可以涉及多于两个的搜索插件。本发明还可以例如利用被配置为搜索由分析软件生成且在索引服务器160中被索引的元数据的一个或多于一个搜索插件来执行。
42.如果用户已经定义了至少两个不同的搜索标准，则用户可以搜索相同类型的不同的感兴趣对象或活动、或其组合。例如，用户可以搜索蓝色汽车和红色汽车。可替代地，用户可以搜索不同类型的感兴趣对象或活动，诸如蓝色汽车和声音已经记录在视频序列中的警报等。用户可以搜索两个感兴趣对象、两个感兴趣活动的组合，或者搜索一个或多于一个感兴趣对象和一个或多于一个感兴趣活动。对象的示例包括(但不限于)运载工具、牌照、人、动物、标志(诸如箭头等)或几何形式。感兴趣活动的示例包括(但不限于)警报、声音、人、运载工具或动物进入预定区域(诸如例如围栏周围或后面的区域)或进入由进入控制系统控制或监视的地点或资源(诸如例如由徽章(badge)系统控制的门后面的通道等)。
43.有利地，与视频序列相关联且与视频序列中的感兴趣对象或活动有关的内容元数据可以用与进入控制有关的附加元数据(例如与包括目标区域的建筑物中的警报的停用有关的数据)来增强。前述插件中的一个或多于一个然后可以被配置为搜索该附加元数据。该附加元数据可以由本领域技术人员已知的任何合适软件生成。
44.图3例示根据本发明的视频处理的计算机实现的方法的流程图，该方法主要包括四个步骤。在第一步骤s300中，计算机将获得目标区域的包括第一预定感兴趣对象或活动的第一视频序列，并且在第二步骤s310中，计算机将获得该目标区域的包括第二预定感兴趣对象或活动的第二视频序列。注意，步骤s300和s310也可以同时执行。步骤s300和s310可以由用户在如上所述两个搜索插件中输入一个或多于一个搜索标准来执行。以这种方式，由用户预先确定感兴趣对象和/或活动。在下一步骤s320中，计算机将确定第一视频序列的记录时段和第二视频序列的记录时段是否在时间上重叠。利用“在时间上重叠”，意味着视频序列已经至少部分地被同时记录。例如，当在目标区域中检测到蓝色汽车(第一预定对象)并且消失时，第一视频序列在2020年10月1日在下午4：00与4：15之间记录，并且当在同一目标区域中检测到跑步人(第二预定对象)时，第二视频序列在同一天在下午4：12与4：17之间记录。由于第一视频序列和第二视频序列重叠，因此可以使用第一视频序列和/或第二视频序列的至少来自同时示出了两个对象的重叠的时间段的帧来定义第一片段。在以上示例中，可以使用来自在下午4：12与4：15之间的时段(该时段是重叠的时间段)的来自第一视频序列和/或第二视频序列的帧来定义片段。还可以定义包括来自重叠的时间段之前和/或之后的更多帧的更长视频片段。在以上示例中，例如，可以定义包括来自第一视频序列的所有帧和来自第二视频序列的所有帧的更长视频片段，以定义与在下午4：00与4：17之间的记
录时段相对应的片段。可替代地，还可以定义一个或多于一个中间片段，例如，包括来自重叠的时间段的来自第一视频序列和第二视频序列的所有帧以及来自第一视频序列的所有其他帧而没有来自第二视频序列的任何其他帧的片段，即，与下午4：00与4：15之间的记录时段相对应的片段；或者包括来自重叠的时间段的来自第一视频序列和第二视频序列的所有帧以及来自第二视频序列的所有其他帧而没有来自第一视频序列的任何其他帧的片段，即，与下午4：12与4：17之间的记录时段相对应的片段。
45.优选地，片段应当包括来自在时间上重叠的第一视频序列和第二视频序列的所有帧，即，第一视频序列和第二视频序列的来自第一视频序列与第二视频序列之间的重叠的时间段的所有帧以及第一视频序列和第二视频序列的存在于所述重叠的时间段之外的所有帧(下文称为“or(或)”场景)，或者第一视频序列和/或第二视频序列的来自重叠的时间段的所有帧(这对应于与针对最长可能时间段的所有用户的搜索研究标准相匹配的序列)(下文称为“and(与)”场景)。与“or”和“and”场景相对应的片段对于用户而言将是最有意义的，因为这些片段允许他/她分别看到：针对在目标区域中出现的所有时间(无论单独或一起)示出两个感兴趣对象和/或活动的片段(“or”场景或“or”结果)；或者针对一起在同一目标区域中的所有时间仅示出两个感兴趣对象和/或活动的片段(“and”场景或“and”结果)。
46.与“and”场景相对应的片段将例如允许操作者快速检查跑步者是否试图拦截蓝色汽车，并且与“or”场景相对应的片段将例如允许操作者在蓝色汽车离开之后更容易地识别跑步者。
47.显然，与“or”和“and”场景相对应的片段可以基于用户的搜索标准按自动化的基础来定义。
48.应注意，系统可以被配置为使得用户仅被呈现与“or”和“and”结果中的任一者相对应的片段。
49.此外，当可以定义与“or”场景相对应片段时，可以定义与“and”场景相对应的片段，反之亦然。在来自不同搜索插件的重叠搜索结果的记录时段相同的情况下，与“or”和“and”场景相对应的片段也可以是相同的。然而，如以下更详细地说明的，例如，当与“and”场景相对应的片段不满足所有的用户搜索标准时，例如，当用户搜索三个预定感兴趣对象和/或活动(或使用了三个不同的搜索插件)并且仅从两个搜索插件获得的搜索结果在时间上重叠时，不显示这样的片段可能是有利的。以这种方式，使得用户意识到不存在同时示出他/她的所有搜索标准的片段。
50.记录第一视频序列和第二视频序列，以覆盖同一目标区域。以这种方式，在重叠的时间段期间记录的来自第一视频序列和第二视频序列的帧是相同的，并且可以使用至少来自重叠的时间段的来自两个视频序列中的任一者的帧或者来自这两个视频序列的帧来定义第一片段。在本发明的上下文中，如果不同视频序列的帧是彼此的副本，则这些帧被认为是相同的，而无需考虑附加到这些帧的元数据。如果视频序列源自同一摄像机并且对应于摄像机的单个视场，则甚至更容易实现这个目标。该摄像机可以提供大于180度(例如360度)的视场。然而，目标区域还可以与由多个摄像机观察到的区域相对应，例如，与通过组合不同摄像机的视场而获得的全景视场相对应的区域。
51.该方法还可以涉及获得目标区域的任何附加视频序列，该目标区域已经至少部分地在第一视频序列和/或第二视频序列重叠的时间段期间被记录并且包括另一感兴趣对象
r01})和/或仅包括来自第一视频序列和第二视频序列之间的重叠的时间段的帧的第一片段(“and”场景{sp1-r01，sp2-r01})。如之前所说明的，操作者可以选择看到来自“and”和“or”场景这两者或仅来自“and”和“or”场景其中之一的片段。可替代地，计算机可以被配置为显示来自这两个场景或仅来自一个场景的结果。在该示例中，还可以看到，第一视频序列(sp1-r01)的触发时间未落入第一视频序列和第二视频序列之间的重叠的时间段内。然而，第二视频序列(sp2-r01)的触发时间落入重叠的时间段内。因此，有利的是使用来自第一视频序列和/或第二视频序列的与该触发时间相对应的帧来生成缩略图，该缩略图包括来自第一视频序列的第一预定感兴趣对象或活动连同来自第二视频序列的第二感兴趣对象或活动。因此，该缩略图表示“and”和“or”结果中的这两个对象或活动。
68.图5例示如下示例，其中，第一(sp1-r01)视频序列和第二(sp1-r02)视频序列的记录时段不重叠，即第一视频序列和第二视频序列尚未被同时记录。此外，源自同一搜索插件的搜索结果不被用于定义片段，因为这些搜索结果包含相同的预定感兴趣对象或活动并且不包含用户正在搜索的第二或附加的预定感兴趣对象或活动。出于这两个原因，因此不可以定义根据“and”和“or”场景的片段，更不用说表示这样的片段的共同缩略图。在这种情况下，搜索结果例如可以作为四个单独搜索结果呈现给操作者(“or”结果：{sp1-r01}和{sp1-r02}，以及“and”结果：{sp1-r01}和{sp1-r02})，或者可替换地根本不呈现。
69.图6例示如下示例，其中，第一(sp1-r01)视频序列和第二(sp1-r02)视频序列的记录时段重叠，但是其中，这些视频序列源自同一搜索插件(sp1)(诸如在图5的示例中)。例如，第一({sp1-r01})视频序列和第二({sp1-r02})视频序列分别包括蓝色汽车，即按照用户的搜索请求的同一预定感兴趣对象。出于这个原因，这里再次不可以定义根据“and”和“or”场景的任何片段，更不用说表示任何这样的片段的共同缩略图。在这种情况下，搜索结果也可以作为四个单独搜索结果呈现给操作者(“or”结果：{sp1-r01}和{sp1-r02}，以及“and”结果：{sp1-r01}和{sp1-r02})，或者可替换地根本不呈现。
70.图7例示类似于图5的示例，但是其中，第一(sp1-r01)视频序列和第二(sp2-r01)视频序列源自两个不同搜索插件(sp1和sp2)。在不同搜索插件的搜索结果在时间上不重叠的情况下，针对“and”场景不向操作者呈现任何搜索结果可能是有利的。以这种方式，使得操作者意识到不可以定义包括与他/她的搜索查询相对应的两个预定感兴趣对象和/或活动的片段，因为这两个预定感兴趣对象和/或活动从不会同时出现在目标区域中。
71.图8例如如下示例，其中，来自两个不同搜索插件的搜索结果在时间上重叠，但是其中，第一(sp1-r01)视频序列和第二(sp2-r01)视频序列中没有一者在第一视频序列和第二视频序列中的另一者的记录时段期间被完全记录。在这种情况下，可以定义包括第一视频序列和第二视频序列的所有帧的片段(“or”场景{sp1-r01，sp2-r01})和/或包括来自整个重叠的时间段的来自第一视频序列和第二视频序列的所有帧的片段(“and”场景{sp1-r01，sp2-r01})。在该示例中，可以看到，第一视频序列和第二视频序列的触发时间都不落入重叠的时间段内。在仅来自不同搜索插件的两个搜索结果彼此重叠的情况下，建议使用来自具有最早触发时间的第一视频序列或第二视频序列的帧来生成表示与“or”场景相对应的片段的缩略图，并且使用与“and”场景相对应的片段的第一帧来生成表示该片段的缩略图。与“and”场景相对应的片段的用于生成缩略图的第一帧可以被定义为具有“编造的触发时间”，因为与该帧相对应的触发时间在单独搜索结果中并不存在。
72.根据未例示的示例，当来自两个不同搜索插件的搜索结果在时间上重叠、但是第一视频序列和第二视频序列中没有一者在第一视频序列和第二视频序列中的另一者的记录时段期间被完全记录时，还可以使用与“and”场景的编造的触发时间相对应的帧来生成表示与“or”场景相对应的片段的缩略图。在这种情况下，“or”场景的缩略图将示出第一预定感兴趣对象或活动和第二预定感兴趣对象或活动这两者，这与图8的示例相反，在图8的示例中，在表示与“or”场景相对应的片段的缩略图中仅呈现第一预定感兴趣对象或活动。
73.注意，当选择示出不同感兴趣对象和/或活动的帧作为视频序列或片段的缩略图时，可能有利的是将所述感兴趣对象和/或活动封装在边界框内以便于操作者识别。
74.图9示出另一示例，其中，第一搜索插件(sp1)已经返回单个搜索结果(sp1-r01)并且第二搜索插件(sp2)已经返回两个搜索结果(sp2-r01和sp2-r02)，并且其中，仅来自两个搜索插件的第一结果在时间上重叠(sp1-r01和sp2-r01)。在这种情况下，可以定义包括时间上重叠的视频序列的所有帧的第一片段(“or”场景{sp1-r01，sp2-r01})和/或仅包括时间上重叠的视频序列之间的来自重叠的时间段的帧的第一片段(“and”场景{sp1-r01，sp2-r01})。如前所述，在仅来自不同搜索插件的两个搜索结果彼此重叠的情况下，在时间上重叠的视频序列的触发时间中的最早触发时间可以用于定义如下的帧，该帧用于生成表示与“or”场景相对应的任何这种片段的缩略图。在时间上与任何其他视频序列不重叠的视频序列可以作为“or”场景中的单独搜索结果而呈现(诸如在本示例中的序列{sp2-r02})或者根本不呈现。
75.图10示出涉及多于两个搜索插件、并且更具体地涉及三个搜索插件的示例。这里，第一搜索插件(sp1)已经返回单个搜索结果(sp1-r01)，第二搜索插件(sp2)也已经返回单个搜索结果(sp2-r01)，并且第三搜索插件(sp3)返回两个搜索结果(sp3-r01和sp3-r02)。来自第三插件的两个搜索结果可以被认为是如前所述的“附加视频序列”。在该示例中，来自第三搜索插件(sp3)的第一搜索结果(sp3-r01)与来自第一搜索插件(sp1)的第一搜索结果(sp1-r01)重叠，并且来自第三搜索插件(sp3)的第二搜索结果(sp3-r02)与来自第二搜索插件(sp2)的第一搜索结果(sp2-r02)重叠。在这种情况下，因此可以定义分别包括时间上重叠的来自不同插件的视频序列的所有帧的两个第一片段(“or”场景{sp1-r01，sp3-r01}和{sp2-r01，sp3-r02})。如前所述，在来自不同搜索插件的仅两个搜索结果彼此重叠的情况下，在时间上重叠的视频序列的触发时间中的最早触发时间可以用于定义如下的帧，该帧用于生成表示与“or”场景相对应的任何这种片段的缩略图。然而，由于不存在来自所有不同搜索插件的在时间上同时重叠的视频序列，因而对于“and”场景不向操作者呈现任何搜索结果可能是有利的。因此，与“and”场景{sp1-r01，sp3-r01}和{sp2-r01，sp3-r02}相对应的片段优选地不被呈现给用户或移除/删除。词语“none(无)”可以例如显示在“and”结果的列表中。以这种方式，使得操作者意识到不可以定义包括与他/她的搜索查询相对应的三个预定感兴趣对象和/或活动的片段，因为这三个预定感兴趣对象和/或活动从不会同时出现在目标区域中。可替代地，可以不向用户给出不可以定义任何这样的片段的指示。
76.图11示出涉及两个搜索插件的示例，其中，第一搜索插件(sp1)已经返回三个搜索结果(sp1-r01、sp1-r02、sp1-r03)并且第二搜索插件(sp2)已经返回两个搜索结果(sp2-r01、sp2-r02)。在该示例中，第一搜索插件(sp1)的第一搜索结果(sp1-r01)与第二搜索插件(sp2)的第一(sp2-r01)搜索结果和第二(sp2-r02)搜索结果重叠。此外，第一搜索插件
(sp1)的第二搜索结果(sp1-r02)与第二搜索插件(sp2)的第二搜索结果(sp2-r02)重叠。如前所述(例如在图6的示例中等)，源自同一搜索插件的搜索结果不被用于定义片段，因为这些搜索结果包含相同的预定感兴趣对象或活动并且不包含用户正在搜索的第二或另外的预定感兴趣对象或活动。在本示例中，可以定义包括时间上重叠的来自不同搜索插件的视频序列的所有帧的三个片段(“or”场景{sp1-r01，sp2-r01}、{sp1-r01，sp2-r02}和{sp1-r02，sp2-r02}，其中，两个片段仅包括来自不同搜索插件的视频序列之间的来自重叠的时间段的帧(“and”场景{sp1-r01，sp2-r01}和{sp1-r02，sp2-r02}，以及/或者一个片段包括由仅一个帧重叠的来自不同搜索插件的视频序列之间的来自重叠的时间段的单个帧(“and”场景{sp1-r01，sp2-r02})。与其他视频序列不重叠的单独搜索结果可以如此在“or”场景中呈现，因为这些结果满足用户的搜索请求的搜索标准其中至少之一。类似于图10的示例，在来自不同搜索插件的仅两个搜索结果彼此重叠的情况下，在时间上重叠的来自不同搜索插件的视频序列的触发时间中的最早触发时间可以用于定义如下的帧，该帧用于生成表示与“or”场景相对应的任何这种片段的缩略图。落入时间上重叠的来自不同搜索插件的视频序列的重叠的时间段内的触发时间中的最早触发时间可以用于定义如下的帧，该帧用于生成表示与“and”场景(诸如，“and”结果{sp1-r01，sp2-r01})相对应的任何这种片段的缩略图。类似于图8的示例，当没有触发时间落入时间上彼此重叠的来自不同搜索插件的视频序列的重叠的时间段内时，可以使用在“and”场景中定义的相应片段的第一帧来生成表示该片段的缩略图。用于生成缩略图的与“and”场景相对应的各片段的第一帧可以被定义为具有如先前参考图8所说明的编造的触发时间(在该示例中，参见“and”场景{sp1-r01，sp2-r02}和{sp1-r02，sp2-r02})。
77.图12示出涉及三个搜索插件的示例。这里，来自不同搜索插件的三个视频序列在时间上重叠(搜索结果sp1-r01、sp2-r01和sp3-r02)。因此可以定义如下的片段；使用在时间上重叠的来自不同插件的所有视频序列的所有帧的片段(“or”场景({sp1-r01，sp2-r01，sp3-r02})和/或仅使用在时间上重叠的来自不同插件的所有视频序列的重叠的时间段的帧的片段(“and”场景{sp1-r01，sp2-r01，sp3-r02})。在来自不同搜索插件的三个或多于三个搜索结果彼此重叠的情况下，与时间上重叠的来自不同搜索插件的视频序列的触发时间中的与最大搜索结果重叠的最早触发时间可以用于定义如下的帧，该帧用于生成表示与“or”场景相对应的任何这种片段的缩略图。此外，类似于图10的示例，落入时间上重叠的来自不同搜索插件的视频序列的重叠的时间段内的触发时间中的最早触发时间可以用于定义如下的帧，该帧用于生成表示与“and”场景相对应的任何这种片段的缩略图(这里，sp1-r01的触发时间是落入搜索结果sp1-r01、sp2-r01和sp3-r02的重叠的时间段内的唯一触发时间，并且因此用于定义要用于生成表示与“and”场景{sp1-r01，sp2-r01、sp3-r02}相对应的片段的缩略图)。在该示例中，如在先前示例中所描述的，获得源自视频序列sp2-r01和sp3-r01的片段、单独搜索结果sp3-r03、以及它们的缩略图(在“or”场景中)。
78.图13至图16例示另外的示例，其中，单独搜索结果其中至少之一包括视频序列的起始处的开端序列和所述视频序列的结束处的至少一个结尾序列。该开端序列和结尾序列被单独地称为填充序列，即，视频序列的预定感兴趣对象或活动不必一定出现和/或视频质量低于视频序列的其余部分的视频质量的序列。由于视频序列的获取条件在它们被标准化之前变化，因此可能存在这样的填充序列，例如由于目标区域是暗室并且灯被打开，因此创
建了填充序列，其中灯尚未达到其全亮度，并且其中视频序列的记录的质量因此是低的。由于摄像机在由覆盖比目标区域更宽的区域的传感器启用时开始记录，并且预定感兴趣对象或活动在视频序列的记录的开始之后进入目标区域，因此也可以存在填充序列。
79.每当存在这种填充序列时，优选的是出于确定视频序列的记录时段是否在时间上彼此重叠的目的而不考虑填充序列。然而，在根据“and”和“or”场景定义的片段中包括任何这种填充序列可能是有利的。
80.在图13至图16中，任何填充序列将由细线呈现，并且任何非填充序列将由粗线呈现。为了简化起见，不再示出视频序列的各个帧。
81.与视频序列相关联的元数据可以有利地包括以下要素中一个或多于一个要素：
[0082]“begintime”：搜索结果的起始或开始时间不包括任何填充。
[0083]“begintimewithpadding”：搜索结果的起始或开始时间包括填充。
[0084]“endtime”：搜索结果的结束时间不包括任何填充。
[0085]“endtimewithpadding”：搜索结果的结束时间包括填充。
[0086]“triggertime”：在begintime和endtime的时间跨度内的视频序列中的对象和/或活动可见或可识别的时间戳。
[0087]
注意，本发明不限于给予上述定义的特定名称。
[0088]
如先前所说明的，触发时间与视频序列中的预定对象和/或活动最可见或可识别的视频序列中的时间相对应。
[0089]
图13例示如下示例，其中，第一搜索插件(sp1)的第一搜索结果(sp1-r01)包括两个填充序列，即开端序列和结尾序列，而第二搜索插件的第一搜索结果不包括任何填充序列。在该示例中，可以看到，来自这两个插件的搜索结果仅彼此重叠，因为第一搜索插件(sp1)的第一搜索结果(sp1-r01)的结尾序列与第二搜索插件(sp2)的第一搜索结果(sp2-r01)重叠。由于在确定视频序列是否重叠时不考虑填充序列，因而认为这两个搜索结果不重叠，因此这里不可以根据“and”和“or”场景使用第一视频序列和/或第二视频序列的帧来定义片段。然而，在“or”场景下，单独搜索结果可以仍然作为两个单独搜索结果呈现给操作者({sp1-r01}和{sp2-r01})。此外，如参考图10所说明的，例如在“and”结果的列表中可以显示词语“none”，因为不存在与“and”场景相对应的片段。
[0090]
图14例示与图13的示例类似的示例，但是其中，在不考虑第一搜索插件(sp1)的第一搜索结果(sp1-r01)的填充序列的情况下，第一搜索插件(sp1)的第一搜索结果(sp1-r01)与第二搜索插件(sp2)的第一搜索结果(sp2-r01)重叠。在这种情况下，可以定义包括第一视频序列和第二视频序列的所有帧的片段(“or”场景{sp1-r01,sp2-r01})和/或包括来自整个重叠的时间段的来自第一视频序列和第二视频序列的所有帧的片段(“and”场景{sp1-r01，sp2-r01})。尽管在确定视频序列是否重叠时不考虑填充序列，但是在时间上重叠的来自不同搜索插件的视频序列的填充序列的帧仍然可以被包括在“or”场景下所定义的片段中。然而，与来自另一搜索插件的另一视频序列在时间上重叠的视频序列的填充序列的帧在该填充序列也与所述另一视频序列的填充或非填充序列重叠的情况下将仅被包含在“and”场景下所定义的片段中。优选地，与来自不同搜索插件的非填充序列重叠的任何填充序列的帧在“or”场景中被呈现为来自非填充序列的帧(诸如搜索结果sp1-r01的结尾序列在“or”场景{sp1-r01，sp2-r01}中被呈现为非填充序列)。另一方面，与来自不同搜索
插件的非填充序列重叠的任何填充序列的帧优选地在“and”场景中被呈现为来自填充序列的帧(诸如搜索结果sp1-r01的结尾序列在“and”场景{sp1-r01，sp2-r01}中被呈现为填充序列)。以类似于前述示例的方式来定义根据“and”和“or”场景所定义的片段的缩略图。
[0091]
图15例示与图14的示例类似的示例，不同的是：在记录第一搜索插件(sp1)的第一结果(sp1-r01)期间，完整记录了第二搜索插件(sp2)的第一搜索结果(sp2-r01)，第一搜索插件的第一搜索结果的结尾序列与第二搜索插件的第一搜索结果不重叠。
[0092]
根据关于图14提到的规则，第一搜索插件的第一搜索结果的填充序列的帧被包括在包含重叠视频序列的所有帧的片段(“or”场景{sp1-r01，sp2-r01})中，并且优选地呈现为来自填充序列的帧，因为它们与第二搜索插件的第一搜索结果不重叠。另外，第一搜索插件的第一搜索结果的填充序列的帧不被包括在包含来自时间上重叠的整个时段的来自视频序列的所有帧的片段(“and”场景{sp1-r01，sp2-r01})中，因为第一搜索插件的第一搜索结果的填充序列与第二搜索插件的第一搜索结果在时间上不重叠。这里再次以类似于前述示例的方式来定义根据“and”和“or”场景所定义的片段的缩略图。
[0093]
图16例示基于图15所示示例的视频处理方法的最后示例，但不同的是，来自第二搜索插件(sp2)的第一搜索结果(sp2-r01)还包括开端填充序列和结尾填充序列。
[0094]
在这种情况下，可以看到，第二搜索插件的第一搜索结果的开端序列部分地与第一搜索插件的第一搜索结果的开端序列重叠，并且部分地与第一搜索插件的第一搜索结果的非填充部分重叠。如上文关于图14说明的，与来自不同搜索插件的非填充序列重叠的任何填充序列的帧优选地在“or”场景中被呈现为来自非填充序列的帧，并且与来自不同搜索插件的另一填充序列重叠的任何填充序列的帧优选地在“or”场景中被呈现为来自填充序列的帧。另一方面，与来自不同搜索插件的非填充序列重叠的任何填充序列的帧优选地在“and”场景中被呈现为来自填充序列的帧，而不管填充序列的帧是否与填充序列或非填充序列重叠。
[0095]
图17例示根据本发明的从视频序列生成缩略图的计算机实现的方法的流程图，该方法主要包括三个步骤。
[0096]
在第一步骤s400中，计算机将识别视频序列中的包括第一感兴趣对象或活动的第一帧，并且在第二步骤s410中，计算机将识别该视频序列中的包括第二感兴趣对象或活动的第二帧。可替代地，步骤s400和s410可以同时执行。根据上述计算机实现的视频处理方法，优选地在源自两个视频序列的片段中识别第一帧和第二帧。在下一步骤s420中，计算机将使用视频序列或片段的第一帧的至少一部分和第二帧的至少一部分生成缩略图，其中该缩略图包括第一对象或活动以及第二对象或活动。
[0097]
例如，该方法可以包括如下步骤，其中，从视频序列中提取或复制视频序列的第一帧和第二帧以生成缩略图。换句话说，帧在用于生成缩略图之前可以从视频序列或片段中复制。
[0098]
图18例示通常会呈现给收索跑步者和汽车的操作者的缩略图。在该示例中，在缩略图的网格视图500中呈现的各缩略图都对应于与操作者的搜索标准其中至少之一相对应的单独搜索结果。汽车结果1、6、8和10源自第一搜索插件，并且跑步者结果2、3、4、5、7、9、11和12源自第二搜索插件。用户搜索到的感兴趣对象和/或活动优选地显示在各缩略图的边界框内，以便于操作者识别它们。在该示例和下面的示例中，缩略图是可以点击的，以打开
缩略图所对应的视频序列。注意，本发明并不限于上述的网格视图呈现。缩略图上面的编号也不是本发明的必要特征。
[0099]
然而，如从该示例显而易见，简单地单独示出来自两个搜索插件或标准的所有结果可能使得操作者处理它们相当困难。通常将存在许多结果，并且操作者不能容易地确定结果缩略图中示出的汽车和跑步者是否在合理的时间上彼此接近。示出的缩略图是基于搜索插件针对其搜索结果独立选择的触发时间，而对其他搜索插件一无所知。
[0100]
根据上述计算机实现的视频处理方法，可以定义包括操作者正在搜索的第一感兴趣对象或活动和第二感兴趣对象或活动的至少一个片段；并且根据上述计算机实现的从视频序列生成缩略图的方法，可以进一步定义包括第一兴趣对象或活动和第二感兴趣对象或活动的缩略图。
[0101]
图19例示如下示例，其中，使用了视频处理和生成缩略图的这两种方法。在该示例中，可以观察到，结果5+6、7+8和10+11已经合并为组合的视频序列或片段，并且操作者现在知道，在这些片段中，汽车和跑步者同时出现。
[0102]
例如，当用户搜索到三个预定感兴趣对象和/或活动(或使用三个不同搜索插件)时，但当从仅两个搜索插件获得的搜索结果在时间上重叠时，操作者可以选择移除并非是与所有的用户搜索标准都不匹配的片段的单独搜索结果。以这种方式，使得用户意识到不可能存在同时示出他/她的所有搜索标准的片段。
[0103]
将此应用于图18的示例，操作者现在仅看到汽车和跑步者同时出现的三个组合视频序列，这在图20中示出为缩略图610a、620a、630a。这给出了相关视频数据的更好的概述，但操作者仍需要检查这三个片段，以识别哪个片段包含正在搜索的确切的汽车和人。
[0104]
图21示出基于根据本发明的生成缩略图的方法可以获得的缩略图610b、620b、630b的另外三个示例。根据与搜索结果5+6相对应的缩略图610b的示例，计算机采取与两个单独视频序列的触发时间相匹配的帧部分，并且通过简单地将单独缩略图拼接成一个缩略图而生成单个组合缩略图。计算机基于与各个搜索结果有关的感兴趣对象和/或活动的位置来选择“拼接边界”。根据与搜索结果7+8相对应的缩略图620b的示例，计算机如在第一示例中那样进行，但不添加任何边界来分隔第一帧和第二帧或者第一帧和第二帧的一部分。根据与搜索结果10+11相对应的缩略图630b的示例，计算机选择与各个视频序列之一的触发时间相匹配的帧并将其作为基础缩略图。从与另一单独视频序列的触发时间相匹配的帧中，计算机提取相关的感兴趣对象或活动，并将其与所述基础缩略图重叠，以表示组合的视频序列或片段。
[0105]
图22(a)和图22(b)例示基于根据本发明的生成缩略图的方法可以获得的缩略图的附加示例。根据与搜索结果5+6相对应的缩略图610c的示例，从与两个单独搜索结果的触发时间相匹配的帧中，计算机提取相关的感兴趣对象和/或活动，将其放大并生成缩略图，该缩略图现在表示组合的视频序列或片段。如先前参考图21所述，缩略图优选地包括边界。根据与搜索结果7+8相对应的缩略图620c的示例，计算机使用预定背景(诸如中性参考框等)作为基础缩略图。中性框可以有利地是在没有第一感兴趣对象或活动和第二感兴趣对象或活动、或者没有任何对象或活动的情况下捕获的目标区域的图片。从与两个单独搜索结果的触发时间相匹配的帧中，计算机提取相关的对象，并将其与现在表示组合的视频序列或片段的预定背景重叠。根据与搜索结果10+11相对应的缩略图630c、630d的示例，计算
机采取与两个单独视频序列的触发时间相匹配的帧，并以“分页控制”的方式将这些帧逐一示出为缩略图。缩略图之间的切换可以通过各种方式进行，例如，通过点击允许操作者在缩略图的两个帧之间进行切换的按钮来手动进行。可替代地，计算机可以显示与两个单独视频序列的触发时间相匹配的帧，并在预定时间内逐一示出这些帧作为缩略图。
[0106]
尽管图19至图22(b)所示的示例涉及包括仅两个感兴趣对象或活动的片段，但本发明也涵盖了搜索三个或多于三个对象(如上述与“附加视频序列”有关的示例)的情况，使得所生成的相应缩略图将因此包括三个或多于三个对象或活动。
[0107]
虽然已经参照各种实例了描述本发明，但应该理解，本发明不限于所公开的示例。在不背离权利要求书所定义的本发明的必要特征的情况下，本发明可以以各种形式实现。
[0108]
下面编号的声明提供了关于本发明的附加信息。在编号的声明后提供权利要求书。
[0109]
声明1.一种视频处理的计算机实现的方法，包括：获得目标区域的包括感兴趣的第一预定对象或活动的第一视频序列；获得所述目标区域的包括感兴趣的第二预定对象或活动的第二视频序列；确定所述第一视频序列的记录时段和所述第二视频序列的记录时段是否重叠一定时间段；以及在所述第一视频序列的记录时段和所述第二视频序列的记录时段重叠一定时间段的情况下，使用所述第一视频序列和/或所述第二视频序列的至少来自重叠的时间段的帧来定义至少一个第一视频片段。
[0110]
声明2.如声明1中所述的方法，还包括：获得所述目标区域的至少一个附加视频序列，各附加视频序列包括所述目标区域中的感兴趣的预定对象或活动并且具有记录时段；确定各附加视频序列的记录时段是否与任何其他附加视频序列的记录时段重叠一定时间段以及/或者与所述第一视频序列和/或所述第二视频序列的记录时段重叠一定时间段；在某一附加视频序列的记录时段与所述第一视频序列、所述第二视频序列和其他附加视频序列中的任何其他视频序列的记录时段重叠一定时间段的情况下，使用该附加视频序列和/或该其他视频序列的来自重叠的时间段的帧来定义至少第二视频片段。
[0111]
声明3.如前述声明中的任一项所述的方法，其中，所有所述视频序列是通过搜索存储在记录服务器上的视频数据而获得的，其中，记录服务器上存储有来自多个摄像机的视频数据。
[0112]
声明4.如前述声明中的任一项所述的方法，还包括：生成与所有感兴趣的预定对象或活动有关的元数据。
[0113]
声明5.如前述声明中的任一项所述的方法，其中，所有的所述视频序列都源自单个摄像机。
[0114]
声明6.如前述声明中的任一项所述的方法，其中，所述目标区域与单个摄像机的视场相对应。
[0115]
声明7.如前述声明中的任一项所述的方法，其中，所有的所述预定对象是选自包括运载工具、车牌、人和动物的对象组的对象的类型。
[0116]
声明8.如前一声明所述的方法，其中，所有所述预定对象与所述对象组中的不同类型的对象相对应。
[0117]
声明9.如前一声明结合声明3所述的方法，其中，搜索视频数据是由用户在至少两个搜索插件中输入一个或多于一个搜索标准来完成的。
[0118]
声明10.如前一声明结合声明7或8所述的方法，其中，各搜索插件是被配置为在所有所述视频序列中识别所述对象组中的一个对象、或者一个感兴趣活动的搜索插件。
[0119]
声明11.如前一声明所述的方法，其中，所有所述视频序列是作为来自用户的至少两个查询的搜索结果而获得的，以及其中，各查询与感兴趣的预定感兴趣对象或活动中的不同的感兴趣的预定对象或活动有关。
[0120]
声明12.如前述声明中的任一项所述的方法，其中，所述视频序列各自包括与该视频序列的感兴趣的预定对象或活动有关的内容元数据。
[0121]
声明13.如前一声明结合声明3所述的方法，其中，所述内容元数据由记录服务器上的分析插件生成。
[0122]
声明14.如前一声明所述的方法，其中，获得所有所述视频序列是通过搜索不同视频序列的内容元数据来完成的。
[0123]
声明15.如前一声明所述的方法，其中，所有所述视频序列中的至少一个视频序列包括视频序列开始处的至少一个开端序列和/或视频序列结束处的至少一个结尾序列，开端视频序列和/或结尾视频序列被单独称为填充序列，在填充序列中，视频序列的感兴趣的预定对象或活动没有出现和/或视频质量低于视频序列的剩余部分的视频质量。
[0124]
声明16.如声明15所述的方法，其中，出于确定所有所述视频序列是否在所述时间段内彼此重叠的目的，不考虑所述至少一个填充序列。
[0125]
声明17.如前述声明中的任一项所述的方法，其中，至少所述第一视频片段包括来自重叠的时间段的所述第一视频序列或所述第二视频序列的所有帧。
[0126]
声明18.如前述声明中的任一项所述的方法，其中，至少所述第一视频片段还包括所述第一视频序列和/或所述第二视频序列的来自重叠的时间段之前和之后的所有帧。
[0127]
声明19.如前一声明结合声明2和9或者结合声明2和10所述的方法，还包括：在查询至少一个数据库时使用了三个或多于三个搜索插件的情况下、以及在第一视频片段和/或第二视频片段不包括来自所有使用的三个或多于三个搜索插件的结果时，取消对第一视频片段和/或第二视频片段的定义。
[0128]
声明20.如声明1至19中任一项所述的方法，还包括：在不显示已经定义第一视频片段的第一视频序列和第二视频序列的情况下向用户显示所述第一视频片段或所述第一视频片段的缩略图。
[0129]
声明21.如声明1至19中的任一项所述的方法，还包括：识别所述第一视频片段的包括感兴趣的所述第一预定对象或活动的第一帧；识别所述第一视频片段的包括感兴趣的所述第二预定对象或活动的第二帧；以及使用所述第一视频片段的所述第一帧的至少一部分和所述第二帧的至少一部分来生成缩略图，其中所述缩略图包括所述第一预定对象或活动以及所述第二预定对象或活动。
[0130]
声明22.如前一声明所述的方法，包括：从第一视频片段中提取第一帧和第二帧以供生成缩略图。
[0131]
声明23.如声明21和22中的任一项所述的方法，还包括：通过以下操作来生成缩略图：从这两个帧中的一个帧中提取所述第一预定对象或活动或者所述第二预定对象或活动；以及将所提取的所述第一预定对象或活动或者所述第二预定对象或活动与这两个帧中的另一帧重叠。
[0132]
声明24.如声明21或22所述的方法，还包括：通过以下操作来生成缩略图：从这两个帧中提取所述第一预定对象或活动以及所述第二预定对象或活动；以及将所提取的所述第一预定对象或活动以及所述第二预定对象或活动与预定背景重叠。
[0133]
声明25.如前一声明所述的方法，其中，所述第一预定对象或活动以及所述第二预定对象或活动在所述预定背景上被放大。
[0134]
声明26.如声明21或22所述的方法，还包括：将这两个帧中的各帧一个接一个地显示为缩略图。
[0135]
声明27.如前一声明所述的方法，其中，缩略图的各帧依次显示预定时间。
[0136]
声明28.如声明26所述的方法，其中，缩略图包括至少一个可点击的按钮，从而允许用户在该缩略图的两个帧之间切换。
[0137]
声明29.如声明21至28中的任一项所述的方法，其中，所述第一预定对象或活动以及所述第二预定对象或活动各自在所述缩略图上被包含在边界框内。
[0138]
声明30.如声明21至29中的任一项所述的方法，其中，所述第一预定对象和/或所述第二预定对象是选自包括运载工具、车牌、人和动物的对象组的对象的类型。
[0139]
声明31.如前一声明所述的方法，其中，第一预定对象和/或第二预定对象与所述对象组中的不同类型的对象相对应。
[0140]
声明32.如声明21至31中的任一项所述的方法，其中，所述第一视频片段包括定义所述第一视频片段的开始时间和结束时间的元数据。
[0141]
声明33.如声明21至32中的任一项所述的方法，还包括：显示所述一个缩略图。
[0142]
声明34.如声明21至33中的任一项所述的方法，包括：基于所述第一视频片段中存在的对象或面部识别、运动或边界框来搜索所述第一视频片段，或者搜索与所述第一视频片段相关联的内容元数据，以在识别所述第一帧和所述第二帧之前识别感兴趣的所述第一预定对象或活动以及感兴趣的所述第二预定对象或活动。
[0143]
声明35.如前一声明所述的方法，其中，搜索内容元数据包括：向存储所述内容元数据的索引服务器发送搜索请求，并且从所述索引服务器接收指示与搜索标准匹配的视频帧的搜索结果。
[0144]
声明36.如前一声明所述的方法，其中，所述内容元数据包括与包含所述第一预定对象或活动以及所述第二预定对象或活动的帧相对应的触发时间。
[0145]
声明37.如前一声明所述的方法，其中，所述触发时间与第一视频片段的第一预定对象或活动和第二预定对象或活动在第一视频片段中最可见或可识别的帧相对应。
[0146]
声明38.如声明21至37中的任一项所述的方法，其中，所述缩略图包括将这两个帧或这两个帧的一部分中的一个帧或该一个帧的一部分与另一帧或该另一帧的一部分分开的内部边界，所述边界被定位成不遮住所述第一预定对象或活动以及所述第二预定对象或活动。
[0147]
声明39.一种计算机程序，当在计算机上运行时，所述计算机程序使所述计算机执行根据前述声明中任一项所述的方法。
[0148]
声明40.一种视频处理设备，其包括至少一个处理器，所述至少一个处理器被配置为：从用户接收与感兴趣的第一预定对象或活动有关的第一查询以及与感兴趣的第二预定对象或活动有关的第二查询；从至少一个数据库获得目标区域的包括感兴趣的所述第一预
定对象或活动的第一视频序列以及所述目标区域的包括感兴趣的所述第二预定对象或活动的第二视频序列；确定所述第一视频序列的记录时段和所述第二视频序列的记录时段是否重叠一定时间段；在所述第一视频序列的记录时段和所述第二视频序列的记录时段重叠一定时间段的情况下，使用所述第一视频序列和/或所述第二视频序列的来自重叠的时间段的帧来定义至少一个第一视频片段。
[0149]
声明41.如前一声明所述的视频处理设备，其中，所述至少一个处理器还被配置为：识别所述第一视频片段的包括感兴趣的所述第一预定对象或活动的第一帧；识别所述第一视频片段的包括感兴趣的所述第二预定对象或活动的第二帧；以及使用所述第一视频片段的所述第一帧的至少一部分和所述第二帧的至少一部分来生成缩略图，其中所述缩略图包括所述第一预定对象或活动以及所述第二预定对象或活动。
[0150]
声明42.一种视频监控系统，其包括包含显示器的客户端设备以及根据前述声明所述的视频处理设备，所述客户端设备包括至少一个处理器，所述至少一个处理器被配置为至少显示所述第一视频片段或所述第一视频片段的缩略图。
[0151]
声明43.如前一声明所述的视频监控系统，其中，所述客户端设备还被配置为：在不显示定义了所述第一视频片段的所述第一视频序列和所述第二视频序列的情况下显示所述第一视频片段或所述第一视频片段的缩略图。
[0152]
声明44.如前述声明41或42所述的视频监控系统，还包括摄像机和记录服务器，其中，所述记录服务器包括处理器，所述处理器被配置为：使将从所述摄像机捕获的视频序列记录在存储介质中的数据库中；从所述客户端设备接收搜索查询；根据所述搜索查询从所述数据库中提取视频序列；以及定义一个所述第一视频片段并将该第一视频片段发送到所述客户端设备。

技术特征：
1.一种视频处理的计算机实现的方法，包括：获得目标区域的包括感兴趣的第一预定对象或活动的第一视频序列；获得所述目标区域的包括感兴趣的第二预定对象或活动的第二视频序列；确定所述第一视频序列的记录时段和所述第二视频序列的记录时段是否重叠一定时间段；以及在所述第一视频序列的记录时段和所述第二视频序列的记录时段重叠一定时间段的情况下，使用所述第一视频序列和/或所述第二视频序列的至少来自重叠的时间段的帧来定义至少一个第一视频片段。2.根据权利要求1所述的方法，还包括：获得所述目标区域的至少一个附加视频序列，各附加视频序列包括所述目标区域中的感兴趣的预定对象或活动并且具有记录时段；确定各附加视频序列的记录时段是否与任何其他附加视频序列的记录时段重叠一定时间段以及/或者与所述第一视频序列和/或所述第二视频序列的记录时段重叠一定时间段；在某一附加视频序列的记录时段与所述第一视频序列、所述第二视频序列和其他附加视频序列中的任何其他视频序列的记录时段重叠一定时间段的情况下，使用该附加视频序列和/或该其他视频序列的来自重叠的时间段的帧来定义至少第二视频片段。3.根据前述权利要求中任一项所述的方法，其中，所有的所述视频序列都源自单个摄像机。4.根据前述权利要求中任一项所述的方法，其中，所述目标区域与单个摄像机的视场相对应。5.根据前述权利要求中任一项所述的方法，其中，所有的所述预定对象是选自包括运载工具、车牌、人和动物的对象组的对象的类型。6.根据前述权利要求中任一项所述的方法，其中，至少所述第一视频片段包括来自重叠的时间段的所述第一视频序列或所述第二视频序列的所有帧。7.根据前一权利要求所述的方法，其中，至少所述第一视频片段还包括所述第一视频序列和/或所述第二视频序列的来自重叠的时间段之前和之后的所有帧。8.根据前述权利要求中任一项所述的方法，还包括：识别所述第一视频片段的包括感兴趣的所述第一预定对象或活动的第一帧；识别所述第一视频片段的包括感兴趣的所述第二预定对象或活动的第二帧；以及使用所述第一视频片段的所述第一帧的至少一部分和所述第二帧的至少一部分来生成缩略图，其中所述缩略图包括所述第一预定对象或活动以及所述第二预定对象或活动。9.根据权利要求8所述的方法，还包括：通过以下操作来生成缩略图：从这两个帧中的一个帧中提取所述第一预定对象或活动或者所述第二预定对象或活动；以及将所提取的所述第一预定对象或活动或者所述第二预定对象或活动与这两个帧中的另一帧重叠。10.根据权利要求8所述的方法，还包括：通过以下操作来生成缩略图：从这两个帧中提取所述第一预定对象或活动以及所述第二预定对象或活动；以及
将所提取的所述第一预定对象或活动以及所述第二预定对象或活动与预定背景重叠。11.根据前一权利要求所述的方法，其中，所述第一预定对象或活动以及所述第二预定对象或活动在所述预定背景上被放大。12.根据权利要求8所述的方法，还包括：将这两个帧中的各帧一个接一个地显示为缩略图。13.根据权利要求8至12中任一项所述的方法，其中，所述第一预定对象或活动以及所述第二预定对象或活动各自在所述缩略图上被包含在边界框内。14.根据权利要求8至13中任一项所述的方法，其中，所述第一预定对象和/或所述第二预定对象是选自包括运载工具、车牌、人和动物的对象组的对象的类型。15.根据权利要求8至14中任一项所述的方法，其中，所述第一视频片段包括定义所述第一视频片段的开始时间和结束时间的元数据。16.根据权利要求8至15中任一项所述的方法，包括：基于所述第一视频片段中存在的对象或面部识别、运动或边界框来搜索所述第一视频片段，或者搜索与所述第一视频片段相关联的内容元数据，以在识别所述第一帧和所述第二帧之前识别感兴趣的所述第一预定对象或活动以及感兴趣的所述第二预定对象或活动。17.根据前一权利要求所述的方法，其中，搜索内容元数据包括：向存储所述内容元数据的索引服务器发送搜索请求，并且从所述索引服务器接收指示与搜索标准匹配的视频帧的搜索结果。18.根据前一权利要求所述的方法，其中，所述内容元数据包括与包含所述第一预定对象或活动以及所述第二预定对象或活动的帧相对应的触发时间。19.根据权利要求8至18中任一项所述的方法，其中，所述缩略图包括将这两个帧或这两个帧的一部分中的一个帧或该一个帧的一部分与另一帧或该另一帧的一部分分开的内部边界，所述边界被定位成不遮住所述第一预定对象或活动以及所述第二预定对象或活动。20.一种计算机程序，当在计算机上运行时，所述计算机程序使所述计算机执行根据前述权利要求中任一项所述的方法。21.一种视频处理设备，其包括至少一个处理器，所述至少一个处理器被配置为：从用户接收与感兴趣的第一预定对象或活动有关的第一查询以及与感兴趣的第二预定对象或活动有关的第二查询；从至少一个数据库获得目标区域的包括感兴趣的所述第一预定对象或活动的第一视频序列以及所述目标区域的包括感兴趣的所述第二预定对象或活动的第二视频序列；确定所述第一视频序列的记录时段和所述第二视频序列的记录时段是否重叠一定时间段；在所述第一视频序列的记录时段和所述第二视频序列的记录时段重叠一定时间段的情况下，使用所述第一视频序列和/或所述第二视频序列的来自重叠的时间段的帧来定义至少一个第一视频片段。22.根据前一权利要求所述的视频处理设备，其中，所述至少一个处理器还被配置为：识别所述第一视频片段的包括感兴趣的所述第一预定对象或活动的第一帧；识别所述第一视频片段的包括感兴趣的所述第二预定对象或活动的第二帧；以及
使用所述第一视频片段的所述第一帧的至少一部分和所述第二帧的至少一部分来生成缩略图，其中所述缩略图包括所述第一预定对象或活动以及所述第二预定对象或活动。23.一种视频监控系统，其包括包含显示器的客户端设备以及根据前述权利要求所述的视频处理设备，所述客户端设备包括至少一个处理器，所述至少一个处理器被配置为至少显示所述第一视频片段或所述第一视频片段的缩略图。24.根据前一权利要求所述的视频监控系统，其中，所述客户端设备还被配置为：在不显示定义了所述第一视频片段的所述第一视频序列和所述第二视频序列的情况下显示所述第一视频片段或所述第一视频片段的缩略图。25.根据权利要求23或24所述的视频监控系统，还包括摄像机和记录服务器，其中，所述记录服务器包括处理器，所述处理器被配置为：使将从所述摄像机捕获的视频序列记录在存储介质中的数据库中；从所述客户端设备接收搜索查询；根据所述搜索查询从所述数据库中提取视频序列；以及定义一个所述第一视频片段并将该第一视频片段发送到所述客户端设备。

技术总结
提供了视频处理的计算机实现的方法。该方法包括：获得目标区域的包括感兴趣的第一预定对象或活动的第一视频序列并且获得该目标区域的包括感兴趣的第二预定对象或活动的第二视频序列。该方法还包括：确定该第一视频序列的记录时段和该第二视频序列的记录时段是否重叠一定时间段；并且在该第一视频序列和该第二视频序列的记录时段重叠一定时间段的情况下，使用该第一视频序列和/或该第二视频序列的至少来自重叠的时间段的帧来定义至少一个第一视频片段。第一视频片段。第一视频片段。


技术研发人员：J
受保护的技术使用者：佳能株式会社
技术研发日：2021.09.29
技术公布日：2023/10/7