用于监控相机的变换矩阵的确定装置及方法与流程

1.本技术涉及信息技术领域。


背景技术：

2.在道路监控系统中，需要用于将图像上的位置映射到世界坐标系上的实际位置变换矩阵，以实现该系统的部分功能。例如，速度测量功能需要以米为单位的实际坐标。
3.现有的道路监控系统通过一些配置信息来计算变换矩阵。人们需要找到一些参考对象，然后绘制一些点并输入它们之间的实际距离，最后通过配置信息来计算变换矩阵。例如，预先在图像上绘制4个已知距离的点，将像素坐标和它们之间的实际距离输入程序，通过相关的算法来计算变换矩阵。
4.应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

5.但是，在上述现有方法中，手动设置这些配置信息需要很多时间，并且，如果监控相机的角度移动，该设置将无效。此外，如果道路上没有参考对象，或者参考对象之间的距离未知，则很难设置准确的配置信息。因此，现有的计算变换矩阵的方法效率较低且准确性较差。
6.为了解决上述问题中的至少一个，本技术实施例提供一种用于监控相机的变换矩阵的确定装置及方法。
7.根据本技术实施例的第一方面，提供一种用于监控相机的变换矩阵的确定装置，所述装置包括：第一确定单元，其根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；第一检测单元，其对所述监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，所述追踪检测信息包括所述车辆在追踪过程中的轮廓信息和检测框；第二确定单元，其根据所述第一消失点、所述第二消失点以及所述车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中所述车辆的长度线和宽度线；第三确定单元，其根据在追踪过程中所述车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及第一计算单元，其根据所述第一组参考点的世界坐标和像素坐标，计算对应于所述车辆的变换矩阵。
8.根据本技术实施例的第二方面，提供一种电子设备，所述电子设备包括根据本技术实施例的第一方面所述的装置。
9.根据本技术实施例的第三方面，提供一种用于监控相机的变换矩阵的确定方法，所述方法包括：根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；对所述监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，所述追踪检测信息包括所述车辆在追踪过程中的轮廓信息和检测框；根据
所述第一消失点、所述第二消失点以及所述车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中所述车辆的长度线和宽度线；根据在追踪过程中所述车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及根据所述第一组参考点的世界坐标和像素坐标，计算对应于所述车辆的变换矩阵。
10.本技术实施例的有益效果之一在于：根据监控视频中车辆行驶方向的第一消失点、水平方向的第二消失点以及车辆在追踪过程中的各个轮廓信息和检测框，确定在追踪过程中车辆的长度线和宽度线，以此确定监控视频的图像中多个参考点的世界坐标，从而能够根据多个参考点的像素坐标和世界坐标计算变换矩阵，因此，不需要进行手动设置配置信息，能够根据监控视频自动且准确地计算出监控相机的变换矩阵。
11.参照后文的说明和附图，详细公开了本技术的特定实施方式，指明了本技术的原理可以被采用的方式。应该理解，本技术的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本技术的实施方式包括许多改变、修改和等同。
12.针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。
13.应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
附图说明
14.所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
15.图1是本技术实施例1的用于监控相机的变换矩阵的确定装置的一示意图；
16.图2是本技术实施例1的监控视频中消失点的一示意图；
17.图3是本技术实施例1的第一确定单元的一示意图；
18.图4是本技术实施例1的第四确定单元的一示意图；
19.图5是本技术实施例1的第五确定单元的一示意图；
20.图6是本技术实施例1的确定消失点的一示意图；
21.图7是本技术实施例1的确定车辆的长度线和宽度线的一示意图；
22.图8是本技术实施例1的第三确定单元的一示意图；
23.图9是本技术实施例1的确定参考点的一示意图；
24.图10是本技术实施例1的第十确定单元的一示意图；
25.图11是本技术实施例2的电子设备的一示意图；
26.图12是本技术实施例2的电子设备的系统构成的一示意框图；
27.图13是本技术实施例3的用于监控相机的变换矩阵的确定方法的一示意图。
具体实施方式
28.参照附图，通过下面的说明书，本技术的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本技术的特定实施方式，其表明了其中可以采用本技术的原则的部
分实施方式，应了解的是，本技术不限于所描述的实施方式，相反，本技术包括落入所附权利要求的范围内的全部修改、变型以及等同物。
29.实施例1
30.本技术实施例提供一种用于监控相机的变换矩阵的确定装置。图1是本技术实施例1的用于监控相机的变换矩阵的确定装置的一示意图。
31.如图1所示，用于监控相机的变换矩阵的确定装置100包括：
32.第一确定单元101，其根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；
33.第一检测单元102，其对该监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，该追踪检测信息包括该车辆在追踪过程中的轮廓信息和检测框；
34.第二确定单元103，其根据该第一消失点、该第二消失点以及该车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中该车辆的长度线和宽度线；
35.第三确定单元104，其根据在追踪过程中该车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及
36.第一计算单元105，其根据该第一组参考点的世界坐标和像素坐标，计算对应于该车辆的变换矩阵。
37.这样，根据监控视频中车辆行驶方向的第一消失点、水平方向的第二消失点以及车辆在追踪过程中的各个轮廓信息和检测框，确定在追踪过程中车辆的长度线和宽度线，以此确定监控视频的图像中多个参考点的世界坐标，从而能够根据多个参考点的像素坐标和世界坐标计算变换矩阵，因此，不需要进行手动设置配置信息，能够根据监控视频自动且准确地计算出监控相机的变换矩阵。
38.在一些实施例中，监控相机的变换矩阵用于在监控相机拍摄的图像的像素坐标和现实的世界坐标之间转换。
39.在一些实施例中，监控相机设置在道路上方或交叉路口等位置，其拍摄包括道路在内的监控视频。
40.例如，该监控摄像头拍摄的监控视频，其拍摄的视角沿着道路的方向，也就是说，其拍摄得到的监控视频的图像的宽度方向与道路的宽度方向接近，图像的长度方向与道路的长度方向接近。由于视角的限制，监控视频中的道路区域一般呈倾斜的多边形。
41.在一些实施例中，监控视频包括在时间上连续的多个帧的图像。
42.在一些实施例中，监控视频中的道路上存在一个或多个行驶的车辆。
43.例如，车辆可以包括小汽车、卡车、公共汽车、货车以及摩托车等各种车辆。
44.在本技术实施例中，第一确定单元101根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点。
45.在一些实施例中，车辆的行驶方向与道路的延伸方向相同。
46.图2是本技术实施例1的监控视频中消失点的一示意图。如图2所示，车辆在行驶方向上的第一消失点vp1为该车辆的3d框的底部两个长边的延长线的交点，水平方向上的第二消失点vp2为该车辆的3d框的底部两个宽边的延长线的交点。
47.以下，对本技术实施例确定第一消失点和第二消失点的方法进行示例性的说明
48.图3是本技术实施例1的第一确定单元的一示意图。如图3所示，第一确定单元101
包括：
49.第四确定单元301，其根据该监控视频确定道路上的车辆的光流确定该第一消失点；以及
50.第五确定单元302，其对该监控视频进行车辆检测和直线检测，确定该第二消失点。
51.图4是本技术实施例1的第四确定单元的一示意图。如图4所示，第四确定单元301包括：
52.第六确定单元401，其基于一段时间内道路上的车辆的光流向量确定该光流向量的多个第一交点；以及
53.第一聚类单元402，其对该多个第一交点进行聚类，得到该第一消失点。
54.图5是本技术实施例1的第五确定单元的一示意图。如图5所示，第五确定单元302包括：
55.第二检测单元501，其利用目标检测器检测监控视频中的车辆；
56.第七确定单元502，其检测该车辆的边缘线，保留该边缘线中的候选水平线，并确定该候选水平线的多个第二交点；以及
57.第二聚类单元503，其对该多个第二交点进行聚类，得到该第二消失点。
58.下面结合具体的示例进行说明。
59.图6是本技术实施例1的确定消失点的一示意图。如图6所示，
60.对于第一消失点vp1，基于检测的光流来计算。向量601显示了车辆上的光流，这些光流是通过跟踪车辆上的一些特征点来计算的。例如，收集过往车辆的光流；当光流向量的数量达到阈值时停止；确定这些向量601之间的交点，通过对所有点进行聚类来计算第一消失点vp1。
61.对于第二消失点vp2，由车辆的水平边缘线确定。例如，通过yolo检测器检测车辆；检测车辆边缘线；保留接近水平方向的边缘线602；获得这些边缘线602之间的交点，通过对这些点进行聚类来计算第二消失点vp2。
62.在一些实施例中，第一检测单元102对该监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，该追踪检测信息包括该车辆在追踪过程中的轮廓信息和检测框。
63.在一些实施例中，车辆的检测框又称为2d框。
64.在一些实施例中，第一检测单元102对监控视频的各个帧逐帧进行处理。
65.在一些实施例中，该追踪检测信息还包括车辆的类型；并且，该装置100根据预设类型的车辆的该追踪检测信息进行该变换矩阵的确定。
66.例如，设定类型为“小汽车”(car)，由于小汽车的尺寸较为统一，有利于进一步提高计算变换矩阵的准确性。
67.在一些实施例中，第一检测单元102使用实例分割(instance segmentation)方法来检测各个帧中的车辆并确定车辆的轮廓。这样，能够获得较高的检测精度和检测效率。
68.例如，第一检测单元102使用mask-rcnn模型和监控样本进行训练，得到训练好的模型来进行实例分割。每个检测对象(例如，车辆)的输出包括类型、属性、掩码、2d框(即检测框)。可以将这些信息保存到追踪序列中。
69.例如，在得到车辆的2d框后，可以使用一种快速的方法进行跟踪。该方法主要基于
帧间距离和面积的比较，当之前的追踪在当前帧中找不到匹配的车辆2d框时，可以参考特征匹配来找到当前帧中车辆的位置。跟踪时间、轨迹、掩码、类型、2d框和一些其他信息可以保存到每个车辆的追踪缓冲区中。
70.在一些实施例中，第二确定单元103根据该第一消失点、该第二消失点以及该车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中该车辆的长度线和宽度线。
71.在一些实施例中，该规定区域的上边界和下边界根据该监控视频中的多个车辆的检测框确定。
72.例如，上边界由“小汽车”类型的2d框的宽度决定。当小汽车通过每个纵坐标y时，它在每个y位置的宽度将保存到一个矩阵lane_width中。该lane_width矩阵会更新一段时间，当经过的小汽车数量达到预设的阈值时停止更新，例如，该阈值为5。然后从顶部(y＝0)遍历lane_width矩阵，当车道宽度值达到预设的阈值时停止，例如，该阈值为30个像素，此时这个y位置是规定区域的上边界。下边界由最低的2d框确定。在更新lane_width矩阵时，还可以标记最低2d框的纵坐标y，称为max_y。那么，max_y-40即max_y减去40个像素点得到的纵坐标，是该规定区域的下边界。
73.这样，通过监控视频中的多个车辆的检测框(2d框)确定规定区域的上边界和下边界，在该规定区域内车辆的检测框是完整的，因此能够保证确定的长度线和宽度线的准确性和完整性。
74.在一些实施例中，第二确定单元103根据该第一消失点以及该第二消失点与车辆轮廓之间的切线与检测框的交点，确定在追踪过程中该车辆的长度线和宽度线。
75.下面以追踪过程中的一帧图像为例，对确定车辆的长度线和宽度线的过程进行示例性的说明。
76.图7是本技术实施例1的确定车辆的长度线和宽度线的一示意图。如图7所示，通过mask-rcnn模型检测到车辆轮廓和2d框，vp1和vp2是之前计算出的第一消失点和第二消失点。首先找到vp1和车辆轮廓之间的切线，会找到两条切线，其中一条切线与垂直方向的夹角较小，即道路上车辆长度和vp1之间的线。该切线与2d框有两个交点，即，p1和p2(p2未在图7中标记出)；其次，找到vp2和车辆轮廓之间的切线，类似地，将采用与垂直方向夹角较小的另一条切线。p3和p4是该另一条切线和2d框之间的交点。线段|p1p2|和|p3p4|可以在点p5上相交；最后，线段|p1p5|是该车辆的长度线，线段|p4p5|是该车辆的宽度线。跟踪过程中的所有长度线和宽度线的数据可以保存到车辆的追踪数据缓冲区中。
77.对车辆在规定区域内的追踪过程中的各个帧，重复上述操作，得到多个长度线和宽度线。
78.在一些实施例中，第三确定单元104根据在追踪过程中该车辆的长度线和宽度线，确定第一组参考点的世界坐标。
79.在一些实施例中，该第一组参考点包括首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点。
80.图8是本技术实施例1的第三确定单元的一示意图。如图8所示，第三确定单元104包括：
81.第八确定单元801，其根据在追踪过程中该车辆的长度线和宽度线，确定该车辆在
追踪过程中的首尾相接的长度线的数量；以及
82.第九确定单元802，其根据该车辆在追踪过程中的首尾相接的长度线的数量、实际车长参考值以及实际车宽参考值，确定该首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点的世界坐标。
83.在一些实施例中，首尾相接的长度线是指长度线是连续的，即，第一个长度线的下面一个端点与第二个长度线的上面一个端点重合，第二个长度线的下面一个端点与第三个长度线的上面一个端点重合，
……
，以此类推。
84.在一些实施例中，上下两个长度线的端点重合是指，两个端点的距离在预设阈值之内。
85.在一些实施例中，第八确定单元801根据在追踪过程中该车辆的长度线和宽度线，确定该车辆在追踪过程中的首尾相接的长度线的数量，是指，在规定区域内能够得到的连续的长度线的最大数量，也就是说，从车辆进入规定区域后的第一个长度线到该车辆离开该规定区域之前的最后一个长度线的这些长度线的数量。
86.在一些实施例中，当不存在下一个能够接上的长度线时，也就是说，当前的长度线的下面的端点与该车辆的其他长度线的上面的端点的距离都超过了预设阈值，那么，可以在其他车辆的历史数据中检索，当存在能够接上的长度线时，将其他车辆的长度线作为下一个长度线；当在其他车辆的历史数据中也不存在能够接上的长度线时，舍弃当前车辆，即不以当前车辆的数据来计算变换矩阵。这样，能够进一步提高计算出的变换矩阵的可靠性。
87.在一些实施例中，实际车长参考值以及实际车宽参考值可以根据车辆的类型和经验而设置，例如，对于小汽车，实际车长参考值设置为4米，实际车宽参考值设置为1.5米。
88.下面以一个实例，对确定第一组参考点的世界坐标的过程进行示例性的说明。
89.图9是本技术实施例1的确定参考点的一示意图。如图9所示，r1、r2、r3、r4为规定区域的4个端点，即上边界、下边界与道路线的4个交点；在规定区域内的该车辆的首尾相接的长度线901的数量为7个，相应的宽度线902的数量为8个，首尾相接的长度线901中第一个长度线对应的宽度线的两个端点为p1和p2，最后一个长度线对应的宽度线的两个端点为p3和p4，第一组参考点即为p1、p2、p3、p4。
90.在图9中，由于p1到p4之间共有7条长度线，因此p1和p4之间的实际距离7
×
4＝28米，p1和p2之间的实际距离认为是实际车宽参考值，即1.5米，因此，4个参考点p1、p2、p3、p4的世界坐标是[0,0]、[1.5,0]、[1.5,28]和[0,28]。
[0091]
在本技术实施例中，第一计算单元105根据该第一组参考点的世界坐标和像素坐标，计算对应于该车辆的变换矩阵。
[0092]
例如，对于图9，通过4个参考点p1、p2、p3、p4的世界坐标和像素坐标，来计算对应于该车辆的变换矩阵。
[0093]
在一些实施例中，可以通过现有的方法来基于多个点的世界坐标和像素坐标来计算变换矩阵，例如，根据以下的公式(1)来计算变换矩阵h：
[0094]
[0095]
其中，h为变换矩阵，(x,y)是实际的世界坐标，(x,y)是图像的像素坐标，a为变换矩阵h的各个元素。
[0096]
通过至少4个点的世界坐标和像素坐标以及上述公式(1)，就能够计算出变换矩阵h。
[0097]
在一些实施例中，如图1所示，该装置100还可以包括：
[0098]
第十确定单元106，其根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵。
[0099]
也就是说，在一些实施例中，可以针对多个车辆分别计算出多个变换矩阵，并基于这多个变换矩阵得到最终的变换矩阵，即综合变换矩阵。
[0100]
这样，通过综合基于多个车辆计算得到的变换矩阵，能够进一步提高计算出的变换矩阵的准确性。
[0101]
图10是本技术实施例1的第十确定单元的一示意图。如图10所示，第十确定单元106包括：
[0102]
第二计算单元1001，其根据对应于多个车辆的多个变换矩阵，分别计算该规定区域的多个第二组参考点的世界坐标；以及
[0103]
第三计算单元1002，其根据该多个第二组参考点的世界坐标，计算综合变换矩阵。
[0104]
在一些实施例中，第二组参考点是该规定区域的四个端点，即，上边界和下边界与道路线的交点，例如，图9中的r1、r2、r3、r4。
[0105]
在一些实施例中，如图10所示，该第十确定单元106还可以包括：
[0106]
筛选单元1003，其根据该多个车辆的长度进行筛选，去除具有异常长度的车辆，以根据去除了具有异常长度的车辆的第二组参考点的世界坐标，计算该综合变换矩阵。
[0107]
这样，通过去除具有异常长度的车辆的第二组参考点的世界坐标，能够进一步提高计算出的变换矩阵的准确性。
[0108]
由于已经计算出变换矩阵，因此，可以根据r1、r2、r3、r4的像素坐标和变换矩阵，通过上述公式(1)来计算r1、r2、r3、r4的世界坐标。
[0109]
在得到多个第二组参考点的世界坐标之后，第三计算单元1002根据该多个第二组参考点的世界坐标，计算综合变换矩阵，例如，通过各种算法或模型来计算。
[0110]
在一些实施例中，该第十确定单元106可以使用随机抽样一致(random sample consensus，ransac)算法计算该综合变换矩阵。这样，能够快速、准确地计算出综合变换矩阵
[0111]
例如，在根据20个车辆获得20个变换矩阵时，能够获得20个第二组参考点r1、r2、r3、r4的世界坐标，将这些世界坐标分别保存在4个缓冲区transf_r1_pts、transf_r2_pts、transf_r3_pts、transf_r4_pts中，并且，删除这20个车辆中长度线最长的2个车辆和长度线最短的2个车辆的参考点的世界坐标的数据。并且，将剩余的16个第二组参考点与像素点进行配对，也就是说，得到16
×
4对的点，其中，世界坐标的点与匹配的像素点构成一对点。将16
×
4＝64对的点的世界坐标和像素坐标输入到ransac算法模型中，例如，根据以下的公式(2)表示的损失函数来获得综合变换矩阵：
[0112]
[0113]
其中，(x’,y’)是实际的世界坐标，(x,y)是图像的像素坐标，a为变换矩阵的各个元素。
[0114]
当公式(2)表示的损失函数的值最小时，所对应的各个元素a组成的变换矩阵即为综合变换矩阵，n为正整数，在上述示例中，n为64。
[0115]
由上述实施例可知，根据监控视频中车辆行驶方向的第一消失点、水平方向的第二消失点以及车辆在追踪过程中的各个轮廓信息和检测框，确定在追踪过程中车辆的长度线和宽度线，以此确定监控视频的图像中多个参考点的世界坐标，从而能够根据多个参考点的像素坐标和世界坐标计算变换矩阵，因此，不需要进行手动设置配置信息，能够根据监控视频自动且准确地计算出监控相机的变换矩阵。
[0116]
实施例2
[0117]
本技术实施例还提供了一种电子设备，图11是本技术实施例2的电子设备的一示意图。如图11所示，电子设备1100包括用于监控相机的变换矩阵的确定装置1101，用于监控相机的变换矩阵的确定装置1101的结构和功能与实施例1中的记载相同，此处不再赘述。
[0118]
图12是本技术实施例2的电子设备的系统构成的一示意框图。如图12所示，电子设备1200可以包括处理器1201和存储器1202；该存储器1202耦合到该处理器1201。该图是示例性的；还可以使用其它类型的结构，来补充或代替该结构，以实现电信功能或其它功能。
[0119]
如图12所示，电子设备1200还可以包括：输入单元1203、显示器1204、电源1205。
[0120]
在一个实施方式中，实施例1所述的用于监控相机的变换矩阵的确定装置的功能可以被集成到处理器1201中。处理器1201可以被配置为：根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；对该监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，该追踪检测信息包括该车辆在追踪过程中的轮廓信息和检测框；根据该第一消失点、该第二消失点以及该车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中该车辆的长度线和宽度线；根据在追踪过程中该车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及根据该第一组参考点的世界坐标和像素坐标，计算对应于该车辆的变换矩阵。
[0121]
例如，该根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点，包括：根据该监控视频确定道路上的车辆的光流确定该第一消失点；以及对该监控视频进行车辆检测和边缘线检测，确定该第二消失点。
[0122]
例如，该根据该监控视频确定道路上的车辆的光流确定该第一消失点包括：基于一段时间内道路上的车辆的光流向量确定该光流向量的多个第一交点；以及对该多个第一交点进行聚类，得到该第一消失点。
[0123]
例如，该对该监控视频进行车辆检测和边缘线检测，确定第二消失点包括：利用目标检测器检测监控视频中的车辆；检测该车辆的边缘线，保留该边缘线中的候选水平线，并确定该候选水平线的多个第二交点；对该多个第二交点进行聚类，得到该第二消失点。
[0124]
例如，该追踪检测信息还包括车辆的类型；并且，根据预设类型的车辆的追踪检测信息进行该变换矩阵的确定。
[0125]
例如，该第一组参考点包括该首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点。
[0126]
例如，该根据在追踪过程中该车辆的长度线和宽度线确定第一组参考点的世界坐
标，包括：根据在追踪过程中该车辆的长度线和宽度线，确定该车辆在追踪过程中的首尾相接的长度线的数量；以及根据该车辆在追踪过程中的首尾相接的长度线的数量、实际车长参考值以及实际车宽参考值，确定该首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点的世界坐标。
[0127]
例如，该规定区域的上边界和下边界根据该监控视频中的多个车辆的检测框确定。
[0128]
例如，处理器1201还可以被配置为：根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵。
[0129]
例如，该根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵，包括：根据对应于多个车辆的多个变换矩阵，分别计算该规定区域的多个第二组参考点的世界坐标；以及根据该多个第二组参考点的世界坐标，计算综合变换矩阵。
[0130]
例如，该根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵，还包括：根据该多个车辆的长度进行筛选，去除具有异常长度的车辆，以根据去除了具有异常长度的车辆的第二组参考点的世界坐标，计算该综合变换矩阵。
[0131]
例如，使用随机抽样一致(ransac)算法计算该综合变换矩阵。
[0132]
在另一个实施方式中，实施例1所述的用于监控相机的变换矩阵的确定装置可以与该处理器1201分开配置，例如可以将该用于监控相机的变换矩阵的确定装置配置为与处理器1201连接的芯片，通过处理器1201的控制来实现该用于监控相机的变换矩阵的确定装置的功能。
[0133]
在本实施例中电子设备1200也并不是必须要包括图12中所示的所有部件。
[0134]
如图12所示，处理器1201有时也称为控制器或操作控件，可以包括微处理器或其它处理器装置和/或逻辑装置，处理器1201接收输入并控制电子设备1200的各个部件的操作。
[0135]
该存储器1202，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。并且该处理器1201可执行该存储器1202存储的该程序，以实现信息存储或处理等。其它部件的功能与现有类似，此处不再赘述。电子设备1200的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本技术的范围。
[0136]
由上述实施例可知，根据监控视频中车辆行驶方向的第一消失点、水平方向的第二消失点以及车辆在追踪过程中的各个轮廓信息和检测框，确定在追踪过程中车辆的长度线和宽度线，以此确定监控视频的图像中多个参考点的世界坐标，从而能够根据多个参考点的像素坐标和世界坐标计算变换矩阵，因此，不需要进行手动设置配置信息，能够根据监控视频自动且准确地计算出监控相机的变换矩阵。
[0137]
实施例3
[0138]
本技术实施例还提供一种用于监控相机的变换矩阵的确定方法，该方法对应于实施例1的用于监控相机的变换矩阵的确定装置。图13是本技术实施例3的用于监控相机的变换矩阵的确定方法的一示意图。如图13所示，该方法包括：
[0139]
步骤1301：根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；
[0140]
步骤1302：对该监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，该追踪检测信息包括该车辆在追踪过程中的轮廓信息和检测框；
[0141]
步骤1303：根据该第一消失点、该第二消失点以及该车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中该车辆的长度线和宽度线；
[0142]
步骤1304：根据在追踪过程中该车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及
[0143]
步骤1305：根据该第一组参考点的世界坐标和像素坐标，计算对应于该车辆的变换矩阵。
[0144]
在本实施例中，上述各个步骤的具体实现方法与实施例1中的记载相同，此处不再重复。
[0145]
由上述实施例可知，根据监控视频中车辆行驶方向的第一消失点、水平方向的第二消失点以及车辆在追踪过程中的各个轮廓信息和检测框，确定在追踪过程中车辆的长度线和宽度线，以此确定监控视频的图像中多个参考点的世界坐标，从而能够根据多个参考点的像素坐标和世界坐标计算变换矩阵，因此，不需要进行手动设置配置信息，能够根据监控视频自动且准确地计算出监控相机的变换矩阵。
[0146]
本技术实施例还提供一种计算机可读程序，其中当在用于监控相机的变换矩阵的确定装置或电子设备中执行所述程序时，所述程序使得计算机在所述用于监控相机的变换矩阵的确定装置或电子设备中执行实施例3所述的用于监控相机的变换矩阵的确定方法。
[0147]
本技术实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在用于监控相机的变换矩阵的确定装置或电子设备中执行实施例3所述的用于监控相机的变换矩阵的确定方法。
[0148]
结合本技术实施例描述的用于监控相机的变换矩阵的确定装置或电子设备中执行用于监控相机的变换矩阵的确定方法可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图1中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图13所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。
[0149]
软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，如果电子设备采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。
[0150]
针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，可以实现为用于执行本技术所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑器件、分立硬件组件、或者其任意适当组合。针对图1描述的功能框图中的一个或多个和/或功能框图的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处
理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。
[0151]
以上结合具体的实施方式对本技术进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本技术保护范围的限制。本领域技术人员可以根据本技术的精神和原理对本技术做出各种变型和修改，这些变型和修改也在本技术的范围内。
[0152]
本技术实施例还公开下述的附记：
[0153]
1、一种用于监控相机的变换矩阵的确定装置，所述装置包括：
[0154]
第一确定单元，其根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；
[0155]
第一检测单元，其对所述监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，所述追踪检测信息包括所述车辆在追踪过程中的轮廓信息和检测框；
[0156]
第二确定单元，其根据所述第一消失点、所述第二消失点以及所述车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中所述车辆的长度线和宽度线；
[0157]
第三确定单元，其根据在追踪过程中所述车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及
[0158]
第一计算单元，其根据所述第一组参考点的世界坐标和像素坐标，计算对应于所述车辆的变换矩阵。
[0159]
2、根据附记1所述的装置，其中，所述第一确定单元包括：
[0160]
第四确定单元，其根据所述监控视频确定道路上的车辆的光流确定所述第一消失点；以及
[0161]
第五确定单元，其对所述监控视频进行车辆检测和直线检测，确定所述第二消失点。
[0162]
3、根据附记2所述的装置，其中，所述第四确定单元包括：
[0163]
第六确定单元，其基于一段时间内道路上的车辆的光流向量确定所述光流向量的多个第一交点；以及
[0164]
第一聚类单元，其对所述多个第一交点进行聚类，得到所述第一消失点。
[0165]
4、根据附记2所述的装置，其中，所述第五确定单元包括：
[0166]
第二检测单元，其利用目标检测器检测监控视频中的车辆；
[0167]
第七确定单元，其检测所述车辆的边缘线，保留所述边缘线中的候选水平线，并确定所述候选水平线的多个第二交点；
[0168]
第二聚类单元，其对所述多个第二交点进行聚类，得到所述第二消失点。
[0169]
5、根据附记1所述的装置，其中，
[0170]
所述追踪检测信息还包括车辆的类型；
[0171]
并且，所述装置根据预设类型的车辆的所述追踪检测信息进行所述变换矩阵的确定。
[0172]
6、根据附记1所述的装置，其中，
[0173]
所述第一组参考点包括首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点。
[0174]
7、根据附记6所述的装置，其中，所述第三确定单元包括：
[0175]
第八确定单元，其根据在追踪过程中所述车辆的长度线和宽度线，确定所述车辆在追踪过程中的首尾相接的长度线的数量；以及
[0176]
第九确定单元，其根据所述车辆在追踪过程中的首尾相接的长度线的数量、实际车长参考值以及实际车宽参考值，确定所述首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点的世界坐标。
[0177]
8、根据附记1所述的装置，其中，
[0178]
所述规定区域的上边界和下边界根据所述监控视频中的多个车辆的检测框确定。
[0179]
9、根据附记1所述的装置，其中，所述装置还包括：
[0180]
第十确定单元，其根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵。
[0181]
10、根据附记9所述的装置，其中，所述第十确定单元包括：
[0182]
第二计算单元，其根据对应于多个车辆的多个变换矩阵，分别计算所述规定区域的多个第二组参考点的世界坐标；以及
[0183]
第三计算单元，其根据所述多个第二组参考点的世界坐标，计算综合变换矩阵。
[0184]
11、根据附记10所述的装置，其中，所述第十确定单元还包括：
[0185]
筛选单元，其根据所述多个车辆的长度进行筛选，去除具有异常长度的车辆，以根据去除了具有异常长度的车辆的第二组参考点的世界坐标，计算所述综合变换矩阵。
[0186]
12、根据附记9所述的装置，其中，
[0187]
所述第十确定单元使用随机抽样一致(ransac)算法计算所述综合变换矩阵。
[0188]
13、一种电子设备，所述电子设备包括根据附记1所述的装置。
[0189]
14、一种用于监控相机的变换矩阵的确定方法，所述方法包括：
[0190]
根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；
[0191]
对所述监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，所述追踪检测信息包括所述车辆在追踪过程中的轮廓信息和检测框；
[0192]
根据所述第一消失点、所述第二消失点以及所述车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中所述车辆的长度线和宽度线；
[0193]
根据在追踪过程中所述车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及
[0194]
根据所述第一组参考点的世界坐标和像素坐标，计算对应于所述车辆的变换矩阵。
[0195]
15、根据附记14所述的方法，其中，所述根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点，包括：
[0196]
根据所述监控视频确定道路上的车辆的光流确定所述第一消失点；以及
[0197]
对所述监控视频进行车辆检测和边缘线检测，确定所述第二消失点。
[0198]
16、根据附记15所述的方法，其中，所述根据所述监控视频确定道路上的车辆的光流确定所述第一消失点包括：
[0199]
基于一段时间内道路上的车辆的光流向量确定所述光流向量的多个第一交点；以及
[0200]
对所述多个第一交点进行聚类，得到所述第一消失点。
[0201]
17、根据附记15所述的方法，其中，所述对所述监控视频进行车辆检测和边缘线检测，确定第二消失点包括：
[0202]
利用目标检测器检测监控视频中的车辆；
[0203]
检测所述车辆的边缘线，保留所述边缘线中的候选水平线，并确定所述候选水平线的多个第二交点；
[0204]
对所述多个第二交点进行聚类，得到所述第二消失点。
[0205]
18、根据附记14所述的方法，其中，
[0206]
所述追踪检测信息还包括车辆的类型；
[0207]
并且，根据预设类型的车辆的追踪检测信息进行所述变换矩阵的确定。
[0208]
19、根据附记14所述的方法，其中，
[0209]
所述第一组参考点包括所述首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点。
[0210]
20、根据附记19所述的方法，其中，所述根据在追踪过程中所述车辆的长度线和宽度线确定第一组参考点的世界坐标，包括：
[0211]
根据在追踪过程中所述车辆的长度线和宽度线，确定所述车辆在追踪过程中的首尾相接的长度线的数量；以及
[0212]
根据所述车辆在追踪过程中的首尾相接的长度线的数量、实际车长参考值以及实际车宽参考值，确定所述首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点的世界坐标。
[0213]
21、根据附记14所述的方法，其中，
[0214]
所述规定区域的上边界和下边界根据所述监控视频中的多个车辆的检测框确定。
[0215]
22、根据附记14所述的方法，其中，所述方法还包括：
[0216]
根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵。
[0217]
23、根据附记22所述的方法，其中，所述根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵，包括：
[0218]
根据对应于多个车辆的多个变换矩阵，分别计算所述规定区域的多个第二组参考点的世界坐标；以及
[0219]
根据所述多个第二组参考点的世界坐标，计算综合变换矩阵。
[0220]
24、根据附记23所述的方法，其中，所述根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵，还包括：
[0221]
根据所述多个车辆的长度进行筛选，去除具有异常长度的车辆，以根据去除了具有异常长度的车辆的第二组参考点的世界坐标，计算所述综合变换矩阵。
[0222]
25、根据附记22所述的方法，其中，
[0223]
使用随机抽样一致(ransac)算法计算所述综合变换矩阵。

技术特征：
1.一种用于监控相机的变换矩阵的确定装置，其特征在于，所述装置包括：第一确定单元，其根据监控相机拍摄的监控视频，确定道路上的车辆在行驶方向上的第一消失点和水平方向上的第二消失点；第一检测单元，其对所述监控视频中的车辆进行检测和追踪，获得车辆的追踪检测信息，所述追踪检测信息包括所述车辆在追踪过程中的轮廓信息和检测框；第二确定单元，其根据所述第一消失点、所述第二消失点以及所述车辆在规定区域内的追踪过程中的各个轮廓信息和检测框，确定在追踪过程中所述车辆的长度线和宽度线；第三确定单元，其根据在追踪过程中所述车辆的长度线和宽度线，确定第一组参考点的世界坐标；以及第一计算单元，其根据所述第一组参考点的世界坐标和像素坐标，计算对应于所述车辆的变换矩阵。2.根据权利要求1所述的装置，其特征在于，所述第一确定单元包括：第四确定单元，其根据所述监控视频确定道路上的车辆的光流确定所述第一消失点；以及第五确定单元，其对所述监控视频进行车辆检测和直线检测，确定所述第二消失点。3.根据权利要求2所述的装置，其特征在于，所述第四确定单元包括：第六确定单元，其基于一段时间内道路上的车辆的光流向量确定所述光流向量的多个第一交点；以及第一聚类单元，其对所述多个第一交点进行聚类，得到所述第一消失点。4.根据权利要求2所述的装置，其特征在于，所述第五确定单元包括：第二检测单元，其利用目标检测器检测所述监控视频中的车辆；第七确定单元，其检测所述车辆的边缘线，保留所述边缘线中的候选水平线，并确定所述候选水平线的多个第二交点；第二聚类单元，其对所述多个第二交点进行聚类，得到所述第二消失点。5.根据权利要求1所述的装置，其特征在于，所述追踪检测信息还包括车辆的类型；并且，所述装置根据预设类型的车辆的所述追踪检测信息进行所述变换矩阵的确定。6.根据权利要求1所述的装置，其特征在于，所述第一组参考点包括首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点。7.根据权利要求6所述的装置，其特征在于，所述第三确定单元包括：第八确定单元，其根据在追踪过程中所述车辆的长度线和宽度线，确定所述车辆在追踪过程中的首尾相接的长度线的数量；以及第九确定单元，其根据所述车辆在追踪过程中的首尾相接的长度线的数量、实际车长参考值以及实际车宽参考值，确定所述首尾相接的长度线中第一个长度线对应的宽度线的两个端点以及最后一个长度线对应的宽度线的两个端点的世界坐标。8.根据权利要求1所述的装置，其特征在于，所述规定区域的上边界和下边界根据所述监控视频中的多个车辆的检测框确定。9.根据权利要求1所述的装置，其特征在于，所述装置还包括：
第十确定单元，其根据对应于多个车辆的多个变换矩阵，确定综合变换矩阵。10.根据权利要求9所述的装置，其特征在于，所述第十确定单元包括：第二计算单元，其根据对应于多个车辆的多个变换矩阵，分别计算所述规定区域的多个第二组参考点的世界坐标；以及第三计算单元，其根据所述多个第二组参考点的世界坐标，计算所述综合变换矩阵。

技术总结
本申请实施例提供一种用于监控相机的变换矩阵的确定装置及方法。所述装置根据监控视频中车辆行驶方向的第一消失点、水平方向的第二消失点以及车辆在追踪过程中的各个轮廓信息和检测框，确定在追踪过程中车辆的长度线和宽度线，以此确定监控视频的图像中多个参考点的世界坐标，从而能够根据多个参考点的像素坐标和世界坐标计算变换矩阵。标和世界坐标计算变换矩阵。标和世界坐标计算变换矩阵。


技术研发人员：张楠 谭志明
受保护的技术使用者：富士通株式会社
技术研发日：2022.03.23
技术公布日：2023/10/6