一种面向高速公路的全路域视频图像可视化展示方法与流程

1.本发明涉及实时视频图像处理技术领域，尤其涉及一种面向高速公路的全路域视频图像可视化展示方法。


背景技术：

2.现阶段基于多路监控视频拼接和融合成全路域视频图像的方法，通常是从视频流中提取视频帧，将其转化为视频纹理投射到构建的三维场景中的对应位置上，来实现视频与三维模型数据的融合。目前的视频图像可以认为是多个视觉主体，多个主体之间的信息融合工作需要花费大量时间进行人工配准，当场景中有多路视频且视频有重叠时，视频融合的显示效果不够真实、理想。


技术实现要素：

3.有鉴于此，本发明的目的在于提出一种面向高速公路的全路域视频图像可视化展示方法，以解决多个主体之间的信息融合工作需要花费大量时间进行人工配准，当场景中有多路视频且视频有重叠时，视频融合的显示效果不够真实、理想的技术问题。
4.基于上述目的，本发明提供了一种面向高速公路的全路域视频图像可视化展示方法，包括：
5.获取各个摄像设备的视频信息；
6.对获取的视频信息进行预处理，通过计算视场角，对有重叠的图像进行裁剪，得到第二视频信息；
7.获取摄像设备的摄像头内部参数、外部参数和畸变参数，基于畸变参数建立畸变模型，将第二视频信息中的变形的视频转换为正常的视频，得到第三视频信息；
8.对第三视频信息进行配准，得到第四视频信息；
9.采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影；
10.整体视频进行投影中能够显示视频的地方显示视频帧纹理，不能显示视频帧纹理的地方显示三维模型的原有纹理。
11.作为本技术的进一步改进，所述获取各个摄像设备的视频信息，包括用python提取视频帧信息。
12.作为本技术的进一步改进，所述预处理包括调整亮度、明度、饱和度、对比度，根据摄像设备的位置和参数计算出视场角，根据不同摄像设备的视场角叠加，对相邻两路视频重叠区域进行裁剪。
13.作为本技术的进一步改进，所述摄像设备的视场角包括垂直视场角a、水平视场角b和对角视场角r；
[0014][0015]
其中，w为摄像设备靶面的宽度，h为摄像设备靶面的高度，f为摄像设备靶面的焦距。
[0016]
作为本技术的进一步改进，所述获取摄像设备的摄像头内、外参数和畸变参数是通过摄像设备标定获取的；摄像设备标定指建立摄像设备图像像素位置与场景点位置之间的关系，根据摄像设备成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解摄像设备模型的参数，所述摄像设备需要标定的摄像设备模型参数包括内部参数和外部参数。
[0017]
作为本技术的进一步改进，所述摄像设备标定采用张正友标定法进行标定，包括：
[0018]
在得到一张标定板的图像之后，用harris角点检测算法得到每一个角点的像素坐标(u,v)，张正友标定法将事先定义好的世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标w＝0，标定板上每一个格子的大小是已知的，计算得到每一个角点在世界坐标系下的物理坐标(u,v,w＝0)；根据每一个角点的像素坐标和每一个角点在世界坐标系下的物理坐标，来进行摄像设备的标定，进而获得摄像设备的摄像头内部参数、外部参数和畸变参数。
[0019]
作为本技术的进一步改进，所述采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影；包括所述图像融合采用拉普拉斯金字塔融合方法，结合摄像头外部参数，将多路视频进行融合、整合，使多个摄像设备录制的视频影像合并成一个整体视频画面；
[0020]
首先定义能量函数e(i，j)＝w1δ1(i，j)+w2δ2(i，j)；
[0021]
δ
′
(i，j)和δ2(i，j）分别表示重叠区域同一像素位置i1(i，j)和i2(i，j)的强度差和梯队差，
[0022]
δ
′
(i，j)＝i1(i，j)-i2(i，j)，
[0023][0024]
梯度差通过sobel算子进行计算，缝合线所包含的像素集合为p，像素能量和为esum，
[0025][0026]
通过计算像素能量和esum最小值，得到最佳缝合线。
[0027]
本发明的有益效果：通过采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影，实现多路视频投影时，能够自动融合重叠场景，拥有更真实的显示效果。
附图说明
[0028]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0029]
图1为本发明实施例一种面向高速公路的全路域视频图像可视化展示方法的流程示意图；
[0030]
图2为本发明实施例一种面向高速公路的全路域视频图像可视化展示方法的摄像设备视场角的结构示意图。
具体实施方式
[0031]
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明进一步详细说明。
[0032]
需要说明的是，除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本发明中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0033]
如图1所示，一种面向高速公路的全路域视频图像可视化展示方法，包括：
[0034]
用python提取视频帧信息，进而获取各个摄像设备的视频信息；
[0035]
对获取的视频信息进行预处理，通过计算视场角，对有重叠的图像进行裁剪，得到第二视频信息；所述预处理包括调整亮度、明度、饱和度、对比度，根据摄像设备的位置和参数计算出视场角，根据不同摄像设备的视场角叠加，对相邻两路视频重叠区域进行裁剪。为保证后续图像校正不会过度缩放图像，可适当针对视场角多保留部分视频图像作为裁剪后的视场。
[0036]
所述摄像设备的视场角包括垂直视场角a、水平视场角b和对角视场角r；
[0037][0038]
靶面的焦距。
[0039]
获取摄像设备的摄像头内部参数、外部参数和畸变参数，基于畸变参数建立畸变模型，将第二视频信息中的变形的视频转换为正常的视频，得到第三视频信息；
[0040]
所述获取摄像设备的摄像头内、外参数和畸变参数是通过摄像设备标定获取的；摄像设备标定指建立摄像设备图像像素位置与场景点位置之间的关系，根据摄像设备成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解摄像设备模型的参数，所述摄像
设备需要标定的摄像设备模型参数包括内部参数和外部参数。理论上摄像头的畸变包括径向畸变和切向畸变，切向畸变影响较小，通常只考虑径向畸变。
[0041]
所述摄像设备标定采用张正友标定法进行标定，包括：
[0042]
在得到一张标定板的图像之后，用harris角点检测算法得到每一个角点的像素坐标(u，v)，张正友标定法将事先定义好的世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标w＝0，标定板上每一个格子的大小是已知的，计算得到每一个角点在世界坐标系下的物理坐标(u，v，w＝0)；根据每一个角点的像素坐标和每一个角点在世界坐标系下的物理坐标，来进行摄像设备的标定，进而获得摄像设备的摄像头内部参数、外部参数和畸变参数。
[0043]
张正友标定法计算步骤如下：
[0044]
计算模型为：
[0045]
2d图像点：m＝[u，v]
t
，
[0046]
3d图像点：m＝[x，y，z]
t
，
[0047]
齐次坐标：
[0048]
描述空间坐标到图像坐标的映射
[0049][0050][0051]
其中，s是世界坐标系到图像坐标系的尺度因子，k是相机内参矩阵，(u0，v0)是像主点坐标，α，β是焦距与像素横纵比的融合，γ是径向畸变参数。
[0052]
内部参数求解
[0053]
计算单应性矩阵
[0054]
设棋盘格位于z＝0，定义旋转矩阵r的第i列为ri，则有：
[0055][0056]
则空间到图像的映射可变为：
[0057][0058]
h＝k[r
1 r2]t，
[0059]
其中h是描述homographic矩阵，可通过最小二乘，从角点世界坐标到图像坐标的关系求解。
[0060]
计算内参数矩阵
[0061]
令h＝[h
1 h
2 h3]，
[0062]
[h
1 h
2 h3]＝λk[r
1 r
2 t]，
[0063]
k-1
[h
1 h
2 h3]＝λ[r
1 r
2 t]，
[0064]
根据r1和r2正交，可得到
[0065]
[0066][0067]
设：
[0068][0069]
b是对称阵，其未知量可表示为6d向量b：
[0070]
b＝[b
11 b
12 b
22 b
13 b
23 b
33
]，
[0071]
设h为第i列中的hi，
[0072]hi
＝[h
i1 h
i2 h
i3
]
t
，
[0073]
根据b的定义，可以推出如下公式：
[0074][0075]vij
＝[h
i1hj1 h
i1hj2
+h
i2hj1 h
i2hj2 h
i3hj1
+h
i1hj3 h
i3hj2
+h
i2hj3 h
i3hj3
]
t
，
[0076]
可得到：
[0077][0078]
内部参数可通过如下公式计算：
[0079][0080][0081][0082][0083]
γ＝-b
12
α2β/λ，
[0084]
u0＝γv0/α-b
13
α2/λ。
[0085]
外部参数求解
[0086]
由h＝[h
1 h
2 h3]＝λk[r1r
2 t]可推出：
[0087]
r1＝λk-1
h1r2＝λk-1
h2，
[0088]
r3＝r1×
r2t＝ak-1
h3，
[0089]
λ＝1/||k-1
h1||＝1/||k-1
h2||。
[0090]
极大似然估计
[0091][0092]
给定n张棋盘格图像，每张图像有m个角点，最小化下述公式等同于极大似然估计：
[0093]
上述非线性优化问题可以利用levenberg-marquardt算法求解，需要初值k，ri，ti|i＝1...n。
[0094]
对第三视频信息进行配准，得到第四视频信息；
[0095]
用surf(speed up robust features)检测图像中的关键点对图像进行粗配准，用ransac方法去除误配准点实现精配准。包括：
[0096]
构建hessian矩阵
[0097]
对于一个图像，其hessian矩阵如下：
[0098][0099]
h矩阵的判别式是：
[0100][0101]
在构建hessian矩阵前需要对图像进行高斯滤波，经过滤波后的hessian矩阵表达式为：
[0102][0103]
其中(x，y)为像素位置，l(x，y，σ)＝g(φ)*i(x，y)，代表着图像的高斯尺度空间，是由图像和不同的高斯卷积得到。
[0104]
在离散数学图像中，一阶导数是相邻像素的灰度差：
[0105]
l
x
＝l(x+1，y)-l(x，y)，
[0106]
二阶导数是对一阶导数的再次求导：
[0107]
l
xx
＝[l(x+1，y)-l(x，y)]-[l(x，y)-l(x-1，y)]
[0108]
＝l(x+1，y)+l(x-1，y)-2l(x，y)，
[0109]
反过来看hessian矩阵的判别式，当前点对水平方向二阶偏导数乘以垂直方向二阶偏导数再减去当前水平、垂直二阶偏导的二次方：
[0110]
det(h)＝l
xx
*l
yy-l
xy
*l
xy
，
[0111]
为图像中每个像素计算出其h行列式的决定值，并用这个值来判别图像局部特征点。hession矩阵判别式中的l(x，y)l(x，y)是原始图像的高斯卷积，由于高斯核服从正太分布，从中心点往外，系数越来越小，为了提高运算速度，surf算法使用了盒式滤波器来替代高斯滤波器l，所以在l
xy
上乘了一个加权系数0.9，目的是为了平衡因使用盒式滤波器近似所带来的误差，则h矩阵判别式可表示为：
[0112]
det(h)＝l
xx
*l
yy-(0.9*l
xy
)2。
[0113]
构造尺度空间
[0114]
surf尺寸空间包括组和层两部分，不同组中使用相同尺寸，使用的盒式滤波器模板尺寸逐渐增大，同一组中不同层试用相同尺寸滤波器，滤波器模糊系数逐渐增大。
[0115]
特征点定位
[0116]
将经过hessian矩阵处理的每个像素点，即获得每个像素点hessian矩阵的判别式值，与其图像域和尺度域的所有相邻点进行比较，当其大于或者小于所有相邻点时，该点就是极值点。初步定位出特征点后，再经过滤除能量比较弱的关键点以及错误定位的关键点，筛选出最终的稳定的特征点。
[0117]
主方向匹配
[0118]
采用的是统计特征点圆形邻域内的harr小波特征，即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。
[0119]
特征描述算子生成
[0120]
沿着特征点的主方向提取特征点周围4
×
4个矩形区域块。每个子区域统计25个像素点水平方向和垂直方向的haar小波特征，即获得该harr小波特征为水平方向值之和、垂直方向值之和、水平方向值绝对值之和以及垂直方向绝对之和4个方向。
[0121]
特征点匹配
[0122]
通过计算两个特征点间特征向量的欧氏距离来确定匹配度，欧式距离越短，代表两个特征点的匹配度越好。并加入了hessian矩阵迹(矩阵特征值的和)的判断，如果两个特征点的矩阵迹正负号相同，代表着两个特征点具有相同方向上的对比度变化，如果不同，说明这两个特征点的对比度方向是相反的，即使欧氏距离为0，也直接剔除。
[0123]
使用ransac算法去除误匹配点，实现图像的精配准。
[0124]
采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影；所述采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影；包括所述图像融合采用拉普拉斯金字塔融合方法，结合摄像头外部参数，将多路视频进行融合、整合，使多个摄像设备录制的视频影像合并成一个整体视频画面；
[0125]
首先定义能量函数e(i，j)＝w1δ1(i，j)+w2δ2(i，j)；
[0126]
δ
′
(i，j)和δ2(i，j)分别表示重叠区域同一像素位置i1(i，j)和i2(i，j)的强度差和梯队差，
[0127]
δ
′
(i，j)＝i1(i，j)-i2(i，j)，
[0128][0129]
梯度差通过sobel算子进行计算，缝合线所包含的像素集合为p，像素能量和为esum，
[0130][0131]
通过计算像素能量和esum最小值，得到最佳缝合线。
[0132]
整体视频进行投影中能够显示视频的地方显示视频帧纹理，不能显示视频帧纹理的地方显示三维模型的原有纹理。
[0133]
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。
[0134]
本发明旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种面向高速公路的全路域视频图像可视化展示方法，其特征在于，包括：获取各个摄像设备的视频信息；对获取的视频信息进行预处理，通过计算视场角，对有重叠的图像进行裁剪，得到第二视频信息；获取摄像设备的摄像头内部参数、外部参数和畸变参数，基于畸变参数建立畸变模型，将第二视频信息中的变形的视频转换为正常的视频，得到第三视频信息；对第三视频信息进行配准，得到第四视频信息；采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影；整体视频进行投影中能够显示视频的地方显示视频帧纹理，不能显示视频帧纹理的地方显示三维模型的原有纹理。2.根据权利要求1所述的面向高速公路的全路域视频图像可视化展示方法，其特征在于，所述获取各个摄像设备的视频信息，包括用python提取视频帧信息。3.根据权利要求1所述的一种面向高速公路的全路域视频图像可视化展示方法，其特征在于，所述预处理包括调整亮度、明度、饱和度、对比度，根据摄像设备的位置和参数计算出视场角，根据不同摄像设备的视场角叠加，对相邻两路视频重叠区域进行裁剪。4.根据权利要求3所述的一种面向高速公路的全路域视频图像可视化展示方法，其特征在于，所述摄像设备的视场角包括垂直视场角a、水平视场角b和对角视场角r；征在于，所述摄像设备的视场角包括垂直视场角a、水平视场角b和对角视场角r；征在于，所述摄像设备的视场角包括垂直视场角a、水平视场角b和对角视场角r；其中，w为摄像设备靶面的宽度，h为摄像设备靶面的高度，f为摄像设备靶面的焦距。5.根据权利要求1所述的一种面向高速公路的全路域视频图像可视化展示方法，其特征在于，所述获取摄像设备的摄像头内、外参数和畸变参数是通过摄像设备标定获取的；摄像设备标定指建立摄像设备图像像素位置与场景点位置之间的关系，根据摄像设备成像模型，由特征点在图像中坐标与世界坐标的对应关系，求解摄像设备模型的参数，所述摄像设备需要标定的摄像设备模型参数包括内部参数和外部参数。6.根据权利要求5所述的一种面向高速公路的全路域视频图像可视化展示方法，其特征在于，所述摄像设备标定采用张正友标定法进行标定，包括：在得到一张标定板的图像之后，用harris角点检测算法得到每一个角点的像素坐标(u,v)，张正友标定法将事先定义好的世界坐标系固定于棋盘格上，则棋盘格上任一点的物理坐标w＝0，标定板上每一个格子的大小是已知的，计算得到每一个角点在世界坐标系下的物理坐标(u,v,w＝0)；根据每一个角点的像素坐标和每一个角点在世界坐标系下的物理坐标，来进行摄像设备的标定，进而获得摄像设备的摄像头内部参数、外部参数和畸变参数。7.根据权利要求1所述的一种面向高速公路的全路域视频图像可视化展示方法，其特征在于，所述采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行
投影；包括所述图像融合采用拉普拉斯金字塔融合方法，结合摄像头外部参数，将多路视频进行融合、整合，使多个摄像设备录制的视频影像合并成一个整体视频画面；首先定义能量函数e(i，j)＝w1δ1(i，j)+w2δ2(i，j)；δ
′
(i，j)和δ2(i，j)分别表示重叠区域同一像素位置i1(i，j)和i2(i，j)的强度差和梯队差，δ
′
(i，j)＝i1(i，j)-i2(i，j)梯度差通过sobel算子进行计算，缝合线所包含的像素集合为p，像素能量和为esum，通过计算像素能量和esum最小值，得到最佳缝合线。

技术总结
本发明涉及实时视频图像处理技术领域，具体涉及一种面向高速公路的全路域视频图像可视化展示方法，为解决多个主体之间的信息融合工作需要花费大量时间进行人工配准，视频融合的显示效果不够真实、理想的技术问题。本申请方法包括：获取各个摄像设备的视频信息；对获取的视频信息进行预处理；获取摄像设备的摄像头内部参数、外部参数和畸变参数，基于畸变参数建立畸变模型，将变形的视频转换为正常的视频，得到第三视频信息；配准得到第四视频信息；采用最佳缝合线方法对第四视频信息进行图像融合，形成一个整体视频进行投影；整体视频进行投影中能够显示视频的地方显示视频帧纹理，不能显示视频帧纹理的地方显示三维模型的原有纹理。有纹理。有纹理。


技术研发人员：杜渐 姜德宏 武英杰 刘俊伟 耿亚玮 罗伊莎 林宝华 王兆明 何玉庆 陈卫强 陈岱庚 张照 张紫昱
受保护的技术使用者：招商新智科技有限公司
技术研发日：2023.05.29
技术公布日：2023/9/6