一种双通道视频采集装置及压缩融合处理方法与流程

1.本发明涉及视频数据处理技术领域，具体涉及一种双通道视频采集装置及压缩融合处理方法。


背景技术：

2.军舰在航海巡逻任务中，还包含了对海洋数据的采集作业；其通过卫星遥感、巡海摄像头、各类传感器作为主要采集手段，在采集完成后需要将各设备采集到的视频数据进行收录，通过分析视频数据中的有用信息来获取海事数据。
3.然而由于各设备采集到的视频数据其规格各不相同，针对于不同规格的视频数据则需要利用多屏幕进行查看；而这种做法造成了以下的问题：通过单屏幕进行查看分析视频时，单次只能单通道录入视频数据，而无法同时查看多视频；多屏幕查看分析视频也不过是将多个只能单通道录入的屏幕组合在一起，其本质还是单屏幕单通道的形式。
4.此外，由于视频数据需要两个或两个以上进行对照分析，因此在每个视频内容均有所差别、规格不同的情况下，单通道视频采集录入的方式对于后续的研究分析工作产生了影响。


技术实现要素：

5.针对上述缺陷，本发明所要解决的技术问题在于提供：
6.一种双通道视频采集装置，包括有：机壳、固定在机壳顶部开口处的上盖，以及安装在机壳内腔中对视频数据进行处理的处理主板，且机壳的正面设置有一排八个与处理主板的接入端连接的航插，机壳的背面设置有显示处理主板指令的数个指示灯，以及若干个用于控制处理主板运作的数个控制按钮。
7.在上述一种双通道视频采集装置的技术方案中，优选地，所述航插中具体为4个dv1航插端子、1个声音航插端子、2个以太网航插端子、1个电源航插端子。
8.在上述一种双通道视频采集装置的技术方案中，优选地，所述机壳和上盖之间设置有用于防水的密封条，且机壳和上盖之间设置有若干根紧固铆钉用于相互固定，其中，机壳的两侧侧壁上均固定有用于将装置固定在机架上的固定边条。
9.一种视频采集压缩融合处理方法，包括有：视频采集驱动框架和实时视频拼接处理模块两个用于对双通道视频进行采集和压缩融合的部分。
10.所述视频采集驱动框架中包括有v4l2视频驱动模块；该模块是linux标准的视频采集驱动框架，位于linux内核态，由硬件独立v4l2驱动核心和硬件相关的camera驱动、sensor驱动等组成。
11.在上述一种视频采集压缩融合处理方法的技术方案中，优选地，所述视频采集驱动框架中的v4l2视频驱动模块具有如下的视频采集步骤：
12.s1：打开视频设备文件；
13.s2：设置视频采集的参数、设置视频的制式，制式包括pal/ntsc、设置视频图像的
采集窗口的大小、设置视频帧格式，包括帧的点阵格式、宽度和高度、设置视频的帧率、设置视频的旋转方式；
14.s3：向驱动申请视频流数据的帧缓冲区，请求/申请若干个帧缓冲区，查询帧缓冲区在内核空间中的长度和偏移量；
15.s5：应用程序通过内存映射，将帧缓冲区的地址映射到用户空间；
16.s6：将申请到的帧缓冲全部放入视频采集输出队列，以便存放采集的数据；
17.s7：开始视频流数据的采集；
18.s8：驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区，存完后将该帧缓冲区移至视频采集输出队列；
19.s9：应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区，应用程序处理该帧缓冲区的原始视频数据；
20.s10：处理完后，应用程序的将该帧缓冲区重新排入输入队列，随后循环采集数据；重复上述步骤s8到步骤s10，直到停止采集数据；
21.s11：停止视频的采集；释放申请的视频帧缓冲区，关闭视频设备文件。
22.在上述一种视频采集压缩融合处理方法的技术方案中，优选地，所述实时视频拼接处理模块中具体有如下的拼接处理流程：
23.s1：载入图像之后，调整图像尺寸；
24.s2：采用surf，orb技术进行特征点提取；采用2-nn和次近邻算法实现匹配，线性计算单应矩阵并归一化，同时用ransac算法筛选出内点，并用lm算法再次计算得到更为精确的单应矩阵h，从而来进行特征点匹配；
25.s3：由单应矩阵h通过相应计算得到相机的内参矩阵k和外参矩阵r，进行图像标定，当标定的参数产生累积误差时，采用光束平差法来精确图像参数，减少累积误差；
26.s4：根据计算机视觉库，对待拼接的两幅图像进行投影变化，并对图像进行增益补偿，使得两幅图的重叠部分增益相等或者相似；随后进行分块补偿，将图像分成大小相同的不同块，然后给予不同块不同的增益系数，相当于分块进行增益补偿，最后对所有图像中的补偿增益系数应用分割线性滤波方法进行平滑滤波。
27.s5：通过逐点法、动态规划法、图割法在两幅图像的重叠区域内寻找缝合线，选取最佳缝合线，得到缝合线之后，基于缝合线，对图像融合处理。
28.在上述一种视频采集压缩融合处理方法的技术方案中，优选地，所述步骤s5中的图像融合流程中，具体有：进行图像拼接时，对算法速度要求不高，首先选择多频段融合，并且设置的频段数量尽可能的多，如果对算法速度比较苛刻，优先选择渐入渐出融合，并通过调整加权系数来使重叠区域自然过渡。
29.由上述技术方案可知，本发明提供一种双通道视频采集装置及压缩融合处理方法与现有技术相比，本发明具有以下有益效果：
30.本发明中将用来显示军舰航行过程数据的多个屏幕通过视频采集装置同时进行采集，并且融合压缩到一个视频中；而在视频采集装置中内置视频采集驱动框架和实时视频拼接处理模块，借助特征点提取、匹配，计算、优化图像数据，以及拼接融合多图像数据的技术手段，实现多视频图像资料能够集成到同一视频中，从而以供后续分析研究。
附图说明
31.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图做出简单地介绍和说明。显而易见地，下面描述中的附图仅仅是本发明的部分实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
32.图1为双通道视频采集装置的正面外观示意图；
33.图2为双通道视频采集装置的背面示意图；
34.图3为双通道视频采集装置的爆炸分解示意图；
35.图4为视频采集压缩融合处理方法的框架示意图。
36.图1-3中，零部件的对应关系如下：
37.1、机壳；2、上盖；3、紧固铆钉；4、固定边条；5、航插；6、指示灯；7、控制按钮；8、密封条；9、处理主板。
具体实施方式
38.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，以下所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
39.为了对本发明的技术方案和实现方式做出更清楚地解释和说明，以下介绍实现本发明技术方案的几个优选的具体实施例。
40.需要说明的是，当元件被称为“固定于”或“设置于”另一个元件上，它可以直接在另一个元件上或者间接设置在另一个元件上；当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至另一个元件上。
41.另外，本文中的术语：“内、外”，“前、后”，“左、右”，“竖直、水平”，“顶、底”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
42.术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。
43.具体实施例1
44.参考附图1-附图4；
45.一种双通道视频采集装置：
46.包括有机壳1、固定在机壳1顶部开口处的上盖2，以及安装在机壳1内腔中对视频数据进行处理的处理主板9，且机壳1的正面设置有一排八个与处理主板9的接入端连接的航插5，机壳1的背面设置有显示处理主板9指令的数个指示灯6，以及若干个用于控制处理主板9运作的数个控制按钮7。
47.航插5中具体为4个dv1航插端子、1个声音航插端子、2个以太网航插端子、1个电源航插端子。机壳1和上盖2之间设置有用于防水的密封条8，且机壳1和上盖2之间设置有若干
根紧固铆钉3用于相互固定，其中，机壳1的两侧侧壁上均固定有用于将装置固定在机架上的固定边条4。
48.一种视频采集压缩融合处理方法：
49.视频采集驱动框架和实时视频拼接处理模块两个用于对双通道视频进行采集和压缩融合的部分。视频采集驱动框架中包括有v4l2视频驱动模块；该模块是linux标准的视频采集驱动框架，位于linux内核态，由硬件独立v4l2驱动核心和硬件相关的camera驱动、sensor驱动等组成。
50.打开视频设备文件；设置视频采集的参数、设置视频的制式，制式包括pal/ntsc、设置视频图像的采集窗口的大小、设置视频帧格式，包括帧的点阵格式、宽度和高度、设置视频的帧率、设置视频的旋转方式。
51.向驱动申请视频流数据的帧缓冲区，请求/申请若干个帧缓冲区，查询帧缓冲区在内核空间中的长度和偏移量；应用程序通过内存映射，将帧缓冲区的地址映射到用户空间；将申请到的帧缓冲全部放入视频采集输出队列，以便存放采集的数据。
52.开始视频流数据的采集；驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区，存完后将该帧缓冲区移至视频采集输出队列；应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区，应用程序处理该帧缓冲区的原始视频数据；处理完后，应用程序的将该帧缓冲区重新排入输入队列，随后循环采集数据；重复上述步骤s8到步骤s10，直到停止采集数据；停止视频的采集；释放申请的视频帧缓冲区，关闭视频设备文件。
53.实时视频拼接处理模块中具体有如下的拼接处理流程：
54.载入图像之后，调整图像尺寸；采用surf，orb技术进行特征点提取；采用2-nn和次近邻算法实现匹配，线性计算单应矩阵并归一化，同时用ransac算法筛选出内点，并用lm算法再次计算得到更为精确的单应矩阵h，从而来进行特征点匹配；由单应矩阵h通过相应计算得到相机的内参矩阵k和外参矩阵r，进行图像标定，当标定的参数产生累积误差时，采用光束平差法来精确图像参数，减少累积误差。
55.根据计算机视觉库，对待拼接的两幅图像进行投影变化，并对图像进行增益补偿，使得两幅图的重叠部分增益相等或者相似；随后进行分块补偿，将图像分成大小相同的不同块，然后给予不同块不同的增益系数，相当于分块进行增益补偿，最后对所有图像中的补偿增益系数应用分割线性滤波方法进行平滑滤波；通过逐点法、动态规划法、图割法在两幅图像的重叠区域内寻找缝合线，选取最佳缝合线，得到缝合线之后，基于缝合线，对图像融合处理。
56.具体实施例2
57.基于实施例1；
58.一种视频采集压缩融合处理方法：
59.具体的，对图像单应矩阵计算；把一个射影平面上的点映射到另一个射影平面上，可以用3
×
3的非奇异矩阵h表示，矩阵h称为单应矩阵。
60.线性变换：
61.图像预处理。输入图像由于图像采集环境的不同，如光照明暗的程度还有相关设备性能的优劣等，往往存在有噪声、对比度不够等缺点。为了保证特征点提取和特征点匹配过程的准确性和高效性，必须对图像进行预处理。常用的图像预处理有：灰度处理和滤波。
62.灰度处理：图像中的特征点与图像是彩色和灰色并没有关系，所以为了加快配准和融合的速度，可以先将视频获取到的彩色图像变成灰度图像，然后在灰度图像的基础上进行操作。
63.滤波：采集的图像在成像、数字化以及传输过程中，难免会受到各种各样噪声的干扰，图像的质量经常会发生出人意料的退化，严重影响了整个图像的视觉效果。通常这些噪声干扰使得图像退化，表现为图像模糊、特征淹没，这会对图像分析产生不利，使所获得的图像质量较低。对这样的图像直接进行分析是比较困难的。抑制使图像退化的各种干扰信号、增强图像中的有用信号，以及将观测到的不同图像在同一约束条件下进行校正处理就显得非常重要。常用的滤波方法有：平滑滤波、中值滤波和高斯滤波，每种滤波都有自己的优缺点，根据噪声的类型不同选择不同的滤波方法。
64.特征点检测和特征向量计算
65.特征提取算法采用surf算法。surf特征提取算法的主要的五个步骤：构建hessian矩阵构造高斯金字塔尺度空间、利用非极大值抑制初步确定特征点、精确定位极值点、选取特征点的主方向、构造surf特征点描述子。surf算法分为五个步骤：
66.构建hessian矩阵和高斯金字塔尺度空间。假设函数f(z，y)，hessian
[0067][0068]
即每一个像素点都能够求出一个矩阵；
[0069]
此时，矩阵中的h判别式为：
[0070][0071]
判别式的值就是h矩阵的特征值，所有的点可以根据判定结果的符号来分类，由高等数学可以知道，判断一个点是不是极值点，就是要判断判别式的取值是正还是负。
[0072]
在surf算法中，用图像像素l(x，y)即为函数值f(x，y)，选用二阶标准高斯函数作为滤波器，通过特定核的卷积计算二阶偏导数，这样便能计算出h矩阵的三个矩阵元素lxx、lxy、lyy，从而计算出h矩阵，在进行hessian矩阵构造前，需要对其进行高斯滤波。这样，经过高斯滤波后再做hessian矩阵的计算，l(x，t)表示的是不同解析度下的一幅图像，可以利用高斯核g(t)与图像函数i(x)在点x的卷积来实现。其中t为高斯方差，g(x)为高斯函数。为图像中每个像素计算出其h行列式的决定值，并用这个值来判别特征点。
[0073]
利用非极大值抑制初步特征点。将经过hessian矩阵处理过的每个像素点和它邻近的3维领域的26个点进行大小比较，如果它是这26个点中的最大值或者最小值，则保留下来，当做初步的特征点。
[0074]
精确定位极值点。采用3维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来。
[0075]
选取特征点的主方向。统计特征点领域内的harr小波特征。即在特征点的领域，统
计60
°
大小的扇形内所有点的水平haar小波特征和垂直haar小波特征总和，haar小波的尺寸变长为4s，这样一个扇形得到了一个值。然后60
°
扇形以一定间隔进行旋转，最后将最大值那个扇形的方向作为该特征点的主方向。
[0076]
构造surf特征点描述算子。在特征点周围取一个正方形框，框的边长为20s(s是所检测到该特征点所在的尺度)。该框带方向，方向当然就是第4步检测出来的主方向了。然后把该框分为16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。该haar小波特征为水平方向值之和、水平方向绝对值之和、垂直方向之和、垂直方向绝对值之和。
[0077]
flann特征匹配
[0078]
在高维空间中，这个搜索库常用来进行快速近似最近邻搜索，它包含了一个集合的算法，用这些算法对数据集进行最近邻搜索，也用来为系统自动选择最佳的算法和最佳参数。对于一个高维特征，可以发现在计算机视觉中，找到待匹配数据中的最近邻的匹配点的计算代价是昂贵的。对于高维特征，flann特征匹配比一般的匹配算法更有效、更快速。用surf算法提取特征点之后，计算出特征向量，也即特征描述子，然后用flann匹配器进行特征描述子的匹配，根据图像变换的原理，对匹配的结果集进行计算，得出变换矩阵，即单应矩阵。
[0079]
具体实施例3
[0080]
基于实施例1；
[0081]
一种视频采集压缩融合处理方法：
[0082]
图像融合的具体步骤和流程：
[0083]
直接平均法。在找到单应性矩阵之后，通过opencv函数将物体图像经过透视变换，变换到目标场景中，计算出重叠区域的四个角坐标之后也就是计算出了重叠区域的边界，在这个重叠区域中，对应的像素点的灰度值等于场景图像和物体图像变换后的图像的像素的平均值。
[0084]
加权平均法。与直接平均法类似，在图片的重叠区域中，对应的像素点的灰度值不再直接等于场景图像和物体图像变换后的图像的像素的平均值，而是等于场景图像和物体图像变换后的图像的像素先加权后进行平均。
[0085]
根据实际融合效果，可以选择权重不同的分布函数，加权平均法可以分为很多种其中最常用的加权平均法就是渐入渐出加权平均法。这两个权重值由重叠区域的宽度width来决定，假定w1＝1/width，那么在重叠区域中，权值1从1开始逐渐减小到0，而w权值2从0开始逐渐增大到1。在图像像素点过低时，图像呈现的是黑色。即在使用渐入渐出加权平均法时，可以先检测待处理的像素点的值是否过低。
[0086]
最后，还需要说明的是，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本技术可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本技术所能产生的功效及所能达成的目的下，均应仍落在本技术所揭示的技术内容得能涵盖的范围内。
[0087]
在本文中使用的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括
没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0088]
本发明并不局限于上述最佳实施方式，任何人应该得知在本发明的启示下做出的结构变化，凡是与本发明具有相同或相近的技术方案，均落入本发明的保护范围之内。

技术特征：
1.一种双通道视频采集装置，其特征在于，包括有机壳(1)、固定在机壳(1)顶部开口处的上盖(2)，以及安装在机壳(1)内腔中对视频数据进行处理的处理主板(9)，且机壳(1)的正面设置有一排八个与处理主板(9)的接入端连接的航插(5)，机壳(1)的背面设置有显示处理主板(9)指令的数个指示灯(6)，以及若干个用于控制处理主板(9)运作的数个控制按钮(7)。2.根据权利要求1所述的一种双通道视频采集装置，其特征在于，所述航插(5)中具体为4个dv1航插端子、1个声音航插端子、2个以太网航插端子、1个电源航插端子。3.根据权利要求1所述的一种双通道视频采集装置，其特征在于，所述机壳(1)和上盖(2)之间设置有用于防水的密封条(8)，且机壳(1)和上盖(2)之间设置有若干根紧固铆钉(3)用于相互固定，其中，机壳(1)的两侧侧壁上均固定有用于将装置固定在机架上的固定边条(4)。4.一种双通道视频采集压缩融合处理方法，其包括权利要求1-3任一项所述的一种双通道视频采集装置，其还包括视频采集驱动框架和实时视频拼接处理模块两个用于对双通道视频进行采集和压缩融合的部分。5.根据权利要求4所述的一种视频采集压缩融合处理方法，其特征在于，所述视频采集驱动框架中包括有v4l2视频驱动模块；该模块是linux标准的视频采集驱动框架，位于linux内核态，由硬件独立v4l2驱动核心和硬件相关的camera驱动、sensor驱动等组成。6.根据权利要求5所述的一种视频采集压缩融合处理方法，其特征在于，所述视频采集驱动框架中的v4l2视频驱动模块具有如下的视频采集步骤：s1：打开视频设备文件；s2：设置视频采集的参数、设置视频的制式，制式包括pal/ntsc、设置视频图像的采集窗口的大小、设置视频帧格式，包括帧的点阵格式、宽度和高度、设置视频的帧率、设置视频的旋转方式；s3：向驱动申请视频流数据的帧缓冲区，请求/申请若干个帧缓冲区，查询帧缓冲区在内核空间中的长度和偏移量；s5：应用程序通过内存映射，将帧缓冲区的地址映射到用户空间；s6：将申请到的帧缓冲全部放入视频采集输出队列，以便存放采集的数据；s7：开始视频流数据的采集；s8：驱动将采集到的一帧视频数据存入输入队列第一个帧缓冲区，存完后将该帧缓冲区移至视频采集输出队列；s9：应用程序从视频采集输出队列中取出已含有采集数据的帧缓冲区，应用程序处理该帧缓冲区的原始视频数据；s10：处理完后，应用程序的将该帧缓冲区重新排入输入队列，随后循环采集数据；重复上述步骤s8到步骤s10，直到停止采集数据；s11：停止视频的采集；释放申请的视频帧缓冲区，关闭视频设备文件。7.根据权利要求4所述的一种视频采集压缩融合处理方法，其特征在于，所述实时视频拼接处理模块中具体有如下的拼接处理流程：s1：载入图像之后，调整图像尺寸；s2：采用surf，orb技术进行特征点提取；采用2-nn和次近邻算法实现匹配，线性计算单
应矩阵并归一化，同时用ransac算法筛选出内点，并用lm算法再次计算得到更为精确的单应矩阵h，从而来进行特征点匹配；s3：由单应矩阵h通过相应计算得到相机的内参矩阵k和外参矩阵r，进行图像标定，当标定的参数产生累积误差时，采用光束平差法来精确图像参数，减少累积误差；s4：根据计算机视觉库，对待拼接的两幅图像进行投影变化，并对图像进行增益补偿，使得两幅图的重叠部分增益相等或者相似；随后进行分块补偿，将图像分成大小相同的不同块，然后给予不同块不同的增益系数，相当于分块进行增益补偿，最后对所有图像中的补偿增益系数应用分割线性滤波方法进行平滑滤波。s5：通过逐点法、动态规划法、图割法在两幅图像的重叠区域内寻找缝合线，选取最佳缝合线，得到缝合线之后，基于缝合线，对图像融合处理。8.根据权利要求7所述的一种视频采集压缩融合处理方法，其特征在于，所述步骤s5中的图像融合流程中，具体有：进行图像拼接时，对算法速度要求不高，首先选择多频段融合，并且设置的频段数量尽可能的多，如果对算法速度比较苛刻，优先选择渐入渐出融合，并通过调整加权系数来使重叠区域自然过渡。

技术总结
本发明公开了一种双通道视频采集装置及压缩融合处理方法，本发明涉及视频数据处理技术领域，现提出如下方案，包括：视频采集装置以及内置在采集装置中的视频采集压缩融合处理方法，而且，视频采集压缩融合处理方法中设置视频采集驱动框架和实时视频拼接处理模块，借助两个模块对双通道视频进行采集和压缩融合。本发明中将用来显示军舰航行过程数据的多个屏幕通过视频采集装置同时进行采集，并且融合压缩到一个视频中；而在视频采集装置中内置视频采集驱动框架和实时视频拼接处理模块，借助特征点提取、匹配，计算、优化图像数据，以及拼接融合多图像数据的技术手段，实现多视频图像资料能够集成到同一视频中，从而以供后续分析研究。研究。研究。


技术研发人员：陈玉君 王兆强 吴德和 王传军 金刚
受保护的技术使用者：中船智能科技（上海）有限公司
技术研发日：2023.05.05
技术公布日：2023/8/6