一种基于窗口的生成式并行编码方法及系统

1.本发明涉及视频处理技术领域，尤其涉及一种基于窗口的生成式并行编码方法及系统。


背景技术：

2.视频编码技术主要是通过减少图像序列中的时间和空间冗余，在保证画面质量劣化在可接受范围内，降低视频存储时所需要的空间，以及传输过程中需要的带宽。其中时间冗余指的是视频序列中相邻帧之间的冗余。由于相邻帧之间的像素内容通常相似度较高，因此可以利用这种相似性通过预测编码或帧间编码等方式来减小每一帧的数据量，从而实现视频压缩。另一方面，空间冗余指的是同一帧中像素之间的冗余，也称为帧内冗余。由于同一帧中像素之间的内容也往往相似度较高，因此可以利用这种相似性来减小每一帧的数据量。
3.相比于自然视频，桌面视频中的运动更多的是以窗口为一个整体进行的。也就是说，在窗口内很大一部分像素的相对位置是不发生变化的。因此，如果在编码过程中，仍然对整个画面进行运动分析并进行编码，就会对计算资源以及后续的传输带宽造成非常大的浪费。


技术实现要素：

4.鉴于此，本发明的实施例提供了一种基于窗口的生成式并行编码方法，以消除或改善现有技术中存在的一个或更多个缺陷。
5.本发明的一个方面提供了一种基于窗口的生成式并行编码方法，所述方法的步骤包括：
6.获取当前帧图像中的感兴趣窗口画面和背景图像画面；
7.分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；
8.若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；
9.若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；
10.基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。
11.采用上述方案，通过主机系统获取所有打开的窗口画面及相对位置信息，将当前活跃的窗口称为感兴趣窗口，所述当前活跃的窗口可以为鼠标当前点击的窗口，也可以为手指触摸或按键操作等方式使活跃的窗口，具体使窗口活跃的方式并不限于上述举例，将当前界面中其余空间，即感兴趣窗口外的其他图像合并在一个画面中，称为背景，使用两个编码器并行的对这两个画面进行编码，本方案基于桌面视频的特点，基于背景图像变化相
对较小的特点，将感兴趣窗口图像和背景图像分别处理，避免在编码过程中对整个画面都进行运动分析，以及对静止内容重复传输，提高对计算资源以及后续的传输带宽的利用效率，本发明中通过系统接口分别获取屏幕中的窗口画面以及相对位置，并将其并行地进行编码、传输和重建，从而达到节省计算开销，以及传输带宽的目的。
12.在本发明的一些实施方式中，所述分别判定所述感兴趣窗口画面和背景图像画面是否发生变化的步骤包括：
13.判定所述感兴趣窗口画面的大小是否变化，若所述感兴趣窗口画面的大小发生变化，则确定所述感兴趣窗口画面发生变化。
14.在本发明的一些实施方式中，判定所述感兴趣窗口画面的大小是否变化的步骤包括：
15.获取当前所述感兴趣窗口画面的边角坐标；
16.基于当前所述感兴趣窗口画面的边角坐标与前一帧图像中感兴趣窗口画面的边角坐标确定所述感兴趣窗口画面是否发生变化。
17.在本发明的一些实施方式中，分别判定所述感兴趣窗口画面和背景图像画面是否发生变化的步骤还包括：
18.计算当前所述感兴趣窗口画面与前一帧的所述感兴趣窗口画面之间对应像素点的像素值的差值的绝对值，将全部对应像素点的差值的绝对值相加得到的第一总像素差，将所述第一总像素差与预设的第一像素差阈值比较，基于预设的像素差阈值确定当前的所述感兴趣窗口画面是否发生变化；
19.计算当前所述背景图像画面与前一帧的所述背景图像画面之间对应像素点的像素值的差值的绝对值，将全部对应像素点的差值的绝对值相加得到第二总像素差，将所述第二总像素差与预设的第二像素差阈值比较，基于预设的第二像素差阈值确定当前的所述背景图像画面是否发生变化。
20.在本发明的一些实施方式中，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输还包括，将所述当前帧图像的时间戳和当前帧图像中所述感兴趣窗口画面和背景图像画面的相对位置信息以数据包的形式进行传输。
21.在本发明的一些实施方式中，所述方法的步骤还包括：
22.在解码端获取所述数据包，确定所述数据包中的数据是否为所述感兴趣窗口画面的数据；
23.若为所述感兴趣窗口画面的数据，则基于数据的内容判断所述感兴趣窗口画面是否发生变化，若所述感兴趣窗口画面未发生变化，复用前一帧图像的感兴趣窗口画面；若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面；
24.若为所述背景图像画面的数据，则基于数据的内容判断所述背景图像画面是否发生变化，若所述背景图像画面未发生变化，复用前一帧图像的背景图像画面；若所述背景图像画面发生变化，基于码流重新构建背景图像画面；
25.将所述感兴趣窗口画面覆盖在背景图像画面上，输出画面。
26.在本发明的一些实施方式中，在基于数据内容判断所述感兴趣窗口画面是否发生变化的步骤中，若所述数据内容包括第一复用标识，则所述感兴趣窗口画面未发生变化；若
所述数据内容包括码流，则所述感兴趣窗口画面发生变化。
27.在本发明的一些实施方式中，在基于数据的内容判断所述背景图像画面是否发生变化的步骤中，若数据的内容包括第二复用标识，则所述背景图像画面未发生变化；若数据的内容包括码流，则所述背景图像画面发生变化。
28.在本发明的一些实施方式中，在若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面的步骤中，基于预设的小解码器对码流进行解码得到重新构建的感兴趣窗口画面；
29.在若所述背景图像画面发生变化，基于码流重新构建背景图像画面的步骤中，基于预设的大解码器对码流进行解码得到重新构建的背景图像画面。
30.本发明的第二方面还提供一种基于窗口的生成式并行编码系统，所述系统包括：
31.画面获取模块，用于获取当前帧图像中的感兴趣窗口画面和背景图像画面；
32.画面变化判断模块，用于分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；
33.编码模块，若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；
34.第一画面复用模块，若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；
35.数据包传输模块，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。
36.在本发明的一些实施方式中，所述系统还包括：
37.数据包获取模块，用于在解码端获取所述数据包，确定所述数据包中的数据是否为所述感兴趣窗口画面的数据；
38.码流判定模块，若为所述感兴趣窗口画面的数据，则基于数据的内容判断所述感兴趣窗口画面是否发生变化，若所述感兴趣窗口画面未发生变化，复用前一帧图像的感兴趣窗口画面；若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面；
39.第二画面复用模块，若为所述背景图像画面的数据，则基于数据的内容判断所述背景图像画面是否发生变化，若所述背景图像画面未发生变化，复用前一帧图像的背景图像画面；若所述背景图像画面发生变化，基于码流重新构建背景图像画面；
40.画面输出模块，用于将所述感兴趣窗口画面覆盖在背景图像画面上，输出画面。
41.本发明的第三方面还提供一种基于窗口的生成式并行编码装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述方法所实现的步骤。
42.本发明的第四方面还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于窗口的生成式并行编码方法所实现的步骤。
43.本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获
知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
44.本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
45.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。
46.图1为本发明基于窗口的生成式并行编码方法一种实施方式的示意图；
47.图2为本发明基于窗口的生成式并行编码方法另一种实施方式的示意图；
48.图3为步骤s200一种实施方式的步骤展开示意图；
49.图4为本发明基于窗口的生成式并行编码系统一种实施方式的示意图；
50.图5为本发明基于窗口的生成式并行编码系统另一种实施方式的示意图；
51.图6为本发明基于窗口的生成式并行编码方法中编码端的处理示意图；
52.图7为本发明基于窗口的生成式并行编码方法中解码端的处理示意图；
53.图8为时间上连续的桌面窗口拖动视频的两帧的示意图；
54.图9为实验例中感兴趣窗口图像的示意图；
55.图10为实验例中背景图像的示意图；
56.图11为将感兴趣窗口图像覆盖在背景图像的示意图。
具体实施方式
57.现有技术介绍
58.现有技术通常采用对每一帧的整个画面作为整体进行编码的方式，具有非常好的帧间冗余去除效果，但是在桌面视频编码领域，存在以下问题：在桌面视频中，进行运动变化的很多时候为窗口等画面内容相对固定的组件进行的。此时如果对每一帧重新计算运动估计结果，寻找在参考帧中相匹配的宏块，就会造成计算资源的浪费。
59.具体来说，运动估计的主要任务是在历史参考帧中为当前正在编码的宏块找到一个匹配块，并且因为时间上相邻的前后两帧之间物体运动的位移量通常不会很大，所以可以从当前宏块位置出发，在历史帧相同位置宏块周围一个小区域进行搜索，寻找匹配块。显然，搜索画面区域越大，搜索的宏块数量越多，计算成本就越高。对于桌面视频来说，一方面很多部分的运动信息可以统一进行处理，比如隶属于同一个被移动窗口内的宏块都可以复用一个运动向量。另一方面甚至可以不进行运动估计的计算，直接将整块像素进行拷贝，在本方案中将未发生变化的画面整体拷贝，极大的降低了计算量。
60.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
61.在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
62.为解决以上问题，如图1和6所示，本发明提出一种基于窗口的生成式并行编码方
法，所述方法的步骤包括：
63.步骤s100，获取当前帧图像中的感兴趣窗口画面和背景图像画面；
64.在具体实施过程中，可以通过windows系统获得感兴趣窗口画面和背景图像画面，具体的系统类型不做限定。
65.步骤s200，分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；
66.在具体实施过程中，基于所述感兴趣窗口画面和背景图像画面中像素点的像素值和所述感兴趣窗口画面和背景图像画面的位置参数判定所述感兴趣窗口画面和背景图像画面是否发生变化。
67.步骤s300，若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；
68.在具体实施过程中，所述小编码器和大编码器可以采用h.264、h.265或av1等标准的编码器，h.264是一种高效的视频编码标准，广泛用于高清和流媒体视频传输。它使用高级视频编码技术，如运动估计和帧内预测，以在减小码率的同时提供高质量的视频图像。h.265是h.264的升级版，它使用更高级的视频编码技术来提供更高效的视频压缩。它可以在减小码率的同时提供更高质量的视频图像，这对于高分辨率视频和超高清视频特别重要。在h.264的基础上，它提供了新的编码单元结构实现更好的并行处理，以及更高效的变换方式以提高编码效率和视频质量。av1是一种开放、免费的视频编码标准。其主要包括的技术有变换编码、运动估计、多参考帧和符号编码等。
69.所述大编码器编码的画面分辨率大于小编码器。
70.步骤s400，若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；
71.步骤s500，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。
72.采用上述方案，通过主机系统获取所有打开的窗口画面及相对位置信息，将当前活跃的窗口称为感兴趣窗口，所述当前活跃的窗口可以为鼠标当前点击的窗口，将当前界面中其余空间，即感兴趣窗口外的其他图像合并在一个画面中，称为背景，使用两个编码器并行的对这两个画面进行编码，本方案基于桌面视频的特点，基于背景图像变化相对较小的特点，将感兴趣窗口图像和背景图像分别处理，避免每次对整个画面进行运动分析的过程中均对全部画面进行编码，提高对计算资源以及后续的传输带宽的利用效率。
73.在本发明的一些实施方式中，所述分别判定所述感兴趣窗口画面和背景图像画面是否发生变化的步骤包括：
74.判定所述感兴趣窗口画面的大小是否变化，若所述感兴趣窗口画面的大小发生变化，则确定所述感兴趣窗口画面发生变化。
75.如图3所示，在本发明的一些实施方式中，判定所述感兴趣窗口画面的大小是否变化的步骤包括：
76.步骤s210，获取当前所述感兴趣窗口画面的边角坐标；
77.步骤s220，基于当前所述感兴趣窗口画面的边角坐标与前一帧图像中感兴趣窗口
画面的边角坐标确定所述感兴趣窗口画面是否发生变化。
78.在具体实施过程中，可以通过所述感兴趣窗口画面边角处的坐标，判定所述感兴趣窗口画面的大小是否发生变化，若所述感兴趣窗口画面边角处的坐标改变，则说明所述感兴趣窗口画面的大小发生变化，可直接判定感兴趣窗口画面发生变化。
79.在具体实施过程中，所述感兴趣窗口画面为矩形，所述感兴趣窗口画面边角处的坐标即为矩形的四个角的坐标。
80.在本发明的一些实施方式中，分别判定所述感兴趣窗口画面和背景图像画面是否发生变化的步骤还包括：
81.步骤s230，计算当前所述感兴趣窗口画面与前一帧的所述感兴趣窗口画面之间对应像素点的像素值的差值的绝对值，将全部对应像素点的差值的绝对值相加得到的第一总像素差，将所述第一总像素差与预设的第一像素差阈值比较，基于预设的像素差阈值确定当前的所述感兴趣窗口画面是否发生变化；
82.步骤s240，计算当前所述背景图像画面与前一帧的所述背景图像画面之间对应像素点的像素值的差值的绝对值，将全部对应像素点的差值的绝对值相加得到第二总像素差，将所述第二总像素差与预设的第二像素差阈值比较，基于预设的第二像素差阈值确定当前的所述背景图像画面是否发生变化；
83.在具体实施过程中，步骤s230和步骤s240的方案仅为判定所述感兴趣窗口画面和背景图像画面是否发生变化的一种实施方式，具体并不限于该种实施方式。
84.如图3所示，在本发明的一些实施方式中，在分别判定所述感兴趣窗口画面和背景图像画面是否发生变化，首先通过步骤s210至步骤s220，基于所述感兴趣窗口画面的边角坐标判定所述感兴趣窗口画面是否发生变化，若发生变化则不需要进一步通过步骤s230进一步的判定，若未发生变化则进一步通过步骤s230，基于所述感兴趣窗口画面中像素点的像素值进行进一步的判定所述感兴趣窗口画面是否发生变化；通过步骤步骤s240判定所述背景图像画面是否发生变化。
85.采用上述方案，通过上述逻辑进行判定，由于计算画面大小仅需要对少数坐标进行比对，计算量较小，首先通过坐标进行比对，若判定发生变化，则不需要进行下一步比对；若判定未发生变化，则需要通过像素点的像素值进行进一步比对，则本方案的比对逻辑能够进一步降低在比对判定是否发生变化过程中所消耗的计算量，提高处理效率。
86.本发明的一些实施方式中，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输还包括，将所述当前帧图像的时间戳和当前帧图像中所述感兴趣窗口画面和背景图像画面的相对位置信息以数据包的形式进行传输。
87.在具体实施过程中，所述背景图像画面可以为一个非感兴趣窗口，也可以为多个非感兴趣窗口的叠加，所述感兴趣窗口画面的位置包括所述感兴趣窗口画面中边角处的坐标。
88.如图2和7所示，在本发明的一些实施方式中，所述方法的步骤还包括：
89.步骤s600，在解码端获取所述数据包，确定所述数据包中的数据是否为所述感兴趣窗口画面的数据；
90.步骤s700，若为所述感兴趣窗口画面的数据，则基于数据的内容判断所述感兴趣
窗口画面是否发生变化，若所述感兴趣窗口画面未发生变化，复用前一帧图像的感兴趣窗口画面；若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面；
91.步骤s800，若为所述背景图像画面的数据，则基于数据的内容判断所述背景图像画面是否发生变化，若所述背景图像画面未发生变化，复用前一帧图像的背景图像画面；若所述背景图像画面发生变化，基于码流重新构建背景图像画面；
92.在具体实施过程中，所述数据包中包括所述感兴趣窗口画面的数据和背景图像画面的数据，若为所述感兴趣窗口画面的数据，则基于数据的内容判定所述感兴趣窗口画面是否发生变化，若所述数据内容包括第一复用标识，则所述感兴趣窗口画面未发生变化，复用前一帧图像的感兴趣窗口画面；若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面；若为所述背景图像画面的数据，则基于数据的内容判断所述背景图像画面是否发生变化，若所述数据内容包括第二复用标识，则所述背景图像画面未发生变化，复用前一帧图像的背景图像画面；若所述背景图像画面发生变化，基于码流重新构建背景图像画面。
93.步骤s900，将所述感兴趣窗口画面覆盖在背景图像画面上，输出画面。
94.在具体实施过程中，基于所述感兴趣窗口画面的边角坐标确定所述感兴趣窗口画面的位置，将所述感兴趣窗口画面覆盖在背景图像画面的相应位置上，输出画面。
95.在具体实施过程中，由于桌面视频中的运动多是以窗口等结构相对位置固定的内容进行，如果对在同一个移动窗口中所有相对静止的宏块内的像素都进行一遍运动向量的计算，在占用更多计算资源的同时，还需要使用更多的传输带宽，本发明通过系统获取所有打开的窗口画面及相对位置信息，将最上面当前活跃的窗口称为感兴趣窗口，其余窗口合并在一个画面中，称为背景。使用两个编码器并行的对这两个画面进行编码，在传输过程中加入感兴趣窗口画面的相对位置信息，并在解码端使用两个解码器分别进行解码之后，根据收到的相对位置信息，将两个画面合并在一起。
96.所述感兴趣窗口画面的相对位置信息包括所述感兴趣窗口画面的边角处的坐标。
97.在本发明的一些实施方式中，在基于数据内容判断所述感兴趣窗口画面是否发生变化的步骤中，若所述数据内容包括第一复用标识，则所述感兴趣窗口画面未发生变化；若所述数据内容包括码流，则所述感兴趣窗口画面发生变化。
98.在本发明的一些实施方式中，在基于数据的内容判断所述背景图像画面是否发生变化的步骤中，若数据的内容包括第二复用标识，则所述背景图像画面未发生变化；若数据的内容包括码流，则所述背景图像画面发生变化。
99.在本发明的一些实施方式中，在若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面的步骤中，基于预设的小解码器对码流进行解码得到重新构建的感兴趣窗口画面；
100.在若所述背景图像画面发生变化，基于码流重新构建背景图像画面的步骤中，基于预设的大解码器对码流进行解码得到重新构建的背景图像画面。
101.在本发明的一些实施方式中，所述小解码器与小编码器相对应，所述大解码器与大编码器相对应，均可以采用h.264、h.265或av1等标准的解码器。
102.如图4所示，本发明的第二方面还提供一种基于窗口的生成式并行编码系统，所述系统包括：
103.画面获取模块100，用于获取当前帧图像中的感兴趣窗口画面和背景图像画面；
104.画面变化判断模块200，用于分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；
105.编码模块300，若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；
106.第一画面复用模块400，若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；
107.数据包传输模块500，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。
108.如图5所示，在本发明的一些实施方式中，所述系统还包括：
109.数据报获取模块600，用于在解码端获取所述数据包，确定所述数据包中的数据是否为所述感兴趣窗口画面的数据；
110.码流判定模块700，若为所述感兴趣窗口画面的数据，则基于数据的内容判断所述感兴趣窗口画面是否发生变化，若所述感兴趣窗口画面未发生变化，复用前一帧图像的感兴趣窗口画面；若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面；
111.第二画面复用模块800，若为所述背景图像画面的数据，则基于数据的内容判断所述背景图像画面是否发生变化，若所述背景图像画面未发生变化，复用前一帧图像的背景图像画面；若所述背景图像画面发生变化，基于码流重新构建背景图像画面；
112.画面输出模块900，用于将所述感兴趣窗口画面覆盖在背景图像画面上，输出画面。
113.实验例
114.如图8所示，首先可以看到，此时显示的窗口一共有两个，呈现上下叠放的效果，我们将位于上层的窗口设置为感兴趣窗口画面，如图9所示。
115.将位于下层的窗口设置为背景画面，如图10所示。
116.可以看到，在桌面窗口中幻灯片窗口向左上方移动了一定的距离。
117.系统首先需要分别获取到感兴趣窗口画面和背景画面，将感兴趣窗口画面和背景画面并行地使用对应分辨率的编码器进行编码，然后进行传输。在解码端，首先将感兴趣窗口画面和背景画面分别进行解码，如果感兴趣窗口画面与背景画面内容与之前没有发生变化，那么复用之前已经解码的画面，并依据感兴趣窗口和背景的当前相对位置信息，将感兴趣窗口覆盖在背景的对应位置上，如图11所示；通过将整个感兴趣窗口画面和背景画面进行复用，避免了重复的编码工作，有效的降低了编码所带来的计算资源和网络资源的开销。
118.本方案通过这种并行化的设计，使得编码器在对桌面视频进行编码的过程中，可以减少频繁编码画面内容相同的区域，更多的只对画面出现变化的部分区域进行编码这样可以有效降低编码时所需要的性能开销。
119.本发明将桌面视频分成感兴趣窗口和背景层分别进行提取、编码和传输，并在解码端将感兴趣窗口覆盖在已解码的背景画面上，完成画面更新。在保证视频画面质量的同时，提高了视频的编码速度，降低了编码器计算性能的开销，以及传输时所需要的带宽。发
明的具体技术实现均在保护范围内。
120.本发明实施例还提供一种基于窗口的生成式并行编码装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现上述方法所实现的步骤。
121.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述基于窗口的生成式并行编码方法所实现的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、软盘、硬盘、可移动存储盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质。
122.本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
123.需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
124.本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
125.以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于窗口的生成式并行编码方法，其特征在于，所述方法的步骤包括：获取当前帧图像中的感兴趣窗口画面和背景图像画面；分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。2.根据权利要求1所述的基于窗口的生成式并行编码方法，其特征在于，所述分别判定所述感兴趣窗口画面和背景图像画面是否发生变化的步骤包括：判定所述感兴趣窗口画面的大小是否变化，若所述感兴趣窗口画面的大小发生变化，则确定所述感兴趣窗口画面发生变化。3.根据权利要求2所述的基于窗口的生成式并行编码方法，其特征在于，判定所述感兴趣窗口画面的大小是否变化的步骤包括：获取当前所述感兴趣窗口画面的边角坐标；基于当前所述感兴趣窗口画面的边角坐标与前一帧图像中感兴趣窗口画面的边角坐标确定所述感兴趣窗口画面是否发生变化。4.根据权利要求2或3所述的基于窗口的生成式并行编码方法，其特征在于，分别判定所述感兴趣窗口画面和背景图像画面是否发生变化的步骤还包括：计算当前所述感兴趣窗口画面与前一帧的所述感兴趣窗口画面之间对应像素点的像素值的差值的绝对值，将全部对应像素点的差值的绝对值相加得到的第一总像素差，将所述第一总像素差与预设的第一像素差阈值比较，基于预设的像素差阈值确定当前的所述感兴趣窗口画面是否发生变化；计算当前所述背景图像画面与前一帧的所述背景图像画面之间对应像素点的像素值的差值的绝对值，将全部对应像素点的差值的绝对值相加得到第二总像素差，将所述第二总像素差与预设的第二像素差阈值比较，基于预设的第二像素差阈值确定当前的所述背景图像画面是否发生变化。5.根据权利要求1所述的基于窗口的生成式并行编码方法，其特征在于，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输还包括，将所述当前帧图像的时间戳和当前帧图像中所述感兴趣窗口画面和背景图像画面的相对位置信息以数据包的形式进行传输。6.根据权利要求1所述的基于窗口的生成式并行编码方法，其特征在于，所述方法的步骤还包括：在解码端获取所述数据包，确定所述数据包中的数据是否为所述感兴趣窗口画面的数据；若为所述感兴趣窗口画面的数据，则基于数据的内容判断所述感兴趣窗口画面是否发生变化，若所述感兴趣窗口画面未发生变化，复用前一帧图像的感兴趣窗口画面；若所述感
兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面；若为所述背景图像画面的数据，则基于数据的内容判断所述背景图像画面是否发生变化，若所述背景图像画面未发生变化，复用前一帧图像的背景图像画面；若所述背景图像画面发生变化，基于码流重新构建背景图像画面；将所述感兴趣窗口画面覆盖在背景图像画面上，输出画面。7.根据权利要求6所述的基于窗口的生成式并行编码方法，其特征在于，在基于数据内容判断所述感兴趣窗口画面是否发生变化的步骤中，若所述数据内容包括第一复用标识，则所述感兴趣窗口画面未发生变化；若所述数据内容包括码流，则所述感兴趣窗口画面发生变化。8.根据权利要求6所述的基于窗口的生成式并行编码方法，其特征在于，在基于数据的内容判断所述背景图像画面是否发生变化的步骤中，若数据的内容包括第二复用标识，则所述背景图像画面未发生变化；若数据的内容包括码流，则所述背景图像画面发生变化。9.根据权利要求6-8任一项所述的基于窗口的生成式并行编码方法，其特征在于，在若所述感兴趣窗口画面发生变化，基于码流重新构建感兴趣窗口画面的步骤中，基于预设的小解码器对码流进行解码得到重新构建的感兴趣窗口画面；在若所述背景图像画面发生变化，基于码流重新构建背景图像画面的步骤中，基于预设的大解码器对码流进行解码得到重新构建的背景图像画面。10.一种基于窗口的生成式并行编码系统，其特征在于，所述系统包括：画面获取模块，用于获取当前帧图像中的感兴趣窗口画面和背景图像画面；画面变化判断模块，用于分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；编码模块，若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；第一画面复用模块，若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；数据包传输模块，基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。

技术总结
本发明提供一种基于窗口的生成式并行编码方法及系统，所述方法的步骤包括：获取当前帧图像中的感兴趣窗口画面和背景图像画面；分别判定所述感兴趣窗口画面和背景图像画面是否发生变化；若所述感兴趣窗口画面发生变化则采用预设的小编码器将所述感兴趣窗口画面编码为码流，若所述背景图像画面发生变化则采用预设的大编码器将所述背景图像画面编码为码流；若所述感兴趣窗口画面或背景图像画面未发生变化则构建复用标识，所述感兴趣窗口画面的复用标识为第一复用标识，所述背景图像画面的复用标识为第二复用标识；基于所述感兴趣窗口画面和背景图像画面的变化情况，将所述复用标识或码流以数据包的形式进行传输。识或码流以数据包的形式进行传输。识或码流以数据包的形式进行传输。


技术研发人员：段鹏瑞 马华东 陈融
受保护的技术使用者：北京邮电大学
技术研发日：2023.06.30
技术公布日：2023/9/19