隔行图像检测、隔行图像校正方法、设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种隔行图像检测、隔行图像校正方法、设备及存储介质。


背景技术：

2.在电视技术的发展早期，通常采用隔行采样的技术对电视画面进行处理，以减少传输带宽。进入数字化时代后，市场上仍旧具有大量存量的隔行视频。隔行视频的每一帧隔行图像包含两个半场图像，即顶场图像以及底场图像。其中，顶场图像与底场图像之间存在一定的时间差，使得两场图像在空间上无法重合的。尤其当画面中存在运动物体时，隔行图像中会出现非常明显的梳状条纹，因而播放前需要预先做去隔行处理。
3.在视频处理中，若隔行图像在超分辨率放大之前不进行去隔行处理，则会导致明显的画质瑕疵；若逐行图像被错当成隔行图像进行去隔行处理，则会导致不必要的画质损失，并损伤超分辨率放大的播放效果。因此，准确地检测出隔行帧十分关键。但是现有的隔行检测方法的准确性较差。因此，有待提出一种新的解决方案。


技术实现要素：

4.本技术的多个方面提供一种隔行图像检测、隔行图像校正方法、设备及存储介质，用以提升隔行检测准确性，从而提升画面质量。
5.本技术实施例提供一种隔行图像处理方法，包括：获取待检测的图像；采用多个统计量分别对所述图像的全场图像以及半场图像进行统计，得到所述图像的多个全场统计值以及多个半场统计值；所述多个统计量包括：用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量；根据所述多个全场统计值，确定所述图像的第一全场锯齿概率；以及，根据所述多个半场统计值，确定所述图像的第一半场锯齿概率；根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果。
6.可选地，采用多个统计量分别对所述图像的全场图像以及半场图像进行统计，得到所述图像的多个全场统计值以及多个半场统计值，包括：分别采用所述多个统计量对所述图像的全场图像以及半场图像进行逐像素统计，得到所述全场图像中的像素在所述多个统计量上的统计值，以及所述半场图像上的像素在所述多个统计量上的统计值；所述半场图像包括：对所述图像进行奇偶行拆分得到的顶场图像以及底场图像；根据所述全场图像中的像素在所述多个统计量上的统计值，确定所述图像在所述多个统计量上的全场统计值；以及，根据所述半场图像上的像素在所述多个统计量上的统计值，确定所述图像在所述多个统计量上的半场统计值。
7.可选地，分别采用所述多个统计量对所述图像的全场图像以及半场图像进行逐像素统计，得到所述全场图像中的像素在所述多个统计量上的统计值，以及所述半场图像上的像素在所述多个统计量上的统计值，包括：将所述全场图像、所述顶场图像以及所述底场图像分别作为待计算图像；针对所述待计算图像上的任一像素，获取所述像素在所述待计
算图像上的多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值；根据所述像素的灰度值、所述多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值，计算所述像素在所述多个统计量上的统计值。
8.可选地，根据所述像素的灰度值、所述多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值，计算所述像素在所述多个统计量上的统计值，包括：根据第一纵向差异与第二纵向差异和第三纵向差异之和的比较关系，确定所述像素的纵向差异比；所述第一纵向差异根据所述像素的上邻域像素的灰度值以及下邻域像素的灰度值确定；所述第二纵向差异根据所述像素的上邻域像素的灰度值以及所述像素的灰度值确定；所述第三纵向差异根据所述像素的下邻域像素的灰度值以及所述像素的灰度值确定；和/或，根据第二纵向差异与第三纵向差异中的较小者与设定的第一阈值的比较关系，确定所述像素的纵向最小差异；和/或，根据所述第二纵向差异与所述第三纵向差异的符号比较关系，确定所述像素的纵向梯度一致性；和/或，根据第一横向差异与第二横向差异的符号比较关系，确定所述像素的横向梯度一致性；所述第一横向差异根据所述像素的左邻域像素的灰度值以及所述像素的灰度值确定；所述第二横向差异根据所述像素的右邻域像素的灰度值以及所述像素的灰度值确定；和/或，根据第三横向差异与第四横向差异的符号比较关系，确定所述像素的场内横向梯度一致性；所述第三横向差异根据所述像素的左上邻域像素的灰度值以及右上邻域像素的灰度值确定；所述第四横向差异根据所述像素的左下邻域像素的灰度值以及右下邻域像素的灰度值确定；和/或，根据所述像素的灰度值在相邻帧之间的帧间时序差异与设定的第二阈值的比较关系，确定所述像素的非静止特性；所述像素的灰度值在相邻帧之间的帧间时序差异根据所述像素的灰度值以及所述像素在所述图像的上一帧图像上的灰度值确定。
9.可选地，根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果，包括：计算所述第一全场锯齿概率与所述第一半场锯齿概率的比值；若所述比值大于设定的第三阈值，则确定所述图像为隔行图像；若所述比值小于或者等于所述第三阈值，则确定所述图像为逐行图像。
10.可选地，所述多个统计量，包括：第一组统计量，所述第一组统计量用于检测出前景运动幅度大于设定幅度阈值的隔行图像；根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果之后，还包括：若所述图像的隔行检测结果指示所述图像为逐行图像，则确定第二组统计量；所述第二组统计量，用于检测出前景运动幅度小于或等于设定幅度阈值的隔行图像；所述第二组统计量与所述第一组统计量存在部分不同；采用所述第二组统计量对所述图像的全场图像以及半场图像进行统计，得到所述第二组统计量对应的全场统计值以及半场统计值；根据所述第二组统计量对应的全场统计值，计算第二全场锯齿概率；以及，根据所述第二组统计量对应的半场统计值，计算第二半场锯齿概率；所述第二组统计量与所述第一组统计量存在部分不同；根据所述第二全场锯齿概率以及所述第二半场锯齿概率，确定所述图像的隔行检测结果。
11.可选地，还包括：若所述图像为隔行图像，则获取所述隔行图像的上一帧图像以及下一帧图像；从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像；根据所述多
个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像；将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像；将所述多个差异图像输入场融合模型，得到融合权重图；在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像；采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率图像以及所述底场图像的全分辨率图像。
12.本技术实施例还提供一种隔行图像校正方法，包括：确定待处理的隔行图像，以及所述隔行图像的上一帧图像以及下一帧图像；从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像；根据所述多个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像；将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像；将所述多个差异图像输入场融合模型，得到融合权重图；在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像；采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率图像以及所述底场图像的全分辨率图像。
13.本技术实施例还提供一种电子设备，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行本技术实施例提供的方法中的步骤。
14.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现本技术实施例提供的方法中的步骤。
15.本技术实施例提供的隔行处理方法中，采用多个统计量分别对待检测的图像的全场图像以及半场图像进行统计，可得到图像的多个全场统计值以及多个半场统计值。根据多个全场统计值以及多个半场统计值，可分别确定图像的全场锯齿概率以及半场锯齿概率，并根据全场锯齿概率以及半场锯齿概率，确定图像的隔行检测结果。其中，多个统计量包括用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量，进而可充分利用图像在隔行效应的影响下表现出的帧内以及帧间统计特征，提升隔行检测的准确性。同时，分别采用统计量在全场图像和半场图像上进行统计，可使得全场图像以及半场图像上得到的统计值形成对比，从而可更加直观地判别出隔行效应更为明显的图像。
附图说明
16.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1为本技术一示例性实施例提供的隔行图像检测方法的流程示意图；
18.图2为本技术另一示例性实施例提供的隔行图像检测方法的流程示意图；
19.图3为全场图像上的像素及其邻域像素的示意图；
20.图4为半场图像上的像素及其邻域像素的示意图；
21.图5为本技术一示例性实施例提供的隔行图像校正方法的流程示意图；
22.图6为本技术另一示例性实施例提供的隔行图像校正方法的流程示意图；
23.图7为本技术一示例性实施例提供的服务器的结构示意图。
具体实施方式
24.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
25.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。
26.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
27.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
28.在一些已有的隔行处理方法中，通常采用一对帧间统计量alpha0和alpha1来判断当前帧的图像是否为隔行图像，并可检测出当前帧的图像是顶场优先帧或者底场优先帧。其中，alpha0＝当前帧的奇数行与前一帧的偶数行的绝对差异+当前帧的偶数行与后一帧奇数行的绝对差异。alpha1＝当前帧偶数行与前一帧奇数行的绝对差异+当前帧奇数行与后一阵偶数行的绝对差异。若alpha0》k*alpha1，则为顶场优先帧；若alpha1》k*alpha0，则为底场优先帧。
29.但是，这种隔行处理方法容易出现漏检问题，在本技术一些实施例中，提供了一种解决方案，以下结合附图，详细说明本技术各实施例提供的技术方案。
30.图1是本技术一示例性实施例提供的隔行图像检测方法的流程示意图，该方法可包括如图1所示的步骤：
31.步骤101、获取待检测的图像。
32.步骤102、采用多个统计量，对所述图像的全场图像进行统计，得到多个全场统计值；并采用所述多个统计量，对所述图像的半场图像进行统计，得到多个半场统计值；所述多个统计量包括：用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量。
33.步骤103、根据所述多个全场统计值，确定所述图像的第一全场锯齿概率；以及，根据所述多个半场统计值，确定所述图像的第一半场锯齿概率。
34.步骤104、根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果。
35.在本实施例中，待检测的图像，可以为视频中的任一帧图像。通过对该图像进行隔行检测，可判断该图像为隔行图像或者逐行图像。其中，逐行图像中的像素行在同一时间记录得到，隔行图像中的奇偶像素行在不同的时间记录得到。其中，场是隔行图像的记录单位，一帧隔行图像包含两个按照时间先后顺序记录的场，即顶场以及底场。其中，对奇数行进行记录得到的场，称为底场，对偶数行进行记录得到的场，称为顶场。若底场的时序靠前，则为底场优先的隔行图像；反之，若顶场的时序靠前，则为顶场优先的隔行图像。当图像中存在明显运动的人或者物时，一帧图像中的两个场所呈现的内容不同。
36.其中，未按照奇偶行进行拆分的图像为全场图像。按照奇偶行对该图像进行拆分后，可得到奇数行形成的底场图像以及偶数行形成的顶场图像。在本实施例中，对任一待检测的图像，可假设该图像为逐行图像，并假设该图像为隔行图像。在该假设的前提下，采用多个统计量，计算该图像为隔行图像的概率。在本实施例中，该多个统计量，包括：用于描述隔行效应对应的帧内像素差异的统计量以及帧间像素差异的统计量。其中，隔行效应是指，隔行图像中的顶场图像以及底场图像由于拍摄时刻不同从而产生的画面锯齿效应、字幕抖动效应以及模糊效应。在隔行效应的影响下，一帧图像内的不同像素的灰度值的差异存在一定规律，且同一像素在相邻两帧图像中的灰度值的差异也存在一定的规律。在本实施例中，可采用多个统计量对上述帧内像素差异以及帧间像素差异进行统计并分析。可选地，该多个统计量可包括：纵向差异比、纵向最小差异、纵向梯度一致性、帧内横向梯度一致性、场内横向梯度一致性以及非静止特性中的至少两种变量。上述统计量的具体可选计算方式将在后续实施例中进行介绍，此处不赘述。
37.其中，采用多个统计量对图像的全场图像进行统计，可得到该图像的多个全场统计值。一种统计量，可得到该图像的一个全场统计值。采用多个统计量对半场图像进行统计，可得到多个半场统计值。其中，一种统计量，可统计得到该图像的一个半场统计值。其中，采用多个统计量对半场图像进行统计时，可采用多个统计量对顶场图像进行统计，可采用多个统计量对底场图像进行统计，也可采用多个统计量对顶场图像以及底场图像均进行统计，本实施例不做限制。采用多个统计量对顶场图像以及底场图像均进行统计时，可将顶场图像的半场统计值以及底场图像的半场统计值进行累加，得到该图像的半场统计值。
38.确定图像的多个全场统计值以及半场统计值后，可根据该多个全场统计值，确定图像的全场锯齿概率；并根据该多个半场统计值，确定图像的半场锯齿概率，如图2所示。其中，全场锯齿概率，是指将该图像假设为逐行图像的情况下，该图像的全场图像上出现锯齿效应的概率。半场锯齿概率，是指将该图像假设为隔行图像的情况下，该图像的半场图像上出现锯齿效应的概率。基于全场锯齿概率以及半场锯齿概率，可判断该图像为逐行图像或
者隔行图像。例如，若全场锯齿概率大于半场锯齿概率，则可确定该图像的全场图像上具有较为明显的锯齿，即该图像为隔行图像；若全场锯齿概率小于半场锯齿概率，则可确定该图像的全场图像上不具有明显锯齿，该图像可能为逐行图像。又例如，如图2所示，若全场锯齿概率与半场锯齿概率的比值大于设定阈值，则可确定该图像为隔行图像。
39.本实施例中，采用多个统计量分别对待检测的图像的全场图像以及半场图像进行统计，可得到图像的多个全场统计值以及多个半场统计值。根据多个全场统计值以及多个半场统计值，可分别确定图像的全场锯齿概率以及半场锯齿概率，并根据全场锯齿概率以及半场锯齿概率，确定图像的隔行检测结果。其中，多个统计量包括用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量，进而可充分利用图像在隔行效应的影响下表现出的帧内以及帧间统计特征，提升隔行检测的准确性。同时，分别采用统计量在全场图像和半场图像上进行统计，可使得全场图像以及半场图像上得到的统计值形成对比，从而可更加直观地判别出隔行效应更为明显的图像。
40.在一些示例性的实施例中，针对待检测的图像，可采用多个统计量对该图像的全场图像以及半场图像进行逐像素统计，得到多个全场统计值以及多个半场统计值。以下将进行示例性说明。
41.可选地，可采用该多个统计量对该图像的全场图像进行逐像素统计，得到该全场图像中的像素在该多个统计量上的统计值。根据该全场图像中的像素在该多个统计量上的统计值，确定该图像在该多个统计量上的全场统计值。在一些实施例中，可对全场图像中的像素在任一统计量上的统计值进行累加，得到该图像在该统计量上的全场统计值。
42.可选地，可采用该多个统计量对该图像的半场图像进行逐像素统计，得到半场图像上的像素在该多个统计量上的统计值；根据该半场图像上的像素在该多个统计量上的统计值，确定该图像在该多个统计量上的半场统计值。其中，半场图像包括：对该图像进行奇偶行拆分得到的顶场图像以及底场图像。在计算任一统计量的统计值时，可采用该统计量对顶场图像进行逐像素统计，得到顶场图像上的像素在该统计量上的统计值，并根据底场图像上的像素在该统计量上的统计值，确定底场图像在该统计量上的半场统计值。对顶场图像上的像素在该统计量上的统计值以及底场图像上的像素在该统计量上的统计值进行累加，可得到该图像在该统计量上的半场统计值。
43.基于这种实施方式，对全场图像以及半场图像分别计算多种统计量的统计值，有利于根据统计值分析全场图像以及半场图像上是否具有隔行效应，从而准确地判断该图像是否为隔行图像。
44.可选地，在上述过程中采用统计量对全场图像以及半场图像进行逐像素统计时，可根据像素的帧内差异以及帧间差异，确定统计量对应的统计值。其中，全场图像以及半场图像的统计方式相同，可将全场图像、顶场图像以及底场图像分别作为待计算图像，并对该计算图像中的每一像素进行计算。以下将以待计算图像中的任一像素为例进行示例性说明。
45.针对待处理图像上的任一像素，获取该像素在该待计算图像上的多个邻域像素的灰度值和/或该像素在该图像的上一帧图像上的灰度值，并根据该像素的灰度值、该多个邻域像素的灰度值和/或该像素在该图像的上一帧图像上的灰度值，计算该像素在该多个统计量上的统计值。
46.在本技术的上述以及下述各实施例中，用于表征隔行效应的多个统计量包括：纵向差异比、纵向最小差异、纵向梯度一致性、帧内横向梯度一致性、场内横向梯度一致性以及非静止特性中的至少一种变量。以下将继续以任一像素为例对上述统计量的计算方法进行介绍。
47.其中，纵向差异比，用于描述像素与纵向方向上的邻域像素的灰度差异的比较关系。纵向差异比根据像素与上邻域像素的灰度值的差异以及像素与下邻域像素的灰度值差异之和，与上邻域像素和下邻域像素的像素值差异确定。若为隔行图像的全场图像，则像素与上邻域像素以及下邻域像素分别来自不同时刻的两帧图像，上邻域像素以及下邻域像素来自同时刻的一帧图像，因而，像素与上邻域像素的灰度值的差异以及像素与下邻域像素的灰度值差异之和，大于上邻域像素与下邻域像素的灰度值差异。
48.若为隔行图像的全场图像，则像素与上邻域像素以及下邻域像素分别来自不同时刻的两帧图像，上邻域像素以及下邻域像素来自同时刻的一帧图像，因而，像素与上邻域像素的灰度值的差异以及像素与下邻域像素的灰度值的差异，大概率大于上邻域像素与下邻域像素的灰度值差异。
49.若为隔行图像的半场图像，则像素与上邻域像素以及下邻域像素间隔一行，上邻域像素以及下邻域像素间隔三行，因而，像素与上邻域像素的灰度值的差异以及像素与下邻域像素的灰度值的差异之和，大概率小于等于上邻域像素与下邻域像素的灰度值差异。
50.基于上述，在计算纵向差异比之前，可根据图像上任一像素的上邻域像素的灰度值以及下邻域像素的灰度值，计算像素的第一纵向差异
△
tb；根据该像素的上邻域像素的灰度值以及该像素的灰度值，计算像素的第二纵向差异
△
tm；根据该像素的下邻域像素的灰度值以及该像素的灰度值，计算像素的第三纵向差异
△
bm。
51.根据第一纵向差异
△
tb与第二纵向差异
△
tm与第三纵向差异
△
bm之和的比较关系，可确定像素的纵向差异比。若第二纵向差异与第三纵向差异之和大于第一纵向差异，则可认为该像素所在的位置存在隔行效应。以下将采用公式对上述计算过程进行辅助说明。
52.其中，任一像素的纵向差异比c1＝|
△
tb|《|
△
tm|+|
△
bm|。图3对全场图像上的坐标为(i,j)的像素及其3
×
3邻域的像素进行了示意，i、j分别为该像素在全场图像上的行、列坐标，x表示灰度值。如图3所示，坐标为(i,j)的像素的纵向差异比c1可表达为：
53.c1＝|x(i-1,j)-x(i+1,j)|《|[x(i-1,j)-x(i,j)]|+|[x(i+1,j)-x(i,j)]|
[0054]
如图3所示，坐标为(i,j)的像素的左邻域像素的纵向差异比c2可表达为：
[0055]
c2＝|[x(i-1,j-1)-x(i+1,j-1)]|《|[x(i-1,j-1)-x(i,j-1)]|+|x(i+1,j-1)-x(i,j-1)]|
[0056]
如图3所示，坐标为(i,j)的像素的右邻域像素的纵向差异比c3可表达为：
[0057]
c3＝|[x(i-1,j+1)-x(i+1,j+1)]]|《|[x(i-1,j+1)-x(i,j+1)|+|[x(i+1,j+1)-x(i,j+1)]|
[0058]
图4对顶场图像上的坐标为(i,j)的像素及其3
×
3邻域的像素进行了示意，i、j分别为该像素在全场图像上的行、列坐标，x表示灰度值，k为帧序号。如图4所示，坐标为(i,j)的像素的纵向差异比c1可表达为：
[0059]
c1＝|x(i-2,j)-x(i+2,j)|《|[x(i-2,j)-x(i,j)]|+|[x(i+2,j)-x(i,j)]|
[0060]
可选地，采用逻辑值记录像素的统计值时，若像素的第二纵向差异与该第三纵向
差异之和大于该第一纵向差异，则确定该像素的纵向差异比的逻辑值为1。
[0061]
其中，纵向最小差异，用于描述像素与纵向方向上的邻域像素之间的差异与设定阈值的比较关系。该纵向最小差异，可根据
△
tm与第三纵向差异
△
bm中的较小者与设定的第一阈值的比较关系确定。即，像素的纵向最小差异c4可表达为以下公式：
[0062]
c4＝min(|
△
tm|,|
△
bm|)》thr1
[0063]
如图3所示，继续以全场图像上的坐标为(i,j)的像素为例，该像素的纵向最小差异可采用以下公式表达：
[0064]
c4＝min(|[x(i-1,j)-x(i,j)]|,|[x(i+1,j)-x(i,j)]|)》thr1
[0065]
如图4所示，继续以顶场图像上的坐标为(i,j)的像素为例，该像素的纵向最小差异可采用以下公式表达：
[0066]
c4＝min(|[x(i-2,j)-x(i,j)]|,|[x(i+2,j)-x(i,j)]|)》thr1
[0067]
可选地，采用逻辑值记录像素的统计值时，若像素的第二纵向差异与第三纵向差异中的较小者大于设定的第一阈值，则可确定该像素的纵向最小差异的逻辑值为1。
[0068]
其中，纵向梯度一致性，用于描述像素与纵向方向上的邻域像素的灰度值的差异梯度。可根据第二纵向差异
△
tm与第三纵向差异
△
bm的符号比较关系，确定像素的纵向梯度一致性。若第二纵向差异
△
tm的符号与第三纵向差异
△
bm的符号相同，则可认为该像素具有纵向梯度一致性。可选地，采用逻辑值记录像素的统计值时，若像素的第二纵向差异的符号与第三纵向差异的符号相同，则确定该像素的纵向梯度一致性的逻辑值为1。
[0069]
即，任一像素的纵向梯度一致性tm_bm可表达为以下公式：
[0070]
tm_bm＝[sign(
△
tm)＝＝sign(
△
bm)]
[0071]
其中，sign{}为符号函数，用于指出括号内参数的正负号。若括号中的值大于0，则sign{}返回1；若括号中的值等0，则sign{}返回0；若括号中的值小于0，则sign{}返回-1。即，若
△
tm为正值且
△
bm为正值，或者
△
tm为正值且
△
bm为正值，则tm_bm的返回值为1。
[0072]
如图3所示，坐标为(i,j)的像素的纵向梯度一致性tm_bm可表达为：
[0073]
tm_bm＝(sign[x(i-1,j)-x(i,j)]＝＝sign[x(i+1,j)-x(i,j)])
[0074]
如图4所示，坐标为(i,j)的像素的纵向梯度一致性tm_bm可表达为：
[0075]
tm_bm＝(sign[x(i-2,j)-x(i,j)]＝＝sign[x(i+2,j)-x(i,j)])
[0076]
同理，可计算像素的左邻域像素的纵向梯度一致性：
[0077]
l_tm_bm＝[sign(l_
△
tm)＝＝sign(l_
△
bm)]。
[0078]
其中，l_
△
tm为左邻域像素的第二纵向差异，l_
△
bm为左邻域像素的第三纵向差异。如图3所示，坐标为(i,j)的像素的左邻域像素的纵向梯度一致性可表达为：
[0079]
l_tm_bm＝(sign[x(i-1,j-1)-x(i,j-1)]＝＝sign[x(i+1,j-1)-x(i,j-1)])
[0080]
同理，可计算像素的右邻域像素的纵向梯度一致性：
[0081]
r_tm_bm＝sign(r_
△
tm)＝＝sign(r_
△
bm)
[0082]
如图3所示，坐标为(i,j)的像素的右邻域像素的纵向梯度一致性可表达为：
[0083]
r_tm_bm＝(sign[x(i-1,j+1)-x(i,j+1)]＝＝sign[x(i+1,j+1)-x(i,j+1)])
[0084]
其中，帧内横向梯度一致性用于描述像素与横向方向上的邻域像素的灰度值的差异梯度。帧内横向梯度一致性，可根据该像素的左邻域像素的灰度值以及该像素的灰度值的差异，与该像素的右邻域像素的灰度值以及该像素的灰度值的差异确定。可选地，可根据
该像素的左邻域像素的灰度值以及该像素的灰度值，计算该像素的第一横向差异
△
lm；根据该像素的右邻域像素的灰度值以及该像素的灰度值，计算该像素的第二横向差异
△
mr。根据第一横向差异
△
lm与第二横向差异
△
mr的符号比较关系，确定该像素的横向梯度一致性lm_mr。可选地，采用逻辑值记录像素的统计值时，若该第一横向差异的符号与该第二横向差异的符号相同，则确定该像素的横向梯度一致性的逻辑值为1。
[0085]
任一像素的横向梯度一致性lm_mr可表达为以下公式：
[0086]
lm_mr＝[sign(
△
lm)＝＝sign(
△
mr)]
[0087]
继续以如图3所示的全场图像上的坐标为(i,j)的像素为例，该像素的横向梯度一致性lm_mr可采用以下公式表达：
[0088]
lm_mr＝(sign[x(i,j-1)-x(i,j)]＝＝sign[x(i,j)-x(i,j+1)])
[0089]
其中，场内横向梯度一致性，可根据该像素的左上邻域像素的灰度值以及右上邻域像素的灰度值，以及该像素的左下邻域像素的灰度值以及右下邻域像素的灰度值确定。可选地，可根据该像素的左上邻域像素的灰度值以及右上邻域像素的灰度值，计算该像素的第三横向差异
△
t_lr；根据该像素的左下邻域像素的灰度值以及右下邻域像素的灰度值，计算该像素的第四横向差异
△
b_lr。根据第三横向差异
△
t_lr与第四横向差异
△
b_lr的符号比较关系，确定该像素的场内横向梯度一致性tb_lr。可选地，采用逻辑值记录像素的统计值时，若该第三横向差异的符号与该第四横向差异的符号相同，则确定该像素的场内横向梯度一致性的逻辑值为1。
[0090]
任一像素的场内横向梯度一致性可采用以下公式进行表达：
[0091]
tb_lr＝[sign(
△
t_lr)＝＝sign(
△
b_lr)]
[0092]
继续以如图3所示的全场图像上的坐标为(i,j)的像素为例，该像素的场内横向梯度一致性tb_lr可采用以下公式表达：
[0093]
tb_lr＝(sign[x(i-1,j-1)-x(i-1,j+1)]＝＝sign[x(i+1,j-1)-x(i+1,j+1)])
[0094]
其中，非静止特性用于检测图像中是否存在运动物体。可选地，可根据该像素的灰度值在相邻帧之间的帧间时序差异与设定的第二阈值的比较关系，确定该像素的非静止特性。其中，该像素的灰度值在相邻帧之间的帧间时序差异根据该像素的灰度值pre以及该像素在该图像的上一帧图像上的灰度值cur确定。其中，任一像素的非静止特性ns，可采用以下公式进行表达：
[0095]
ns＝|
△
pre_cur|》thr2
[0096]
继续以图3为例，第k帧图像上的坐标为(i,j)的像素的非静止特性可表达为：
[0097]
ns＝|xk(i,j)-x(i,j)
k-1
|》thr2，k为图像的帧序号。
[0098]
可选地，采用逻辑值记录像素的统计值时，若该帧间时序差异大于设定的第二阈值，则确定该像素的非静止特性的逻辑值为1。
[0099]
上述实施例记载的多种统计量均为检测过程中的可选统计量，在检测过程中，可采用上述统计量中的两种或者两种以上对全场图像以及半场图像进行统计，得到多个全场统计值以及多个半场统计值。
[0100]
基于前述实施例提供的方法从全场图像上获取多个统计值后，可对多个统计值进行加权计算，得到第一全场锯齿概率。例如，采用逻辑值记录像素的统计值时，可按照设定权重对多个全场统计值对应的逻辑值进行累加，从而得到第一全场锯齿概率。相应地，可按
照设定权重对多个半场统计值对应的逻辑值进行累加，从而得到第一半场锯齿概率。
[0101]
基于上述实施方式确定第一全场锯齿概率以及第一半场锯齿概率之后，可根据第一全场锯齿概率以及第一半场锯齿概率，确定图像的隔行检测结果。
[0102]
可选地，可计算第一全场锯齿概率与第一半场锯齿概率的比值，并判断该比值是否大于设定的第三阈值。若该比值大于设定的第三阈值，则确定该图像为隔行图像。若该比值小于或者等于该第三阈值，则确定该图像为逐行图像。
[0103]
在一些可选的实施例中，为提升隔行检测准确性，可将隔行检测过程划分为多个检测阶段，每个检测阶段采用不同的统计量进行统计。其中，每个阶段的检测流程可如图2所示。以下将以该多个阶段包括至少两个检测阶段为例进行示例性说明，为便于描述及区分，将该至少两个检测阶段分别描述为第一检测阶段以及第二检测阶段。
[0104]
在第一检测阶段，可采用第一组统计量对全场图像以及半场图像进行统计。其中，第一组统计量用于检测出前景运动幅度大于设定幅度阈值的隔行图像。其中，前景运动幅度大于设定幅度阈值时，图像上的运动面积较大且运动较为显著，例如可包括：图像中的行人发生移动、车辆发生移动等。
[0105]
可选地，在第一检测阶段，用于计算第一全场锯齿概率以及第一半场锯齿概率的统计量可包括：像素的左邻域像素的纵向差异比、像素的右邻域像素的纵向差异比、像素的纵向差异比、像素的纵向梯度一致性、像素的纵向最小差异以及非静止特性。
[0106]
可选地，全场图像上的任一像素的第一全场锯齿概率可采用以下公式进行计算：
[0107]
pf(1)＝(c5_l||c5_r)*c5_mid*ns
[0108]
其中，c5_l＝c2*l_tm_bm，c5_r＝c3*r_tm_bm，c5_mid＝c1*tm_bm*c4，||表示“或”运算。
[0109]
同理，可基于上述公式计算半场图像上的任一像素的第一半场锯齿概率ph(1)。
[0110]
相应地，在第一阶段确定第一全场锯齿概率以及第一半场锯齿概率后，可计算该第一全场锯齿概率与该第一半场锯齿概率的比值：若r(1)大于第三阈值，则可确定该图像为隔行图像。其中，第三阈值为经验值，通常可取大于1的数值，本实施例不做限制。
[0111]
若待检测的图像的隔行检测结果指示该图像为逐行图像，则可进行下一阶段的检测，以降低漏检概率。如图2所示，若第一阶段中，全场锯齿概率与半场锯齿概率的比值小于或者等于设定阈值，则可进入下一检测阶段。在第二检测阶段，可确定第二组统计量；该第二组统计量，用于检测出前景运动幅度小于或等于设定幅度阈值的隔行图像；其中，前景运动幅度小于或等于设定幅度阈值时，图像上的运动面积较小且运动较为微弱，例如：图像中的人物或者动物在说话时嘴唇发生微小移动，人物或者动物缓慢移动等。其中，该第二组统计量与该第一组统计量存在部分不同。
[0112]
确定第二组统计量后，可采用第二组统计量对该图像的全场图像以及半场图像进行统计，得到该第二组统计量对应的全场统计值以及半场统计值。根据该第二组统计量对应的全场统计值，计算该第二全场锯齿概率；以及，根据该第二组统计量对应的半场统计值，计算该第二半场锯齿概率；该第二组统计量与该第一组统计量存在部分不同；根据该第二全场锯齿概率以及该第二半场锯齿概率，确定该图像的隔行检测结果。具体计算过程可
参考前述实施例的记载，此处不再赘述。
[0113]
可选地，在第二检测阶段，用于计算第一全场锯齿概率以及第一半场锯齿概率的统计量可包括：像素的左邻域像素的纵向差异比、像素的右邻域像素的纵向差异比、像素的纵向差异比、像素的纵向梯度一致性、非静止特性、像素的帧内横向梯度一致性以及像素的场内横向梯度一致性。
[0114]
可选地，第二全场锯齿概率可采用以下公式进行计算：
[0115]
pf(2)＝(c5_l||c5_r)*c5_mid2*ns*lm_mr*tb_lr
[0116]
其中，c5_mid2＝c1*tm_bm，c5_l＝c2*l_tm_bm，c5_r＝d3*r_tm_bm。
[0117]
同理，可基于上述公式计算半场图像上的任一像素的第二半场锯齿概率ph(2)。
[0118]
相应地，在第二阶段确定第二全场锯齿概率以及第二半场锯齿概率后，可计算该第二全场锯齿概率与该第二半场锯齿概率的比值：若r(2)大于第三阈值，则可确定该图像为隔行图像。
[0119]
在本实施例中，在第一检测阶段可基于较少的统计量，筛选出运动面积较大且隔行效应较为显著的隔行图像，从而降低因检测条件过于严苛导致出现误检的概率。在第二检测阶段中，可相对第一阶段增加部分统计量，从而基于较多的统计量，筛选出运动面积较小且隔行效应较为微弱的隔行图像，降低了因检测条件过少出现漏检问题的概率，使得隔行检测结果更加准确。
[0120]
除前述实施例之外，本技术还提供一种隔行图像校正方法，该隔行校正方法用于对隔行图像中的半场图像进行图像还原，以输出逐行图像。以下将结合附图进行示例性说明。
[0121]
图5为本技术一示例性实施例提供的隔行图像校正方法的流程示意图，如图4所示，该方法包括：
[0122]
步骤501、确定待处理的隔行图像，以及所述隔行图像的上一帧图像以及下一帧图像。
[0123]
步骤502从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像。
[0124]
步骤503、根据所述多个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像。
[0125]
步骤504、将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像。
[0126]
步骤505、将所述多个差异图像输入场融合模型，得到融合权重图。
[0127]
步骤506、在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像。
[0128]
步骤507、采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率
图像以及所述底场图像的全分辨率图像。
[0129]
本实施例中，隔行图像，可以是基于前述实施例提供的隔行处理方法检测出的隔行图像，也可以是基于其他隔行处理方法检测出的隔行图像，本实施例不做限制。该隔行图像与其上一帧图像以及下一帧图像，为视频中相邻的三帧图像。
[0130]
在顶场优先的隔行图像中，顶场图像的时序超前于底场图像的时序，因而可选择前一帧图像的底场图像作为与当前帧隔行图像的顶场图像时序相邻的第一半场图像，并选择后一帧图像的顶场图像作为与当前帧隔行图像的底场图像相邻的第二半场图像。
[0131]
在底场优先的隔行图像中，底场图像的时序超前于顶场图像的时序，因而可选择后一帧图像的底场图像作为与当前帧隔行图像的顶场图像相邻的第一半场图像，并选择前一帧图像的顶场图像作为与当前帧隔行图像的底场图像时序相邻的第二半场图像。
[0132]
图6对顶场优先的隔行图像的去隔行流程进行了示意。如图6所示，输入包括：隔行视频中时序连续的上一帧图像、当前帧图像(即待校正的隔行图像)以及下一帧图像。输入上述三帧图像后，在数据预处理环节，对上述三帧图像分别进行奇偶行拆分，得到上述三帧图像各自的顶场图像以及底场图像。如图6所示，上一帧图像img_pre由t1时刻的顶场图像pre_top以及t2时刻的底场图像pre_bot组成；隔行图像img_cur由t3时刻的顶场图像cur_top以及t4时刻的底场图像cur_bot组成；下一帧图像img_fut由t5时刻的顶场图像fut_top以及t6时刻的底场图像fut_bot组成。在上述六个半场图像中，可选择四个时序上连续的半场图像。其中，针对顶场优先的隔行图像，t2时刻的底场图像pre_bot、t3时刻的顶场图像cur_top时序连续。t4时刻的底场图像cur_bot与t5时刻的顶场图像fut_top时序连续。因而，如图6所示，可选择底场图像pre_bot(即第一半场图像)、顶场图像cur_top、底场图像cur_bot、顶场图像fut_top(即第二半场图像)。上述四个半场图像可输入预先训练的联合插值模型，得到顶场图像的初步超分图像以及底场图像的初步超分图像。具体地，在联合插值模型中，可基于预先学习到的插值计算参数，综合底场图像pre_bot、顶场图像cur_top、底场图像cur_bot、顶场图像fut_top的图像信息，对隔行图像的顶场图像cur_top以及底场图像cur_bot分别进行插值处理，得到该顶场图像cur_top的初步超分图像以及底场图像cur_bot的初步超分图像。其中，超分图像即超分辨率图像，是指采用低分辨率的图像(例如半场图像)或者视频序列恢复出的高分辨率图像。
[0133]
顶场图像的初步超分图像以及底场图像的初步超分图像通过插值得到，上述初步超分图像中的灰度值可描述为初始灰度值。
[0134]
基于上述四个半场图像，可计算相邻顶场的差异图像、相邻底场的差异图像以及同一帧图像内的底场和顶场的差异图像。其中，任意两个半场图像的差异图像，通过对这两个半场图像逐像素求差得到。
[0135]
其中，相邻顶场的差异图像，可根据顶场图像cur_top以及顶场图像fut_top的差值确定。可选地，相邻顶场的差异图像diff_top可采用以下公式进行表达：diff_top＝|cur_top-fut_top|。
[0136]
其中，相邻底场的差异图像可根据底场图像pre_bot以及底场图像cur_bot的差异确定。可选地，相邻底场的差异图像diff_bot可采用以下公式进行表达：diff_bot＝|cur_bot-pre_bot|。
[0137]
其中，同一帧图像内的底场和顶场的差异图像，可根据顶场图像cur_top以及底场
图像cur_bot的差异确定。可选地，同一帧图像内的底场和顶场的差异图像diff_tb可采用以下公式进行表达：diff_tb＝|cur_top
–
cur_bot|。
[0138]
其中，相邻顶场的差异图像、相邻底场的差异图像以及同一帧图像内的底场和顶场的差异图像可输入预先训练的场融合模型，得到融合权重图。其中，融合权重图与隔行图像的分辨率相同，每个像素位置用于存储该像素位置对应的权重。
[0139]
获取融合权重图后，可在该融合权重图的指导下，对顶场图像的初步超分图像的奇数行以及底场图像的初步超分图像的偶数行进行进一步优化。其中，可在融合权重图的指导下，将该隔行图像的奇数行与顶场图像的初步超分图像的奇数行进行融合，得到顶场图像的去隔行图像。其中，该融合操作为逐像素进行。对任一像素位置，从融合权重图中确定该像素位置对应的权重，从隔行图像确定该像素位置的原始灰度值，并从顶场图像的初步超分图像上获取该像素位置的初步灰度值。采用该像素位置对应的权重对该像素位置对应的原始灰度值以及初步灰度值进行加权求和，可得到该像素位置对应的融合灰度值。
[0140]
相应地，可在融合权重图的指导下，将该隔行图像的偶数行与底场图像的初步超分图像的偶数行进行融合，得到底场图像的去隔行图像。其中，该融合操作为逐像素进行。对任一像素位置，从融合权重图中确定该像素位置对应的权重，从隔行图像确定该像素位置的原始灰度值，并从底场图像的初步超分图像上获取该像素位置的初步灰度值。采用该像素位置对应的权重对该像素位置对应的原始灰度值以及初步灰度值进行加权求和，可得到该像素位置对应的融合灰度值。
[0141]
在一些可选的实施例中，确定顶场图像的去隔行图像后，可采用隔行图像的偶数行替换顶场图像的去隔行图像中的偶数行，得到顶场图像对应的全分辨率图像。基于这一步骤，可完整地保留原始的隔行图像上的偶数行的图像信息，从而提升画面质量。
[0142]
相应地，可选地，确定底场图像的去隔行图像后，可采用隔行图像的奇数行替换底场图像的去隔行图像中的奇数行，得到底场图像对应的全分辨率图像。基于这一步骤，可完整地保留原始的隔行图像上的奇数行的图像信息，从而提升画面质量。
[0143]
在本实施例中，在去隔行的过程中，可采用联合插值模型根据隔行图像的相邻半场图像，对隔行图像的顶场图像以及底场图像进行插值，得到顶场图像以及底场图像各自的初步超分图像。进而，可充分利用隔行图像的时序特征推理出顶场图像中的奇数行以及底场图像中的偶数行，使得推理出的奇数行以及偶数行在时序上更加稳定。同时，采用场融合模型，根据相邻半场图像的差异确定加权权重，并利用该加权权重指导初步超分图像与原始的隔行图像进行融合，充分利用了隔行图像上原本具有的信息，使得隔行校正后的画面质量更清晰、画面锯齿更少。
[0144]
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤104的执行主体可以为设备a；又比如，步骤101和102的执行主体可以为设备a，步骤103的执行主体可以为设备b；等等。
[0145]
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、
模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0146]
需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
[0147]
图7示意了本技术一示例性实施例提供的电子设备的结构示意图，如图7所示，该电子设备包括：存储器701、处理器702以及通信组件703。
[0148]
存储器701，用于存储计算机程序，并可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。
[0149]
图7所示的电子设备可用于执行隔行图像检测方法，其中，处理器702，与存储器701耦合，用于执行存储器701中的计算机程序，以用于：获取待检测的图像；采用多个统计量分别对所述图像的全场图像以及半场图像进行统计，得到所述图像的多个全场统计值以及多个半场统计值；所述多个统计量包括：用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量；根据所述多个全场统计值，确定所述图像的第一全场锯齿概率；以及，根据所述多个半场统计值，确定所述图像的第一半场锯齿概率；根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果。
[0150]
可选地，处理器702在采用多个统计量分别对所述图像的全场图像以及半场图像进行统计，得到所述图像的多个全场统计值以及多个半场统计值时，具体用于：分别采用所述多个统计量对所述图像的全场图像以及半场图像进行逐像素统计，得到所述全场图像中的像素在所述多个统计量上的统计值，以及所述半场图像上的像素在所述多个统计量上的统计值；所述半场图像包括：对所述图像进行奇偶行拆分得到的顶场图像以及底场图像；根据所述全场图像中的像素在所述多个统计量上的统计值，确定所述图像在所述多个统计量上的全场统计值；以及，根据所述半场图像上的像素在所述多个统计量上的统计值，确定所述图像在所述多个统计量上的半场统计值。
[0151]
可选地，处理器702在分别采用所述多个统计量对所述图像的全场图像以及半场图像进行逐像素统计，得到所述全场图像中的像素在所述多个统计量上的统计值，以及所述半场图像上的像素在所述多个统计量上的统计值时，具体用于：将所述全场图像、所述顶场图像以及所述底场图像分别作为待计算图像；针对所述待计算图像上的任一像素，获取所述像素在所述待计算图像上的多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值；根据所述像素的灰度值、所述多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值，计算所述像素在所述多个统计量上的统计值。
[0152]
可选地，处理器702在根据所述像素的灰度值、所述多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值，计算所述像素在所述多个统计量上的统计值时，具体用于：根据第一纵向差异与第二纵向差异和第三纵向差异之和的比较关系，确定所述像素的纵向差异比；所述第一纵向差异根据所述像素的上邻域像素的灰度值以及下邻域像素的灰度值确定；所述第二纵向差异根据所述像素的上邻域像素的灰度值以及所述像素的灰度值确定；所述第三纵向差异根据所述像素的下邻域像素的灰度值以及所述像素的
灰度值确定；和/或，根据第二纵向差异与第三纵向差异中的较小者与设定的第一阈值的比较关系，确定所述像素的纵向最小差异；和/或，根据所述第二纵向差异与所述第三纵向差异的符号比较关系，确定所述像素的纵向梯度一致性；和/或，根据第一横向差异与第二横向差异的符号比较关系，确定所述像素的横向梯度一致性；所述第一横向差异根据所述像素的左邻域像素的灰度值以及所述像素的灰度值确定；所述第二横向差异根据所述像素的右邻域像素的灰度值以及所述像素的灰度值确定；和/或，根据第三横向差异与第四横向差异的符号比较关系，确定所述像素的场内横向梯度一致性；所述第三横向差异根据所述像素的左上邻域像素的灰度值以及右上邻域像素的灰度值确定；所述第四横向差异根据所述像素的左下邻域像素的灰度值以及右下邻域像素的灰度值确定；和/或，根据所述像素的灰度值在相邻帧之间的帧间时序差异与设定的第二阈值的比较关系，确定所述像素的非静止特性；所述像素的灰度值在相邻帧之间的帧间时序差异根据所述像素的灰度值以及所述像素在所述图像的上一帧图像上的灰度值确定。
[0153]
可选地，处理器702在根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果时，具体用于：计算所述第一全场锯齿概率与所述第一半场锯齿概率的比值；若所述比值大于设定的第三阈值，则确定所述图像为隔行图像；若所述比值小于或者等于所述第三阈值，则确定所述图像为逐行图像。
[0154]
可选地，处理器702在所述多个统计量，包括：第一组统计量，所述第一组统计量用于检测出前景运动幅度大于设定幅度阈值的隔行图像；处理器702在根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果之后，还用于：若所述图像的隔行检测结果指示所述图像为逐行图像，则确定第二组统计量；所述第二组统计量，用于检测出前景运动幅度小于或等于设定幅度阈值的隔行图像；所述第二组统计量与所述第一组统计量存在部分不同；采用所述第二组统计量对所述图像的全场图像以及半场图像进行统计，得到所述第二组统计量对应的全场统计值以及半场统计值；根据所述第二组统计量对应的全场统计值，计算第二全场锯齿概率；以及，根据所述第二组统计量对应的半场统计值，计算第二半场锯齿概率；所述第二组统计量与所述第一组统计量存在部分不同；根据所述第二全场锯齿概率以及所述第二半场锯齿概率，确定所述图像的隔行检测结果。
[0155]
可选地，处理器702还用于：若所述图像为隔行图像，则获取所述隔行图像的上一帧图像以及下一帧图像；从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像；根据所述多个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像；将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像；将所述多个差异图像输入场融合模型，得到融合权重图；在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像；采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率图像以及所述底场图像的全分辨率图像。
[0156]
本实施例中，电子设备在执行隔行检测方法时，采用多个统计量分别对待检测的图像的全场图像以及半场图像进行统计，可得到图像的多个全场统计值以及多个半场统计值。根据多个全场统计值以及多个半场统计值，可分别确定图像的全场锯齿概率以及半场锯齿概率，并根据全场锯齿概率以及半场锯齿概率，确定图像的隔行检测结果。其中，多个统计量包括用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量，进而可充分利用图像在隔行效应的影响下表现出的帧内以及帧间统计特征，提升隔行检测的准确性。同时，分别采用统计量在全场图像和半场图像上进行统计，可使得全场图像以及半场图像上得到的统计值形成对比，从而可更加直观地判别出隔行效应更为明显的图像。
[0157]
图7所示的电子设备还可用于执行隔行图像校正方法，其中，处理器702具体用于：确定待处理的隔行图像，以及所述隔行图像的上一帧图像以及下一帧图像；从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像；根据所述多个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像；将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像；将所述多个差异图像输入场融合模型，得到融合权重图；在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像；采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率图像以及所述底场图像的全分辨率图像。
[0158]
在本实施例中，电子设备在对隔行图像进行隔行校正的过程中，可采用联合插值模型根据隔行图像的相邻半场图像，对隔行图像的顶场图像以及底场图像进行插值，得到顶场图像以及底场图像各自的初步超分图像。进而，可充分利用隔行图像的时序特征推理出顶场图像中的奇数行以及底场图像中的偶数行，使得推理出的奇数行以及偶数行在时序上更加稳定。同时，采用场融合模型，根据相邻半场图像的差异确定加权权重，并利用该加权权重指导初步超分图像与原始的隔行图像进行融合，充分利用了隔行图像上原本具有的信息，使得隔行校正后的画面质量更清晰、画面锯齿更少。
[0159]
进一步，如图7所示，该电子设备还包括：电源组件704等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。
[0160]
其中，存储器701可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random-access memory，sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，eprom)，可编程只读存储器(programmable read-only memory，prom)，只读存储器(read-only memory，rom)，磁存储器，快闪存储器，磁盘或光盘。
[0161]
其中，通信组件703被配置为便于通信组件所在设备和其他设备之间有线或无线
方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wi-fi(无线网络通信技术)，2g(如全球移动通信系统(global system for mobile communications，gsm)等)、3g(如宽带码分多址(wideband code division multiple access，wcdma)、4g(如长期演进(long term evolution，lte)等)、4g+(如升级版长期演进(lte-advanced，lte-a)等)或5g(第五代移动通信技术(5th generation mobile communication technology))，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件可基于近场通信(near field communication,nfc)技术、射频识别(radio frequency identification,rfid)技术、红外数据协会(infrared data association,irda)技术、超宽带(ultra wide band，uwb)技术、蓝牙(bluetooth,bt)技术和其他技术来实现。
[0162]
其中，电源组件704，用于为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
[0163]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。
[0164]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom(compact disc read-only memory，只读光盘只读存储器)、光学存储器等)上实施的计算机程序产品的形式。
[0165]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0166]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0167]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0168]
在一个典型的配置中，计算设备包括一个或多个处理器(central processing unit，cpu)、输入/输出接口、网络接口和内存。
[0169]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0170]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(parallel random access machine，pram)、静态随机存取存储器(sram)、动态随机存取存储器(dynamic random access memory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(digital video disc，dvd)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0171]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0172]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种隔行图像检测方法，其特征在于，包括：获取待检测的图像；采用多个统计量分别对所述图像的全场图像以及半场图像进行统计，得到所述图像的多个全场统计值以及多个半场统计值；所述多个统计量包括：用于描述隔行效应对应的帧内像素差异的统计量和/或用于描述帧间像素差异的统计量；根据所述多个全场统计值，确定所述图像的第一全场锯齿概率；以及，根据所述多个半场统计值，确定所述图像的第一半场锯齿概率；根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果。2.根据权利要求1所述的方法，其特征在于，采用多个统计量分别对所述图像的全场图像以及半场图像进行统计，得到所述图像的多个全场统计值以及多个半场统计值，包括：分别采用所述多个统计量对所述图像的全场图像以及半场图像进行逐像素统计，得到所述全场图像中的像素在所述多个统计量上的统计值，以及所述半场图像上的像素在所述多个统计量上的统计值；所述半场图像包括：对所述图像进行奇偶行拆分得到的顶场图像以及底场图像；根据所述全场图像中的像素在所述多个统计量上的统计值，确定所述图像在所述多个统计量上的全场统计值；以及，根据所述半场图像上的像素在所述多个统计量上的统计值，确定所述图像在所述多个统计量上的半场统计值。3.根据权利要求2所述的方法，其特征在于，分别采用所述多个统计量对所述图像的全场图像以及半场图像进行逐像素统计，得到所述全场图像中的像素在所述多个统计量上的统计值，以及所述半场图像上的像素在所述多个统计量上的统计值，包括：将所述全场图像、所述顶场图像以及所述底场图像分别作为待计算图像；针对所述待计算图像上的任一像素，获取所述像素在所述待计算图像上的多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值；根据所述像素的灰度值、所述多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值，计算所述像素在所述多个统计量上的统计值。4.根据权利要求3所述的方法，其特征在于，根据所述像素的灰度值、所述多个邻域像素的灰度值和/或所述像素在所述图像的上一帧图像上的灰度值，计算所述像素在所述多个统计量上的统计值，包括：根据第一纵向差异与第二纵向差异和第三纵向差异之和的比较关系，确定所述像素的纵向差异比；所述第一纵向差异根据所述像素的上邻域像素的灰度值以及下邻域像素的灰度值确定；所述第二纵向差异根据所述像素的上邻域像素的灰度值以及所述像素的灰度值确定；所述第三纵向差异根据所述像素的下邻域像素的灰度值以及所述像素的灰度值确定；和/或，根据第二纵向差异与第三纵向差异中的较小者与设定的第一阈值的比较关系，确定所述像素的纵向最小差异；和/或，根据所述第二纵向差异与所述第三纵向差异的符号比较关系，确定所述像素的纵向梯度一致性；和/或，根据第一横向差异与第二横向差异的符号比较关系，确定所述像素的横向梯度一致
性；所述第一横向差异根据所述像素的左邻域像素的灰度值以及所述像素的灰度值确定；所述第二横向差异根据所述像素的右邻域像素的灰度值以及所述像素的灰度值确定；和/或，根据第三横向差异与第四横向差异的符号比较关系，确定所述像素的场内横向梯度一致性；所述第三横向差异根据所述像素的左上邻域像素的灰度值以及右上邻域像素的灰度值确定；所述第四横向差异根据所述像素的左下邻域像素的灰度值以及右下邻域像素的灰度值确定；和/或，根据所述像素的灰度值在相邻帧之间的帧间时序差异与设定的第二阈值的比较关系，确定所述像素的非静止特性；所述像素的灰度值在相邻帧之间的帧间时序差异根据所述像素的灰度值以及所述像素在所述图像的上一帧图像上的灰度值确定。5.根据权利要求1-4任一项所述的方法，其特征在于，根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果，包括：计算所述第一全场锯齿概率与所述第一半场锯齿概率的比值；若所述比值大于设定的第三阈值，则确定所述图像为隔行图像；若所述比值小于或者等于所述第三阈值，则确定所述图像为逐行图像。6.根据权利要求1-4任一项所述的方法，其特征在于，所述多个统计量，包括：第一组统计量，所述第一组统计量用于检测出前景运动幅度大于设定幅度阈值的隔行图像；根据所述第一全场锯齿概率以及所述第一半场锯齿概率，确定所述图像的隔行检测结果之后，还包括：若所述图像的隔行检测结果指示所述图像为逐行图像，则确定第二组统计量；所述第二组统计量，用于检测出前景运动幅度小于或等于设定幅度阈值的隔行图像；所述第二组统计量与所述第一组统计量存在部分不同；采用所述第二组统计量对所述图像的全场图像以及半场图像进行统计，得到所述第二组统计量对应的全场统计值以及半场统计值；根据所述第二组统计量对应的全场统计值，计算第二全场锯齿概率；以及，根据所述第二组统计量对应的半场统计值，计算第二半场锯齿概率；所述第二组统计量与所述第一组统计量存在部分不同；根据所述第二全场锯齿概率以及所述第二半场锯齿概率，确定所述图像的隔行检测结果。7.根据权利要求1-4任一项所述的方法，其特征在于，还包括：若所述图像为隔行图像，则获取所述隔行图像的上一帧图像以及下一帧图像；从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像；根据所述多个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像；将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像；
将所述多个差异图像输入场融合模型，得到融合权重图；在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像；采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率图像以及所述底场图像的全分辨率图像。8.一种隔行图像校正方法，其特征在于，包括：确定待处理的隔行图像，以及所述隔行图像的上一帧图像以及下一帧图像；从所述隔行图像、所述上一帧图像以及所述下一帧图像中，获取时序上连续的多个半场图像；所述多个半场图像包括：所述隔行图像的顶场图像和底场图像以及分别与所述顶场图像和所述底场图像在时序上相邻的第一半场图像和第二半场图像；根据所述多个半场图像，计算多个差异图像，所述多个差异图像包括：相邻顶场图像的差异图像、相邻底场图像的差异图像以及所述隔行图像的底场图像和顶场图像的帧内差异图像；将所述多个半场图像输入联合插值模型，分别得到所述顶场图像的初步超分图像以及所述底场图像的初步超分图像；将所述多个差异图像输入场融合模型，得到融合权重图；在所述融合权重图的指导下，分别将所述隔行图像的奇数行和偶数行与所述顶场图像的初步超分图像的奇数行以及所述底场图像的初步超分图像的偶数行进行加权融合，得到所述顶场图像的去隔行图像以及所述底场图像的去隔行图像；采用所述隔行图像的偶数行以及奇数行，分别替换所述顶场图像的去隔行图像的偶数行以及所述底场图像的去隔行图像的奇数行，得到所述顶场图像的全分辨率图像以及所述底场图像的全分辨率图像。9.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器用于存储一条或多条计算机指令；所述处理器用于执行所述一条或多条计算机指令以用于：执行权利要求1-8任一项所述的方法中的步骤。10.一种存储有计算机程序的计算机可读存储介质，其特征在于，计算机程序被处理器执行时能够实现权利要求1-8任一项所述的方法中的步骤。

技术总结
本申请提供一种隔行图像检测、校正方法、设备及存储介质。在隔行图像检测方法中，采用多个统计量分别对待检测的图像的全场图像以及半场图像进行统计，可得到图像的多个全场统计值以及多个半场统计值。根据多个全场统计值以及多个半场统计值，可分别确定图像的全场锯齿概率以及半场锯齿概率，并根据全场锯齿概率以及半场锯齿概率，确定图像的隔行检测结果。其中，多个统计量包括用于描述隔行效应对应的帧内像素差异的统计量以及用于描述帧间像素差异的统计量，进而可充分利用图像在隔行效应的影响下表现出的帧内以及帧间统计特征，提升隔行检测的准确性，并可使得全场图像及半场图像的统计值形成对比，更加直观地判别出隔行效应更为明显的图像。应更为明显的图像。应更为明显的图像。


技术研发人员：李海丽 刘国栋
受保护的技术使用者：阿里巴巴（中国）有限公司
技术研发日：2023.05.25
技术公布日：2023/8/28