图像增强模型的训练方法、图像处理方法及相关设备与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像增强模型的训练方法、图像处理方法、装置、电子设备及存储介质。


背景技术：

2.随着科技的不断发展，人机交互的体验方式越来越多的出现在人们的生活和娱乐中，而手势识别作为人机交互的一种重要方式，占据着极为重要的地位。在进行手势识别时，对于近距离的手势图像可以快速准确的完成识别，但是对于远距离的手势图像，因为远距离所采集到的图像中手势的面积占比较小，使得在进行识别时需要对图像进行一定的处理，比如图像增强。
3.常见的在进行远距离手势图像的识别的方式也有多种，但是都存在有一定的缺陷，比如，sift算法具有高稳定性但要求图像中目标有足够多的纹理、surf算法在进行识别时计算量巨大、利用上下文信息的模型进行识别时需要在提取上下文信息时进行额外的标注信息。
4.因此，亟需一种基于远距离的低分辨率的手势图像，生成高清晰度和高还原度的高分辨率图像的处理方法。


技术实现要素：

5.本发明实施例的目的是提供一种图像增强模型的训练方法、图像处理方法及相关设备，旨在提高低分辨率图像增强到高分辨率图像的准确性和便捷性。
6.在第一方面，为实现上述目的，本发明实施例提供了一种图像处理方法，包括：
7.获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；
8.基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；
9.根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；
10.返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，直到所述待训练的图像增强模型收敛时，停止进程。
11.在第二方面，为了解决相同的技术问题，本发明实施例提供了一种图像处理方法，包括：
12.当满足图像采集条件时，采集图像，并加载图像增强模型；
13.将所述采集的图像输入至所述图像增强模型中，根据所设定的图像域信息对所述采集的图像进行图像校正，并在完成校正时对校正后的图像进行图像增强处理，输出对应图像。
14.在第三方面，为了解决相同的技术问题，本发明实施例提供了一种图像处理装置，
包括：
15.训练图像获取模块，用于获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；
16.训练图像处理模块，用于基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；
17.模型训练处理模块，用于根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；
18.模型训练判断模块，用于返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，至所述待训练的图像增强模型收敛时，停止进程。
19.在第四方面，为了解决相同的技术问题，本发明实施例提供了一种电子设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现上述任一项所述的图像处理方法中的步骤。
20.在第五方面，为了解决相同的技术问题，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的图像处理方法中的步骤。
21.本发明实施例提供了一种图像增强模型的训练方法、图像处理方法、装置、电子设备及存储介质，该方法通过在进行图像处理之前对所构建的图像增强模型进行训练和优化，并在训练和优化完成之后，实现对远距离的低分辨率的手势图像的图像处理，具体地，在进行模型的训练时，获取用于训练的一低分辨率的初始图像，以及任一一高分辨率图像，然后根据初始图像对高分辨率图像进行降尺寸处理，以使得高分辨率的基础图像变为一低分辨率的训练图像，进而再对所构建的图像增强模型进行训练，得到可以用于增强手势图像细节和提高分辨率的图像增强模型。实现了快速准确的完成对低分辨率图像的图像增强，使得增强得到的高分辨率图像具有更好的准确性，可以更好的提高手势识别的效率和准确性。
附图说明
22.图1是本发明实施例提供的图像增强模型的训练方法的一种流程示意图；
23.图2是本发明实施例提供的远距离图像的一种示意图；
24.图3是本技术实施例提供的得到训练图像的步骤的一种流程示意图；
25.图4是本发明实施例提供的图像增强模型的结构示意图；
26.图5为本技术实施例提供的进行模型训练的步骤的一种流程示意图；
27.图6为本技术实施例提供的对对齐模块进行训练的步骤的一种流程示意图；
28.图7为本技术实施例提供的信息萃取单元的结构示意图；
29.图8为本技术实施例提供的对增强模型进行训练的步骤的一种流程示意图；
30.图9是本发明实施例提供的图像增强模型的训练装置的一种结构示意图；
31.图10是本发明实施例提供的电子设备的一种结构示意图；
32.图11是本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.应当理解的是，本发明公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明公开的范围在此方面不受限制。
35.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
36.请参见图1，图1是本发明实施例提供的图像增强模型的训练方法的一种流程示意图，如图1所示，本发明实施例提供的图像处理方法包括步骤101至步骤106；
37.步骤101、获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率。
38.对于远距离的手势图像，在进行手势识别时，需要对所采集到的手势图像进行相应的处理，以便准确的完成手势识别，而在进行图像处理时，主要是对所采集到的低分辨率进行图像增强，以使其变为具有更高细节的高分辨率图像。
39.在进行图像处理时，需要预先对进行图像处理的模块和/或装置进行优化处理，以使得在需要进行图像增强时，直接使用优化好的模块和/或装置对远距离的手势图像进行处理，进而根据处理后的图像完成手势识别。
40.在一实施例中，在进行图像处理之后，预先构建好相关的图像增强模型，然后对所构建的图像增强模型进行训练，进而利用训练好的图像增强模型实现对远距离的手势图像的处理。因此，在进行模型训练时，首先获取待训练的图像对，其中，待训练的图像对用于对所述图像增强模型进行训练，且图像对包括初始图像和基础图像，同时基础图像的分辨率高于初始图像的分辨率。并且基础图像还可以是在手势识别设备和/或装置的高分辨率图像库中获取。
41.对于所得到的初始图像，是利用安装有手势识别设备和/或装置的设备上所设置的图像采集装置所得到的，其中该图像采集装置可以是摄像头，利用安装在图像采集装置上的感应装置，确定何时进行图像采集。比如，利用所安装的红外传感器来感应人体与采集装置之间的位置关系，进而在两者之间的位置关系，满足所设定的图像采集条件时，进行图像的拍摄，进而在所拍摄到的图像中得到初始图像。其中，图像采集条件的设定方式是不限的，比如可以利用人体与图像采集装置之间的实际距离的设定来决定图像采集条件，如在人体与图像采集装置之间的距离为4米时，进行图像的采集。
42.在得到初始图像的同时，还会在高分辨率图库中获取若干高分辨率的基础图像，对于高分辨率图像的获取是随机的，也就是高分辨率图库中的任一图像均可。进而在进行模型训练时，利用低分辨率的初始图像和高分辨率图像对所构建的图像增强模型进行训练。由于在模型训练时无需输入成对的手势图像数据，使得在模型训练完成时具有更好的
适用性，可以将不同尺度低分辨率手势图像进行统一的增强。
43.另外，在实际过程中，初始图像是基于在满足图像采集条件时所采集到的远距离图像所得到的，而远距离图像所包含的人体图像和/或手势图像并不会占据整张图像，因此在采集到远距离图像之后，对远距离图像中所包含的信息进行识别，进而选取包含有手势的最小图像为初始图像。
44.比如，在人体与图像采集装置的距离为4米时所采集到的图像如图2所示，人体区域为区域a，其他部分为非人体区域。由于图像中包含有较多的非人体信息，而这些非人体信息在进行手势识别是无效信息，因此，可以在进行预处理的时候对所采集到的远距离图像进行处理，以使得所得到的图像为包含有人体图像的图像。
45.步骤102、基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像。
46.在得到远距离且低分辨率的初始图像以及高分辨率的基础图像之后，首先对高分辨率的基础图像进行预处理，以使得基础图像变为一低分辨率图像，具体地，在对基础图像进行预处理时，将基础图像的尺寸调节为与初始图像的尺寸相同，同时对基础图像上各像素点的像素值进行重新的调整和赋值。
47.在一实施例中，根据所得到的初始图像对所获取的基础图像进行图像调节，进而得到基础图像所对应的训练图像。对于基础图像与得到的训练图像，两者的图像尺寸相同，但是各个像素点的像素值有所差异，也就是在进行图像调节时，除了将高分辨率图像的尺寸调整到与初始图像尺寸相同，还会对各像素点的像素值进行重新计算，并基于所得到的像素值对各像素点进行像素赋值。
48.参照图3，图3是本技术实施例提供的得到训练图像的步骤的一种流程示意图。其中，该步骤包括步骤s301至步骤s303。
49.步骤s301、基于所述初始图像及所述基础图像的尺寸获取调整比例；
50.步骤s302、基于所述调整比例对所述基础图像进行加权处理，得到所述训练图像。
51.在对所得到的基础图像进行图像调节时，具体是将基础图像的尺寸调节为与初始图像的图像尺寸相同，同时还会对各像素点的像素值进行调整。因此，在进行调节时，首先获取初始图像的第一图像尺寸和高分辨率图像的第二图像尺寸，然后根据第一调节尺寸和第二调节尺寸确定对高分辨率图像进行图像调节的图像调节尺度，进而根据所确定的图像调节尺度对高分辨率图像的图像尺寸和各像素点的像素值进行调节。
52.在对高分辨率图像进行图像调节时，是对高分辨率图像进行放缩和像素值的调整。在对基础图像进行放缩时，通过对图像进行拉伸和压缩，同时重塑各像素点的像素值，进而在完成图像放缩和像素值的计算和赋值时得到基础图像所对应的训练图像。而在通常情况下，基础图像的图像尺寸会高于初始图像的图像尺寸，因此在进行图像调节时，是对基础图像进行降尺寸调节，使得调节后的图像的尺寸与初始图像的尺寸相同。
53.示例性地，假设初始图像为x，基础图像为y，且第一图像尺寸为m*n，第二图像尺寸为m*n。在进行降尺寸调节时，可以确定基础图像y上各点在调节之后的坐标值，也就是可以确定初始图像x与基础图像y上各像素点之间的对应关系，比如初始图像x上的像素点(p，q)在基础图像y上所对应的像素点的为(p，q)，其具体关系为：p＝p*m/m，q＝q*n/n。
54.而在确定降尺寸之后的训练图像上各像素点的像素值时，可以选取一像素点最近
的16个像素点作为计算在训练图像上对应像素点的处像素值的参数，如图3所示，对于基础图像y上的点a，可以预先构建一个包含有该点a的16宫格，且每一宫格代表一个像素点，然后通过该16个像素点的像素值来确定降尺寸后的训练图像上所对应的像素点的像素值。
55.需要说明的是，在确定降尺寸后各像素点的像素值时，所使用的方式有很多，可以参照上述描述的方式来确定，还可以使用其他的方式。同时在使用上述描述的方式来确定时，不局限于利用像素点周边的16个像素点的像素值来确定，具体可以根据实际降尺寸的幅度和大小比如选择9个像素点或者25个像素点的像素值来确定。
56.在利用基础图像中点a的周边像素点的像素值来确定降尺寸后的训练图像上对应的像素点的像素值时，可以采用下述计算公式得到的，具体为：
[0057][0058]
其中，a
ij
是加权系数，具体为：
[0059][0060]
其中，p代表不同像素点与目标像素点的位置，a通常取-0.5，且a
ij
＝w(i)
·
w(j)，i和j代表16像素点组成的网格的横纵，由于是选择像素点周围的16个像素点的像素值来确定该像素点在进行降尺寸后的像素值，在构建坐标系是以16个像素点做组成的正方形的中心为原心，因此具体值的范围在-2到2。
[0061]
在对基础图像进行降尺寸调节时，是重新构建一个新的低分辨率的图像域，然后通过训练以将不同低分辨率的图像都可以准确的校准为所构建和设定的图像域，进而再进行图像增强实现低分辨率图像想高分辨率图像的转变，使得不同分辨率图像域之间的互通映射。
[0062]
步骤103、根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练。
[0063]
在完成对基础数据的预处理之后，得到可以用于进行模型训练的样本数据，因此，在一实施例中，在得到训练图像之后，根据所得到的输出图像、基础图像以及训练图像对所加载的待训练的图像增强模型进行训练，至图像增强模型训练完成。
[0064]
所加载的待训练的图像增强模型的结构如图4所示，该图像增强模型包括三个部分，分别为对齐模块、校正模块以及增强模块，在训练过程中分别对这三个模块进行训练，在完成该三个模块的训练后也就是完成对图像增强模型的训练。
[0065]
参照图5，图5为本技术实施例提供的进行模型训练的步骤的一种流程示意图。其中该步骤包括步骤s501至步骤s503。
[0066]
步骤s501、根据所述初始图像以及所述训练图像对所述对齐模块进行训练，并在训练后的对齐模块收敛时得到所述训练图像对应的对齐图像。
[0067]
在对图像增强模型进行训练时，是对模型所包含的三个部分进行训练，因此在得到用来进行模型训练的数据时，首先对模型的第一个模块进行训练，具体地，根据所得到的初始图像以及训练图像对图像增强模型中的对齐模块进行训练，至该对齐模块训练完成，
同时在该对齐模块训练完成时，根据训练好的对齐模块对训练图像进行对齐处理，得到训练图像对应的对齐图像。
[0068]
初始图像是训练之前得到的一低分辨率图像，训练图像是基于高分辨率的基础图像进行降尺寸处理得到的一低分辨率图像，但初始图像与训练图像的图像域不相同，用于实现后续的不同分辨率之间的互通映射。
[0069]
在一实施例中，对齐模块包括有对齐单元以及第一判断单元，而在进行模型训练时通过对对齐单元的训练实现对对齐模块的训练，而第一判断单元用于确定对对齐模块的训练是否完成。
[0070]
具体地，参照图6，图6为本技术实施例提供的对对齐模块进行训练的步骤的一种流程示意图。具体地，在对对齐模块进行训练时，包括：
[0071]
步骤s601、获取一噪声特征，并将所述噪声特征与所述训练图像输入至所述对齐单元，得到所述训练图像对应的第一对齐图像；
[0072]
步骤s602、将所述第一对齐图像以及所述初始图像输入至所述第一判断单元，得到所述对齐模块的训练结果，其中所述训练结果包括训练完成和训练未完成中任一项。
[0073]
在对对齐模块进行训练时，首先获取一噪声特征，其中该噪声特征为一模拟失真随机性的单通道随机噪声的特征，然后将该噪声特征与训练图像作为对齐模块进行训练的输入数据，实际的，在将训练图像输入时，也会对特征图像进行特征提取，进而将所得到的特征组合作为训练的输入数据。
[0074]
对齐模块包含有对齐单元以及用于判断是否训练完成的第一判断单元，因此在进行训练时，通过特征组合对对齐单元进行训练，具体地，在进行训练时，将所随机获取的一噪声特征与训练图像的图像特征进行组合，以进行输入，进而利用对齐单元自身的结构实现输出结果的预测和输出，示例性的，在将噪声特征和训练图像的图像特征输入之后，利用对齐单元中的所设置的六个5
×
5滤波器的残差块和一个1
×
1滤波器的融合层实现对齐图像的预测和输出，且残差块中每个卷积层之后都是wn处理和leakyrelu。
[0075]
在利用对齐单元得到训练图像所对应的第一对齐图像之后，将会根据第一对齐图像和初始图像利用第一判断单元确定该对齐单元是否训练完成。而在判断和确定是否训练完成时，通过确定训练时所对应的损失值来确定，具体地，训练施加判断约束的损失表示为：
[0076]
l
adv
(rz,d1,z,x)＝e
x～px
(logd1(x))+e
z～pz
(1-logd1(rz(z)))；
[0077]
其中，rz代表对齐单元，d1代表第一判断单元，z代表进行降尺寸处理后的基础图像(训练图像)，x代表初始图像，d1(x)和d1(rz(z))代表把初始图像和训练图像输入至第一判断单元的输出结果。
[0078]
对于对齐模块是否训练完成，可以直接根据第一判断单元的输出结果来确定，而第一判断单元的输出结果是一个矩阵，然后通过计算该矩阵的均值来确定是否训练完成。比如，设置一个阈值为0.8，在计算所输出的n*n的矩阵的均值时，通过计算矩阵中所有数字的均值，若此时得到的均值大于或者等于0.8，则说明训练完成，反之则确定训练未完成。
[0079]
而在完成对对齐模块的训练之后，将会利用训练好的对齐模块对所接收到的训练图像进行处理，以得到一对齐图像，进而对后续的模块进行训练处理。
[0080]
步骤s502、根据所述初始图像和所述对齐图像对所述校正模块进行训练，并在训
练后的校正模块收敛时得到所述初始图像对应的第一校正图像和所述训练图像对应的第二校正图像。
[0081]
在完成对对齐模块的训练时，根据训练好的对齐模块对训练图像进行处理，得到对齐图像，然后根据初始图像和对齐图像对校正模块进行训练。
[0082]
同样的，校正模块中也包含有不同的结构，用以承担不同的功能，具体地，校正模块包括有反向对齐单元和第二判断单元，其中该处的第二判断单元与对齐模块中的第一判断单元为相同结构，均由卷积层构成，由于应用于不同的模块，所以使用“第一”和“第二”进行区分表述。同时，校正模块中所包含的反向对齐单元与对齐模块中的对齐单元为相对结构。
[0083]
而在对校正模块进行训练时，具体的训练和判断方式与对对齐模块的训练方式相似，具体包括：将所述初始图像输入至所述反向对齐单元，得到第一反向对齐图像；将所述第一反向对齐图像以及所述对齐图像输入至所述第二判断单元，得到所述校正模块的训练结果，其中所述训练结果包括训练完成和训练未完成中任一项。
[0084]
在进行训练时，通过反向对齐单元进行图像的处理，得到初始图像所对应的第一反向对齐图像，然后将第一反向对齐图像和对齐图像输入到第二判断单元中，确定训练是否完成。而在判断确定是否训练完成时，也可采用对齐模块的判断方式来判断和确定。
[0085]
对于反向对齐单元，包括有特征提取层、信息萃取单元和融合层，在进行训练的过程中，首先将初始图像输入到反向对齐单元中的特征提取层，以对初始图像进行特征提取，得到初始特征，然后将初始特征输入至信息萃取单元，进行特征融合，最后将融合得到的萃取特征和初始特征输入到融合层，进行特征过滤得到初始图像对应的第一反向对齐图像。
[0086]
实际上，为了提高特征提取的效率，增加了信息萃取单元实现对图像特征的提取，同时通过构建特定的模型结构以降低对算力的需求。参照图7，图7为本技术实施例提供的信息萃取单元的结构示意图。具体地，信息萃取单元包括有第一信息萃取单元、第一记忆连接层、第二信息萃取单元以及第二记忆连接层。同时对于特征提取层和融合层也有相应的结构。
[0087]
示例性的，特征提取层是由两个3*3的卷积层所构成，融合层是由一个1*1的滤波器构成。而对于信息萃取单元，具体是有8个卷积层和两个记忆连接层构成，但是由于使用了记忆连接层所隔开，因此将整个的信息萃取单元分开为第一信息萃取单元和第二信息萃取单元，且均由4个卷积层构成，同时每个卷积层后面都会带有wn处理和leakyrelu。
[0088]
因此，此时在进行图像的特征提取和处理时，具体包括：将所述初始特征输入至所述第一信息萃取单元，得到第一萃取特征，并将所述第一萃取特征以及所述输出特征输入至所述第一记忆连接层得到中间特征；将所述中间特征输入至所述第二信息萃取单元，得到第二萃取特征，并将所述第二萃取特征以及所述中间特征输入至所述第二记忆连接层得到萃取特征。
[0089]
在实际处理过程中，在利用校正模块对图像进行处理时，首先利用两个3*3的卷积层来提取输入图像的低级特征，然后将提取到的特征送入8个单独的信息萃取单元堆叠而成的模块逐步学习高级特征，并且每隔4个信息萃取单元之间提供记忆连接来达到最终融合不同级别特征的目的，特征提取结束后送入一个1
×
1滤波器的融合层，得到所输出的图像。
[0090]
步骤s503、根据所述第一校正图像、所述第二校正图像以及所述基础图像对所述图像增强模块进行训练，并在训练后的图像增强模型收敛时存储训练好的图像增强模型。
[0091]
在完成对校正模块的训练之后，对进行图像放大和增强的增强模块进行训练。具体地，利用第一校正图像、第二校正图像和基础图像对增强进行训练，进而在完成对增强模块的训练时，确定对整个图像增强模型训练完成。
[0092]
对于增强模块，其包含有增强单元和第三判断单元，其中增强单元在结构上与校正模块中的反向对齐单元的结构相同，第三判断单元与第一判断单元和第二判断单元具有相同的结构和用途。也就是，在进行训练时，通过第三判断单元的判断来确定增强单元是否训练完成。
[0093]
具体地，在对增强模块进行训练时，与对校正模块进行训练的处理过程相同，主要区别在于，在确定增强模块是否训练完成时，还需要参考基础图像，需要保证基于基础图像进行变化之后最终得到的高分辨率图像与原始的基础图像之间的相似度满足实际的使用需求。对于基础图像而言，在整个的处理和图像的变化过程中，首先是通过降尺寸处理将其变为低分辨率的图像，然后在经过对齐、校正以及增强处理再次变为高分辨率的图像，因为在再次得到高分辨率的图像的时候，需要保证此时得到的高分辨率的图像与原始图像的差异性满足一定的要求，如相似度值要高于某一设定的数值，或者损失函数值小于所设定的阈值。
[0094]
示例性的，在利用损失函数值的方式来确定时，确定方式可以如下：
[0095][0096]
其中，uy(z
′
)表示此时所得到的高分辨率图像的图像矩阵，y表示基础图像的图像矩阵。在损失函数值小于所设定的值时，确定该条件已满足。
[0097]
参照图8，图8为本技术实施例提供的对增强模型进行训练的步骤的一种流程示意图。其中，该步骤包括步骤s801至步骤s804。
[0098]
步骤s801、将所述第一校正图像以及所述第二校正图像输入至所述增强单元，得到第一增强图像和第二增强图像；
[0099]
步骤s802、将所述第一增强图像以及所述第二增强图像输入至所述第三判断单元，得到第三判断结果；
[0100]
步骤s803、根据所述第二增强图像以及所述基础图像，得到对应的相似度值；
[0101]
步骤s804、根据所述第三判断结果以及所述相似度值，得到所述增强模型的训练结果，其中所述训练结果包括训练完成和训练未完成中任一项。
[0102]
在进行训练时，将第一校正图像以及第二校正图像输入至增强模块中的增强单元，一输出得到分别对应的第一增强图像和第二增强图像，然后根据第一增强图像和第二增强图像，利用第三判断单元进行判断，得到第三判断结果，同时确定第一增强图像和基础图像之间的相似度值，最后根据所得到的第三判断结果和相似度值确定增强模块是否训练完成，也就是确定图像增强模型是否训练完成。
[0103]
上述实施例中所提及的判断单元，包括第一判断单元、第二判断单元以及第三判断单元，在结构上具有相同的结构，其所输出的结果是根据判断单元所得到的矩阵来确定，具体地的矩阵与判断结果的对应关系可以参照前述关于第一判断单元的描述。
[0104]
在增强单元进行图像的处理时，与校正模块中的反向对齐单元的处理方式存在有
一定的相同之处，而主要的区别之处在于，在得到萃取特征之后，还将会利用两层反卷积层以将特征映射从低分辨率图像放大。
[0105]
实际上，在进行处理时，增强单元的图像处理过程包括：根据两个3*3的卷积网络来提取输入图像的低级特征，然后将提取到的特征送入8个信息萃取单元堆叠而成的模块逐步学习高级特征，并且每隔4个萃取单元之间提供记忆连接来达到最终融合不同级别特征的目的，继而送入一个1
×
1滤波器的融合层。同时，在萃取单元之后添加了两层反卷积层用于将特征映射从低分辨率图像放大，最后，通过3*3重建层生成高分辨率的图像。
[0106]
步骤s104、返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，至所述待训练的图像增强模型收敛时，停止进程。
[0107]
在一实施例中，模型的学习训练是一个循环的过程，通过不断的学习和训练使得最终所得到的模型可以用来被使用。因此，在基于所得到的待训练的图像对对图像增强模型进行学习训练时，需要学习训练后所得到的图像增强模型收敛，而在为收敛时，将会返回执行获取待训练的图像对的步骤，以根据再次获取到的图像对对图像增强模型进行学习和训练。而在确定是否收敛时，可以根据训练次数或者某一/某些参数值来确定，具体可根据实际的使用情况来确定。
[0108]
在完成对图像增强模型的训练之后，将会对所训练好的图像增强模型进行记录和存储，以便后续进行使用。而在采集到需要进行处理的待处理图像时，其中待处理图像为远距离的低分辨率的手势图像，将会利用所训练好的图像增强模型进行处理，以输出得到高分辨率的手势图像。
[0109]
具体地，在图像增强模型被使用时，具体包括：当满足图像采集条件时，采集图像，并加载图像增强模型；将采样的图像输入至图像增强模型中，根据所设定的图像域信息对采样的图像进行图像校正，并在完成校正时对校正后的图像进行图像增强处理，输出对应图像。
[0110]
实际上，在使用过程中，当确定满足图像采集条件时，将会获取所采集到的图像，以得到需要进行处理的待处理图像，然后将待处理图像输入到预先所记录和存储的图像增强模型中，通过图像增强模型中的校正模块对待处理图像进行图像校正，以将待处理图像的图像域进行校正，并在校正完成时将校正后的图像输入到增强模块中进行图像的放大和增强，进而得到高分辨率的图像进行输出。
[0111]
而图像采集条件为图像采集目标与预设的识别装置之间的距离值小于或者等于所设定的预设阈值。由于是实现对远距离手势图像的图像增强，因此，可以设定在目标人体与手势识别装置的距离为4米时，进行图像的采集和获取，以得到远距离的低分辨率的手势图像。
[0112]
综上所述，本发明实施例提供的图像增强模型的训练方法以及图像处理方法，包括在进行图像处理之前对所构建的图像增强模型进行训练和优化，并在训练和优化完成之后，实现对远距离的低分辨率的手势图像的图像处理，具体地，在进行模型的训练时，获取用于训练的一低分辨率的初始图像，以及任一一高分辨率图像，然后根据初始图像对高分辨率图像进行降尺寸处理，以使得高分辨率的基础图像变为一低分辨率的训练图像，进而再对所构建的图像增强模型进行训练，得到可以用于进行增强手势图像细节和提高分辨率的图像增强模型。在模型训练时，无需输入成对的低分辨率图像和高分辨率图像，便可以对
任意一低分辨率的图像进行增强；同时，通过在模型中设置有校正模块，实现不同分辨率之间的互通映射，消除图像域的差异对手势特征识别的影响，使得手势图像的特征提取更加准确。
[0113]
根据上述实施例所描述的方法，本实施例将从图像处理装置的角度进一步进行描述，该图像处理装置具体可以作为独立的实体来实现，也可以集成在电子设备，比如终端中来实现，该终端可以包括手机、平板电脑、体感游戏设备、智能电视以及商业显示屏等。
[0114]
请参见图9，图9是本发明实施例提供的图像增强模型的训练装置的一种结构示意图，如图9所示，本发明实施例提供的图像增强模型的训练装置900，包括：
[0115]
训练图像获取模块901，用于获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；
[0116]
训练图像处理模块902，用于基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；
[0117]
模型训练处理模块903，用于根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；
[0118]
模型训练判断模块904，用于返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，至所述待训练的图像增强模型收敛时，停止进程。
[0119]
具体实施时，以上各个模块和/或单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块和/或单元的具体实施可参见前面的方法实施例，具体可以达到的有益效果也请参看前面的方法实施例中的有益效果，在此不再赘述。
[0120]
另外，请参见图10，图10是本发明实施例提供的电子设备的一种结构示意图，该电子设备可以是移动终端如智能手机、平板电脑等设备。如图10所示，电子设备1000包括处理器1001、存储器1002。其中，处理器1001与存储器1002电性连接。
[0121]
处理器1001是电子设备1000的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器1002内的应用程序，以及调用存储在存储器1002内的数据，执行电子设备1000的各种功能和处理数据，从而对电子设备1000进行整体监控。
[0122]
在本实施例中，电子设备1000中的处理器1001会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的应用程序，从而实现各种功能：
[0123]
获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；
[0124]
基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；
[0125]
根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；
[0126]
返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，直到所述待训练的图像增强模型收敛时，停止进程。
[0127]
该电子设备1000可以实现本发明实施例所提供的图像处理方法任一实施例中的
步骤，因此，可以实现本发明实施例所提供的任一图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0128]
请参见图11，图11是本发明实施例提供的电子设备的另一种结构示意图，如图11所示，图11示出了本发明实施例提供的电子设备的具体结构框图，该电子设备可以用于实施上述实施例中提供的图像处理方法。该电子设备1100可以为移动终端如智能手机或笔记本电脑等设备。
[0129]
rf电路1110用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯。rf电路1110可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。rf电路1110可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术，包括但并不限于全球移动通信系统(global system for mobile communication,gsm)、增强型移动通信技术(enhanced data gsm environment,edge)，宽带码分多址技术(wideband code division multiple access,wcdma)，码分多址技术(code division access,cdma)、时分多址技术(time division multiple access,tdma)，无线保真技术(wireless fidelity，wi-fi)(如美国电气和电子工程师协会标准ieee 802.11a，ieee 802.11b,ieee802.11g和/或ieee 802.11n)、网络电话(voice over internet protocol,voip)、全球微波互联接入(worldwide interoperability for microwave access，wi-max)、其他用于邮件、即时通讯及短消息的协议，以及任何其他合适的通讯协议，甚至可包括那些当前仍未被开发出来的协议。
[0130]
存储器1120可用于存储软件程序以及模块，如上述实施例中图像处理方法对应的程序指令/模块，处理器1180通过运行存储在存储器1120内的软件程序以及模块，从而执行各种功能应用以及图像处理，即实现如下功能：
[0131]
获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；
[0132]
基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；
[0133]
根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；
[0134]
返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，直到所述待训练的图像增强模型收敛时，停止进程。
[0135]
存储器1120可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1120可进一步包括相对于处理器1180远程设置的存储器，这些远程存储器可以通过网络连接至电子设备1100。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0136]
输入单元1130可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，输入单元1130可包括触敏表面1131以及其他输入设备1132。触敏表面1131，也称为触摸显示屏或者触控板，可收集
用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面1131上或在触敏表面1131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面1131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1180，并能接收处理器1180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面1131。除了触敏表面1131，输入单元1130还可以包括其他输入设备1132。具体地，其他输入设备1132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
[0137]
显示单元1140可用于显示由用户输入的信息或提供给用户的信息以及电子设备1100的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元1140可包括显示面板1141，可选的，可以采用lcd(liquid crystal display，液晶显示器)、oled(organic light-emitting diode,有机发光二极管)等形式来配置显示面板1141。进一步的，触敏表面1131可覆盖显示面板1141，当触敏表面1131检测到在其上或附近的触摸操作后，传送给处理器1180以确定触摸事件的类型，随后处理器1180根据触摸事件的类型在显示面板1141上提供相应的视觉输出。虽然在图中，触敏表面1131与显示面板1141是作为两个独立的部件来实现输入和输出功能，但是在某些实施例中，可以将触敏表面1131与显示面板1141集成而实现输入和输出功能。
[0138]
电子设备1100还可包括至少一种传感器1150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1141的亮度，接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于电子设备1100还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0139]
音频电路1160、扬声器1161，传声器1162可提供用户与电子设备1100之间的音频接口。音频电路1160可将接收到的音频数据转换后的电信号，传输到扬声器1161，由扬声器1161转换为声音信号输出；另一方面，传声器1162将收集的声音信号转换为电信号，由音频电路1160接收后转换为音频数据，再将音频数据输出处理器1180处理后，经rf电路1110以发送给比如另一终端，或者将音频数据输出至存储器1120以便进一步处理。音频电路1160还可能包括耳塞插孔，以提供外设耳机与电子设备1100的通信。
[0140]
电子设备1100通过传输模块1170(例如wi-fi模块)可以帮助用户接收请求、发送信息等，它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块1170，但是可以理解的是，其并不属于电子设备1100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
[0141]
处理器1180是电子设备1100的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1120内的软件程序和/或模块，以及调用存储在存储器1120内的数据，执行电子设备1100的各种功能和处理数据，从而对电子设备进行整体监
控。可选的，处理器1180可包括一个或多个处理核心；在一些实施例中，处理器1180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解地，上述调制解调处理器也可以不集成到处理器1180中。
[0142]
电子设备1100还包括给各个部件供电的电源1190(比如电池)，在一些实施例中，电源可以通过电源管理系统与处理器1180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1190还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0143]
尽管未示出，电子设备1100还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备的显示单元是触摸屏显示器，移动终端还包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令：
[0144]
获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；
[0145]
基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；
[0146]
根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；
[0147]
返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，直到所述待训练的图像增强模型收敛时，停止进程。
[0148]
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
[0149]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的图像处理方法中任一实施例的步骤。
[0150]
其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
[0151]
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的图像处理方法任一实施例中的步骤，因此，可以实现本发明实施例所提供的任一图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0152]
以上对本技术实施例所提供的一种图像处理方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。并且，对于本技术领域的普通技术人员来说，在不脱离本发明
原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种图像增强模型的训练方法，其特征在于，包括：获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，直到所述待训练的图像增强模型收敛时，停止进程。2.根据权利要求1所述的方法，其特征在于，所述基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像，包括：基于所述初始图像及所述基础图像的尺寸获取调整比例；基于所述调整比例对所述基础图像进行加权处理，得到所述训练图像。3.根据权利要求1所述的方法，其特征在于，所述待训练图像增强模型包括对齐模块、校正模块以及增强模块，所述根据所述初始图像、基础图像以及所述训练图像，对待训练图像增强模型进行学习训练，包括：根据所述初始图像以及所述训练图像对所述对齐模块进行训练，并在训练后的对齐模块收敛时得到所述训练图像对应的对齐图像；根据所述初始图像和所述对齐图像对所述校正模块进行训练，并在训练后的校正模块收敛时得到所述初始图像对应的第一校正图像和所述训练图像对应的第二校正图像；根据所述第一校正图像、所述第二校正图像以及所述基础图像对所述图像增强模块进行训练。4.根据权利要求3所述的方法，其特征在于，所述对齐模块包括对齐单元和第一判断单元，所述根据所述初始图像以及所述训练图像对所述对齐模块进行训练，包括：获取一噪声特征，并将所述噪声特征与所述训练图像输入至所述对齐单元，得到所述训练图像对应的第一对齐图像；将所述第一对齐图像以及所述初始图像输入至所述第一判断单元，得到所述对齐模块的训练结果，其中所述训练结果包括训练完成和训练未完成中任一项。5.根据权利要求3所述的方法，其特征在于，所述校正模块包括反向对齐单元和第二判断单元，所述根据初始图像和对齐图像对所述校正模块进行训练，包括：将所述初始图像输入至所述反向对齐单元，得到第一反向对齐图像；将所述第一反向对齐图像以及所述对齐图像输入至所述第二判断单元，得到所述校正模块的训练结果，其中所述训练结果包括训练完成和训练未完成中任一项。6.根据权利要求5所述的方法，其特征在于，所述反向对齐单元包括特征提取层、信息萃取单元以及融合层，所述将所述初始图像输入至所述反向对齐单元，得到第一反向对齐图像，包括：将所述初始图像输入至所述特征提取层，得到所述初始图像对应的初始特征；将所述初始特征输入至所述信息萃取单元，得到萃取特征；将所述初始特征以及所述萃取特征输入至所述融合层，得到第一反向对齐图像。
7.根据权利要求6所述的方法，其特征在于，所述信息萃取单元包括第一信息萃取单元、第一记忆连接层、第二信息萃取单元以及第二记忆连接层；所述将所述初始特征输入至所述信息萃取单元，得到萃取特征，包括：将所述初始特征输入至所述第一信息萃取单元，得到第一萃取特征，并将所述第一萃取特征以及所述输出特征输入至所述第一记忆连接层得到中间特征；将所述中间特征输入至所述第二信息萃取单元，得到第二萃取特征，并将所述第二萃取特征以及所述中间特征输入至所述第二记忆连接层得到萃取特征。8.根据权利要求3所述的方法，其特征在于，所述增强模块包括增强单元以及第三判断单元，所述根据第一校正图像、第二校正图像以及基础图像对所述增强模块进行训练，包括：将所述第一校正图像以及所述第二校正图像输入至所述增强单元，得到第一增强图像和第二增强图像；将所述第一增强图像以及所述第二增强图像输入至所述第三判断单元，得到第三判断结果；根据所述第二增强图像以及所述基础图像，得到对应的相似度值；根据所述第三判断结果以及所述相似度值，得到所述增强模型的训练结果，其中所述训练结果包括训练完成和训练未完成任一项。9.一种图像处理方法，其特征在于，所述方法应用于所述权利要求1至8中任一所述的图像增强模型，包括：当满足图像采集条件时，采集图像，并加载图像增强模型；将所述采集的图像输入至所述图像增强模型中，根据所设定的图像域信息对所述采集的图像进行图像校正，并在完成校正时对校正后的图像进行图像增强处理，输出对应图像。10.一种图像增强模型的训练装置，其特征在于，包括：训练图像获取模块，用于获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；训练图像处理模块，用于基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；模型训练处理模块，用于根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；模型训练判断模块，用于返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，至所述待训练的图像增强模型收敛时，停止进程。11.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述存储器与所述处理器耦接，且所述处理器执行所述计算机程序时，实现如权利要求1至8任一项所述的图像增强模型的训练方法中的步骤和/或如权利要求9所述的图像处理方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至8任一项所述的图像增强模型的训练方法中的步骤和/或如权利要求9所述的图像处理方法。

技术总结
本发明公开了一种图像增强模型的训练方法、图像处理方法、装置、电子设备及存储介质，该方法包括：获取待训练的图像对，所述图像对包括初始图像及基础图像，所述基础图像的分辨率高于所述初始图像的分辨率；基于所述初始图像对所述基础图像进行预处理，得到与所述初始图像尺寸一致的训练图像；根据所述初始图像、所述基础图像以及所述训练图像，对待训练的图像增强模型进行学习训练；返回执行获取待训练的图像对的步骤，继续对所述图像增强模型进行训练，直到所述待训练的图像增强模型收敛时，停止进程。实现在进行图像增强时，提高低分辨率图像增强到高分辨率图像的准确性和便捷性。率图像增强到高分辨率图像的准确性和便捷性。率图像增强到高分辨率图像的准确性和便捷性。


技术研发人员：綦晨晓 霰心培
受保护的技术使用者：TCL科技集团股份有限公司
技术研发日：2022.01.27
技术公布日：2023/8/8