图像处理方法及装置与流程
未命名
07-20
阅读:98
评论:0

1.本说明书实施例涉及计算机技术领域,特别涉及图像处理方法。
背景技术:
2.图像修复即对图片进行处理、修改、恢复。通常是通过图片处理软件,对图片进行调色、抠图、合成、明暗修改、彩度和色度的修改、添加特殊效果、编辑、修复等等。与图片修复类似的概念是图像修复,对图像进行分析、加工、和处理,使其满足视觉、心理以及其他要求的技术。
3.基于深度学习的图像修复网络的效果往往严重依赖于训练数据对的质量,特别是如果想要网络能够处理真实的降质图片,那么就需要模拟出尽可能真实的降质数据,其中,降质是指降低质量。但是因为真实的降质非常的复杂和未知,所以采用之前常用的下采样、经典降质方程等都很难得到理想的降质数据,这严重限制了图像修复算法处理真实降质图片和视频的能力。由此,亟需一种更好的图片降质方案。
技术实现要素:
4.有鉴于此,本说明书实施例提供了图像处理方法。本说明书一个或者多个实施例同时涉及图像处理装置,一种图像修复方法,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
5.根据本说明书实施例的第一方面,提供了一种图像处理方法,包括:
6.确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
7.将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;
8.将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
9.根据本说明书实施例的第二方面,一种图像处理方法,应用于云侧设备,包括:
10.从端侧设备获取初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
11.将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史目标图像进行训练得到;
12.将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,并将所述目标图像发送至所述端侧设备,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
13.根据本说明书实施例的第三方面,提供了一种图像处理装置,包括:
14.图像确定模块,被配置为确定初始图像,并对所述初始图像进行质量处理,获得图
像质量小于所述初始图像的待处理图像;
15.图像加噪模块,被配置为将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;
16.图像去噪模块,被配置为将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
17.根据本说明书实施例的第四方面,提供了一种图像处理装置,应用于云侧设备,包括:
18.图像确定模块,被配置为从端侧设备获取初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
19.图像加噪模块,被配置为将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史目标图像进行训练得到;
20.图像去噪模块,被配置为将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,并将所述目标图像发送至所述端侧设备,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
21.根据本说明书实施例的第五方面,提供了一种图像修复方法,包括:
22.确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
23.将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;
24.将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像;
25.根据所述目标图像和所述初始图像生成图像训练样本集,并根据所述图像训练样本集,训练获得图像修复模型;
26.将待修复图像输入所述图像修复模型,得到修复图像,其中,所述待修复图像的图像质量低于所述修复图像。
27.根据本说明书实施例的第六方面,提供了一种计算设备,包括:
28.存储器和处理器;
29.所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
30.根据本说明书实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述图像处理方法的步骤。
31.根据本说明书实施例的第八方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图像处理方法的步骤。
32.本说明书实施例提供图像处理方法及装置,其中所述图像处理方法包括:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声
去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,由于通过扩散生成模型对扩散图像进行去噪,从而使得目标图像更加符合真实情况。
附图说明
33.图1是本说明书一个实施例提供的一种图像处理方法的场景示意图;
34.图2a是本说明书一个实施例提供的一种图像处理方法的流程图;
35.图2b是本说明书一个实施例提供的一种图像处理方法的处理示意图;
36.图3是本说明书一个实施例提供的另一种图像处理方法的流程图;
37.图4是本说明书一个实施例提供的一种图像处理装置的结构示意图;
38.图5是本说明书一个实施例提供的另一种图像处理装置的结构示意图;
39.图6是本说明书一个实施例提供的一种图像修复方法的流程图;
40.图7是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
41.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
42.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
43.应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
44.首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
45.图像修复:向图像修复模型输入一张降质的图片,利用算法来进行修复增强,使得图片更加的清晰锐利。
46.扩散模型:一种新型的生成模型,通过马尔可夫链的方式不断加噪,然后在通过一个反向的去噪过程来恢复得到样本图片。
47.马尔可夫链(markov chain,mc):是概率论和数理统计中具有马尔可夫性质(markov property)且存在于离散的指数集(index set)和状态空间(state space)内的随机过程(stochastic process)。
48.降质数据对的生成对于图像修复任务非常重要,这是因为基于深度学习的网络模型往往对训练中见过的数据类型处理效果较好。但真实世界中的数据降质非常复杂,即可
能存在多种降质方式的混合,同时降质的参数也是未知的,之前的方式虽然尝试了多种方式来扩大降质空间,但是模拟的降质数据与真实降质数据的分布依然存在很大的分布差距。
49.目前,一种图像降质方式是通过将噪声、模糊、下采样、压缩等降质方式进行随机打乱以增大降质空间的降质方法。另一种图像降质方式是通过多次运行经典降质方式的方式来生成降质数据的方法,主要是模拟真实降质图片在传播过程中多次降质的情况,上述的经典降质方式是。这两种方式都能极大的拓展降质空间,能够模拟更复杂的降质类型,但是并不能模拟与真实降质分布接近的数据,导致模拟的降质数据依然不够真实,这严重限制了采用这些降质方法的模型的在真实场景中应用的效果。
50.需要说明的是,本说明书实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
51.基于此,在本说明书中,提供了图像处理方法,本说明书同时涉及图像处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
52.参见图1,图1示出了根据本说明书一个实施例提供的一种图像处理方法的场景示意图。
53.在进行图像修复的过程中,是通过将待修复图像输入图像修复模型,得到修复图像。在进行图像修复之前,需要对图像修复模型进行训练,以使该图像修复模型能够更好地进行图像修复。在进行图像修复模型的训练之前,为了保证训练效果,需要对训练样本进行处理,提高训练样本的真实性,从而提高图像修复模型的修复效果。
54.具体的,可以基于处理设备102执行以下步骤,确定初始图像104,并对初始图像104进行质量处理,获得图像质量小于初始图像104的待处理图像106,将待处理图像106输入扩散生成模型的噪声添加网络层,得到扩散图像108,将扩散图像108输入扩散生成模型的噪声去除网络层,得到目标图像110,其中,目标图像110的图像质量小于初始图像104,且目标图像110的图像质量大于待处理图像106。经过以上步骤,得到的目标图像110更加符合真实的降质图像,降质图像和高清图像可以作为图像修复模型的训练样本,以此对图像修复模型进行训练,得到修复效果更好的图像修复模型。后续再使用图像修复模型对待修复的图像进行修复,得到更好的修复图像。
55.进一步的,图像修复模型的训练样本可以为一张高清图像和一张降质图像组成的数据对,高清图像的图像质量高于降质图像,如,图像质量可以基于分辨率、图像噪声和模糊程度等参数确定。处理设备可以为计算机、服务器等能够进行数据处理的设备。初始图像可以为高清图像。
56.本说明书实施例的图像处理方法通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,由于通过扩散生成模型对扩散图像进行去噪,从而使得目标图像更加符合真实情况。并且通过目标图像对图像修复模型进行训练,以使图像修复模型的修复效果更好。
57.参见图2a,图2a示出了根据本说明书一个实施例提供的一种图像处理方法的流程
图,具体包括以下步骤。
58.步骤202:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像。
59.其中,初始图像可以为高清图像,上述的高清图像可以通过图像的参数确定,图像的参数可以为分辨率、信噪比等参数,例如,高清图像由图像的分辨率确定,初始图像为分辨率1280像素乘以720像素以上的图像。质量处理可以为降低图像质量的处理,例如,对图像进行下采样处理。相应的,待处理图像即为经过质量处理后的图像。
60.实际应用中,参见图2b,图2b是本说明书一个实施例提供的一种图像处理方法的处理示意图,对于任意给定的一张高清图片y(属于高清空间y),如,该高清图片y的分辨率为1920像素乘以1080像素,可以首先采用一个常用的降质方式d将其简单降质得到降质图片x(属于手动降质空间x),这里得到的(x,y)降质数据对就是之前的方法,这里的空间是指数学领域的空间概念:是指那些具有特殊性质或附加结构的集合。数学中不同种类的空间是一些不同种类的集合,这些集合各自具有其特殊性质或附加结构。例如,三维欧几里得空间,其它空间是三维欧几里得空间在一些特殊性质或附加结构上的延伸、推广、发展与抽象。
61.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行质量处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。
62.本说明书实施例通过使用预设的降质方式对图像进行一次降质,使得能够极大的拓展降质空间,能够模拟更复杂的降质类型,为后续使用扩散模型进行降质的方法进行综合奠定了基础。
63.具体的,可以通过一些预先设置好的降质处理方式对图像进行降质,具体的实现方式如下所述。
64.在一种可实现的方式中,所述对所述初始图像进行质量处理,包括:
65.根据预设质量处理规则对所述初始图像进行质量处理。
66.其中,预设质量处理规则可以为预先设定的图像降质处理规则,例如,通过将噪声、模糊、下采样、压缩等降质方式对初始图像进行处理的规则。
67.在实际应用中,可以首先通过预设的降质方式对初始图像进行处理。还可以通过自定义的降质方式进行降质处理。自定义的降质方式可以为先对初始图像的类型进行限定,根据图像的类型以不同的降质方式进行处理。
68.例如,首先确定初始图像的类型,图像为文字图像的情况下,以第一降质方式对初始图像进行处理,第一降质方式可以为针对图像进行模糊处理,在图像为其他图像的情况下,以第二降质方式对初始图像进行处理,第二降质方式可以为针对图像进行下采样处理。
69.本说明书实施例通过预设质量处理规则对初始图像进行处理,可以根据初始图像第类别进行不同的降质处理,提高了个性化程度。
70.具体的,所述根据预设质量处理规则对所述初始图像进行质量处理,包括:
71.根据预设质量处理规则对所述初始图像进行下采样处理、模糊处理、加噪处理和/或压缩处理。
72.其中,预设质量处理规则可以为通过将噪声、模糊、下采样、压缩等降质方式对初
始图像进行处理的规则,也可以为通过自定义的方式对图像进行处理的质量处理规则。
73.在实际应用中,可以首先通过将噪声、模糊、下采样、压缩等降质方式对初始图像进行处理。
74.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。最终得到图像质量小于初始图像的待处理图像,待处理图像的分辨率不变,即为1280像素乘以720像素。
75.又例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行压缩处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。
76.需要说明的是,可以对初始图像使用一种降质的处理方式,也可以依次使用多种降质的处理方式的组合。
77.举例来说,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。
78.本说明书实施例通过多种或者一种降质方式对初始图像进行处理,得到经过经典降质方式之后的图像,能够极大地拓展降质空间。
79.步骤204:将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到。
80.其中,噪声添加网络层可以为对图像进行噪声添加的网络层。相应的,扩散图像可以为通过噪声添加网络层进行加噪生成的网络层。
81.在实际应用中,参见图2b,在通过步骤202得到降质数据x之后,降质数据x依然与真实降质空间r有很大的分布差距。为了得到尽可能真实的降质数据r,我们使用了扩散生成模型。具体的方式是先对x进行扩散q,也就是不断加噪声得到z,通过上图可知z有更大的概率是分布在rt空间,这里的xt和rt空间是x和r空间扩散过程的中间潜空间。
82.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像。
83.本说明书实施例将待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,通过加噪的方式对扩散图像进行降质,提高了降质的真实度。
84.具体的,噪声添加网络层用于对图像添加噪声,具体实现方式如下所述。
85.在一种可实现的方式中,所述将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,包括:
86.将所述待处理图像输入扩散生成模型的噪声添加网络层,在所述噪声添加网络层对所述待处理图像添加噪声,得到扩散图像。
87.其中,噪声是指图像噪声是指存在于图像数据中的不必要的或多余的干扰信息。
88.在实际应用中,扩散生成模型中的噪声添加网络层可以首先对图像添加噪声。
89.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,在噪声添加网络层中对待处理图片添加噪声,得到扩散图像。
90.本说明书实施例将待处理图像输入扩散生成模型的噪声添加网络层,在噪声添加网络层中对待处理图片添加噪声,得到扩散图像,通过加噪的方式对扩散图像进行降质,提高了降质的真实度。
91.具体的,在噪声添加网络层中对待处理图像添加噪声可以为依据目标表扩散时间步,对图像添加噪声,具体实现方式如下所述。
92.在一种可实现的方式中,所述在所述噪声添加网络层对所述待处理图像添加噪声,包括:
93.在所述噪声添加网络层确定所述待处理图像对应的目标扩散时间步,以及所述待处理图像在所述目标扩散时间步对应的噪声处理规则;
94.根据所述目标扩散时间步对应的噪声处理规则对所述待处理图像添加噪声。
95.其中,目标扩散时间步可以理解为在噪声添加网络层中,对待处理图像添加噪声的次数,例如,目标扩散时间步为3,那么在噪声添加网络层中,对待处理图像添加3次噪声。
96.在实际应用中,在噪声添加网络层中,按照目标扩散时间步,对待处理图像进行图像处理,多次对待处理图像添加噪声。
97.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,目标扩散时间步为3,那么在噪声添加网络层中,分别确定目标扩散时间步对应的降质
方式,依据目标扩散时间步对应的待处理图像添加3次噪声,在噪声添加网络层中对待处理图片添加噪声,得到扩散图像。
98.又例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,目标扩散时间步为3,那么在噪声添加网络层中,对待处理图像添加3次噪声,得到扩散图像。
99.本说明书实施例通过按照目标扩散时间步,对待处理图像进行图像处理,多次对待处理图像添加噪声,以提高降质的效果。
100.具体的,在使用扩散生成模型之前,需要对扩散生成模型进行训练,具体实现方式如下所述。
101.在一种可实现的方式中,在所述将所述待处理图像输入扩散生成模型的噪声添加网络层之前,还包括:
102.获取历史待处理图像、以及所述历史待处理图像对应的目标噪声;
103.将所述历史待处理图像、以及所述历史待处理图像对应的目标噪声,输入所述扩散生成模型的噪声添加网络层,得到样本扩散图像;
104.将所述样本扩散图像输入所述扩散生成模型的噪声去除网络层,获得预测噪声;
105.根据所述预测噪声以及所述目标噪声训练所述扩散生成模型。
106.其中,历史待处理图像可以为要进行训练的图像样本。
107.在实际应用中,在使用扩散生成模型之前,为了保证扩散生成模型的效果,还需要对扩散生成模型进行训练。
108.例如,获取历史待处理图像a,并获取要对历史待处理图像a添加的目标噪声,将历史待处理图像a以及目标噪声输入扩散生成模型的噪声添加网络层,得到样本扩散图像。并将样本扩散图像输入所述扩散生成模型的噪声去除网络层,获得预测噪声。根据预测噪声以及目标噪声的对比结果,调整扩散生成模型的模型参数,完成对扩散生成模型的训练。
109.本说明书实施例通过对扩散生成模型进行训练,提高了扩散生成模型生成的降质图像的效果。
110.步骤206:将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
111.其中,噪声去除网络层可以为扩散生成模型中对图像进行去噪的网络层。
112.在实际应用中,在扩散图像输入扩散生成模型的噪声去除网络层之后,即可得到相比于初始图像,图像质量低的目标图像。
113.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对
其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像。将扩散图像输入扩散生成模型的噪声去除网络层,得到目标图像。
114.本说明书实施例通过将扩散图像输入扩散生成模型的噪声去除网络层,得到目标图像,从而生成更加真实的降质图像。
115.在一种可实现的方式中,所述将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,包括:
116.将所述扩散图像输入所述扩散生成模型的噪声去除网络层,在所述噪声去除网络层对所述扩散图像去除噪声,得到目标图像。
117.在实际应用中,参见图2b,扩散生成模拟拥有强大的分布拟合能力,因此可以借助一个能够生成真实降质数据的扩散模型p,p能够成功的将z反向去噪得到r,这里得到的r就是位于真实降质空间r中。
118.例如,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,目标扩散时间步为3,那么在噪声添加网络层中,分别确定目标扩散时间步对应的降质方式,依据目标扩散时间步对应的待处理图像添加3次噪声,在噪声添加网络层中对待处理图片添加噪声,得到扩散图像。将扩散图像输入扩散生成模型的噪声去除网络层,在噪声添加网络层对所述扩散图像去除噪声,得到目标图像。
119.本说明书实施例通过将扩散图像输入扩散生成模型的噪声去除网络层,得到目标图像,从而生成更加真实的降质图像。
120.在一种可实现的方式中,在所述将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像之后,还包括:
121.根据所述目标图像和所述初始图像生成图像训练样本集,并根据所述图像训练样本集,训练获得图像修复模型。
122.其中,在得到目标图像之后,即可将目标图像和初始图像作为图像修复模型的训练集,其中,初始图像可以作为使用图像修复模型对目标图像进行修复得到的图像。
123.在实际应用中,经过扩散生成模型得到的目标图像更加符合真实的降质图像,降质图像和高清图像可以作为图像修复模型的训练样本,以此对图像修复模型进行训练,得到修复效果更好的图像修复模型。
124.例如,将降质图像输入图像修复模型,得到修复后的图像,基于修复后的图像与高清图像对图像修复模型进行训练得到训练后的图像修复模型。
125.本说明书实施例通过得到的目标图像生成图像修复模型的训练集,从而使得图像修复模型生成的修复图像更加真实。
126.在一种可实现的方式中,所述根据所述目标图像和所述初始图像生成图像训练样本集,包括:
127.确定所述目标图像的第一质量标签,根据所述第一质量标签和所述目标图像确定第一训练数据集;
128.确定所述初始图像的第二质量标签,根据所述第二质量标签和所述初始图像确定第二训练数据集;
129.根据所述第一训练数据集和所述第二训练数据集确定所述图像训练样本集。
130.其中,第一质量标签可以为高清图像标签,第二质量标签可以为降质图像标签。相应的,第一训练数据集可以为高清图片对应的数据集,第二训练数据集可以为降质图片对应的数据集。
131.在实际应用中,高清图片以及其对应的降质图片可以作为一对训练数据,用于训练图像修复模型。
132.例如,将高清图像打上高清标签,将降质图像打上降质标签。将高清图像及其对应的降质图像作为一对训练数据。
133.本说明书实施例通过为图像打标签,以生成图像修复模型的训练集,从而可以进行图像修复。
134.在一种可实现的方式中,在所述得到图像修复模型之后,还包括:
135.将待修复图像输入所述图像修复模型,得到修复图像,其中,所述待修复图像的图像质量低于所述修复图像。
136.其中,待修复图像可以为质量较低的图像,例如,模糊程度超过设定的模糊判定数值的方式,
137.在实际应用中,在对图像修复模型训练完成后,即可使用图像修复模型进行图像修复。
138.例如,将1280像素乘以720像素的图像输入图像修复模型,即可得到图像修复模型输出的修复图像,修复图像的分辨率可以为1920像素乘以1080像素。
139.本说明书实施例提供图像处理方法及装置,其中所述图像处理方法包括:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,由于通过扩散生成模型对扩散图像进行去噪,从而使得目标图像更加符合真实情况。
140.下述结合附图3,以本说明书提供的图像处理方法在云侧设备的应用为例,对所述图像处理方法进行进一步说明。其中,图3示出了本说明书一个实施例提供的另一种图像处理方法的流程图,具体包括以下步骤。
141.步骤302:从端侧设备获取初始图像,并对所述初始图像进行质量处理,获得图像
质量小于所述初始图像的待处理图像;
142.步骤304:将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史目标图像进行训练得到;
143.步骤306:将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,并将所述目标图像发送至所述端侧设备,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
144.具体的,云侧设备可以为云端的处理设备,如,云端服务器等设备。端侧设备可以为用户使用的一端,如手机端。
145.在一种可实现的方式中,用户通过手机向云端设备发送一张分辨率1280像素乘以720像素的图像,云端设备获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,目标扩散时间步为3,那么在噪声添加网络层中,分别确定目标扩散时间步对应的降质方式,依据目标扩散时间步对应的待处理图像添加3次噪声,在噪声添加网络层中对待处理图片添加噪声,得到扩散图像。将扩散图像输入扩散生成模型的噪声去除网络层,在噪声添加网络层对所述扩散图像去除噪声,得到目标图像。云端设备将目标图像发送至用户的手机,从而使用户可以利用该目标图像。
146.需要说明的是,还可以利用云端设备进行扩散生成模型或图像修复模型的训练操作,本说明书实施例不对此进行限定。
147.本说明书实施例的图像处理方法通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,由于通过扩散生成模型对扩散图像进行去噪,从而使得目标图像更加符合真实情况。并且通过目标图像对图像修复模型进行训练,以使图像修复模型的修复效果更好。并且利用了云侧设备的处理能力,提高了数据处理的效率。
148.与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图4示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图4所示,该装置包括:
149.图像确定模块402,被配置为确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
150.图像加噪模块404,被配置为将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;
151.图像去噪模块406,被配置为将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
152.在一种可实现的方式中,所述图像确定模块402,被配置为:
153.根据预设质量处理规则对所述初始图像进行质量处理。
154.在一种可实现的方式中,所述图像确定模块402,被配置为:
155.根据预设质量处理规则对所述初始图像进行下采样处理、模糊处理、加噪处理和/或压缩处理。
156.在一种可实现的方式中,所述图像加噪模块404,被配置为:
157.将所述待处理图像输入扩散生成模型的噪声添加网络层,在所述噪声添加网络层对所述待处理图像添加噪声,得到扩散图像。
158.在一种可实现的方式中,所述图像加噪模块404,被配置为:
159.在所述噪声添加网络层确定所述待处理图像对应的目标扩散时间步,以及所述待处理图像在所述目标扩散时间步对应的噪声处理规则;
160.根据所述目标扩散时间步对应的噪声处理规则对所述待处理图像添加噪声。
161.在一种可实现的方式中,所述图像去噪模块406,被配置为:
162.将所述扩散图像输入所述扩散生成模型的噪声去除网络层,在所述噪声去除网络层对所述扩散图像去除噪声,得到目标图像。
163.在一种可实现的方式中,所述图像确定模块402,被配置为:
164.获取历史待处理图像、以及所述历史待处理图像对应的目标噪声;
165.将所述历史待处理图像、以及所述历史待处理图像对应的目标噪声,输入所述扩散生成模型的噪声添加网络层,得到样本扩散图像;
166.将所述样本扩散图像输入所述扩散生成模型的噪声去除网络层,获得预测噪声;
167.根据所述预测噪声以及所述目标噪声训练所述扩散生成模型。
168.在一种可实现的方式中,所述图像确定模块402,被配置为:
169.根据所述目标图像和所述初始图像生成图像训练样本集,并根据所述图像训练样本集,训练获得图像修复模型。
170.在一种可实现的方式中,所述图像确定模块402,被配置为:
171.确定所述目标图像的第一质量标签,根据所述第一质量标签和所述目标图像确定第一训练数据集;
172.确定所述初始图像的第二质量标签,根据所述第二质量标签和所述初始图像确定第二训练数据集;
173.根据所述第一训练数据集和所述第二训练数据集确定所述图像训练样本集。
174.在一种可实现的方式中,所述图像确定模块402,被配置为:
175.将待修复图像输入所述图像修复模型,得到修复图像,其中,所述待修复图像的图像质量低于所述修复图像。
176.本说明书实施例提供图像处理方法及装置,其中所述图像处理装置包括:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,由于通过扩散生成模型对扩散图像进行去噪,从而使得目标图像更加符合真实情况。
177.上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
178.与上述方法实施例相对应,本说明书还提供了图像处理装置实施例,图5示出了本说明书一个实施例提供的一种图像处理装置的结构示意图。如图5所示,该装置应用于云侧设备,包括:
179.图像确定模块502,被配置为从端侧设备获取初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
180.图像加噪模块504,被配置为将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史目标图像进行训练得到;
181.图像去噪模块506,被配置为将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,并将所述目标图像发送至所述端侧设备,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。
182.本说明书实施例提供图像处理装置通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,由于通过扩散生成模型对扩散图像进行去噪,从而使得目标图像更加符合真实情况。
183.上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
184.进一步的,参见图6,图6.示出了根据本说明书一个实施例提供的一种图像修复方法,基于上述实施例中的图像处理方法,本说明书实施例还提供了一种图像修复方法,具体包括以下步骤:
185.步骤602:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;
186.步骤604:将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;
187.步骤606:将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像;
188.步骤608:根据所述目标图像和所述初始图像生成图像训练样本集,并根据所述图像训练样本集,训练获得图像修复模型;
189.步骤610:将待修复图像输入所述图像修复模型,得到修复图像,其中,所述待修复图像的图像质量低于所述修复图像。
190.在一种可实现的方式中,获取一张分辨率1280像素乘以720像素的图像,将该图像作为初始图像,将初始图像进行模糊处理,给定n行m列的图像各像素点的灰度值,具体的,可以用下述方法对其进行模糊化处理:初始图像的四周最外侧的像素点灰度值不变,中间各像素点新灰度值为该像素点及其上下左右相邻四个像素点原灰度值的平均,如果存在小数值那么可以舍入到最接近的整数。可以得到经过模糊处理的,图像质量小于初始图像的
待处理图像,再将待处理图像进行下采样处理,得到图像质量小于初始图像的待处理图像,待处理图像的分辨率为720
×
480,即720像素乘以480像素。将待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像。将扩散图像输入扩散生成模型的噪声去除网络层,在噪声添加网络层对所述扩散图像去除噪声,得到目标图像。
191.进一步的,可以将初始图像和目标图像作为一对图像修复模型的训练数据,将降质图像输入图像修复模型,得到修复后的图像,基于修复后的图像与初始图像对图像修复模型进行训练得到训练后的图像修复模型。具体实施方式如下所述。
192.例如,将降质图像输入图像修复模型,得到修复后的图像,根据图像修复模型的损失函数计算修复后的图像与初始图像的损失函数值,基于损失函数值对图像修复模型进行参数调整,以此训练图像修复模型。
193.进一步的,在进行图像修复模型的训练之后,即可使用图像修复模型对图片进行修复。
194.具体的,将1280像素乘以720像素的图像输入图像修复模型,即可得到图像修复模型输出的修复图像,修复图像的分辨率可以为1920像素乘以1080像素。
195.需要说明的是,图像修复模型可以使用任意一种图像修复模型,需要保证训练的数据对为通过图像处理方法得到的图像数据对即可。
196.本说明书实施例通过得到的目标图像生成图像修复模型的训练集,由于训练集中的降质图像更加趋近于真实的降质图像,进而使得训练后的图像修复模型能够拥有更加准确的图片修复能力,从而使得图像修复模型生成的修复图像更加真实,效果更佳。
197.图7示出了根据本说明书一个实施例提供的一种计算设备700的结构框图。该计算设备700的部件包括但不限于存储器710和处理器720。处理器720与存储器710通过总线730相连接,数据库750用于保存数据。
198.计算设备700还包括接入设备740,接入设备740使得计算设备700能够经由一个或多个网络760通信。这些网络的示例包括公用交换电话网(pstn,public switched telephone network)、局域网(lan,local area network)、广域网(wan,wide area network)、个域网(pan,personal area network)或诸如因特网的通信网络的组合。接入设备740可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic,network interface controller))中的一个或多个,诸如ieee802.11无线局域网(wlan,wireless local area network)无线接口、全球微波互联接入(wi-max,worldwide interoperability for microwave access)接口、以太网接口、通用串行总线(usb,universal serial bus)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc,near field communication)。
199.在本说明书的一个实施例中,计算设备700的上述部件以及图7中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图7所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
200.计算设备700可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移
动设备,或者诸如台式计算机或个人计算机(pc,personal computer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
201.其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
202.本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述图像处理方法的步骤。
203.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
204.本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述图像处理方法的步骤。
205.上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的图像处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
206.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
207.所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
208.需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
209.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
210.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解
释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
技术特征:
1.一种图像处理方法,包括:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。2.根据权利要求1所述的方法,所述对所述初始图像进行质量处理,包括:根据预设质量处理规则对所述初始图像进行质量处理。3.根据权利要求2所述的方法,所述根据预设质量处理规则对所述初始图像进行质量处理,包括:根据预设质量处理规则对所述初始图像进行下采样处理、模糊处理、加噪处理和/或压缩处理。4.根据权利要求1所述的方法,所述将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,包括:将所述待处理图像输入扩散生成模型的噪声添加网络层,在所述噪声添加网络层对所述待处理图像添加噪声,得到扩散图像。5.根据权利要求4所述的方法,所述在所述噪声添加网络层对所述待处理图像添加噪声,包括:在所述噪声添加网络层确定所述待处理图像对应的目标扩散时间步,以及所述待处理图像在所述目标扩散时间步对应的噪声处理规则;根据所述目标扩散时间步对应的噪声处理规则对所述待处理图像添加噪声。6.根据权利要求1所述的方法,所述将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,包括:将所述扩散图像输入所述扩散生成模型的噪声去除网络层,在所述噪声去除网络层对所述扩散图像去除噪声,得到目标图像。7.根据权利要求1所述的方法,在所述将所述待处理图像输入扩散生成模型的噪声添加网络层之前,还包括:获取历史待处理图像、以及所述历史待处理图像对应的目标噪声;将所述历史待处理图像、以及所述历史待处理图像对应的目标噪声,输入所述扩散生成模型的噪声添加网络层,得到样本扩散图像;将所述样本扩散图像输入所述扩散生成模型的噪声去除网络层,获得预测噪声;根据所述预测噪声以及所述目标噪声训练所述扩散生成模型。8.根据权利要求1所述的方法,在所述将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像之后,还包括:根据所述目标图像和所述初始图像生成图像训练样本集,并根据所述图像训练样本集,训练获得图像修复模型。9.根据权利要求8所述的方法,所述根据所述目标图像和所述初始图像生成图像训练
样本集,包括:确定所述目标图像的第一质量标签,根据所述第一质量标签和所述目标图像确定第一训练数据集;确定所述初始图像的第二质量标签,根据所述第二质量标签和所述初始图像确定第二训练数据集;根据所述第一训练数据集和所述第二训练数据集确定所述图像训练样本集。10.一种图像修复方法,包括:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像;根据所述目标图像和所述初始图像生成图像训练样本集,并根据所述图像训练样本集,训练获得图像修复模型;将待修复图像输入所述图像修复模型,得到修复图像,其中,所述待修复图像的图像质量低于所述修复图像。11.一种图像处理方法,应用于云侧设备,包括:从端侧设备获取初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史目标图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,并将所述目标图像发送至所述端侧设备,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。12.一种图像处理装置,包括:图像确定模块,被配置为确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;图像加噪模块,被配置为将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;图像去噪模块,被配置为将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。13.一种计算设备,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10任意一项所述图像处理方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至10任意一项所述图像处理方法的步骤。
技术总结
本说明书实施例提供图像处理方法及装置,其中所述图像处理方法包括:确定初始图像,并对所述初始图像进行质量处理,获得图像质量小于所述初始图像的待处理图像;将所述待处理图像输入扩散生成模型的噪声添加网络层,得到扩散图像,其中,所述扩散生成模型根据历史待处理图像进行训练得到;将所述扩散图像输入所述扩散生成模型的噪声去除网络层,得到目标图像,其中,所述目标图像的图像质量小于所述初始图像,且所述目标图像的图像质量大于所述待处理图像。通过对初始图像进行质量处理,并将质量处理的图像输入训练好的扩散生成模型,进行加噪以及反向去噪,得到已处理的质量降低的目标图像,从而使得目标图像更加符合真实情况。况。况。
技术研发人员:杨涛 任沛然 谢宣松
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:2023.02.08
技术公布日:2023/7/19
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种基于宫颈细胞的多类别分类与置信判别方法与流程 下一篇:一种电加热式氨制氢反应器