基于CNN-Transformer混合建模及双边交互的低照度图像增强方法

基于cnn-transformer混合建模及双边交互的低照度图像增强方法
技术领域
1.本发明涉及图像和视频处理以及计算机视觉技术领域，特别是基于cnn-transformer混合建模及双边交互的低照度图像增强方法。


背景技术：

2.随着科技的不断进步和相机技术的迅猛发展，低照度图像正以惊人的速度在日常生活和各个行业中广泛普及。在夜晚、室内或其他光线较暗的场景下，我们面临着越来越多需要在光线不足的环境中捕捉照片或录制视频的需求。然而，由于环境中可用光线的不足，相机传感器无法准确捕捉细节并生成清晰的图像，导致图像变得模糊、噪点过多、色彩失真等问题。因此，低照度图像增强成为一个备受关注的重要课题。低照度图像增强的目标是通过特定的技术和算法来改善在低光条件下拍摄的图像质量，主要包括硬件改进和软件算法两个方面。在硬件方面，相机制造商通过提升传感器的灵敏度、增加像素大小和改进镜头质量等方式来增强低光条件下的成像能力。这些硬件改进使得相机能够更好地捕捉光线，并提供更高质量的图像素材。而软件算法则在后期处理中发挥关键作用，通过降噪算法减少噪点、增强对比度算法提高图像可见度以及图像复原算法恢复丢失的细节来实现图像的增强。
3.低照度图像增强技术在各个领域都具有广泛的应用前景。首先，在安防监控领域，该技术可以提高夜间监控图像的质量，帮助警方或安保人员更好地识别和分析潜在威胁。在过去，由于光线不足，监控摄像头往往无法清晰地捕捉到重要细节，从而影响了安全监控的效果。借助低照度图像增强技术，监控图像可以得到明显改善，细微的动作和行为可以更加清晰地呈现，有效提升安全防范能力。其次，在医学影像领域，低照度图像增强技术也具有巨大的潜力。医学影像对于准确诊断和治疗至关重要，而在某些情况下，如术中操作或特定病例的检查，光线可能会受到限制。低照度图像增强技术提供了一种可行的解决方案，使医生能够观察微小病变、组织结构等重要细节，从而实现更准确的诊断和治疗方案。例如，在肿瘤手术中，低照度图像增强技术可以帮助医生更清晰地辨别癌组织与健康组织的边界，降低手术风险，并提高手术的成功率和患者的生存机会。此外，在自动驾驶领域，低照度图像增强对车辆感知和决策具有至关重要的作用。自动驾驶技术正在成为未来交通的重要组成部分，而在光线条件较差的情况下，车辆感知系统需要可靠的图像数据来准确识别道路、障碍物和其他交通参与者。低照度图像增强技术可以帮助提升车辆感知系统的性能，使其能够更好地适应不同光照条件下的驾驶环境。通过降低图像中的噪点、增强细节，并改善图像的对比度，这项技术能够提高驾驶决策的准确性，从而增加行驶安全性并降低事故风险。
4.近期，深度学习模型在低照度图像增强领域取得了令人瞩目的进展，其能够从大规模数据集中学习到强大且可推广的先验知识，因此成为该领域的主导方法。目前，已有两种常见的卷积神经网络架构设计被广泛采用：编码解码器和高分辨率(单尺度)特征处理。
编码解码器模型通过逐步映射图像到低分辨率表示，并逆向映射恢复到原始分辨率。然而，这种方法会导致精细空间细节的损失，使后续阶段的恢复变得困难。另一方面，高分辨率(单尺度)网络避免了降采样操作，但其接受域有限且编码上下文信息效率较低。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于cnn-transformer混合建模及双边交互的低照度图像增强方法，该方法结合局部感知和全局感知增强，能够充分考虑图像的局部细节和全局结构，使得增强后的图像更加自然、细致；通过局部-全局和全局-局部交互，局部感知模块可以向全局感知模块提供细节信息，帮助其更好地理解图像的上下文关系，全局感知模块可以向局部感知模块提供整体亮度信息，帮助其进行细节增强，这样的双边交互策略在增强低照度图像时不仅增强了重建细节，还有效促进了全局一致性的表示。
6.为实现上述目的，本发明采用如下技术方案：基于cnn-transformer混合建模及双边交互的低照度图像增强方法，包括如下步骤：
7.步骤a、对输入图像进行预处理，包括图像配对、裁剪和数据增强处理，以得到训练数据集；
8.步骤b、设计一个基于cnn-transformer的低照度图像交互增强网络，基于cnn-transformer的低照度图像交互增强网络由输入映射模块、l个交互增强块和输出映射模块组成；
9.步骤c、设计用于训练步骤b中所设计网络的损失函数；
10.步骤d、使用训练数据集训练基于cnn-transformer的低照度图像交互增强网络；
11.步骤e、将待测图像输入到该网络中，利用训练好的网络生成正常照度图像。
12.在一较佳的实施例中，所述步骤a具体实现步骤如下：
13.步骤a1、将正常照度图像与低照度图像进行配对，其中正常照度图像作为标签图像；
14.步骤a2、将每一张大小为h
×w×
3的低照度图像随机裁切为p
×
p
×
3大小的图像，同时对其对应的正常照度图像采用相同的随机裁切方式，以确保它们具有相同的大小和位置，其中，h、w是低照度图像与正常照度图像的高度和宽度，p是裁切出图像的高度和宽度；
15.步骤a3、对于每个训练配对图像，随机应用以下8种数据增强方式之一：保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度、旋转270度后垂直翻转。
16.在一较佳的实施例中，所述步骤b具体实现步骤如下：
17.步骤b1、设计输入映射模块，核心包含两个卷积单元，每个单元由一个卷积核大小为3
×
3、步长为1的卷积层、一个relu激活函数和一个双线性下采样层依次构成，实现对低照度输入图像的特征提取，提取的特征表示为其中h和w分别为低照度图像的高和宽，d表示为总的下采样倍率，c表示为提取特征的通道数；
18.步骤b2、设计交互增强块，由局部感知增强模块、全局感知增强模块、局部至全局的交互操作以及全局至局部的交互融合模块构成，通过混合建模及双边交互的方式对低照度图像进行增强；对于步骤b1提取的特征x
in
，经过l个交互增强块得到增强后的特征表示为
可用公式描述为：
[0019][0020]
其中，ieb表示交互增强块，表示交互增强块的堆叠处理；
[0021]
步骤b3、设计输出映射模块，核心包含两个卷积单元，每个单元由一个双线性上采样层、一个卷积核大小为3
×
3、步长为1的卷积层和一个relu激活函数依次构成；对于步骤b1提取的特征x
in
，通过残差连接的方式与步骤b2的输出特征x
out
相加作为该模块的输入，重建为3通道图像
[0022]
步骤b4、对于步骤b3重建的特征与输入特征i
in
通过残差连接的方式相加，得到增强后的3通道图像，表示为
[0023]
在一较佳的实施例中，所述步骤b2具体实现步骤如下：
[0024]
步骤b21、对于步骤b1输入映射模块提取的特征x
in
，在送入交互增强块前，先拷贝两份分别作为局部感知增强模块和全局感知增强模块的输入；这里将第l个交互增强块中局部感知增强模块的输入表示为全局感知增强模块的输入表示为
[0025]
步骤b22、设计局部感知增强模块，主要由通道上下文建模、通道变换、空间上下文建模以及空间变换等单元组成；对于输入特征d
l-1
，由通道上下文建模和通道变换得到通道修正因子z
l
；由空间上下文建模以及空间变换得到空间修正因子s
l
；然后，分别将通道修正因子z
l
和空间修正因子s
l
作用于输入特征d
l-1
，以获得局部感知增强模块的输出特征d
l
；该过程用公式表示为：
[0026][0027]
其中，表示按位相乘，表示按位相加；
[0028]
步骤b23、设计局部至全局的交互操作，对于局部感知增强模块的输出d
l
，将其作为搜索域特征输入全局感知增强模块；
[0029]
步骤b24、设计全局感知增强模块，主要由空间交叉注意力层、归一化层、通道自注意力层以及前馈网络组成；对于输入特征g
l-1
，将其作为查询域特征，连同步骤b23中的搜索域特征d
l
一起先依次送入空间交叉注意力和归一化层，得到的特征再与g
l-1
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到全局感知增强模块的输出特征g
l
；该过程用公式表示为：
[0030][0031][0032][0033]
其中，ln(
·
)表示层归一化操作，smca表示空间交叉注意力，cmsa表示通道自注意力，ffn表示前馈网络；
[0034]
步骤b25、设计全局至局部的交互融合模块，该模块复用全局感知增强模块结构；
对于局部感知增强模块的输出特征d
l
以及全局感知增强模块的输出模块g
l
，分别将两者作为查询域和搜索域，先依次送入空间交叉注意力和归一化层，得到的特征再与d
l
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到最终输出特征x
l
，即为第l个交互增强块的输出特征；该过程用公式表示为：
[0035][0036][0037][0038]
在一较佳的实施例中，所述步骤b22具体实现步骤如下：
[0039]
步骤b221、对于输入特征先经过通道上下文建模单元处理；具体地，首先通过全局平均池化对特征进行压缩，得到通道修正因子接着，将该修正因子与历史的l-1个通道修正因子进行拼接，得到总的修正因子表示1个通道修正因子进行拼接，得到总的修正因子表示可以用公式表示为：
[0040][0041][0042]
其中，avgpool(
·
)表示全局平均池化，[
·
；
·
]表示拼接操作；
[0043]
步骤b222、对于步骤b221得到总的修正因子由通道变换单元继续处理；其依次经过一个1
×
1卷积层、relu激活函数、1
×
1卷积层以及sigmoid函数，得到当前通道修正因子该过程用公式表示为：
[0044][0045]
其中，cov1(
·
)表示1
×
1卷积层，relu(
·
)表示relu激活函数，sigmoid(
·
)表示sigmoid函数；
[0046]
步骤b223、对于输入特征还由空间上下文建模单元处理；具体地，对于d
l-1
，首先分别由沿着通道维度的全局平均池化和全局最大池化操作，得到大小为的全局平均特征图和全局最大特征图，并将两个特征图沿通道维度拼接；该过程用公式表示为：
[0047][0048]
其中，avgpool(
·
)和maxpool(
·
)分别表示全局平均池化和全局最大池化操作，表示经过拼接后的特征图；
[0049]
步骤b224、对于步骤b223的特征图继续由空间变换单元处理；其依次经过一个1
×
1的组卷积层、3
×
3的卷积层以及tanh函数，得到空间修正因子用公式表示为：
[0050][0051]
其中，groupconv(
·
)表示1
×
1的组卷积层，conv3(
·
)表示3
×
3的卷积层，tanh(
·
)表示tanh函数；
[0052]
步骤b225、对于输入特征先与步骤b222得到的通道修正因子先与步骤b222得到的通道修正因子相乘，接着与步骤b224得到的空间修正因子相加，得到局部感知增强模块的输出d
l
。
[0053]
在一较佳的实施例中，所述步骤b24具体实现步骤如下：
[0054]
步骤b241、设计空间交叉注意力层，对于输入的特征g
l-1
和d
l
，先重塑为c
×
n大小的特征，其中然后采用三组1
×
1的卷积将g
l-1
映射为“查询”矩阵q
sg
，d
l
映射为“键”矩阵k
sd
和“值”矩阵v
sd
；进一步地，将三个矩阵各自分割成h个头，每个头的大小为n，通道数因此得到第i个头的“查询”矩阵“键”矩阵和“值”矩阵其中i∈[1,h]；
[0055]
步骤b242、对k
sd,i
沿着空间维度计算softmax，以得到空间维度的权重对q
sg,i
沿着通道维度计算softmax，以得到通道维度的权重然后对ck
sd,i
进行转置操作，与v
sd,i
进行矩阵乘法，以得到大小为n
×
n空间全局信息，接着与sq
sg,i
相乘以聚合通道权重；最后，将所有注意力头聚合的特征进行拼接，用一个1
×
1的卷积进行线性变换，得到空间交叉注意力层增强的特征该过程用公式表示为：
[0056]
ck
sd,i
＝softmax1(k
sd,i
)
[0057]
sq
sg,i
＝softmax2(q
sg,i
)
[0058][0059][0060]
其中，softmax1(
·
)表示沿着空间维度计算的softmax函数，softmax2(
·
)表示沿着通道维度计算的softmax函数，[
·
；
·
]表示拼接操作，wo表示1
×
1卷积的可学习参数矩阵；
[0061]
步骤b243、对步骤b242中空间交叉注意力层增强的特征将其转置后送入归一化层，得到的特征再与g
l-1
残差连接，得到的特征作为下阶段的输入；用公式表示为：
[0062][0063]
其中，transpose(
·
)表示将c
×
n大小的特征转置为n
×
c的特征；
[0064]
步骤b244、设计通道自注意力层，对于输入的特征采用三组1
×
1的卷积将其映射为“查询”矩阵q
cg
、“键”矩阵k
cg
和“值”矩阵v
cg
；将三个矩阵各自分割成h个头，每个头的大小为n，通道数因此得到第i个头的“查询”矩阵矩阵“键”矩阵和“值”矩阵其中i∈[1,h]；
[0065]
步骤b245、对k
cg,i
沿着通道维度计算softmax，以得到通道维度的权重
对q
cg,i
沿着空间维度计算softmax，以得到空间维度的权重然后对ck
cg,i
进行转置操作，与v
sd,i
进行矩阵乘法，以得到大小为通道全局信息，接着与sq
cg,i
相乘以聚合空间权重；最后，将所有注意力头聚合的特征进行拼接，用一个1
×
1的卷积进行线性变换，得到通道自注意力层增强的特征该过程用公式表示为：
[0066]
ck
cg,i
＝softmax2(k
cg,i
)
[0067]
sq
cg,i
＝softmax1(q
sg,i
)
[0068][0069][0070]
其中，softmax2(
·
)表示沿着通道维度计算的softmax函数，softmax1(
·
)表示沿着空间维度计算的softmax函数，[
·
；
·
]表示拼接操作，w
p
表示1
×
1卷积的可学习参数矩阵；
[0071]
步骤b246、对步骤b245中通道交叉注意力层增强的特征将其送入归一化层，得到的特征再与残差连接，得到特征
[0072]
步骤b247、将特征送入前馈网络，得到全局感知增强模块的输出特征g
l
。
[0073]
在一较佳的实施例中，所述步骤b247具体实现步骤如下：
[0074]
步骤b2471、对于通道自注意力增强的特征先通过一层1
×
1卷积将通道扩充为两倍，再使用3
×
3的深度可分离卷积进行特征映射；接着，将映射后的特征沿着通道维度划分为两部分，分别表示为和该过程表示为：
[0075][0076]
其中，conv1(
·
)表示1
×
1卷积层，dwconv3(
·
)表示3
×
3深度可分离卷积层，chunk(
·
)表示沿着通道维度将特征分成两部分；
[0077]
步骤b2472、分别对和这两个特征应用relu激活函数，再乘上对方的原特征，以实现信息交互，然后采用一个1
×
1卷积进行特征变换，得到全局感知增强模块的输出特征g
l
；该过程可表示为：
[0078][0079]
其中，relu(
·
)表示relu激活函数，w
t
表示1
×
1卷积的可学习参数。
[0080]
在一较佳的实施例中，所述步骤c具体实现方式为：
[0081]
步骤c、设计损失函数，由l1损失结构损失函数和vgg感知损失组成，网络的总目标损失函数表示如下：
[0082][0083][0084]
[0085][0086]
其中，λ1、λ2和λ3是平衡参数，i
en
为增强的图像，i
gt
为正常照度的图像；μ
en
和μ
gt
为两个图像的均值，σ
en
和σ
gt
表示两个图像的方差，c1和c2为两个常数值以防止分母为0；||
·
||2表示计算均方误差，vgg
3,8,15
(
·
)表示使用在imagenet数据集上预训练的vgg-16分类模型提取第3层、第8层和第15层的特征。
[0087]
在一较佳的实施例中，所述步骤d具体实现步骤如下：
[0088]
步骤d1、将步骤a得到的训练数据集随机划分为若干个批次，每个批次包含n对图像；
[0089]
步骤d2、输入低照度图像i
in
，经过步骤b中的交互增强网络后得到增强图像i
en
，使用步骤c中的公式计算损失
[0090]
步骤d3、根据损失使用反向传播方法计算网络中参数的梯度，并利用adam优化方法更新网络参数；
[0091]
步骤d4、以批次为单位重复执行步骤d1至步骤d3，得到交互增强网络模型。
[0092]
在一较佳的实施例中，所述步骤e具体实现步骤如下：
[0093]
步骤e1、将输入为h
×w×
3的低照度图像i
in
重塑为p
×
p
×
3大小的图像，其中h、w分别为低照度图像的高度和宽度，p是重塑图像的高度和宽度；
[0094]
步骤e2、将重塑的图像送入步骤b中的交互增强网络，得到p
×
p
×
3大小的增强图像；步骤e3、将p
×
p
×
3大小的增强图像重塑为h
×w×
3的增强图像i
en
。
[0095]
与现有技术相比，本发明具有以下有益效果：首先，本发明在输入映射模块中对特征进行编码及下采样，能在提取出多尺度特征的同时有效降低后续计算的复杂度。其次，不同于传统transformer基于线性层和无重叠嵌入层实现块编码，本发明采用重叠嵌入的方式，能同时保留位置和相邻特征信息。再者，本发明设计了交互增强网络，包括局部感知模块和全局感知模块，这些模块利用基于卷积的空间和通道修正增强了图像的细节和纹理，利用空间交叉注意力和通道自注意力更好地理解图像的整体内容和语义信息。此外，本发明设计了交互操作，促进全局一致性表示。最后，本发明采用输出映射模块将增强后的特征映射转换为最终的图像，能够更好地保留图像的细节信息，提高图像的质量和亮度。不同于其他先近的基于transformer的低照度图像增强方法，本发明不仅结合了局部感知和全局感知的优势，而且使用交互操作有效提升了transformer结构的学习效率，可以在计算资源和存储空间受限的情况下实现高效的低照度图像增强，降低了实现成本。
附图说明
[0096]
图1是本发明优选实施例中方法的实现流程图。
[0097]
图2是本发明优选实施例中交互增强网络的结构图。
[0098]
图3是本发明优选实施例中交互增强块结构图。
[0099]
图4是本发明优选实施例中局部感知模块的结构图。
具体实施方式
[0100]
下面结合附图及实施例对本发明做进一步说明。
[0101]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0102]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0103]
本发明提供一种基于cnn-transformer混合建模及双边交互的低照度图像增强方法，如图1-4所示，包括以下步骤：
[0104]
步骤a、对输入图像进行预处理，包括图像配对、裁剪和数据增强处理，以得到训练数据集；
[0105]
步骤b、设计一个基于cnn-transformer的低照度图像交互增强网络，该网络由输入映射模块、l个交互增强块和输出映射模块组成；
[0106]
步骤c、设计用于训练步骤b中所设计网络的损失函数；
[0107]
步骤d、使用训练数据集训练基于cnn-transformer的低照度图像交互增强网络；
[0108]
步骤e、将待测图像输入到该网络中，利用训练好的网络生成正常照度图像。
[0109]
进一步地，所述步骤a包括以下步骤：
[0110]
步骤a1、将正常照度图像与低照度图像进行配对，其中正常照度图像作为标签图像；
[0111]
步骤a2、将每一张大小为h
×w×
3的低照度图像随机裁切为p
×
p
×
3大小的图像，同时对其对应的正常照度图像采用相同的随机裁切方式，以确保它们具有相同的大小和位置，其中，h、w是低照度图像与正常照度图像的高度和宽度，p是裁切出图像的高度和宽度；
[0112]
步骤a3、对于每个训练配对图像，随机应用以下8种数据增强方式之一：保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度、旋转270度后垂直翻转。
[0113]
进一步地，所述步骤b包括以下步骤：
[0114]
步骤b1、设计输入映射模块，核心包含两个卷积单元，每个单元由一个卷积核大小为3
×
3、步长为1的卷积层、一个relu激活函数和一个双线性下采样层依次构成，实现对低照度输入图像的特征提取，提取的特征表示为其中h和w分别为低照度图像的高和宽，d表示为总的下采样倍率，c表示为提取特征的通道数；
[0115]
步骤b2、设计交互增强块，由局部感知增强模块、全局感知增强模块、局部至全局的交互操作以及全局至局部的交互融合模块构成，通过混合建模及双边交互的方式对低照度图像进行增强。对于步骤b1提取的特征x
in
，经过l个交互增强块得到增强后的特征表示为可用公式描述为：
[0116][0117]
其中，ieb表示交互增强块，表示交互增强块的堆叠处理；
[0118]
步骤b3、设计输出映射模块，核心包含两个卷积单元，每个单元由一个双线性上采样层、一个卷积核大小为3
×
3、步长为1的卷积层和一个relu激活函数依次构成。对于步骤
b1提取的特征x
in
，通过残差连接的方式与步骤b2的输出特征x
out
相加作为该模块的输入，重建为3通道图像
[0119]
步骤b4、对于步骤b3重建的特征与输入特征i
in
通过残差连接的方式相加，得到增强后的3通道图像，表示为
[0120]
进一步地，所述步骤b2包括以下步骤：
[0121]
步骤b21、对于步骤b1输入映射模块提取的特征x
in
，在送入交互增强块前，先拷贝两份分别作为局部感知增强模块和全局感知增强模块的输入。这里将第l个交互增强块中局部感知增强模块的输入表示为全局感知增强模块的输入表示为
[0122]
步骤b22、设计局部感知增强模块，主要由通道上下文建模、通道变换、空间上下文建模以及空间变换等单元组成。对于输入特征d
l-1
，由通道上下文建模和通道变换得到通道修正因子z
l
；由空间上下文建模以及空间变换得到空间修正因子s
l
。然后，分别将通道修正因子z
l
和空间修正因子s
l
作用于输入特征d
l-1
，以获得局部感知增强模块的输出特征d
l
。该过程用公式表示为：
[0123][0124]
其中，表示按位相乘，表示按位相加；
[0125]
步骤b23、设计局部至全局的交互操作，对于局部感知增强模块的输出d
l
，将其作为搜索域特征输入全局感知增强模块；
[0126]
步骤b24、设计全局感知增强模块，主要由空间交叉注意力层、归一化层、通道自注意力层以及前馈网络组成。对于输入特征g
l-1
，将其作为查询域特征，连同步骤b23中的搜索域特征d
l
一起先依次送入空间交叉注意力和归一化层，得到的特征再与g
l-1
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到全局感知增强模块的输出特征g
l
。该过程用公式表示为：
[0127][0128][0129][0130]
其中，ln(
·
)表示层归一化操作，smca表示空间交叉注意力，cmsa表示通道自注意力，ffn表示前馈网络；
[0131]
步骤b25、设计全局至局部的交互融合模块，该模块复用全局感知增强模块结构。对于局部感知增强模块的输出特征d
l
以及全局感知增强模块的输出模块g
l
，分别将两者作为查询域和搜索域，先依次送入空间交叉注意力和归一化层，得到的特征再与d
l
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到最终输出特征x
l
，即为第l个交互增强块的输出特征。该过程用公式表示为：
[0132][0133][0134][0135]
进一步地，所述步骤b22包括以下步骤：
[0136]
步骤b221、对于输入特征先经过通道上下文建模单元处理。具体地，首先通过全局平均池化对特征进行压缩，得到通道修正因子接着，将该修正因子与历史的l-1个通道修正因子进行拼接，得到总的修正因子表示1个通道修正因子进行拼接，得到总的修正因子表示可以用公式表示为：
[0137][0138][0139]
其中，avgpool(
·
)表示全局平均池化，[
·
；
·
]表示拼接操作；
[0140]
步骤b222、对于步骤b221得到总的修正因子由通道变换单元继续处理。其依次经过一个1
×
1卷积层、relu激活函数、1
×
1卷积层以及sigmoid函数，得到当前通道修正因子该过程用公式表示为：
[0141][0142]
其中，conv1(
·
)表示1
×
1卷积层，relu(
·
)表示relu激活函数，sigmoid(
·
)表示sigmoid函数；
[0143]
步骤b223、对于输入特征还由空间上下文建模单元处理。具体地，对于d
l-1
，首先分别由沿着通道维度的全局平均池化和全局最大池化操作，得到大小为的全局平均特征图和全局最大特征图，并将两个特征图沿通道维度拼接。该过程用公式表示为：
[0144][0145]
其中，avgpool(
·
)和maxpool(
·
)分别表示全局平均池化和全局最大池化操作，表示经过拼接后的特征图；
[0146]
步骤b224、对于步骤b223的特征图继续由空间变换单元处理。其依次经过一个1
×
1的组卷积层、3
×
3的卷积层以及tanh函数，得到空间修正因子用公式表示为：
[0147][0148]
其中，groupconv(
·
)表示1
×
1的组卷积层，conv3(
·
)表示3
×
3的卷积层，tanh(
·
)表示tanh函数；
[0149]
步骤b225、对于输入特征先与步骤b222得到的通道修正因子先与步骤b222得到的通道修正因子相乘，接着与步骤b224得到的空间修正因子相加，得到局部感知增强模
块的输出d
l
。
[0150]
进一步地，所述步骤b24包括以下步骤：
[0151]
步骤b241、设计空间交叉注意力层，对于输入的特征g
l-1
和d
l
，先重塑为c
×
n大小的特征，其中然后采用三组1
×
1的卷积将g
l-1
映射为“查询”矩阵q
sg
，d
l
映射为“键”矩阵k
sd
和“值”矩阵v
sd
。进一步地，将三个矩阵各自分割成h个头，每个头的大小为n，通道数因此可以得到第i个头的“查询”矩阵“键”矩阵和“值”矩阵其中i∈[1,h]；
[0152]
步骤b242、对k
sd,i
沿着空间维度计算softmax，以得到空间维度的权重对q
sg,i
沿着通道维度计算softmax，以得到通道维度的权重然后对ck
sd,i
进行转置操作，与v
sd,i
进行矩阵乘法，以得到大小为n
×
n空间全局信息，接着与sq
sg,i
相乘以聚合通道权重。最后，将所有注意力头聚合的特征进行拼接，用一个1
×
1的卷积进行线性变换，得到空间交叉注意力层增强的特征该过程用公式表示为：
[0153]
ck
sd,i
＝softmax1(k
sd,i
)
[0154]
sq
sg,i
＝softmax2(q
sg,i
)
[0155][0156][0157]
其中，softmax1(
·
)表示沿着空间维度计算的softmax函数，softmax2(
·
)表示沿着通道维度计算的softmax函数，[
·
；
·
]表示拼接操作，wo表示1
×
1卷积的可学习参数矩阵；
[0158]
步骤b243、对步骤b242中空间交叉注意力层增强的特征将其转置后送入归一化层，得到的特征再与g
l-1
残差连接，得到的特征作为下阶段的输入。用公式表示为：
[0159][0160]
其中，transpose(
·
)表示将c
×
n大小的特征转置为n
×
c的特征；
[0161]
步骤b244、设计通道自注意力层，对于输入的特征采用三组1
×
1的卷积将其映射为“查询”矩阵q
cg
、“键”矩阵k
cg
和“值”矩阵v
cg
。进一步地，将三个矩阵各自分割成h个头，每个头的大小为n，通道数因此可以得到第i个头的“查询”矩阵“键”矩阵和“值”矩阵其中i∈[1,h]；
[0162]
步骤b245、对k
cg,i
沿着通道维度计算softmax，以得到通道维度的权重对q
cg,i
沿着空间维度计算softmax，以得到空间维度的权重然后对ck
cg,i
进行转置操作，与v
sd,i
进行矩阵乘法，以得到大小为通道全局信息，接着与sq
cg,i
相乘以聚合空间权重。最后，将所有注意力头聚合的特征进行拼接，用一个1
×
1的卷积进行线性变换，得到通道自注意力层增强的特征该过程用公式表示为：
[0163]
ck
cg,u
＝softmax2(k
cg,u
)
[0164]
sq
cg,i
＝softmax1(q
sg,i
)
[0165][0166][0167]
其中，softmax2(
·
)表示沿着通道维度计算的softmax函数，softmax1(
·
)表示沿着空间维度计算的softmax函数，[
·
；
·
]表示拼接操作，w
p
表示1
×
1卷积的可学习参数矩阵；
[0168]
步骤b246、对步骤b245中通道交叉注意力层增强的特征将其送入归一化层，得到的特征再与残差连接，得到特征
[0169]
步骤b247、将特征送入前馈网络，得到全局感知增强模块的输出特征g
l
。
[0170]
进一步地，所述步骤b247实现如下：
[0171]
步骤b2471、对于通道自注意力增强的特征先通过一层1
×
1卷积将通道扩充为两倍，再使用3
×
3的深度可分离卷积进行特征映射。接着，将映射后的特征沿着通道维度划分为两部分，分别表示为和该过程可表示为：
[0172][0173]
其中，conv1(
·
)表示1
×
1卷积层，dwconv3(
·
)表示3
×
3深度可分离卷积层，chunk(
·
)表示沿着通道维度将特征分成两部分；
[0174]
步骤b2472、分别对和这两个特征应用relu激活函数，再乘上对方的原特征，以实现信息交互，然后采用一个1
×
1卷积进行特征变换，得到全局感知增强模块的输出特征g
l
。该过程可表示为：
[0175][0176]
其中，relu(
·
)表示relu激活函数，w
t
表示1
×
1卷积的可学习参数。
[0177]
进一步地，所述步骤c实现如下：
[0178]
步骤c、设计损失函数，由l1损失结构损失函数和vgg感知损失组成，网络的总目标损失函数表示如下：
[0179][0180][0181][0182][0183]
其中，λ1、λ2和λ3是平衡参数，i
en
为增强的图像，i
gt
为正常照度的图像。μ
en
和μ
gt
为两个图像的均值，σ
en
和σ
gt
表示两个图像的方差，c1和c2为两个常数值以防止分母为0。||
·
||2表示计算均方误差，v
gg3,8,15
(
·
)表示使用在imagenet数据集上预训练的vgg-16分类模型提取第3层、第8层和第15层的特征。
[0184]
进一步地，所述步骤d实现如下：
[0185]
步骤d1、将步骤a得到的训练数据集随机划分为若干个批次，每个批次包含n对图像；
[0186]
步骤d2、输入低照度图像i
in
，经过步骤b中的交互增强网络后得到增强图像i
en
，使用步骤c中的公式计算损失
[0187]
步骤d3、根据损失使用反向传播方法计算网络中参数的梯度，并利用adam优化方法更新网络参数；
[0188]
步骤d4、以批次为单位重复执行步骤d1至步骤d3，得到交互增强网络模型。
[0189]
进一步地，所述步骤e实现如下：
[0190]
步骤e1、将输入为h
×w×
3的低照度图像i
in
重塑为p
×
p
×
3大小的图像，其中h、w分别为低照度图像的高度和宽度，p是重塑图像的高度和宽度；
[0191]
步骤e2、将重塑的图像送入步骤b中的交互增强网络，得到p
×
p
×
3大小的增强图像；
[0192]
步骤e3、将p
×
p
×
3大小的增强图像重塑为h
×w×
3的增强图像i
en
。
[0193]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。
[0194]
本发明旨在进一步解决低照度图像增强方法中采用纯卷积神经网络结构导致的增强图像细节丢失和全局一致性较差等问题。为此，设计了一种基于cnn-transformer混合建模及双边交互的低照度图像增强方法。首先设计输入映射模块对特征进行编码；然后设计基于cnn-transformer的低照度图像交互增强网络，包括设计局部感知增强模块，并通过通道和空间修正单元来修复退化特征，设计全局感知增强模块在全局范围内感知图像的空间特征和通道特征，更好地抑制伪影，设计交互操作以促进全局一致性表示，获得更准确的图像增强效果；最后设计输出映射模块将增强后的特征映射转换为最终的图像。这种基于cnn-transformer混合建模及双边交互的低照度图像增强方法结合了卷积神经网络和transformer模型的优点：transformer模型具有强大的注意力机制，能够捕捉全局上下文信息，并且适用于长距离依赖建模，通过引入transformer组件，可以增强网络的感知能力，使其能够更好地利用全局信息进行推理；同时，保留了卷积操作的优势，可以有效地处理局部特征，并具有较高的计算效率。因此，cnn-transformer混合建模的方法能更好解决细节丢失和全局一致性的问题。

技术特征：
1.基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，包括如下步骤：步骤a、对输入图像进行预处理，包括图像配对、裁剪和数据增强处理，以得到训练数据集；步骤b、设计一个基于cnn-transformer的低照度图像交互增强网络，基于cnn-transformer的低照度图像交互增强网络由输入映射模块、l个交互增强块和输出映射模块组成；步骤c、设计用于训练步骤b中所设计网络的损失函数；步骤d、使用训练数据集训练基于cnn-transformer的低照度图像交互增强网络；步骤e、将待测图像输入到该网络中，利用训练好的网络生成正常照度图像。2.根据权利要求1所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤a具体实现步骤如下：步骤a1、将正常照度图像与低照度图像进行配对，其中正常照度图像作为标签图像；步骤a2、将每一张大小为h
×
w
×
3的低照度图像随机裁切为p
×
p
×
3大小的图像，同时对其对应的正常照度图像采用相同的随机裁切方式，以确保它们具有相同的大小和位置，其中，h、w是低照度图像与正常照度图像的高度和宽度，p是裁切出图像的高度和宽度；步骤a3、对于每个训练配对图像，随机应用以下8种数据增强方式之一：保持原始图像、垂直翻转、旋转90度、旋转90度后垂直翻转、旋转180度、旋转180度后垂直翻转、旋转270度、旋转270度后垂直翻转。3.根据权利要求1所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤b具体实现步骤如下：步骤b1、设计输入映射模块，核心包含两个卷积单元，每个单元由一个卷积核大小为3
×
3、步长为1的卷积层、一个relu激活函数和一个双线性下采样层依次构成，实现对低照度输入图像的特征提取，提取的特征表示为其中h和w分别为低照度图像的高和宽，d表示为总的下采样倍率，c表示为提取特征的通道数；步骤b2、设计交互增强块，由局部感知增强模块、全局感知增强模块、局部至全局的交互操作以及全局至局部的交互融合模块构成，通过混合建模及双边交互的方式对低照度图像进行增强；对于步骤b1提取的特征x
in
，经过l个交互增强块得到增强后的特征表示为可用公式描述为：其中，ieb表示交互增强块，表示交互增强块的堆叠处理；步骤b3、设计输出映射模块，核心包含两个卷积单元，每个单元由一个双线性上采样层、一个卷积核大小为3
×
3、步长为1的卷积层和一个relu激活函数依次构成；对于步骤b1提取的特征x
in
，通过残差连接的方式与步骤b2的输出特征x
out
相加作为该模块的输入，重建为3通道图像步骤b4、对于步骤b3重建的特征与输入特征i
in
通过残差连接的方式相加，得到增强
后的3通道图像，表示为4.根据权利要求3所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤b2具体实现步骤如下：步骤b21、对于步骤b1输入映射模块提取的特征x
in
，在送入交互增强块前，先拷贝两份分别作为局部感知增强模块和全局感知增强模块的输入；这里将第i个交互增强块中局部感知增强模块的输入表示为全局感知增强模块的输入表示为步骤b22、设计局部感知增强模块，主要由通道上下文建模、通道变换、空间上下文建模以及空间变换等单元组成；对于输入特征d
l-1
，由通道上下文建模和通道变换得到通道修正因子z
l
；由空间上下文建模以及空间变换得到空间修正因子s
l
；然后，分别将通道修正因子z
l
和空间修正因子s
l
作用于输入特征d
l-1
，以获得局部感知增强模块的输出特征d
l
；该过程用公式表示为：其中，表示按位相乘，表示按位相加；步骤b23、设计局部至全局的交互操作，对于局部感知增强模块的输出d
l
，将其作为搜索域特征输入全局感知增强模块；步骤b24、设计全局感知增强模块，主要由空间交叉注意力层、归一化层、通道自注意力层以及前馈网络组成；对于输入特征g
l-1
，将其作为查询域特征，连同步骤b23中的搜索域特征d
l
一起先依次送入空间交叉注意力和归一化层，得到的特征再与g
l-1
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到全局感知增强模块的输出特征g
l
；该过程用公式表示为：用公式表示为：用公式表示为：其中，ln(
·
)表示层归一化操作，smca表示空间交叉注意力，cmsa表示通道自注意力，ffn表示前馈网络；步骤b25、设计全局至局部的交互融合模块，该模块复用全局感知增强模块结构；对于局部感知增强模块的输出特征d
l
以及全局感知增强模块的输出模块g
l
，分别将两者作为查询域和搜索域，先依次送入空间交叉注意力和归一化层，得到的特征再与d
l
残差连接，输出中间特征然后，再将依次送入通道自注意力层和归一化层，得到的特征再与残差连接，输出中间特征最后，再将送入前馈网络，得到最终输出特征x
l
，即为第l个交互增强块的输出特征；该过程用公式表示为：块的输出特征；该过程用公式表示为：
5.根据权利要求4所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤b22具体实现步骤如下：步骤b221、对于输入特征先经过通道上下文建模单元处理；具体地，首先通过全局平均池化对特征进行压缩，得到通道修正因子接着，将该修正因子与历史的l-1个通道修正因子进行拼接，得到总的修正因子表示1个通道修正因子进行拼接，得到总的修正因子表示可以用公式表示为：式表示为：其中，avgpool(
·
)表示全局平均池化，[
·
；
·
]表示拼接操作；步骤b222、对于步骤b221得到总的修正因子由通道变换单元继续处理；其依次经过一个1
×
1卷积层、relu激活函数、1
×
1卷积层以及sigmoid函数，得到当前通道修正因子该过程用公式表示为：其中，conv1(
·
)表示1
×
1卷积层，relu(
·
)表示relu激活函数，sigmoid(
·
)表示sigmoid函数；步骤b223、对于输入特征还由空间上下文建模单元处理；具体地，对于d
l-1
，首先分别由沿着通道维度的全局平均池化和全局最大池化操作，得到大小为的全局平均特征图和全局最大特征图，并将两个特征图沿通道维度拼接；该过程用公式表示为：其中，avgpool(
·
)和maxpool(
·
)分别表示全局平均池化和全局最大池化操作，表示经过拼接后的特征图；步骤b224、对于步骤b223的特征图继续由空间变换单元处理；其依次经过一个1
×
1的组卷积层、3
×
3的卷积层以及tanh函数，得到空间修正因子用公式表示为：其中，groupconv(
·
)表示1
×
1的组卷积层，conv3(
·
)表示3
×
3的卷积层，tanh(
·
)表示tanh函数；步骤b225、对于输入特征先与步骤b222得到的通道修正因子先与步骤b222得到的通道修正因子相乘，接着与步骤b224得到的空间修正因子相加，得到局部感知增强模块的输出d
l
。6.根据权利要求4所述的基于cnn-transformer混合建模及双边交互的低照度图像增
强方法，其特征在于，所述步骤b24具体实现步骤如下：步骤b241、设计空间交叉注意力层，对于输入的特征g
l-1
和d
l
，先重塑为c
×
n大小的特征，其中然后采用三组1
×
1的卷积将g
l-1
映射为“查询”矩阵q
sg
，d
l
映射为“键”矩阵k
sd
和“值”矩阵v
sd
；进一步地，将三个矩阵各自分割成h个头，每个头的大小为n，通道数因此得到第i个头的“查询”矩阵“键”矩阵和“值”矩阵其中i∈[1,h]；步骤b242、对k
sd,i
沿着空间维度计算softmax，以得到空间维度的权重对q
sg,i
沿着通道维度计算softmax，以得到通道维度的权重然后对ck
sd,i
进行转置操作，与v
sd,i
进行矩阵乘法，以得到大小为n
×
n空间全局信息，接着与sq
sg,i
相乘以聚合通道权重；最后，将所有注意力头聚合的特征进行拼接，用一个1
×
1的卷积进行线性变换，得到空间交叉注意力层增强的特征该过程用公式表示为：ck，
d
，
i
＝softmax1(k
sd，i
)sq
sg，i
＝softmax2(q
sg，i
))其中，softmax1(
·
)表示沿着空间维度计算的softmax函数，softmax2(
·
)表示沿着通道维度计算的softmax函数，[
·
；
·
]表示拼接操作，w
o
表示1
×
1卷积的可学习参数矩阵；步骤b243、对步骤b242中空间交叉注意力层增强的特征将其转置后送入归一化层，得到的特征再与g
l-1
残差连接，得到的特征作为下阶段的输入；用公式表示为：其中，transpose(
·
)表示将c
×
n大小的特征转置为n
×
c的特征；步骤b244、设计通道自注意力层，对于输入的特征采用三组1
×
1的卷积将其映射为“查询”矩阵q
cg
、“键”矩阵k
cg
和“值”矩阵v
cg
；将三个矩阵各自分割成h个头，每个头的大小为n，通道数因此得到第i个头的“查询”矩阵矩阵“键”矩阵和“值”矩阵其中i∈[1,h]；步骤b245、对k
cg,i
沿着通道维度计算softmax，以得到通道维度的权重对q
cg,i
沿着空间维度计算softmax，以得到空间维度的权重然后对ck
cg,i
进行转置操作，与v
sd,i
进行矩阵乘法，以得到大小为通道全局信息，接着与sq
cg,i
相乘以聚合空间权重；最后，将所有注意力头聚合的特征进行拼接，用一个1
×
1的卷积进行线性变换，得到通道自注意力层增强的特征该过程用公式表示为：
ck
cg，i
＝softmax2(k
cg，i
)sq
cg，i
＝softmax1(q
sg，i
))其中，softmax2(
·
)表示沿着通道维度计算的softmax函数，softmax1(
·
)表示沿着空间维度计算的softmax函数，[
·
；
·
]表示拼接操作，w
p
表示1
×
1卷积的可学习参数矩阵；步骤b246、对步骤b245中通道交叉注意力层增强的特征将其送入归一化层，得到的特征再与残差连接，得到特征步骤b247、将特征送入前馈网络，得到全局感知增强模块的输出特征g
l
。7.根据权利要求6所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤b247具体实现步骤如下：步骤b2471、对于通道自注意力增强的特征先通过一层1
×
1卷积将通道扩充为两倍，再使用3
×
3的深度可分离卷积进行特征映射；接着，将映射后的特征沿着通道维度划分为两部分，分别表示为和该过程表示为：其中，conv1(
·
)表示1
×
1卷积层，dwconv3(
·
)表示3
×
3深度可分离卷积层，chunk(
·
)表示沿着通道维度将特征分成两部分；步骤b2472、分别对和这两个特征应用relu激活函数，再乘上对方的原特征，以实现信息交互，然后采用一个1
×
1卷积进行特征变换，得到全局感知增强模块的输出特征g
l
；该过程可表示为：其中，relu(
·
)表示relu激活函数，w
t
表示1
×
1卷积的可学习参数。8.根据权利要求1所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤c具体实现方式为：步骤c、设计损失函数，由l1损失l
l1
、结构损失函数l
structure
和vgg感知损失l
perceptual
组成，网络的总目标损失函数l
total
表示如下：表示如下：表示如下：l
perceptual
＝||(vgg
3，8，15
(i
en
)-vgg
3，8，15
(i
gt
))||2其中，λ1、λ2和λ3是平衡参数，i
en
为增强的图像，i
gt
为正常照度的图像；μ
en
和μ
gt
为两个图像的均值，σ
en
和σ
gt
表示两个图像的方差，c1和c2为两个常数值以防止分母为0；||
·
||2表示计算均方误差，vgg
3,8,15
(
·
)表示使用在imagenet数据集上预训练的vgg-16分类模型提取
第3层、第8层和第15层的特征。9.根据权利要求1所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤d具体实现步骤如下：步骤d1、将步骤a得到的训练数据集随机划分为若干个批次，每个批次包含n对图像；步骤d2、输入低照度图像i
in
，经过步骤b中的交互增强网络后得到增强图像i
en
，使用步骤c中的公式计算损失l
total
；步骤d3、根据损失使用反向传播方法计算网络中参数的梯度，并利用adam优化方法更新网络参数；步骤d4、以批次为单位重复执行步骤d1至步骤d3，得到交互增强网络模型。10.根据权利要求1所述的基于cnn-transformer混合建模及双边交互的低照度图像增强方法，其特征在于，所述步骤e具体实现步骤如下：步骤e1、将输入为h
×
w
×
3的低照度图像i
in
重塑为p
×
p
×
3大小的图像，其中h、w分别为低照度图像的高度和宽度，p是重塑图像的高度和宽度；步骤e2、将重塑的图像送入步骤b中的交互增强网络，得到p
×
p
×
3大小的增强图像；步骤e3、将p
×
p
×
3大小的增强图像重塑为h
×
w
×
3的增强图像i
en
。

技术总结
本发明涉及一种基于CNN-Transformer混合建模及双边交互的低照度图像增强方法。包括：对输入图像进行预处理，包括图像配对、裁剪和数据增强处理，以得到训练数据集；设计一个基于CNN-Transformer的低照度图像交互增强网络，该网络由输入映射模块、L个交互增强块和输出映射模块组成；设计用于训练步骤B中所设计网络的损失函数；使用训练数据集训练基于CNN-Transformer的低照度图像交互增强网络；将待测图像输入到该网络中，利用训练好的网络生成正常照度图像。本发明利用CNN-Transformer混合建模方法，通过双边交互促进局部感知和全局感知模块之间相互促进、互补，能够在低照度条件下更好地增强图像的细节和亮度、改善全局一致性问题，进一步提高图像增强的效果。进一步提高图像增强的效果。进一步提高图像增强的效果。


技术研发人员：牛玉贞 许瑞 李悦洲 林晓锋
受保护的技术使用者：福州大学
技术研发日：2023.07.13
技术公布日：2023/9/9