结合CNN-Transformer的多级网络深度学习鲁棒盲水印算法及系统

结合cnn-transformer的多级网络深度学习鲁棒盲水印算法及系统
技术领域
1.本发明涉及信息安全技术领域，具体为结合cnn-transformer的多级网络深度学习鲁棒盲水印算法及系统。


背景技术：

2.图像水印的目标是同时实现鲁棒性、不可感知性和高容量，用于版权保护和信息跟踪等应用。在过去几年里，水印用于图像处理和作为数字信号传输的数字领域。近年来，“数字图像水印”在跨媒体通信等应用中受到越来越多的关注，数字图像水印针对的是数字攻击，包括噪声添加、滤波、几何变形和jpeg压缩。数字图像水印能够抵御多种类型的攻击，在保持水印图像高视觉质量的同时，可靠地检索现实条件下嵌入的信息。近年来，受深度学习在许多任务中的成功启发，一些基于深度神经网络(dnn)的端到端水印架构被提出。而目前已有的基于深度学习的图像水印方法存在鲁棒性和不可感知性不足的缺点，取证效果不佳，保密效果不强，需要进行更多的探索和研究。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明提供了结合cnn-transformer的多级网络深度学习鲁棒盲水印算法及系统，解决了目前已有的基于深度学习的图像水印方法存在鲁棒性和不可感知性不足的缺点，取证效果不佳，保密效果不强，需要进行更多的探索和研究的问题。
5.(二)技术方案
6.为实现以上目的，本发明通过以下技术方案予以实现：
7.第一方面，提供了一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，包括：
8.输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；
9.将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；
10.对经过对抗训练的含密图片添加噪声的噪声层；
11.从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。
12.优选的，所述通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像，具体公式如下：
[0013][0014]
其中，为编码器损失函数，ico为载体图像，ien为含密图像，mse为均方差，en为嵌入水印，m为秘密消息。
[0015]
优选的，所述将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练，具体公式如下：
[0016][0017]
其中，为辨别器损失函数，di为辨别图像。
[0018]
优选的，所述从含密图像中获取所嵌入的水印信息通过解码器实现，其中解码器具体为结合cnn-transformer的多级解码器，所述解码器采用验证分支、cnn分支和transformer分支三分支构架；验证分支用于学习残差函数，cnn分支使用带有注意力机制的se block对特征进行分级分配，针对通道维度的数据进行学习，获取特征图每个通道的重要程度；transformer分支中首先经过卷积层进行浅层特征提取，之后将特征送入大量transformer块中进行全局特征整理。
[0019]
优选的，所述最小化秘密消息与和水印信息的差异，具体公式如下：
[0020][0021]
其中，为解码器损失函数，m
′
为提取出的信息，i
～
∈{ien,ino}，ino为带噪声的含密图像。
[0022]
优选的，所述通过感知损失函数提高含密图像的视觉质量，具体公式如下：
[0023][0024]
其中，为感知损失函数，x是载体图像，x0是编码图像，和分别是载体图像和编码图像在vgg网络第l层的特征，w
l
是余弦距离，h
l
和w
l
是当前层特征图的高和宽；
[0025][0026]
其中，为模型总体的目标损失函数，λ
en
、λ
de
、λ
di
和λ
l
是权重因子。
[0027]
第二方面，提供了一种结合cnn-transformer的多级网络深度学习鲁棒盲水印系统，所述系统包括：
[0028]
编码模块，用于输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；
[0029]
辨别模块，用于将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；
[0030]
噪声添加模块，用于对经过对抗训练的含密图片添加噪声的噪声层；
[0031]
解码模块，用于从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。
[0032]
优选的，所述解码模块中包含解码器，所述解码器采用验证分支、cnn分支和transformer分支三分支构架；
[0033]
所述验证分支用于学习残差函数；
[0034]
所述cnn分支使用带有注意力机制的se block对特征进行分级分配，针对通道维度的数据进行学习，获取特征图每个通道的重要程度；
[0035]
所述transformer分支用于进行全局特征整理。
[0036]
第三方面，提供了一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行所述的方法中的任一方法。
[0037]
第四方面，提供了一种计算设备，包括：
[0038]
一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
[0039]
(三)有益效果
[0040]
本发明结合cnn-transformer的多级网络深度学习鲁棒盲水印算法及系统，通过构造一个三分支的解码器网络：验证分支、cnn分支和transformer分支。将cnn和transformer块相结合增强了对图像丰富特征的提取，使其拥有更加强大解码能力。利用水印算法，可实现对水印信息的高效提取。该方法相比于单分支的cnn架构的水印算法，可以更完整的提取出水印信息，具有更高的鲁棒性。且引入的lpips感知损失能够提升不可感知性，实现水印更安全的嵌入和提取。
附图说明
[0041]
图1为本发明算法流程示意图；
[0042]
图2为本发明实施例中mbrs水印网络框架图；
[0043]
图3为本发明实施例中结合cnn-transformer的多级解码器网络架构。
具体实施方式
[0044]
下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
实施例
[0046]
如图1所示，本发明实施例提供一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，包括一下步骤：
[0047]
步骤s1、输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；
[0048]
步骤s2、将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；
[0049]
步骤s3、对经过对抗训练的含密图片添加噪声的噪声层；
[0050]
步骤s4、从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。
[0051]
请参阅图2-3，具体的：
[0052]
结合cnn-transformer的多级网络深度学习鲁棒盲水印算法的框架见图3.本专利提出的结合cnn-transformer的多级网络深度学习鲁棒盲水印算法的整体网络架构。在mbrs中，作者设计了一个以cnn结合注意力机制为主要架构的解码器网络，在提取阶段更好
地学习图像特征，但是，该网络更关注于图像局部特征，无法获取图像的整体属性，比如颜色特征、纹理特征和形状特征等，从而导致图像中遭到破坏的水印信息不容易被完整提取，不利于对含密图像的保护。而本发明设计的一个结合cnn-transformer的多级网络解码器，可以兼顾全局和局部的特征，拥有更加强大解码能力，提升其含密图像的鲁棒性。不仅如此，为了让网络更好地评估生成的水印图像与真实图像之间的差异，本发明引入感知损失，解决传统像素级损失函数中缺乏语义信息的问题，提升其含密图像的不可感知性。如此来获得更好的鲁棒性和不可感知性。在进行图像水印的提取的过程中，我们主要针对模型的解码器作出改进。编码器的transformer分支网络由三部分组成：特征提取层、transf ormer层和dual up-sample层。特征提取层实现为简单的卷积，将输入图像转换为特征映射，获得图像的浅层特征。transformer层中使用12个swin tran sformer block(stb)来代替传统的卷积层，丰富了前一操作中提取的特征。dual up-sample层通过4个dual up-sample模块进行上采样来恢复图像尺寸，其中每个dual up-sample模块都由bilinear和pixelshuffle两种上采样方式构成。编码器的卷积分支网络主要由2层卷积层和3个se block组成。在两个分支内进行处理后，得到的两个特征图再和原噪声图像重新拼接后再送入下采样层再进行最终的特征融合，重塑后得到提取的秘密信息。
[0053]
本专利设计的深度学习鲁棒盲水印算法架构主要分为四个部分：将密文图像嵌入载体图像的编码器(encoder)、进行对抗训练的辨别器(discrimination)、对含密图像添加噪声的噪声层(noise layer)、结合cnn-transformer的多级解码器网络架构(decoder)。下面将详细介绍四个部分的具体架构。
[0054]
步骤s1中，对于编码器，我们已然采用mbrs方案中的模型。输入载体图像ico和秘密消息m，经过编码器网络后输出得到一个编码图像ien之间。编码器训练的目标是通过损失函数式1更新参数θe来最小化ico和ien之间的距离：
[0055][0056]
其中ico为载体图像，ien为含密图像，mse为均方差，en为嵌入水印，m为x消息。
[0057]
步骤s2中，该网络是用于判别一张图像是否被嵌入水印，在增强图像不可感知性中有着至关重要的作用。首先，编码器会试图欺骗辨别器，使对抗网络无法在原图像和含密图像之间做出正确的判断。相反，给定原图像和含密图像，辨别器会像二元分类器一样努力做出判断。从而通过在编码器和辨别器的不断对抗中改善被嵌入水印的图像的视觉质量。辨别器网络接收ico和ien，得到的结果是0或者1，使用损失函数式2来更新θe来调节ien的视觉质量：
[0058][0059]
其中di为辨别图像。
[0060]
步骤s3中，噪声层负责对解码器输出的噪声层进行攻击模拟，我们的噪声层将模拟各种噪声，以提升我们模型在使用中的鲁棒性。模拟的过程为高斯噪声、jpeg压缩、裁剪、模糊。
[0061]
步骤s4中，解码器是用于从含密图像中获取所嵌入的水印信息，在本发明设计的网络中，采用了三分支架构——验证分支、cnn分支和transformer分支。
[0062]
验证分支：验证分支类似于resnet的残差结构，在网络中添加跨层连接，使得网络
可以学习到残差函数，从而更好地拟合数据。
[0063]
cnn分支：cnn分支使用带有注意力机制的se block对特征进行更好进行分级分配，针对通道维度的数据进行学习，获取到特征图每个通道的重要程度，注意力cnn块的详细结构如图3中所示。se block主要包含两部分，分别是squeeze和excitation。图中的fsq是squeeze操作，对输入的特征图进行全局池化，得到一个channel数为1的特征图。图中的fex对应excitation操作，是对squeeze操作的输出进行两个全连接层的计算，得到一个channel数为原始输入channel数的权重向量。最后经过fscale将原始输入与权重向量相乘，得到加强后的特征图。
[0064]
transformer分支：本发明将cnn主干网络与transformer相结合形成混合结构，先经过特征提取模块的卷积层进行初步的特征提取，目的是为了能够保留一些卷积的归纳偏置性质，随后将特征送入transformer块中进行全局特征整理，为了提高性能，本发明采用swin transformer作为主要的transformer块，swin transformer使用了一个用移位窗口计算的分层transformer。通过将自关注计算限制在非重叠的局部窗口，同时还允许跨窗口连接，转移窗口方案带来了更高的效率。不仅如此，这种层次结构具有在不同尺度上建模的灵活性，并且具有与图像大小相关的线性计算复杂性。最后，本发明使用一个名为dual up-sample的新模块，它包括两个现有的up-sample方法(即bilinear和pixelshuffle)来防止水印图像的棋盘伪影，swin transformer和dual up-sample的具体架构如图3所示。
[0065]
在经过三分支网络后，我们将所得的特征图进行融合，再将其送入到下采样网络中，最后经过重塑操作获得最终解码出的秘密消息m'。解码器的训练的目标是通过损失函数式3更新参数θ
de
来最小化m和m'之间的差异：
[0066][0067]
其中m'为提取出的信息，i～∈{ien,ino}，ino为带噪声的含密图像。
[0068]
通常我们使用欧氏距离来度量图片之间的距离，但有时距离相近的图片，在人眼看来并不那么相像。目前广泛使用的感知指标(psnr、ssim等)都是很简单的函数，无法很好地解释人类的感知。相比之下，基于学习的感知相似度指标能够度量不同纹理之间的相似程度，更符合人类对纹理图像的视觉感知。所以，本发明引入了lpips感知损失来提高水印图像的视觉质量。lpips使用了来自vgg网络的5个conv层，在通道维度上计算余弦距离，并在网络的空间维度和层上取平均，感知损失和lpips的计算过程如式4所示。模型总体的目标损失函数可以表示为
[0069][0070]
其中x是载体图像，x0是编码图像，和分别是载体图像和编码图像在vgg网络第l层的特征，w
l
是余弦距离，h
l
和w
l
是当前层特征图的高和宽。
[0071][0072]
其中λ
en
、λ
de
、λ
di
和λ
l
是权重因子。
[0073]
卷积神经网络(convolutional neural networks,cnn)在计算机视觉任务中取得了巨大的成功，在数据隐藏方面也得到了应用，基于cnn的水印方案，如hidden[1]、
stegastamp[2]和lfm[3]，在抵抗噪声攻击方面表现出了优异的性能，尽管嵌入能力还有待提高。基于dnn的架构由编码器、噪声层和解码器三个主要部分组成。编码器尝试将水印嵌入到主图像中，噪声层旨在为水印图像添加失真，解码器从水印图像和失真图像中提取水印。在现有的研究中，研究者们往往偏向于改进编码器，而忽略了解码器的更新。例如，在mbrs[4]中提出一种秘密消息处理器来提高编码器的性能，使得预处理过后的特征更容易被网络理解，能够有效提高网络性能，但是，mbrs的解码器仅仅采用浅层的设计，忽视了解码器对模型的贡献。在解码器中，使用cnn拥有良好的处理二维特征信息的能力，但是，cnn通常容易受到噪声干扰，即输入的微小变化会导致训练良好的cnn模型的输出发生巨大变化。不仅如此，cnn无法在网络的初级层获得图像的整体信息，从而更好的学习图像的二维概率分布。
[0074]
transformer[5]模型在自然语言处理(nlp)领域取得了成功，特别是在图像分类方面也具有与cnn相媲美的性能。传统的卷积神经网络在处理序列数据时，往往只能捕捉局部信息，而transformer模型中的自注意力机制可以计算全局的依赖关系，从而更好地捕捉全局信息。但是，直接使用transformer进行视觉任务存在一个问题:transformer不擅长解决稠密的预测任务，例如实例分割、图像水印的嵌入和提取，这是一个像素级的任务。
[0075]
对于人类来说，我们可以做到快速的评估编码图像和载体图像是否相似，但是其潜在的过程是非常复杂的。纹理图像包含了纹理颜色、纹理细节等丰富的图像信息。在基于深度学习的水印领域中，人们使用感知相似性来度量不同纹理之间的相似程度，研究人类对纹理图像的视觉感知。目前广泛使用的感知指标(psnr、ssim等)都是简单的函数，无法解释人类感知的许多细微差别。我们真正想要的是一种可以衡量编码图像和载体图像相似程度的“感知距离”，通过缩小这种距离使得人眼无法分辨两者的差别。于是，我们引入感知损失lpips[6]来更好的评价水印图片的视觉质量，利用预训练好的的神经网络从载体图像中的提取出的图像表征对整体网络进行优化，从而提升其不可见性。
[0076]
具体实施时：
[0077]
首先将w*h大小的彩色图像输入到编码器网络中，通过3
×
3convbnrelu层对其进行放大，然后用4个seblock提取相同形状的图像特征，得到c维的w*h大小的特征图，在本文的编码器和秘密消息处理器中均应用了大量的seblock，目的就是能够让其提取更重要的特征。
[0078]
然后将秘密信息m送入信息处理器中进行处理。首先将长度为l的秘密信息m重塑为1*w*h大小的特征向量，再经过单个3
×
3卷积层进行放大，然后进行批量归一化和relu激活，最后通过n个转置卷积层(n为能够使秘密信息放大到w*h的上上采样层数)和4个seblock提取“信息图像”的特征，转置卷积操作能够将图片放大到w*h大小，不仅能够方便连接，同时也能够放大图像特征，得到c维w*h大小的特征图。
[0079]
随后将载体图像和秘密信息的两个特征图进行简单的拼接，得到2c*w*h的特征图，再通过1个3
×
3的convbnrelu层进行映射，得到c*w*h的特征图。最后，我们将得到的特征图和载体图像拼接成一个维度为(c+3)*w*h的新张量，并将其输入到1
×
1卷积层中，得到最终3*w*h大小的含水印图像。
[0080]
得到含水印图像后，将其输入到辨别器网络中进行对抗训练，辨别器网络由3层卷积层、3层激活层，3层批处理层、1层池化层和1层线性层组成，最后输出1代表该图像嵌入了
水印，0表示该图像没有嵌入水印。
[0081]
含密图像接下来需要的噪声层，噪声层由各种噪声组成，目的是为了对含密图像造成破坏。对含密图像进行攻击模拟，这样做可以使得解码器尝试在被噪声破坏后的图像中提取水印信息，不断提升其解码能力，最终得到强健的解码器。
[0082]
最后是解码部分，从噪声层输出的图像提取特征，提取网络由三分支构成——验证分支、cnn分支和transformer分支。验证分支是一个残差结构；cnn分支包括2层卷积层、2层激活层，2层批处理层、3个seblock，经过cnn分支得到c*w*h的特征图；transformer分支包括特征提取层、swin transformer层和上采样层，特征提取层由3个简单的卷积层构成，swin transformer层由12个swin transformer块组成，上采样层包括4个dual up-sample模块，最终得到c*w*h的特征图。最后，将三分支得到的特征图进行拼接后，得到(2c+3)*w*h的特征图，经过4个下采样层和reshape操作，最终提取出长度为l解密消息m'。
[0083]
本发明的思想就是利用了深度学习的水印方法中的解码器的可提升空间，从解码器的模型架构的改动提升整体模型的性能，并且改进了低级的损失函数，额外添加了高级的感知损失。所以，本发明在对解码器的修改和重构中，在cnn的基础上合理地引入transformer块并将其组合成新的解码器。除此之外，在损失函数中引入感知损失，能够提升网络对载体图像和编码图像的深层次理解，从而获得更好的感知能力。本发明使得编码器生成的水印图像的鲁棒性和不可感知性获得提升。
[0084]
本发明又一个实施例提供了一种结合cnn-transformer的多级网络深度学习鲁棒盲水印系统，该系统包括：
[0085]
编码模块，用于输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；
[0086]
辨别模块，用于将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；
[0087]
噪声添加模块，用于对经过对抗训练的含密图片添加噪声的噪声层；
[0088]
解码模块，用于从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。
[0089]
进一步的，所述解码模块中包含解码器，所述解码器采用验证分支、cnn分支和transformer分支三分支构架；
[0090]
所述验证分支用于学习残差函数；
[0091]
所述cnn分支用于对特征进行分级分配，针对通道维度的数据进行学习，获取特征图每个通道的重要程度；
[0092]
所述transformer分支用于进行全局特征整理。
[0093]
本技术的实施例可提供为方法或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本技术实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言java和直译式脚本语言javascript等。
[0094]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0095]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0096]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0097]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：
1.一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于，包括：输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；对经过对抗训练的含密图片添加噪声的噪声层；从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。2.根据权利要求1所述的一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于：所述通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像，具体公式如下：其中，为编码器损失函数，ico为载体图像，ien为含密图像，mse为均方差，en为嵌入水印，m为秘密消息。3.根据权利要求2所述的一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于：所述将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练，具体公式如下：其中，为辨别器损失函数，di为辨别图像。4.根据权利要求3所述的一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于：所述从含密图像中获取所嵌入的水印信息通过解码器实现，所述解码器采用验证分支、cnn分支和transformer分支三分支构架；验证分支用于学习残差函数，cnn分支使用带有注意力机制的se block对特征进行分级分配，针对通道维度的数据进行学习，获取特征图每个通道的重要程度，transformer分支中首先经过卷积层进行浅层特征提取，之后将特征送入大量transformer块中进行全局特征整理。5.根据权利要求4所述的一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于：所述最小化秘密消息与和水印信息的差异，具体公式如下：其中，为解码器损失函数，m'为提取出的信息，i
～
∈{ien,ino}，ino为带噪声的含密图像。6.根据权利要求5所述的一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于：所述通过感知损失函数提高含密图像的视觉质量，具体公式如下：
其中，为感知损失函数，x是载体图像，x0是编码图像，和分别是载体图像和编码图像在vgg网络第l层的特征，w
l
是余弦距离，h
l
和w
l
是当前层特征图的高和宽；其中，为模型总体的目标损失函数，λ
en
、λ
de
、λ
di
和λ
l
是权重因子。7.一种结合cnn-transformer的多级网络深度学习鲁棒盲水印系统，其特征在于，所述系统包括：编码模块，用于输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；辨别模块，用于将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；噪声添加模块，用于对经过对抗训练的含密图片添加噪声的噪声层；解码模块，用于从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。8.根据权利要求7所述的一种结合cnn-transformer的多级网络深度学习鲁棒盲水印算法，其特征在于：所述解码模块中包含解码器，所述解码器采用验证分支、cnn分支和transformer分支三分支构架；所述验证分支用于学习残差函数；所述cnn分支使用带有注意力机制的seblock对特征进行分级分配，针对通道维度的数据进行学习，获取特征图每个通道的重要程度；所述transformer分支用于进行全局特征整理。9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1-6所述的方法中的任一方法。10.一种计算设备，其特征在于，包括：一个或多个处理器、存储器以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1-6所述的方法中的任一方法的指令。

技术总结
本发明提供结合CNN-Transformer的多级网络深度学习鲁棒盲水印算法及系统，涉及信息安全领域。该多级网络深度学习鲁棒盲水印算法，包括：输入载体图像和秘密消息，通过编码器网络对载体图像和秘密消息训练并进行拼接得到含密图像；将载体图像和含密图像同时输入到辨别器网络中，通过辨别器网络对含密图片进行对抗训练；对经过对抗训练的含密图片添加噪声的噪声层；从含密图像中获取所嵌入的水印信息，最小化秘密消息与和水印信息的差异，并通过感知损失函数提高含密图像的视觉质量，得到水印图像。解决了目前已有的基于深度学习的图像水印方法存在鲁棒性和不可感知性不足的缺点，取证效果不佳，保密效果不强，需要进行更多的探索和研究的问题。索和研究的问题。索和研究的问题。


技术研发人员：宋子威 王保卫 吴宇峰
受保护的技术使用者：南京信息工程大学
技术研发日：2023.05.04
技术公布日：2023/7/27