深度神经网络的可视化解释方法

1.本发明属于图像可视化处理技术领域，更为具体地讲，涉及一种深度神经网络的可视化解释方法。


背景技术：

2.近年来，人工智能发展迅速，但深度神经网络在各个领域得到广泛应用的同时也出现了网络决策依据未知、容易受到对抗攻击等不安全问题。模型可解释性方法旨在探索模型做出决策的依据，提高模型的透明性，从而能更好地理解这些安全问题的产生。
3.近年来，越来越多的学者对深度神经网络的决策依据进行了研究，各种解释方法相继被提出，但是现有的解释方法还存在许多缺陷，而且对于可逆深度神经网络的解释效果不佳。可逆深度神经网络作为深度神经网络新流行的一种类型，由于其在输入和输出之间的可逆特性，在各个领域都表现出优异的性能，如图像分类、图像隐写及超分辨率等，针对可逆深度神经网络的可解释性方法的研究迫在眉睫。
4.对于深度神经网络的解释性方法可以分为三类：基于梯度可视化的解释方法，基于扰动的解释方法和基于类激活映射的解释方法。虽然这些解释方法在传统深度神经网络中取得了较好的性能，但是它们仍然存在各种问题。基于梯度可视化的方法有很多噪音且可视化质量低；基于扰动的解释方法缺乏指导信息，需要大量的迭代时间；基于类激活映射的解释方法也不完全适用于解释可逆深度神经网络，例如cam，由于需要特定的网络结构，因而需要改变网络结构并重新训练网络。grad-cam和grad-cam++虽然解决了需要改变模型结构的缺陷，但它们在解释过程中需要使用梯度，从而引入梯度饱和错误的置信度等问题；为了摆脱对梯度的依赖，score-cam被提出，但由于可逆深度神经网络的可逆空间下采样操作破坏了可逆深度神经网络中特征图和输入图像之间的比例关系，使其不适用于解释可逆深度神经网络。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种深度神经网络的可视化解释方法，通过利用特征图与输入图像之间的区域对应关系得到解释图，无论是针对传统深度神经网络还是可逆深度神经网络，都可以得到准确的解释图。
6.为了实现上述发明目的，本发明深度神经网络的可视化解释方法包括以下步骤：
7.s1：将输入图像x输入至深度神经网络得到分类结果，记所得到的输入图像的类别为c，从深度神经网络中提取一个特征图a；
8.s2：采用掩码滑动窗口定位局部特征，得到二维掩码图像，具体方法为：
9.s2.1：根据实际需要设置掩码滑动窗口的大小，c
×h×
w，其中c表示特征图a的通道数，h表示掩码滑动窗口的高，h＜ha，w表示掩码滑动窗口的宽，w＜wa，ha、wa分别表示特征图a的高和宽；然后令该掩码滑动窗口在特征图a上按照从左到右从上到下的方式滑动，每次滑动的步长为1，每次滑动后将掩码滑动窗口内的特征像素保留，掩码滑动窗口外的特征
像素均置为0，从面得到局部特征图；记所得到的局部特征图的数量为k，第k个局部特征图为k＝1,2,
…
,k；
10.s2.2：对于局部特征图中掩码滑动窗口中左上角像素坐标(i1,j1)和右下角像素坐标(i2,j2)，0≤i1,i2≤h
a-1，0≤j1,j2≤w
a-1，ha、wa分别表示特征图a的高和宽，采用如下公式计算得到局部特征图中掩码滑动窗口在输入图像x中对应图像块的左上角像素坐标(i
′1,j
′1)和右下角像素坐标(i
′2,j
′2)：
[0011][0012]
其中，h
x
、w
x
分别表示输入图像x的高和宽；
[0013]
在输入图像x中将该图像块中的像素保留，其余像素置为0，得到局部输入图像
[0014]
s2.3：对于局部输入图像将所保留图像块的像素置为1，从而得到对应的二维掩码图像maskk；
[0015]
s3：分别将每个局部特征图代替特征图a作为深度神经网络中后续模块的输入，得到类别c的分类分数然后将分类分数经过softmax函数处理得到局部特征图在类别c的得分即
[0016]
然后对得分进行归一化，得到归一化后的得分作为局部特征图的权重：
[0017][0018]
s4：根据权重对二维掩码图像进行加权求和得到解释热图hc，计算公式如下：
[0019][0020]
本发明深度神经网络的可视化解释方法，将输入图像输入至深度神经网络得到分类结果，并从深度神经网络中提取一个特征图；设置掩码滑动窗口，从特征图中提取得到若干个局部特征图，然后根据特征图与输入图像之间的区域对应关系，得到局部特征图对应的局部输入图像，进而生成二维掩码图像；将每个局部特征图代替特征图输入深度神经网络的后续模块得到对应的得分，再将得分作为权重对二维掩码图像进行加权求和，得到解释热图。
[0021]
本发明具有以下有益效果：
[0022]
(1)本发明在技术上设计掩码滑动窗口策略捕获局部特征，获取特征图与输入图像之间的位置对应关系，并将捕获的局部特征图输入到后续模块，避免了网络对特征的重
复提取，节约时间；
[0023]
(2)本发明在权重计算阶段摆脱了对梯度信息的依赖，基于分类分数计算得到局部输入图像的权重，避免使用梯度导致的梯度饱和问题；
[0024]
(3)与现有方法相比，本发明得到的解释图具有更佳的可视化效果，高亮区域更加集中在物体上具有类敏感性，对含有多物体的输入图像也有良好的解释效果。
附图说明
[0025]
图1是本发明深度神经网络的可视化解释方法的具体实施方式流程图；
[0026]
图2是本发明中定位局部特征的流程图；
[0027]
图3是本发明和和对比方法应用于可逆深度神经网络解释的可视化效果对比图；
[0028]
图4是本发明和和对比方法应用于传统深度神经网络解释的可视化效果对比图；
[0029]
图5是本实施例中本发明在不同目标类下的可视化效果图。
具体实施方式
[0030]
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
[0031]
图1是本发明深度神经网络的可视化解释方法的具体实施方式流程图。如图1所示，本发明深度神经网络的可视化解释方法的具体步骤包括：
[0032]
s101：提取输入图像对应的特征图：
[0033]
将输入图像x输入至深度神经网络得到分类结果，记输入图像的类别为c，从深度神经网络中提取一个特征图a。
[0034]
本发明是一种基于类激活映射的可视化解释方法，探索的是特征图与原图的区域位置对应关系。按照经验，在最后一个卷积层提取的特征是最完善的，因此本实施例优选提取的是深度神经网络中全连接层之前最后一个卷积层的特征图。
[0035]
s102：定位局部特征：
[0036]
采用掩码滑动窗口定位局部特征，得到二维掩码图像，从而探索特征图与输入图像之间的区域对应关系，并记录特征图中每个局部特征与输入图像所对应的位置区域。图2是本发明中定位局部特征的流程图。如图2所示，本发明中定位局部特征的具体步骤包括：
[0037]
s201：基于掩码滑动窗口进行特征捕捉：
[0038]
为了获取局部特征，本发明设计了一个掩码滑动窗口来进行特征捕捉，具体方法为：根据实际需要设置掩码滑动窗口的大小c
×h×
w，其中c表示特征图a的通道数，h表示掩码滑动窗口的高，h＜ha，w表示掩码滑动窗口的宽，w＜wa，ha、wa分别表示特征图a的高和宽。也就是说，本发明中掩码滑动窗口提取的是特征图a上所有通道的特征。然后令该掩码滑动窗口在特征图a上按照从左到右从上到下的方式滑动，每次滑动的步长为1，每次滑动后将掩码滑动窗口内的特征像素保留，掩码滑动窗口外的特征像素均置为0，从面得到局部特征图。记所得到的局部特征图的数量为k，第k个局部特征图为k＝1,2,
…
,k。
[0039]
s202：获取局部输入图像：
[0040]
通过对可逆深度神经网络的研究发现，特征图a中各个像素与输入图像x中的像素
存在对应关系，即特征图a中单个像素对应输入图像x中的一个像素块。那么局部特征图就可以通过逆操作传至输入图像x上，获取一个局部输图像。且该对应关系也可以推广至其他传统深度神经网络上。因此在本发明，基于上述对应关系来获取局部输入图像，具体方法为：
[0041]
对于局部特征图中掩码滑动窗口中左上角像素坐标(i1,j1)和右下角像素坐标(i2,j2)，0≤i1,i2≤h
a-1，0≤j1,j2≤w
a-1，ha、wa分别表示特征图a的高和宽，采用如下公式计算得到局部特征图中掩码滑动窗口在输入图像x中对应图像块的左上角像素坐标(i
′1,j
′1)和右下角像素坐标(i
′2,j
′2)：
[0042][0043][0044]
其中，h
x
、w
x
分别表示输入图像x的高和宽。
[0045]
在输入图像x中将该图像块中的像素保留，其余像素置为0，得到局部输入图像
[0046]
s203：获取掩码图像：
[0047]
对于局部输入图像将所保留图像块的像素置为1，从而得到对应的掩码图像maskk。可见，本发明中掩码图像用于记录局部输入图像中所保留的输入图像x的部分区域。
[0048]
s103：计算局部特征图的权重：
[0049]
在步骤s102中计算得到了掩码滑动窗口内的局部特征图，并且探索得到了局部特征图与原图之间的区域位置对应关系。因此，当求出局部特征图的分类权重后，按照对区域位置对应关系即可得到原图的区域权重，具体方法为：
[0050]
分别将每个局部特征图代替特征图a作为深度神经网络中后续模块的输入，得到类别c的分类分数然后将分类分数经过softmax函数处理得到局部特征图在类别c的得分即得分即为局部特征图所对应的局部输入图像对于深度神经网络做出决策的重要性程度。
[0051]
然后对得分进行归一化，得到归一化后的得分作为局部特征图的权重：
[0052][0053]
s104：得到解释热图：
[0054]
经过基于掩码滑动窗口的局部特征定位和局部特征权重计算，得到了与输入图像的局部信息对应的掩码以及局部特征图的权重。结合基于掩码滑动窗口的特征定位阶段的
结论，可知局部特征图的权重可以对应到局部输入图像上。根据权重对二维掩码图像进行加权求和得到解释热图hc，具体方法为：
[0055][0056]
由于线性组合得到的解释热图可能存在局部热值边界明显的缺点，为了进一步优化解释热图的可视化效果，本实施例中还对解释热图hc进行了均值滤波平滑，得到最终的解释热图。均值滤波是一种通过对目标像素和周围像素进行平均的滤波方法，它计算周围像素的平均值填入到目标像素。对于解释热图，每个像素的相邻像素也反映了这个像素的重要性，因此可以通过均值滤波平滑来对解释热图进行优化。
[0057]
实施例
[0058]
为了更好地说明本发明的技术方案，采用一个具体实例对本发明进行实验验证。本实施例中分别采用可逆深度神经网络和传统深度神经网络进行实验验证，其中可逆深度神经网络为i-revnet，传统深度神经网络为vgg16、alexnet和resnet18，选择的特征图均为最后一层卷积层输出的特征图。本实施例所采用的数据集为imagenet数据集和cifar-10数据集，采用这两个数据集对可逆深度神经网络和传统深度神经网络进行训练，后续模型解释中也使用这两个数据集中的测试集图像。此外，本实施例中选择了7种现有的解释方法作为对比方法，分别有：gradient、occlusion、mask、rise、grad-cam、grad-cam和score-cam。
[0059]
首先对本发明的解释区域集中程度进行实验验证。解释区域集中在目标对象上的程度越大，表明解释中的噪音越小、解释热图质量越高，与用户的判断方式更契合。图3是本发明和和对比方法应用于可逆深度神经网络解释的可视化效果对比图。如图3所示，gradient有大量的噪音，occlusion的视觉效果并不能提供给用户合理的决策依据，mask需要多次迭代，rise没有引导性，达到最佳状态的随机采样次数不可知。通过黑白热力图更可以明显看出，本发明解释热图中的高亮区域更加集中在物体本身而不是背景，证明了其解释热图的高亮区域比grad-cam和grad-cam++更加集中，这与人们做出判断的依据更加一致。图3是本发明和和对比方法应用于传统深度神经网络解释的可视化效果对比图。如图3所示，本发明在应用于传统深度神经网络解释时，展现了与可逆深度神经网络相似的可视化效果。
[0060]
接下来对本发明的类敏感性进行实验验证。类敏感性是指因为不同的类别对应于不同的贡献特征，因此给定不同的目标类，解释高亮区域应该对应到每个类的目标物体上。图4是本实施例中本发明在不同目标类下的可视化效果图。如图4所示，给定目标类“斗牛獒”和“虎猫”，解释区域分别转移到目标类所对应的物体上，这证明了本发明是类敏感的。
[0061]
然后对本发明在单类多对象识别方面的性能进行验证，在定位多个相同的类对象时表现出更好的性能也是评价解释方法的一个方面。图5是本发明和对比方法在应用于单类多对象识别的可视化效果图。如图5所示，本发明能够定位多个同类对象。与grad-cam和grad-cam++相比，本发明对目标物体本身的识别更为集中而不是两个物体之间的连接处。本发明能够定位多个同类对象是因为本发明通过掩码滑动窗口策略提取了所有的激活图特征，因此给定一个目标类，该类的所有目标对象对应到输入图像都可以被识别，反映在热图的高亮区域。
[0062]
接下来对本发明和对比方法进行指标对比，所比较的实验指标有：average drop
(保留解释图中前50％高亮区域对应的输入图像的分类分数相较于原输入图像分类分数下降的程度，越小越好)、average increase(保留解释图中前50％高亮区域对应的输入图像的分类分数相较于原输入图像分类分数上升的情况，越大越好)，deletion(逐渐删除热图中热值最大的区域，分类分数下降的越快表示提取的区域越重要，下降曲线与坐标轴形成的面积越小，越小越好)和insertion(逐渐呈现热图中热值最大的区域，分类分数上升的越快表示提取的区域越重要，上升曲线与坐标轴形成的面积越达，越大越好)。
[0063]
表1是本实施例中本发明和对比方法应用于可逆深度神经网络的average drop和average increase对比表。
[0064][0065]
表1
[0066]
表2是本实施例中本发明和对比方法应用于可逆深度神经网络的deletion和insertion对比表。
[0067][0068]
表2
[0069]
表3是本实施例中本发明与对比方法应用于传统深度神经网络的average drop和average increase对比表。
[0070]
[0071][0072]
表3
[0073]
如表1、表2和表3所示，本发明无论是应用于可逆深度神经网络还是传统深度神经网络，各项指标均为最优。
[0074]
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

技术特征：
1.一种深度神经网络的可视化解释方法，其特征在于，包括以下步骤：s1：将输入图像x输入至深度神经网络得到分类结果，记所得到的输入图像的类别为c，从深度神经网络中提取一个特征图a；s2：采用掩码滑动窗口定位局部特征，得到二维掩码图像，具体方法为：s2.1：根据实际需要设置掩码滑动窗口的大小，c
×
h
×
w，其中c表示特征图a的通道数，h表示掩码滑动窗口的高，h＜h
a
，w表示掩码滑动窗口的宽，w＜w
a
，h
a
、w
a
分别表示特征图a的高和宽；然后令该掩码滑动窗口在特征图a上按照从左到右从上到下的方式滑动，每次滑动的步长为1，每次滑动后将掩码滑动窗口内的特征像素保留，掩码滑动窗口外的特征像素均置为0，从面得到局部特征图；记所得到的局部特征图的数量为k，第k个局部特征图为k＝1,2,
…
,k；s2.2：对于局部特征图中掩码滑动窗口中左上角像素坐标(i1,j1)和右下角像素坐标(i2,j2)，0≤i1,i2≤h
a-1，0≤j1,j2≤w
a-1，h
a
、w
a
分别表示特征图a的高和宽，采用如下公式计算得到局部特征图中掩码滑动窗口在输入图像x中对应图像块的左上角像素坐标(i
′1,j
′1)和右下角像素坐标(i
′2,j
′2)：)：其中，h
x
、w
x
分别表示输入图像x的高和宽；在输入图像x中将该图像块中的像素保留，其余像素置为0，得到局部输入图像s2.3：对于局部输入图像将所保留图像块的像素置为1，从而得到对应的二维掩码图像mask
k
；s3：分别将每个局部特征图代替特征图a作为深度神经网络中后续模块的输入，得到类别c的分类分数然后将分类分数经过softmax函数处理得到局部特征图在类别c的得分即然后对得分进行归一化，得到归一化后的得分作为局部特征图的权重：s4：根据权重对二维掩码图像进行加权求和得到解释热图h
c
，计算公式如下：2.根据权利要求1所述的深度神经网络的可视化解释方法，其特征在于，所述步骤s1中，特征图a是深度神经网络中全连接层之前最后一个卷积层输出的特征图。3.根据权利要求1所述的深度神经网络的可视化解释方法，其特征在于，所述步骤s4
中，还对解释热图进行均值滤波平滑，得到最终的解释热图。

技术总结
本发明公开了一种深度神经网络的可视化解释方法，将输入图像输入至深度神经网络得到分类结果，并从深度神经网络中提取一个特征图；设置掩码滑动窗口，从特征图中提取得到若干个局部特征图，然后根据特征图与输入图像之间的区域对应关系，得到局部特征图对应的局部输入图像，进而生成二维掩码图像；将每个局部特征图代替特征图输入深度神经网络的后续模块得到对应的得分，再将得分作为权重对二维掩码图像进行加权求和，得到解释热图。本发明通过利用特征图与输入图像之间的区域对应关系得到解释图，无论是针对传统深度神经网络还是可逆深度神经网络，都可以得到准确的解释图。都可以得到准确的解释图。都可以得到准确的解释图。


技术研发人员：周维 牟新颖 郑奕森
受保护的技术使用者：云南大学
技术研发日：2023.07.07
技术公布日：2023/9/20