图片分析方法、装置、设备和介质与流程

1.本发明涉及图像处理技术领域，特别涉及一种图片分析方法、装置、设备和介质。


背景技术：

2.在医疗领域中，在进行病理诊断、分析病理图像时，会采用图片分析技术进行辅助。图片分析技术是一种用模式识别和人工智能的方法对物景进行分析、描述、分类和解释的技术，图片分析又称为景物分析或图像理解。由于每个图片分析任务中包括多张图片，在进行大量的图片分析时，若图片分析目标不明确、针对性不强时，则其图片分析结果置信度低，进而影响图片的理解，例如，在对医疗领域中的病理图像进行分析时，若病理图像分析目标不明确、针对性不强时，则其分析结果的置信度将受到影响。
3.因此，如何优化图片分析技术，以获取高置信度的图片分析结果是目前需要解决的问题。


技术实现要素：

4.本发明提供一种图片分析方法、装置、设备和介质，旨在优化图片分析技术，进而得到高置信度的图片分析结果。
5.为了实现上述发明目的，本发明第一方面提出一种图片分析，所述方法包括：
6.获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；
7.对所述构造图片进行掩码处理，得到掩码图片；
8.将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；
9.依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；
10.计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值；
11.若所述损失数值小于所述预设阈值，则对所述粗定位图片进行分析，并输出分析结果。
12.进一步地，所述获取图片信息，包括：
13.获取待处理的原图片；
14.对所述原图片进行特征提取，得到特征图；
15.获取所述特征图中每个特征的权重；
16.将所述权重融合至所述特征图中，得到初始构造图片；
17.对所述初始构造图片进行归一化处理，得到构造图片；
18.依据所述原图片和所述构造图片生成图片信息。
19.进一步地，所述对所述构造图片进行掩码处理，得到掩码图片，包括：
20.将所述构造图片进行灰化处理，得到灰化图片；
21.对所述灰化图片进行识别，获取像素信息；
22.将所述像素信息与第一预设阈值进行比较，以获取大于所述第一预设阈值的第一
像素；
23.基于所述第一像素生成掩码图片。
24.进一步地，所述计算所述原图片与所述粗定位图片之间关联性的损失数值之前，所述方法还包括：
25.将所述原图片和所述粗定位图片一同输入至深度神经网络中；
26.通过所述深度神经网络对所述原图片进行特征提取，得到第一特征数据；
27.通过所述深度神经网络对所述粗定位图片进行特征提取，得到第二特征数据。
28.进一步地，所述计算所述原图片与所述粗定位图片之间关联性的损失数值，包括：
29.根据第一损失函数计算所述第一特征与所述第二特征之间的第一损失数值；
30.根据第二损失函数计算所述第二特征与所述第二特征之间的第二损失数值；
31.根据第三损失函数计算所述第一特征与所述第二特征之间的第三损失数值；
32.基于所述第一损失数值、所述第二损失数值以及所述第三损失数值计算所述原图片与所述粗定位图片之间关联性的损失数值。
33.进一步地，所述第一损失函数为
34.其中，
35.k表示特征的通道数；
36.τ表示温度常数；
37.q表示第一特征；
38.k表示第二特征；
39.k
+
表示正相关特征；
40.i表示第i层特征图。
41.进一步地，所述对所述粗定位图片进行分析，并输出分析结果，包括：
42.提取所述粗定位图片中的图片特征，得到粗定位图片特征；
43.将所述粗定位图片特征进行分类，得到多个特征类别；
44.依次根据所述特征类别进行图片预测，获取预测结果；
45.将所述预测结果进行整理及变换，输出分析结果。
46.本技术还提供一种图片分析装置，其特征在于，所述装置包括：
47.获取模块，用于获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；
48.掩码模块，用于对所述构造图片进行掩码处理，得到掩码图片；
49.确定模块，用于将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；
50.裁剪模块，用于依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；
51.计算模块，用于计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值；
52.分析模块，用于当所述损失数值小于所述预设阈值时，对所述粗定位图片进行分析，并输出分析结果。
53.本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项所述的图片分析方
法的步骤。
54.本技术还提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一项所述的图片分析方法的步骤。
55.有益效果：获取与原图片对应的构造图片，依据所述构造图片确定所述原图片中的关键区域，并依据所述关键区域对所述原图片进行裁剪，得到仅保留关键区域的图片即粗定位图片，验证所述粗定位图片与所述原图片之间的关联性，在所述粗定位图片与所述原图片之间确定存在关联性的情况下区别于使用所述原图片进行分析的方式，直接依据所述粗定位图片进行图片分析，使得图片分析过程目标明确，针对性高，进而得到高置信度的分析结果，实现对图片分析技术的优化，该优化之后的图片分析技术可应用于医疗领域中，辅助医疗人员对病理图像的分析处理，进而提高图片的处理效率。
附图说明
56.图1为本技术图片分析方法的一实施例流程示意图；
57.图2为本技术图片分析方法的另一实施例流程示意图；
58.图3为本技术图片分析方法的另一实施例流程示意图；
59.图4为本技术图片分析方法的另一实施例流程示意图；
60.图5为本技术图片分析方法的另一实施例流程示意图；
61.图6为本技术图片分析方法的另一实施例流程示意图；
62.图7为本技术图片分析装置的一实施例结构示意图；
63.图8为本技术计算机设备的一实施例结构示意框图。
64.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
65.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
66.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“上述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件、模块和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、模块、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一模块和全部组合。
67.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
68.参照图1，本发明实施例提供一种图片分析方法，包括以下步骤s1-s6：
69.s1：获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片。
70.本实施例应用于医学领域的图像信息分析。具体的，获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片，其中，所述原图片为医学领域的病理图像，所述构造图片为根据所述原图片的特征信息进行构造得到的显著图片，其构造过程包括：对所述原图片进行特征提取，得到特征图，对所述特征图进行识别，以获取所述特征图中每个特征的权重，采用线性融合的方式将所述权重融合至所述特征图中，得到初始构造图片，对所述初始构造图片进行归一化处理，得到构造图片；所述构造图片区别于所述原图片，其包含所述原图片的特征信息及特征权重，为后续进行图片分析提供有效依据。
71.s2：对所述构造图片进行掩码处理，得到掩码图片。
72.在获取图片信息之后，对所述构造图片进行掩码处理，得到掩码图片。具体的，将所述构造图片进行灰化处理，以消除图像中无关信息，恢复有用的真实信息，增强有关信息的可检测性，进而得到灰化图片，对所述灰化图片进行识别，获取像素信息；将所述像素信息与第一预设阈值进行比较，以获取大于所述第一预设阈值的第一像素，其中，所述第一像素为多个，基于多个所述第一像素生成掩码图片，所述掩码图片的生成为后续确定所述原图片的关键区域提供有效依据。
73.s3：将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域。
74.在对所述构造图片进行掩码处理，得到掩码图片之后，将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域。具体的，对所述原图片进行识别，获取原像素信息，将所述原像素信息与所述掩码图片的像素信息相乘，其中，是将对应区域的对应像素相乘，使得所述原图片中显著特征对应的像素足够大，进而凸显其特征信息，根据凸显的特征信息确定所述原图片的关键区域，并将所述关键区域进行标记，实现所述原图片的关键区域的确定，为后续获取粗定位图片提供有效依据。
75.s4：依据所述关键区域对所述原图片进行裁剪，得到粗定位图片。
76.在将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域之后，依据所述关键区域的标记对所述原图片进行裁剪，以获取仅保持显著特征的粗定位图片。所述粗定位图片相较于所述原图片其特征信息突出，且不存在无效干扰信息，更利于后续的图片分析。
77.s5：计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值。
78.在依据所述关键区域对所述原图片进行裁剪，得到粗定位图片之后，计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值。具体的，首先，将所述原图片和所述粗定位图片一同输入至深度神经网络中，通过所述深度神经网络对所述原图片进行特征提取，得到第一特征数据，通过所述深度神经网络对所述粗定位图片进行特征提取，得到第二特征数据；其中，所述第一特征数据为所述原图片的高阶特征，所述第二特征数据为所述粗定位图片的高阶特征；然后，根据第一损失函数计算所述第一特征与所述第二特征之间特征相关性的损失数值；根据第二损失函数计算所述第二特征与所述第二特征之间注意力损失数值；根据第三损失函数计算所述第一特征与所述第二特征之间相似度的损失数值；若所述特征相关性的损失数值、所述注意力损失数值以及所述相似度的损失数值均在可接受范围内，再根据总的损失函数计算所述原图片与所述粗
定位图片之间关联性的损失数值，即损失数值＝特征相关性的损失数值+注意力损失数值+0.1*相似度的损失数值；并判断所述损失数值是否小于预设阈值，若所述损失数值大于所述预设阈值，则判定所述粗定位图片不符合要求，不能根据所述粗定位图片进行图片分析，需重新获取符合要求的粗定位图片；若所述损失数值小于所述预设阈值，则判定所述粗定位图片符合要求，所述粗定位图片与所述原图片之间存在关联，可根据所述粗定位图片进行后续的图片分析。
79.s6：若所述损失数值小于所述预设阈值，则对所述粗定位图片进行分析，并输出分析结果。
80.在计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值之后，基于所述损失数值小于所述预设阈值，所述粗定位图片符合预设要求，因此，对所述粗定位图片进行图片分析，具体的，依据所述粗定位图片进行图像目标物检测；依据所述图像目标物检测结果进行图片解析，输出图片分析结果，所述图片分析结果区别于直接根据原图片进行分析获取的分别结果，所述粗定位图片特征信息显著，目标性更强，使得所述分析结果置信度更高，为用户进行图片解析提供有效的辅助信息。
81.本实施例提供了一种图片分析方法，通过获取与原图片对应的构造图片，依据所述构造图片确定所述原图片中的关键区域，并依据所述关键区域对所述原图片进行裁剪，得到仅保留关键区域的图片即粗定位图片，验证所述粗定位图片与所述原图片之间的关联性，在所述粗定位图片与所述原图片之间确定存在关联性的情况下区别于使用所述原图片进行分析的方式，直接依据所述粗定位图片进行图片分析，使得图片分析过程目标明确，针对性高，进而得到高置信度的分析结果，实现对图片分析技术的优化，该优化之后的图片分析技术可应用于医疗领域中，辅助医疗人员对病理图像的分析处理，进而提高图片的处理效率。
82.参照图2，在一个实施例中，上述获取图片信息，包括：
83.s11：获取待处理的原图片。
84.所述原图片为医学领域中的病理图像，所述病理图像可通过第三方公开网站上获取，或是在日常医学诊断中获取，该病理图像为经过相关用户授权之后可使用的公开图像。
85.s12：对所述原图片进行特征提取，得到特征图。
86.众所周知，医疗领域的病理图像中涵盖多个信息，具体包括病理部分的图像信息和非病理部分的图像信息；对原图片进行特征提取，以获取所述原图片的特征信息，依据所述原图片中所述特征信息的关联性，将所述特征信息进行拼接，得到仅有所述特征信息的可视化的特征图，该特则图为仅包括病理部分的图像信息的特征图。
87.s13：获取所述特征图中每个特征的权重。
88.在所述特征图中，每个特征均存在不同的权重，可对所述特征图进行识别，以获取所述特征图中每个特征的权重，并对所述权重进行记录。
89.s14：将所述权重融合至所述特征图中，得到初始构造图片。
90.通过线性加权融合法将所述权重与对应的特征进行融合，即将所述权重与对应的特征进行加权，得到具有权重信息的初始构造图片。
91.s15：对所述初始构造图片进行归一化处理，得到构造图片。
92.其中，所述归一化就是把所有数据都转化成[0，1]或者[-1，1]之间的数，其目的是
为了取消各维数据之间的数量级差别，避免因为输入输出数据数量级差别大而造成网络预测误差过大。
[0093]
s16：依据所述原图片和所述构造图片生成图片信息。
[0094]
其中，所述构造图片为与所述原图片相对于的图片，但所述构造图片中仅包括所述原图片中的显著信息，即仅包括病理图像中的病理信息。
[0095]
如上所述，获取待处理的原图片，通过relevance-cam结合所述原图片构造与所述原图片相对应的显著图片，具体的，对所述原图片进行特征提取，并依据提取特征进行特征图构造，对所述特征图进行识别，以获取所述特征图中每个特征的权重，采样线性加权融合的方式将所述权重融合至所述特征图中，得到初始构造图片，对所述初始构造图片进行归一化，其中，所述归一化可采用线性归一化、零-均值归一化、小数定标规范化、非线性归一化中的任意一种；进而得到构造图片，依据所述原图片和所述构造图片生成图片信息，所述构造图片与所述原图片的特征对应，尺寸相同，但区别于所述原图片，所述构造图片的像素值可直观表示所述原图片的对应区域对预测输出的影响程度，值越大贡献越大。所述relevance-cam(relevance-class activation mapping，即相关性类激活映射)，是一种新型类激活映射方法，其能在具有小的感受野的浅层中也可以提取特定于类的特征，并且性能稳健。基于所述relevance-cam生成与所述原图片相对于的显著图即所述构造图片，所述构造图片深度挖掘了所述原图片中的特征信息，为后续进行图片分析提供有效依据。
[0096]
参照图3，在一个实施例中，上述对所述构造图片进行掩码处理，得到掩码图片，包括：
[0097]
s21：将所述构造图片进行灰化处理，得到灰化图片。
[0098]
医疗领域中，有些病理图像中常以不同的颜色对图片中的信息进行区分，对于存在多个颜色的病理图像进行图片处理、分析，其相较于单个颜色的病理图像处理、分析，其运行压力会增大，且多个颜色信息的易造成分析干扰，因此，需对图像进行灰化处理。所述灰化处理指的是将彩色的图像转化为黑白(亮度)图像。
[0099]
s22：对所述灰化图片进行识别，获取像素信息。
[0100]
优选的，所述像素信息指的是灰化处理之后所述灰化图片中每个像素对应的灰度值(又称强度值、亮度值)，灰度范围为0～255。
[0101]
s23：将所述像素信息与第一预设阈值进行比较，以获取大于所述第一预设阈值的第一像素。
[0102]
将所述像素信息即所述灰度值与第一预设阈值进行比较，当所述灰度值大于所述第一预设阈值，则对其进行记录，记为第一像素；但若所述灰度值小于所述第一预设阈值，则不对其进行记录。
[0103]
s24：基于所述第一像素生成掩码图片。
[0104]
如上所述，对所述构造图片进行二值化处理，以获取掩码图片；其中，所述二值化是图像分割的一种方法，在二值化图像的时候把大于某个临界灰度值的像素灰度设为灰度极大值，把小于这个值的像素灰度设为灰度极小值，从而实现二值化。具体的，先对所述构造图片进行灰化处理，得到灰化图片，对所述灰化图片进行识别，获取像素信息(灰度值)；然后将所述像素信息与第一预设阈值进行比较，其中，所述第一预设阈值通过统计出灰化图片中各灰度值的分布情况，然后取分布比较多的灰度值作为第一预设阈值的方式确定；
当所述像素信息(灰度值)小于所述第一预设阈值，则不对其进行记录；若所述像素信息(灰度值)大于所述第一预设阈值，则将其记录第一像素，进而得到多个所述第一像素，根据多个所述第一像素生成掩码图片。对所述构造图片进行掩码处理得到掩码图片的方式，为后续确定所述原图片的关键区域提供有效依据。
[0105]
参照图4，在一个实施例中，上述计算所述原图片与所述粗定位图片之间特征关联性的损失数值之前，所述方法还包括：
[0106]
s51：将所述原图片和所述粗定位图片一同输入至深度神经网络中。
[0107]
所述深度神经网络是机器学习(ml，machine learning)领域中一种技术。
[0108]
s52：通过所述深度神经网络对所述原图片进行特征提取，得到第一特征数据。
[0109]
s53：通过所述深度神经网络对所述粗定位图片进行特征提取，得到第二特征数据。
[0110]
如上所述，将所述原图片和所述粗定位图片一同输入至深度神经网络中，于所述深度神经网络中的卷积层、下采样层、全连接层分别对所述原图片和所述构造图片进行高阶特征提取，其中，在所述卷积层中进行特征提取，在所述下采样层中进行图片尺寸缩放，使得高层特征图获得更大的感受野，并滤除无效特征，仅保留输入特征图的主要的特征，进而降低后续功能层运算的复杂性及避免出现过拟合现象；在所述全链接层中将所述特征进行激活、连接，进而得到与所述原图片相对应的第一特征，以及得到与所述构造图片相对应的第二特征。将所述原图片和所述构造图片输入至深度神经网络中从而进一步提取高阶特征，为后续计算所述原图片与所述粗定位图片之间特征关联性的损失数值提供有效依据。
[0111]
参照图5，在一个实施例中，上述计算所述原图片与所述粗定位图片之间特征关联性的损失数值，包括：
[0112]
s531：根据第一损失函数计算所述第一特征与所述第二特征之间的第一损失数值。
[0113]
所述第一损失数值指的是所述原图片与所述粗定位图片之间特征相关性的损失。
[0114]
s532：根据第二损失函数计算所述第二特征与所述第二特征之间的第二损失数值。
[0115]
所述第二损失数值指的是所述原图片与所述粗定位图片之间注意力的损失。
[0116]
s533：根据第三损失函数计算所述第一特征与所述第二特征之间的第三损失数值。
[0117]
所述第三损失数值指的是所述原图片与所述粗定位图片之间相似度的损失。
[0118]
s534：基于所述第一损失数值、所述第二损失数值以及所述第三损失数值计算所述原图片与所述粗定位图片之间关联性的损失数值。
[0119]
如上所述，为保证病理图像分析的准确性，在分析之前，还需对粗定位病理图像进行验证，即计算原病理图像和粗定位病理图像之间损失函数，具体的，分别计算所述原图片和所述粗定位图片之间的特征相关性损失和所述原图片和所述粗定位图片之间注意力损失，以及所述原图片和所述粗定位图片之间相似度损失，再依据所述特征相关性损失和所述注意力损失计算所述原图片和所述粗定位图片之间关联性的损失数值。具体的，根据第一损失函数计算所述第一特征与所述第二特征之间的第一损失数值，所述第一损失数值表示所述原图片与所述粗定位图片之间特征相关性的损失，判断所述第一损失数值是否小于
第一预设损失，若是，则判定所述原图片与所述粗定位图片之间特征相关性的损失在可接受范围内，将所述第一损失数值记录为l
con
；根据第二损失函数计算所述第二特征与所述第二特征之间的第二损失数值，所述第二损失数值表示所述原图片与所述粗定位图片之间注意力的损失，其中，所述第二损失函数的计算公式为其中，mq表示特征权重；gq表示特征经relu激活得到的结果；判断所述第二损失数值是否小于第二预设损失，若是，则判定所述原图片与所述粗定位图片之间注意力损失在可接受范围内，将所述第二损失数值记为l
att
；根据所述第三损失函数计算所述第一特征与所述第二特征之间的第三损失数值，所述第三损失数值表示所述原图片与所述粗定位图片之间相似度的损失，其中，所述第三损失函数的计算公式为l
consim
＝||cos(xq,xk)-cos(fq,f
k)
||；fq表示第一特征；fk表示第二特征；xq表示原图片；xk表示粗定位图片；判断所述第三损失数值是否小于第三预设损失，若是，则判定所述原图片与所述粗定位图片之间相似度损失在可接受范围内，将所述第三损失数值记为l
cosim
；根据总的损失函数计算所述原图片与所述粗定位图片之间关联性的损失数值，即l＝l
con
+l
att
+λl
cosim
；其中，λ为超参，设置为0.1；判断所述损失数值是否小于预设阈值，若是，则判定所述原图片与所述粗定位图片之间关联性的损失在可接受范围内，可依据所述粗定位图片进行图像分析。
[0120]
在一个实施例中，上述第一损失函数为其中，
[0121]
k表示特征的通道数；
[0122]
τ表示温度常数；
[0123]
q表示第一特征；
[0124]
k表示第二特征；
[0125]k+
表示正相关特征；
[0126]
i表示第i层特征图。
[0127]
如上所述，所述第一损失函数用于计算所述原图片与所述粗定位图片之间特征相关性的损失；所述第一损失函数的计算公式为
[0128][0129]
其中，k表示特征的通道数；τ表示温度常数；q表示第一特征；k表示第四特征；k
+
表示正相关特征；i表示第i层特征图。
[0130]
参照图6，在一个实施例中，上述对所述粗定位图片进行分析，并输出分析结果，包括：
[0131]
s61：提取所述粗定位图片中的图片特征，得到粗定位图片特征；
[0132]
s62：将所述粗定位图片特征进行分类，得到多个特征类别；
[0133]
其中，对所述粗定位图片特征进行分类时，以所述粗定位图片特征的像素信息或所属区域或所属类别进行分类，使得后续可根据同类别特征进行图片预测，进而得到高置信度的预测结果。
[0134]
s63：依次根据所述特征类别进行图片预测，获取预测结果；
[0135]
基于所述特征类别遍历预设的图片信息存储库，其中，所述图片信息存储库中按照类别存储对应的图片信息；当根据所述特征类别遍历预设的图片信息存储库时，可快速、智能的匹配至对应的预测图片，进而获取与所述特征类别对应的预测结果。
[0136]
s64：将所述预测结果进行整理及变换，输出分析结果。
[0137]
对所述预测结果进行整理及汇总，并对所述预测结果进行计算，其中，所述计算包括计算所述预测结果在总的图片预测结果中的权重，将所述权重与所述预测结果进行融合，得到带有所述权重的所述预测结果并输出，即输出分析结果。
[0138]
如上所述，提取所述粗定位图片中的图片特征，得到粗定位图片特征，其中，所述粗定位图片特征区别于原图片特征，所述粗定位图片特征相较于所述原图片特征具有稳定性更高，且深度挖掘了图片中的特征信息，使得特征性更强，信息内容更完整的优点；将所述粗定位图片特征进行分类，其中，对所述粗定位图片特征进行分类时，以所述粗定位图片特征的像素信息或所属区域或所属类别进行分类，得到多个特征类别；依次根据所述特征类别遍历预设的图片信息存储库，进而获取与所述特征类别对应的预测图片，即预测结果；对所述预测结果进行整理及汇总，并对所述预测结果进行计算，其中，所述计算包括计算所述预测结果在总的图片预测结果中的权重，将所述权重与所述预测结果进行融合，得到带有所述权重的所述预测结果并输出，即输出分析结果。此时，用户可根据所述分析结果中的权重进行图片解读，实现对图片内容的全面掌握。
[0139]
参照图7，是本发明实施例还提供一种图片分析装置，包括：
[0140]
待识别图像获取模块10，用于获取待识别图像；
[0141]
获取模块10，用于获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；
[0142]
掩码模块20，用于对所述构造图片进行掩码处理，得到掩码图片；
[0143]
确定模块30，用于将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；
[0144]
裁剪模块40，用于依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；
[0145]
计算模块50，用于计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值；
[0146]
分析模块60，用于当所述损失数值小于所述预设阈值时，对所述粗定位图片进行分析，并输出分析结果。
[0147]
如上所述，图片分析装置能够实现图片分析方法。
[0148]
在一个实施例中，所述获取模块10还包括：
[0149]
获取待处理的原图片；
[0150]
对所述原图片进行特征提取，得到特征图；
[0151]
获取所述特征图中每个特征的权重；
[0152]
将所述权重融合至所述特征图中，得到初始构造图片；
[0153]
对所述初始构造图片进行归一化处理，得到构造图片；
[0154]
依据所述原图片和所述构造图片生成图片信息。
[0155]
在一个实施例中，所述掩码模块20还包括：
[0156]
将所述构造图片进行灰化处理，得到灰化图片；
[0157]
对所述灰化图片进行识别，获取像素信息；
[0158]
将所述像素信息与第一预设阈值进行比较，以获取大于所述第一预设阈值的第一像素；
[0159]
基于所述第一像素生成掩码图片。
[0160]
在一个实施例中，所述计算模块50还包括：
[0161]
将所述原图片和所述粗定位图片一同输入至深度神经网络中；
[0162]
通过所述深度神经网络对所述原图片进行特征提取，得到第一特征数据；
[0163]
通过所述深度神经网络对所述粗定位图片进行特征提取，得到第二特征数据。
[0164]
在一个实施例中，所述计算模块50还包括：
[0165]
根据第一损失函数计算所述第一特征与所述第二特征之间的第一损失数值；
[0166]
根据第二损失函数计算所述第二特征与所述第二特征之间的第二损失数值；
[0167]
根据第三损失函数计算所述第一特征与所述第二特征之间的第三损失数值；
[0168]
基于所述第一损失数值、所述第二损失数值以及所述第三损失数值计算所述原图片与所述粗定位图片之间关联性的损失数值。
[0169]
在一个实施例中，上述第一损失函数为：
[0170]
其中，
[0171]
k表示特征的通道数；
[0172]
τ表示温度常数；
[0173]
q表示第一特征；
[0174]
k表示第二特征；
[0175]k+
表示正相关特征；
[0176]
i表示第i层特征图。
[0177]
在一个实施例中，所述分析模块60还包括：
[0178]
提取所述粗定位图片中的图片特征，得到粗定位图片特征；
[0179]
将所述粗定位图片特征进行分类，得到多个特征类别；
[0180]
依次根据所述特征类别进行图片预测，获取预测结果；
[0181]
将所述预测结果进行整理及变换，输出分析结果。
[0182]
参照图8，本发明实施例还提供一种计算机设备，该计算机设备的内部结构可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作装置、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图片分析方法的相关数据等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。进一步地，上述计算机设备还可以设置有输入装置和显示屏等。上述计算机程序被处理器执行时以实现图片分析方法，包括如下步骤：获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；对所述构造图片进行掩码处理，得到掩码图片；将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；计算所述原图片与所述粗定位图片之间关
联性的损失数值，并判断所述损失数值是否小于预设阈值；若所述损失数值小于所述预设阈值，则对所述粗定位图片进行分析，并输出分析结果。本领域技术人员可以理解，图8中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定。
[0183]
本技术一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现图片分析方法，包括如下步骤：获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；对所述构造图片进行掩码处理，得到掩码图片；将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值；若所述损失数值小于所述预设阈值，则对所述粗定位图片进行分析，并输出分析结果。可以理解的是，本实施例中的计算机可读存储介质可以是易失性可读存储介质，也可以为非易失性可读存储介质。
[0184]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0185]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
[0186]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种图片分析方法，其特征在于，所述方法包括：获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；对所述构造图片进行掩码处理，得到掩码图片；将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值；若所述损失数值小于所述预设阈值，则对所述粗定位图片进行分析，并输出分析结果。2.根据权利要求1所述的图片分析方法，其特征在于，所述获取图片信息，包括：获取待处理的原图片；对所述原图片进行特征提取，得到特征图；获取所述特征图中每个特征的权重；将所述权重融合至所述特征图中，得到初始构造图片；对所述初始构造图片进行归一化处理，得到构造图片；依据所述原图片和所述构造图片生成图片信息。3.根据权利要求1所述的图片分析方法，其特征在于，所述对所述构造图片进行掩码处理，得到掩码图片，包括：将所述构造图片进行灰化处理，得到灰化图片；对所述灰化图片进行识别，获取像素信息；将所述像素信息与第一预设阈值进行比较，以获取大于所述第一预设阈值的第一像素；基于所述第一像素生成掩码图片。4.根据权利要求1所述的图片分析方法，其特征在于，所述计算所述原图片与所述粗定位图片之间关联性的损失数值之前，所述方法还包括：将所述原图片和所述粗定位图片一同输入至深度神经网络中；通过所述深度神经网络对所述原图片进行特征提取，得到第一特征数据；通过所述深度神经网络对所述粗定位图片进行特征提取，得到第二特征数据。5.根据权利要求4所述的图片分析方法，其特征在于，所述计算所述原图片与所述粗定位图片之间关联性的损失数值，包括：根据第一损失函数计算所述第一特征与所述第二特征之间的第一损失数值；根据第二损失函数计算所述第二特征与所述第二特征之间的第二损失数值；根据第三损失函数计算所述第一特征与所述第二特征之间的第三损失数值；基于所述第一损失数值、所述第二损失数值以及所述第三损失数值计算所述原图片与所述粗定位图片之间关联性的损失数值。6.根据权利要求5所述的图片分析方法，其特征在于，所述第一损失函数为其中，k表示特征的通道数；
τ表示温度常数；q表示第一特征；k表示第二特征；k
+
表示正相关特征；i表示第i层特征图。7.根据权利要求1所述的图片分析方法，其特征在于，所述对所述粗定位图片进行分析，并输出分析结果，包括：提取所述粗定位图片中的图片特征，得到粗定位图片特征；将所述粗定位图片特征进行分类，得到多个特征类别；依次根据所述特征类别进行图片预测，获取预测结果；将所述预测结果进行整理及变换，输出分析结果。8.一种图片分析装置，其特征在于，所述装置包括：获取模块，用于获取图片信息，所述图片信息包括原图片和与所述原图片对应的构造图片；掩码模块，用于对所述构造图片进行掩码处理，得到掩码图片；确定模块，用于将所述掩码图片与所述原图片相乘，确定所述原图片的关键区域；裁剪模块，用于依据所述关键区域对所述原图片进行裁剪，得到粗定位图片；计算模块，用于计算所述原图片与所述粗定位图片之间关联性的损失数值，并判断所述损失数值是否小于预设阈值；分析模块，用于当所述损失数值小于所述预设阈值时，对所述粗定位图片进行分析，并输出分析结果。9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的图片分析方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图片分析方法的步骤。

技术总结
本发明属于图像处理技术领域，可应用于医疗领域中，特别是涉及一种图片分析方法、装置、设备和介质，其中，方法包括：获取原图片和与原图片对应的构造图片；对构造图片进行掩码处理，得到掩码图片；将掩码图片与原图片相乘，确定原图片的关键区域；依据关键区域对原图片进行裁剪，得到粗定位图片；计算原图片与粗定位图片之间关联性的损失数值，并判断损失数值是否小于预设阈值；若是，则对粗定位图片进行分析，并输出分析结果。本发明根据构造图片确定原图片的关键区域，并在确定关键区域与原图片存在关联性的情况下，直接依据关键区域对应的图片进行图片分析，使得图片分析过程目标明确，针对性高，以得到高置信度的分析结果。以得到高置信度的分析结果。以得到高置信度的分析结果。


技术研发人员：郑喜民 王颖妮 舒畅 陈又新
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.15
技术公布日：2023/9/6