一种指向性伪装物体分割方法及系统

1.本发明属于图像处理技术领域，尤其涉及一种指向性伪装物体分割方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.伪装物体检测(camouflaged object detection，cod)旨在分割出视觉上隐藏在周围环境中的物体。由于伪装目标与它们周围背景的高度相似性，伪装目标在尺寸上的多样性，以及伪装目标在外表上的模糊性等，伪装目标检测相较于传统的目标检测更具挑战性。早期的系统研究之一由dengping fan等在“concealed object detection”一文中呈现，该论文发布了一个带有高质量标注的大规模数据集cod10k和一个精心设计的搜索确认框架sinet。随后，大量的策略，例如多尺度特征、多阶段优化和联合训练等，相继被提出以提高伪装物体检测模型的性能。此外，近期的工作还引入了额外的信息，例如边界、纹理、频域和深度等，作为指导来进一步提高分割结果的准确性。尽管上述方法在伪装物体检测任务上取得了优异的性能表现，然而，它们都是不加区分地分割出所有可能的伪装物体，不能有指向性的告诉模型要去分割什么。
4.指向性物体分割意味着在给定的某种形式的指引信息(例如图像，文本等)的指导下，在图像中分割出指定的物体。小样本分割(few-shotsegmentation，fss)探索了包含同一类别物体的图像指导下的物体分割。在这项研究中，模型在大量由基准类别标注的样本(查询集)上进行训练，并且在给定少量由新类别标注的样本(支持集)的情况下进行密集的像素预测。现有的大多数小样本分割网络包含两个分支，即查询分支和支持分支，来分别提取查询图片和支持图片的特征并实现它们之间的交互。这项研究的先驱工作是amirreza shaban等在“one-shot learning for semanticsegmentation”一文中提出，其中支持分支直接预测查询分支的最后一个网络层的权重来进行目标物体的分割。随后，xiaolin zhang等在“sg-one:similarity guidance network for one-shot 1048semantic segmentation”一文中提出了遮掩的平均池化操作来提取有代表性的支持特征，这项技术被后续的工作广泛地采用。近来，大量的工作在固定参数的基石网络上构建强大的模块来提高模型对新类别的适应能力。
5.指向性表示式分割(referring expression segmentation，res)探索了文本表达式指导下的物体分割。在这项研究中，大多数网络也采用了双分支结构。ronghang hu等在“segmentation from natural language expressions”一文中第一次提出了这项研究，其中视觉和语言特征分别被一个视觉编码器和一个语言编码器被提取，并且它们的级联被采用来生成分割掩码。随后，多层级视觉特征，多模态lstm，注意力机制，协同网络等相继被引入到指向性表达式分割方法中来生成更加准确的结果。此外，xiaoshuai sun等在“exploring language prior for mode-sensitive visual attention modeling”一文中还将文本表达式用作图像内容丰富程度的参考来实现更好的人眼注视预测。
6.将上述指向性物体分割方法迁移到伪装物体检测任务上，最大的问题是从现存的伪装物体检测数据集中获取高质量的参考信息需要昂贵的时间和资源开销。对于小样本分割方法，收集包含同类别伪装物体的图片并且对这些图片进行像素级别的标注都是困难的；对于指向性表达式分割方法，为每张包含伪装物体的图片标注准确的文本描述也是费时费力的。因此，亟须一种指向性伪装物体检测方法，基于某种小成本收集的参考信息来对某些物体实现有指向性的分割。


技术实现要素：

7.为克服上述现有技术的不足，本发明提供了一种指向性伪装物体分割方法及系统，利用参考图像的共性信息来突出目标图像中的指向性伪装物体的方式，适合小样本所收集的参考信息对某类物体进行指向性的分割。
8.为实现上述目的，本发明的第一个方面提供一种指向性伪装物体分割方法，包括：
9.对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征；
10.将包括所述指向性伪装物体的目标图像输入至训练好的分割分支网络进行分割；
11.其中，利用分割分支网络对目标图像进行分割的过程为：对包括所述指向性伪装物体的目标图像提取第一视觉特征；
12.将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合特征，基于所述融合特征和所述共性表征生成参考掩码；
13.基于所述融合特征和所述参考掩码，得到目标图像的分割结果。
14.本发明的第二个方面提供一种指向性伪装物体分割系统，包括：
15.参考分支网络单元：用于对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征；
16.分割分支网络单元：用于将包括所述指向性伪装物体的目标图像输入至训练好的分割分支网络进行分割；所述分割分支网络包括提取单元、融合单元、参考掩码生成单元和分割单元；
17.提取单元：用于对包括该指向性伪装物体的目标图像提取第一视觉特征；
18.融合单元，用于将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合特征；
19.参考掩码生成单元，用于基于所述融合特征和所述共性表征生成参考掩码；
20.分割单元，用于基于所述融合特征和所述参考掩码，得到目标图像的分割结果。
21.本发明的第三个方面提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行一种指向性伪装物体分割方法。
22.本发明的第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行一种指向性伪装物体分割方法。
23.以上一个或多个技术方案存在以下有益效果：
24.在本发明中，设计了双分支网络结构，利用参考分支网络获取来参考图像中某类
指向性物体的共性信息，分割分支网络则在所得到的共性信息指导下确认并分割包含该指向性伪装物体的目标图像。通过将共性信息和目标图像的视觉特征进行交互融合的方式突出目标图像中的指向性伪装物体。本发明方法受其他物体的干扰较小，进而能够更加准确地分割出期望的物体，而且利用参考图像的共性信息来突出目标图像中的指向性伪装物体的方式，适合小样本所收集的参考信息对某类物体进行指向性的分割。
25.本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
26.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
27.图1是本发明实施例一中所构建的指向性伪装物体检测数据集的统计和样例示意图；
28.图2是本发明实施例一中基于双分支网络结构的指向性伪装物体分割框架示意图；
29.图3是本发明实施例一中参考掩码生成模块的结构示意图；
30.图4是本发明实施例一中所提出的指向性伪装物体分割方法的性能随参考图片数目变化的示意图；
31.图5是本发明实施例一中所提出的指向性伪装物体分割方法在有/无参考信息情况下的中间特征对比示意图；
32.图6是本发明实施例一中所提出的指向性伪装物体分割方法和传统伪装物体检测方法对伪装目标的分割效果示意图。
具体实施方式
33.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
34.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
35.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
36.实施例一
37.如图2所示，本实施例公开了一种指向性伪装物体分割方法，包括：
38.步骤1：对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征；
39.步骤2：将包括该指向性伪装物体的目标图像输入至训练好的分割分支网络进行分割；
40.其中，基于分割分支网络对目标图像进行分割的过程为：对包括该指向性伪装物体的目标图像提取第一视觉特征；
41.将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合
特征，基于所述融合特征和所述共性表征生成参考掩码；
42.基于所述融合特征和所述参考掩码，得到目标图像的分割结果。
43.如图1所示，在本实施例中，构建了一个包含两个子集的数据集，提出了双分支网络结构的模型框架。在这个数据集中，两个子集分别为分割子集和参考子集，前者由包含伪装物体的图片构成，后者由包含同类物体、简单场景的图片构成；在这个模型框架中，两个分支分别为参考分支和分割分支，参考分支用于捕获参考图片中某类物体的共性表征，分割分支基于这个共性表征分割出伪装的目标物体。
44.在本实施例中，调查目前伪装物体检测研究中广泛使用的数据集，并基于其中数据规模和标注最全面的数据集cod10k确定要分割的伪装物体有哪些类别；去除少数不常见的类别，得到一个覆盖64个伪装类别、由4966张包含伪装物体的图片构成的分割子集。
45.对于包含一个/类伪装物体的图片，直接采用cod10k提供的掩码标注；对于包含多个类别伪装物体的图片，去除cod10k提供的掩码标注中除了参考类别以外的物体对应的像素。
46.构建由包含同类物体、简单场景的图片构成参考子集。本实施例采用分割子集中的64个类别作为关键词，在flickr，unsplash等网站上收集没有版权问题并且包含真实世界场景的图片，每个类别收集25张包含单一物体、真实世界场景的图片。
47.此外，在本实施例中，对于参考子集，每个类别的25张图片中随机挑选20张用于模型的训练，剩下的5张图片用于模型的测试。对于分割子集，遵循cod10k数据集的设置，即将每个类别中属于训练集的图片用于模型训练，属于测试集的图片用于模型测试。
48.在本实施例步骤1中，参考分支网络由一个基于编码器-解码器结构的前景预测网络和一个遮掩的平均池化函数组成。给定若干张参考图片，前景预测网络的编码器模块用于提取这些图片的视觉特征，其解码器模块用于将视觉特征转化为预测的前景图掩码，遮掩的平均池化函数则根据得到的视觉特征和前景图掩码提取参考图像中某个类别物体的共性表征。在本实施例中所采用的前景预测网络可以为任何目前现有的主流的前景预测方法，并且模型的训练和推理过程中，前景预测网络的参数保持不变。
49.参考分支网络对参考图像的具体操作过程为：利用训练好的前景预测网络的编码器对多个参考图像进行编码，得到参考图像对应的第二视觉特征；
50.将第二视觉特征输入至训练好的前景预测网络的解码器进行解码，预测出参考图像中该类物体的前景图；
51.利用预测的前景图对第二视觉特征进行遮掩操作，过滤除某类别物体以外的其他信息；
52.对遮掩后的第二视觉特征进行平均池化操作，得到指该类别物体的语义向量表征；
53.对多个参考图像的语义向量表征求均值，得到该类别物体的共性表征。
54.具体的，将k张参考图片送入到框架的参考分支生成对应的第二视觉特征和前景图生成的前景图则用作掩码过滤掉特征中除了期望物体以外的其他信息，得到该物体的语义向量表征，这个计算过程可以表示为：
[0055][0056]
其中，表示用于形状匹配的下采样操作，∑
2d
(
·
)表示累加空间维度上的所有特征值，表示用于转换频道维度的1
×
1卷积操作。
[0057]
在本实施例步骤2中，分割分支网络由一个用于视觉特征提取的编码器、一个参考掩码生成(referring mask generation，rmg)模块，一个参考特征增强(referring feature enhance，rfe)模块和一个分割出伪装目标的解码器组成。具体而言，编码器采用目前最为广泛使用的特征提取器，即50层残差网络(resnet50)；解码器则是由一个包含两层卷积的卷积块，其中第一层的卷积核大小为3
×
3，第二层卷积核的大小为1
×
1。
[0058]
如图3所示，参考掩码生成模块包含一个由三个并行的特征拼接操作组成的空间信息注入部件，一个由两个多层线性感知器和三个并行的卷积核大小为3
×
3的卷积块组成的跨源融合部件，两个卷积长短期记忆(conv-lstm)块组成的跨尺度融合部件和一个基于卷积操作的密集对比模块。
[0059]
将步骤1求k个语义向量表征的均值得到该类别物体的类别共性表征e
cate
和多层次第一视觉特征送入到参考掩码生成(rmg)模块来生成参考掩码e
cate
。
[0060]
在rmg模块中，考虑到类别共性特征和多层次视觉特征来自不同的图像源，并且同一类别的伪装物体和单一物体在外表上也可能存在较大的不同，因此类别共性特征和多层次视觉特征之间存在较大的信息差异，并且通过直接对它们进行像素级别的对比来获取参考掩码是可能会对分割过程造成干扰。为了解决这个问题，本实例在rmg模块中将包含伪装物体的视觉特征和来自参考图片的视觉特征进行融合来消除二者的信息差异。
[0061]
具体的，尺度有高到低的视觉特征输入到rmg模块的空间信息注入部件中，分别根据第一视觉特征的尺寸为其每个位置编码一个8维的嵌入向量，并将视觉特征分别与其对应的空间位置编码进行拼接得到视觉特征从而为视觉特征注入空间位置信息以此来促进后续不同表征信息的融合。
[0062]
接着跨源融合部件采用仿射变换的方式实现该视觉特征和参考物体共性表征之间的信息融合。具体的，类别共性表征e
cate
分别经过两个多层线性感知器得到两个向量，所得到两个向量与包含空间位置信息的视觉特征采用线性仿射变换的方式依次进行融合，融合后的三个特征经过三个并行的卷积块处理得到特征y1、y2、y3。
[0063]
随后，跨尺度融合部件则将三个不同特征金字塔尺度的跨源融合特征y1、y2、y3融合在一起，经过这一融合处理，双源表征间的差异问题得到有效地消除。具体的，y1、y2输入到第一个卷积长短期记忆模块中，将第一卷积长短期记忆模块的输出以及y3输入到第二个卷积长短期记忆模块，第二个卷积长短期记忆模块输出类别共性表征和视觉特征的融合结果ef。
[0064]
基于此，密集比较部件以类别共性表征e
cate
为卷积核，双源融合特征ef为输入特征，通过卷积运算的方式对类别共性表征e
cate
与融合特征ef的每个像素进行像素级别的比较，进而生成参考掩码。以上过程可以表示为：
[0065][0066]
其中，rmg(
·
)为本文提出的参考掩码生成模块，ef为类别共性表征和视觉特征的融合结果，为生成的参考掩码。
[0067]
如图2所示，参考特征增强模块包含一个由平均池化(average pooling)操作、调整大小(resize)操作和拼接操作组成的参考指导部件和一个由三个并行的卷积核大小为3
×
3卷积块组成的特征增强部件。给定一张包含伪装物体的图像ic∈rh×w×3，由编码器模块对该图片进行编码，生成3个特征金字塔层次的视觉特征。我们使用1
×
1卷积处理这3个特征金字塔层次的视觉特征来统一频道维度，并将它们表示为
[0068]
将上面生成的融合特征ef和参考掩码输入到参考特征增强(rfe)模块来生成增强的视觉特征。在rfe模块中，首先采用平均池化操作将双源融合特征ef的尺寸分别调整到参考掩码生成中使用的三个特征金字塔视觉特征即的尺度，采用调整大小操作将参考掩码也分别调整到这三个尺度即的尺度；接着将同一尺度的参考掩码和融合特征拼接在一起来增强确认伪装物体的能力；为了提高模型对不同尺度伪装物体的识别能力，构建一条从高尺度到低尺度的路径，依次将较高尺度的特征与相邻的低尺度特征拼接在一起来实现多尺度视觉特征的交互。并且本实例还对三个尺度路径的输出特征进行监督，使得最终输出的特征更加鲁棒。在参考掩码的多尺度指导下，融合特征得到增强，进而突出伪装的目标物体，这个过程可以表示为：
[0069][0070]
其中，rfe(
·
)为本文提出的参考特征增强模块，e
enr
为使用参考掩码增强后的视觉特征。
[0071]
最后，将增强后的特征送入到分割分支的解码器中来生成分割掩码。
[0072]
本实施例开展了大量的实验验证指向性伪装物体检测方法的有效性。图4展示了本实施例方法的性能随参考图片数目变化的示意图。其中wf值越大表明方法性能越好，m值越小表明方法性能越好，可以看出，本实施例方法的性能与参考图片的数目呈现正相关，这是由于随着参考图片数目的增加，获得的类别共性表征受该类别内物体外表差异的影响变小，因此可以对伪装的目标实现更加准确的定位和分割。图5展示了在有/无参考信息情况下的中间特征对比效果图，图6是本实施例方法和传统伪装物体检测方法对伪装目标的分割效果示意图；可以看出，在参考信息的指引下，一方面，本实施例方法受其他物体的干扰较小，进而更加准确地分割出期望的物体，另一方面，本实施例方法在分割出伪装物体的主体部分表现更佳。
[0073]
实施例二
[0074]
本实施例的目的是提供一种指向性伪装物体分割系统，包括：
[0075]
参考分支网络单元：用于对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征；
[0076]
分割分支网络单元：用于将包括所述指向性伪装物体的目标图像输入至训练好的分割分支网络进行分割；所述分割分支网络包括提取单元、融合单元、参考掩码生成单元和
分割单元；
[0077]
提取单元：用于对包括该指向性伪装物体的目标图像提取第一视觉特征；
[0078]
融合单元，用于将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合特征；
[0079]
参考掩码生成单元，用于基于所述融合特征和所述共性表征生成参考掩码；
[0080]
分割单元，用于基于所述融合特征和所述参考掩码，得到目标图像的分割结果。
[0081]
实施例三
[0082]
本实施例的目的是提供一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述一种指向性伪装物体分割方法的步骤。
[0083]
实施例四
[0084]
本实施例的目的是提供一种计算机可读存储介质。
[0085]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种指向性伪装物体分割方法中的步骤。
[0086]
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
[0087]
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
[0088]
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

技术特征：
1.一种指向性伪装物体分割方法，其特征在于，包括：对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征；将包括所述指向性伪装物体的目标图像输入至训练好的分割分支网络进行分割；其中，利用分割分支网络对所述目标图像进行分割的过程为：对包括所述指向性伪装物体的目标图像提取第一视觉特征；将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合特征，基于所述融合特征和所述共性表征生成参考掩码；基于所述融合特征和所述参考掩码，得到目标图像的分割结果。2.如权利要求1所述的一种指向性伪装物体分割方法，其特征在于，对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征，具体为：利用参考分支网络的编码器对多个参考图像进行编码，得到对应的第二视觉特征；将所述第二视觉特征输入至参考分支网络的解码器，得到指向性伪装物体的预测前景图；利用所述预测前景图对所述第二视觉特征进行遮掩操作；对遮掩后的第二视觉特征进行平均池化操作，得到指向性伪装物体的语义向量表征；对多个参考图像的指向性伪装物体的语义向量表征求均值，得到指向性伪装物体的共性表征。3.如权利要求1所述的一种指向性伪装物体分割方法，其特征在于，利用分割分支网络的编码器提取目标图像的多个金字塔尺度层次的第一视觉特征。4.如权利要求3所述的一种指向性伪装物体分割方法，其特征在于，将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合特征，具体为：通过线性仿射变换将不同金字塔尺度层次的第一视觉特征与所述共性表征进行跨源信息融合；利用长短期记忆网络将多个跨源融合信息进行跨尺度融合，得到融合特征。5.如权利要求1所述的一种指向性伪装物体分割方法，其特征在于，基于所述融合特征和所述共性表征生成参考掩码，具体为：利用动态卷积将所述融合特征作为输入，所述共性表征为卷积核，对比共性表征与融合特征的每个像素来生成参考掩码。6.如权利要求1所述的一种指向性伪装物体分割方法，其特征在于，还包括，将所述融合特征和所述参考掩码输入至参考特征增强模块中来增强融合特征，具体为：将参考掩码和融合特征的尺寸调整到第一视觉特征的金字塔尺度；将同一尺度的参考掩码和融合特征进行拼接；将不同尺度的拼接特征拼接输出，得到增强后的融合特征。7.如权利要求6所述的一种指向性伪装物体分割方法，其特征在于，将增强后的融合特征输入至分割分支网络的解码器进行解码，得到目标图像对指定伪装物体的分割结果。8.一种指向性伪装物体分割系统，其特征在于，包括：参考分支网络单元：用于对指向性伪装物体的多个参考图像基于参考分支网络进行特征提取，得到所述指向性伪装物体的共性表征；
分割分支网络单元：用于将包括所述指向性伪装物体的目标图像输入至训练好的分割分支网络进行分割；所述分割分支网络包括提取单元、融合单元、参考掩码生成单元和分割单元；提取单元：用于对包括该指向性伪装物体的目标图像提取第一视觉特征；融合单元，用于将所提取的第一视觉特征和所述指向性伪装物体的共性表征进行融合得到融合特征；参考掩码生成单元，用于基于所述融合特征和所述共性表征生成参考掩码；分割单元，用于基于所述融合特征和所述参考掩码，得到目标图像的分割结果。9.一种计算机设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至7任一项所述的一种指向性伪装物体分割方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一项所述的一种指向性伪装物体分割方法。

技术总结
本发明提出了一种指向性伪装物体分割方法及系统，设计了双分支网络结构，利用参考分支网络获取来参考图像中某类指向性物体的共性信息，分割分支网络则在所得到的共性信息指导下确认并分割包含该指向性伪装物体的目标图像。通过将共性信息和目标图像的视觉特征进行交互融合的方式突出目标图像中的指向性伪装物体。本发明方法受其他物体的干扰较小，进而能够更加准确地分割出期望的物体，而且利用参考图像的共性信息来突出目标图像中的指向性伪装物体的方式，适合小样本所收集的参考信息对某类物体进行指向性的分割。息对某类物体进行指向性的分割。息对某类物体进行指向性的分割。


技术研发人员：张旭迎 林铮 尹博文 范登平 侯淇彬 程明明
受保护的技术使用者：南开大学
技术研发日：2023.05.30
技术公布日：2023/9/14