少样本模型学习方法、装置、设备及存储介质与流程

1.本技术涉及但不限于深度学习技术领域，尤其涉及一种少样本模型学习方法、装置、设备及存储介质。


背景技术：

2.由于神经网络的迅速发展，许多基于深度神经网络的任务都取得了重大突破，包括图像分类、目标检测、自然语言处理和语音识别等等。然而，当前的神经网络模型对训练数据的数量依赖十分明显，如果只有少量的训练数据，模型往往会出现过拟合的现象，使得训练的模型在使用中表现不佳。


技术实现要素：

3.基于相关技术存在的问题，本技术实施例提供一种少样本模型学习方法、装置、设备及存储介质。
4.本技术实施例的技术方案是这样实现的：
5.本技术实施例提供一种少样本模型学习方法，所述方法包括：
6.获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型；
7.基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果；
8.在所述验证推理结果表征自然数据的类别与少样本数据库的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少样本数据库；
9.根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。
10.本技术实施例提供一种少样本模型学习装置，所述装置包括：
11.获取模块，用于获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型；
12.数据推理模块，用于基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果；
13.添加模块，用于在所述验证推理结果表征自然数据的类别与少样本数据库的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少样本数据库；
14.更新模块，用于根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。
15.本技术实施例提供一种少样本模型学习设备，包括处理器和存储器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述少样本模型学习方法。
16.本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述少样本模型学习方法。
17.本技术实施例提供一种计算机程序产品，所述计算机程序产品包括可执行指令，所述可执行指令存储在计算机可读存储介质中；当少样本模型学习设备的处理器从所述计算机可读存储介质读取所述可执行指令，并执行所述可执行指令时，实现上述少样本模型学习方法。
18.本技术实施例提供的少样本模型学习方法、装置、设备及存储介质，通过预先训练过的验证模型对自然数据进行数据推理，并将类别与所述少样本数据库的目标类别一致的自然数据添加至少样本数据库，对少样本数据库的数据进行了扩展更新，进而训练出新的少样本模型。第一方面，实现了通过验证模型在自然数据中挖掘符合少样本模型学习的数据，不仅解决了少样本模型数据缺乏的问题，还能够不断扩充少样本数据库的数据池，从而不断扩展少样本模型的认知边界，提高了少样本模型在测试集或实际使用中的准确性；第二方面，本技术提供的少样本模型学习方法，适用于任何少样本模型任务，提供了一种通用的少样本模型学习流程。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。
附图说明
20.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
21.图1是本技术实施例提供的少样本模型学习方法的应用场景示意图；
22.图2是本技术实施例提供的一种少样本模型学习方法的实现流程示意图；
23.图3是本技术实施例提供的一种少样本模型学习方法的实现流程示意图；
24.图4是本技术实施例提供的一种少样本模型学习方法的实现流程示意图；
25.图5是本技术实施例提供的一种少样本模型学习方法的实现流程示意图；
26.图6是本技术实施例提供的一种少样本模型学习方法对应的框架结构示意图；
27.图7是本技术实施例提供的少样本数据库的更新示意图；
28.图8是本技术实施例提供的一种少样本模型学习装置示意图；
29.图9是本技术实施例提供的一种少样本模型学习设备的硬件实体示意图。
具体实施方式
30.为了使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术作进一步地详细描述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
31.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
32.在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
33.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
34.当前，少样本学习是深度学习重要的新兴研究领域之一，而现有技术中少样本学习的研究重点在模型本身，而不是数据。数据量少作为少样本学习要面临的一个重要而不可忽视的问题，而目前少样本学习的发展恰恰忽略了这一点。
35.基于相关技术中存在的问题，本技术实施例通过预先训练过的验证模型对自然数据进行数据推理，并将类别与所述少样本数据库的目标类别一致的自然数据添加至少样本数据库，对少样本数据库的数据进行了扩展更新，进而训练出新的少样本模型。第一方面，实现了通过验证模型在自然数据中挖掘符合少样本模型学习的数据，不仅解决了少样本模型数据缺乏的问题，还能够不断扩充少样本数据库的数据池，从而不断扩展少样本模型的认知边界；第二方面，本技术提供的少样本模型学习方法，适用于任何少样本模型任务，提供了一种通用的少样本模型学习流程。
36.本技术实施例提供的少样本模型学习方法可以由少样本模型学习设备等电子设备执行，其中电子设备可以是笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端，也可以实施为服务器。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
37.下面，将说明少样本模型学习设备实施为服务器时的示例性应用，将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
38.图1是本技术实施例提供的少样本模型学习方法的应用场景示意图。本技术实施例提供的少样本模型学习系统10中包括终端100、网络200和服务器300，网络200可以是广域网或者局域网，又或者是二者的组合。服务器300和终端100在物理上可以是分立的，也可以是一体的。在进行少样本模型学习时，服务器300基于网络200获取少样本数据库、自然数据库、验证模型和基于少样本数据库训练得到的少样本模型，基于验证模型，对自然数据库中的自然数据进行数据推理，得到验证推理结果，在验证推理结果表征自然数据的类别与少样本数据库的少样本数据的目标类别一致的情况下，将自然数据添加至少样本数据库，得到更新少样本数据库，根据更新少样本数据库，对少样本模型进行更新，得到更新少样本模型，并基于网络200将更新少样本模型发送至终端100。
39.图2是本技术实施例提供的一种少样本模型学习方法的实现流程示意图，如图2所示，该方法通过步骤s201至步骤s204实现：
40.步骤s201、获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型。
41.在本技术实施例中，少样本数据库中的数据是经过标注的数据，可以包括多个少样本数据，少样本数据用于少样本模型的训练和优化。其中，少样本数据是指数据量少的类别对应的数据，例如，一个类别只有1至10个数据，则该类别对应的数据即为少样本数据。少样本数据可以是文本、图像或者语音数据等，少样本数据的类型与少样本模型的类型相关，
如果少样本模型为图像分类模型，则少样本数据为图像数据；少样本模型为目标检测模型或者目标分割模型时，少样本数据也可以是图像数据；少样本模型为文本分类模型、情感分析和语言建模时，少样本数据为文本数据；少样本模型为语音识别模型时，少样本数据为语音数据。
42.在一些实施例中，少样本模型使用少量的数据进行学习，使模型能够快速学习新任务，适应新环境，例如在医疗诊断领域，可以在数据有限的情况下识别罕见疾病和其他异常，可以帮助个性化治疗和预测病人的结果。
43.在一些实施例中，自然数据库中可以包括多个自然数据，自然数据来源较为广泛，可以是网络数据，也可以是公开数据集或者私有工业数据集等等。自然数据用于筛选符合条件的数据加入少样本数据库，以扩展少样本数据。
44.在一些实施例中，验证模型用于进行自然数据的推理，得到自然数据的推理结果，这里，验证模型可以用于对自然数据进行分类、目标检测或图像分割等推理。验证模型可以由预训练模型和输出层组成，预训练模型是训练时没有采用少样本数据库的数据进行训练的模型，验证模型可以是常见的有监督预训练模型，例如：image net预训练模型，coco预训练或者文本任务的预训练模型等等；预训练模型还可以是无监督训练模型，以图像分类模型为例：验证模型可以是moco、simclr、byol、dino或mae等无监督方法训练出的神经网络模型。输出层可以是训练后具有分类、目标检测或图像分割功能的结构，用于输出验证模型的推理结果。
45.在本技术实施例中，少样本模型是基于少样本数据训练得到的，少样本模型可以是任意类型的少样本模型架构，例如，少样本分类模型、少样本目标检测模型，少样本图像分割模型或少样本自然语言处理模型等，少样本模型的类型不同，对应的少样本数据库的数据类型也不同。
46.步骤s202、基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果。
47.在一些实施例中，验证模型由预训练模型和输出层组成，预训练模型可以提供一个语义信息丰富的骨干网络，用于提取自然数据(例如自然图像)的语义信息。而输出层用于调整输出格式，可以是一个可学习的全连接层，也可以是无需学习的输出层，例如，基于k最近邻(k-nearest neighbor，knn)算法和支持向量机等实现输出的网络结构。
48.在一些实施例中，自然数据库中可以包含多个自然数据，对自然数据进行数据推理可以是指对自然数据进行分类，得到包含自然数据类别的验证推理结果；对自然数据进行数据推理还可以是指对自然数据进行目标检测，得到包含自然数据中目标对象的验证推理结果。
49.这里，数据推理的类型与少样本模型的类型相同，当少样本模型为分类模型时，数据推理则为对自然数据进行分类，验证推理结果为每一自然数据的类别；当少样本模型为图像分割模型时，数据推理则为对自然数据进行图像分割，验证推理结果为分割后的图像。下述实施例均以少样本模型为分类模型，数据推理则为对自然数据进行分类为例对本技术实施例提供的少样本模型学习方法进行详细描述。
50.步骤s203、在所述验证推理结果表征自然数据的类别与所述少样本数据库的少样本数据的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少
样本数据库。
51.在一些实施例中，少样本数据库可以包括多种目标类别的少样本数据，目标类别可以是飞行物、动物或其他数据量少的数据类别。这里，可以将自然数据中类别与目标类别相同的数据，确定为满足筛选条件的自然数据，即该自然数据可以用于少样本模型的训练的数据。
52.在一些实施例中，自然数据库中类别与目标类别相同的自然数据可以用于少样本模型的训练，将自然数据添加至少样本数据库，可以增加少样本数据库中的少样本数据，扩展少样本数据池，得到更新少样本数据库。
53.步骤s204、根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。
54.在一些实施例中，对少样本模型进行更新是指通过更新少样本数据库再次对少样本模型进行训练，从而训练出新的少样本模型，不断扩展模型的认知边界，避免少样本模型在使用中表现不佳。
55.在一些实施例中，对少样本模型进行更新可以是指对少样本模型的模型参数进行更新。
56.申请实施例还可以通过网络数据或其他公开的数据对自然数据库进行更新，得到更新后的自然数据库，通过更新后的自然数据库又可以确定出更新后的自然数据库中类别与所述少样本数据库的目标类别一致的自然数据，根据再次确定出的类别与所述少样本数据库的目标类别一致的自然数据，再次扩展少样本数据库，并再次通过扩展后的少样本数据库对少样本模型进行训练得到新的少样本模型，如此，不但实现了少样本数据库的数据扩展，还实现了少样本模型的循环更新，提高了少样本模型在测试集或实际使用中的准确性。
57.首先，本技术实施例针对相关技术的少样本学习研究中重模型，轻数据的问题，面向数据层面，通过提供一种验证模型(即少样本模型的平行框架)，来挖掘自然数据中的稀缺样本，以供少样本模型学习；其次，本技术实施例针对少样本模型数据缺乏的问题，提出通过挖掘类别与所述少样本数据库的目标类别一致的自然数据来不断扩充数据池，从而不断扩展模型的认知边界；最后，当前少样本研究框架基本都是面向特定领域，比如只针对图像，或者只针对文本，而本技术实施例提出的少样本模型学习方法，适用于任何少样本任务，搭建了通用的少样本学习流程。
58.在一些实施例中，验证模型至少包括预训练模型和输出层，输出层可以是一个可学习的全连接层，也可以是无需学习的输出层。当验证模型的输出层是一个可学习的全连接层，即验证模型由预训练模型和第一输出层组成时，如图3所示，步骤s203可以通过步骤s301至步骤s302实现：
59.步骤s301、基于所述预训练模型，对所述自然数据进行特征信息提取，得到第一特征数据。
60.在一些实施例中，预训练模型在模型训练时未通过少样本数据库中的少样本数据进行训练，预训练模型可以是常见的有监督预训练模型或无监督与训练模型，用于提取自然数据(例如自然图像)的特征信息。这里，特征信息提取可以是指特征信息提取，在自然数据中提取出用于分类的语义信息，语义信息可以是轮廓、边缘、颜色、纹理和形状特征等低
层语义信息，也可以是眼睛、鼻子、蓝天和海水等高层语义信息。这里，可以通过预先训练的训练模型对自然数据库中的每一自然数据的特征信息进行特征信息提取，得到包含每一自然数据语义信息的第一特征数据。
61.步骤s302、基于所述第一输出层，对所述第一特征数据进行分类处理，得到所述自然数据的第一分类结果；其中，所述第一输出层为基于所述少样本数据库中的少样本数据进行分类学习得到的具有分类功能的输出层。
62.在一些实施例中，第一输出层是指通过少样本数据库中的少样本数据进行分类学习，得到的具有分类功能的输出层。这里，通过少样本数据对第一输出层进行分类学习，使得第一输出层具有与少样本模型相同的分类能力。
63.基于自然数据的语义信息，通过具有分类功能的第一输出层对第一特征数据进行分类处理，可以确定每一自然数据的类别，形成自然数据的第一分类结果，每一自然数据的类别构成验证模型对自然数据进行数据推理后的验证推理结果。
64.在一些实施例中，在确定验证推理结果中自然数据的类别是否与所述少样本数据库的少样本数据的目标类别一致之前，还可以确定少样本模型对自然数据的分类结果，如果验证推理结果中部分自然数据的类别与少样本模型分类的类别相同，且该类别与少样本数据库的目标类别相同，则验证推理结果中的部分自然数据可以添加至少样本数据库中。基于前述实施例，在步骤s202之后，还可以包括步骤s303：
65.步骤s303、基于所述少样本模型，对所述自然数据进行分类处理，得到所述自然数据的第二分类结果。
66.在本技术实施例中，少样本模型是通过少样本数据库训练得到的分类模型，通过少样本模型对自然数据进行分类处理，得到具有不同类别的自然数据，即第二分类结果。
67.在本技术实施例中，在验证模型和少样本模型均对自然数据进行分类得到验证推理结果和分类结果之后，可以通过少样本模型以及验证模型对自然数据的输出类别是否一致，来确定自然数据是否目标类别对应的数据，即少样本数据库中需要的数据。基于前述实施例，步骤s203可以通过步骤s304和步骤s305实现：
68.步骤s304、对所述第二分类结果和所述验证推理结果进行对比，将所述第一分类结果和所述第二分类结果中类别相同，且属于所述目标类别的自然数据确定为更新数据。
69.在一些实施例中，在得到第二分类结果和验证推理结果之后，对第二分类结果和验证推理结果进行对比，如果验证推理结果中存在部分自然数据的类别与该自然数据在第二分类结果中对应的类别相同，且该相同的类别为少样本数据库的目标类别时，则将该部分自然数据确定为更新数据。例如，验证推理结果中，部分数据分类为飞行物，少样本数据库中的目标类别包括飞行物，且该部分自然数据经过少样本模型分类后的类别也是飞行物，则这部分自然数据可以用于少样本模型的训练，因此，将该部分数据确定为更新数据。
70.步骤s305、将所述更新数据添加至所述少样本数据库，得到更新少样本数据库。
71.在一些实施例中，将更新数据添加至少样本数据库，可以增加少样本数据库中的少样本数据，扩展少样本数据池，得到更新少样本数据库。
72.本技术实施例通过对分类结果和验证推理结果进行对比，来对自然数据进行分类挖掘，在自然数据库中确定能够用于少样本模型训练的自然数据，从而实现少样本数据库的数据扩展，以不断扩展模型的认知边界。
73.在一些实施例中，当验证模型的输出层是一个无需学习的输出层，即验证模型由预训练模型和第二输出层组成时，如图4所示，步骤s202可以通过步骤s401和步骤s402实现：
74.步骤s401、基于所述预训练模型，对所述自然数据进行特征信息提取，得到第二特征数据。
75.这里，预训练模型与前述实施例中的预训练模型相同，均用于对自然数据的语义信息进行特征信息提取，得到第二特征数据。
76.步骤s402、基于所述第二输出层，对所述第二特征数据进行特征提取，得到至少包括所述自然特征向量的所述验证推理结果。
77.在一些实施例中，第二输出层可以基于k最近邻(k-nearest neighbor，knn)算法和支持向量机实现的网络结构，第二输出层可以用于对第二特征数据进行特征提取，得到每一自然数据的自然特征向量，每一自然数据的自然特征向量构成验证模型对自然数据进行推理后的验证推理结果。
78.在一些实施例中，验证模型还可以对少样本数据库中的少样本数据进行数据推理，以得到每一少样本数据的少样本特征向量，可以基于knn算法计算每一自然特征向量和每一少样本特征向量之间的特征距离，将特征距离小于阈值的自然数据确定为可以对少样本模型进行训练的数据。基于前述实施例，在步骤s202之后还可以包括步骤s403和步骤s404：
79.步骤s403、基于所述预训练模型，对所述少样本数据库中的少样本数据进行特征信息提取，得到第三特征数据。
80.在本技术实施例中，预训练模型与前述实施例中的预训练模型相同，通过该预训练模型可以得到少样本数据库中每一少样本数据的语义信息，得到第三特征数据。
81.步骤s404、基于所述第二输出层，对所述第三特征数据进行特征提取，得到至少包括所述少样本特征向量的所述少样本推理结果。
82.在一些实施例中，第二输出层还可以用于对第三特征数据进行特征提取，得到每一少样本数据的少样本特征向量，每一少样本数据的少样本特征向量构成验证模型对少样本数据进行推理后的少样本推理结果。
83.基于前述实施例，步骤s203还可以通过步骤s405至步骤s407实现：
84.步骤s405、根据所述验证推理结果、所述少样本推理结果和所述第二输出层，确定所述少样本特征向量与所述自然特征向量之间的特征距离。
85.在本技术实施例中，在确定了包含自然特征向量的验证推理结果和包含少样本特征向量的少样本推理结果之后，可以基于验证模型的第二输出层，确定每一自然特征向量与每一少样本特征向量之间的特征距离。这里，特征距离可以是每一自然特征向量与每一少样本特征向量之间的欧氏距离或者余弦距离等可以表征特征向量之间相似度的特征距离。
86.步骤s406、将所述特征距离小于距离阈值的自然特征向量对应的自然数据，确定为更新数据。
87.在一些实施例中，当采用欧式距离来计算每一自然特征向量与每一少样本特征向量之间的特征距离时，可以得到每一自然特征向量与每一少样本特征向量之间的特征距离
数值，可以将与少样本特征向量之间的特征距离小于距离阈值的自然特征向量对应的自然数据，确定为能够进行少样本模型训练的更新数据，即该自然数据的类别与少样本数据库中数据的类别一致。
88.步骤s407、将所述更新数据添加至所述少样本数据库，得到更新少样本数据库。
89.在一些实施例中，将更新数据添加至少样本数据库，可以增加少样本数据库中的少样本数据，扩展少样本数据池，得到更新少样本数据库。
90.本技术实施例通过确定少样本推理结果中的少样本特征向量与验证推理结果中自然特征向量的特征距离，在自然数据库中确定能够用于少样本模型训练的自然数据，从而实现少样本数据库的数据扩展，以不断扩展模型的认知边界。
91.在一些实施例中，可以对自然数据进行迭代更新，以满足更多模型的需求，在对自然数据进行更新之后，可以在自然数据中挖掘更多用于少样本模型的数据，进而对少样本模型的模型参数进行更新，得到新的少样本模型。基于前述实施例，如图5所示，在步骤s204之后，本技术实施例提供的少样本模型学习方法还可以包括步骤s501至步骤s504：
92.步骤s501、对所述自然数据库中的自然数据进行更新，得到更新自然数据库。
93.在一些实施例中，可以通过更新自然数据的数据来源，或者添加新的数据集至自然数据库，或者获取网络数据添加至自然数据库来实现熙然数据库的数据更新，得到更新自然数据库。
94.步骤s502、基于所述验证模型，对所述更新自然数据库中的自然数据进行数据推理，得到更新验证推理结果。
95.在本技术实施例中，在自然数据库更新之后，可以通过验证模型对更新自然数据库中的自然数据进行数据推理，得到更新验证推理结果。
96.步骤s503、将所述更新验证推理结果中类别与所述少样本数据库的目标类别一致的自然数据添加至所述更新少样本数据库，得到第一更新少样本数据库。
97.步骤s504、基于所述第一更新少样本数据库，对所述更新少样本模型进行更新，得到第一更新少样本模型。
98.在本技术实施例中，通过更新更新验证推理结果，可以将更新验证推理结果中类别与目标类别相同的自然数据添加至更新少样本数据库，得到第一更新少样本数据库，并基于第一更新少样本数据库，对更新少样本模型的模型参数再次进行调整，得到第一更新少样本模型，进而实现少样本数据库和少样本模型的再次更新。
99.本技术实施例通过不断更新自然数据库，并通过验证模型对自然数据进行筛选，得到能够用于少样本模型训练的数据，使得少样本数据库中的数据不断增加，得到少样本模型能够基于更多的训练数据进行训练，提高了更新训练后的少样本模型在测试集和实际使用中的准确性。
100.本技术实施例再提供一种少样本模型学习方法在实际场景中的应用。
101.图6是本技术实施例提供的一种少样本模型学习方法对应的框架结构示意图，如图6所示，本技术实施例少样本模型学习方法对应的框架结构至少包括少样本学习模型601(即少样本模型)、验证模型602(即预训练模型)、输出层603(即第一输出层或第二输出层)、结果对比模块604、少样本数据库605和自然数据库606。
102.在一些实施例中，输入数据可以分为少样本数据库605和自然数据库606。其中少
样本数据库605只包含部分稀缺类别的数据，稀缺类别就是对应类别样本数目很少，比如一个类别只有1-10个数据单元。少样本数据库中的数据是经过标注的数据，用于训练少样本模型，少样本数据库中的数据单元可以是文本、图像以及语音片段等。自然数据库606中的自然数据来源较为广泛，可以是网络数据，也可以是公开数据集或者私有工业数据集等等。
103.少样本数据库605中的少样本数据用于少样本学习模型的优化，而自然数据用于少样本模型601以及验证模型602和输出层603的推理，并将两个模型的推理结果送入结果对比模块604对自然数据进行筛选，对于满足筛选条件的自然数据，会被添加到少样本数据库中。
104.在一些实施例中，少样本模型接收少样本数据，并基于少样本数据进行训练，得到新的少样本模型，新的少样本模型和验证模型接收自然数据库中的自然数据之后，分别输出推理结果，结果对比模块基于少样本模型对应的输出结果和验证模型对应的输出结果，确定自然数据中满足筛选条件(即类别与所述少样本数据库的目标类别一致)的自然数据，并将满足筛选条件的自然数据添加至少样本数据库中，得到更新少样本数据库。将更新少样本数据库的数据放入新的少样本模型中，新的少样本模型进一步训练后得到更新的少样本模型。按照先前逻辑，更新的少样本模型和验证模型再次接收一批更新的自然数据，通过结果对比模块再次得到一批满足筛选条件的自然数据，满足筛选条件的自然数据和更新少样本数据库再次合并，重复前述步骤以实现少样本数据库和少样本模型的循环更新。
105.这里，自然数据可以进行批次更新，比如更新自然数据的来源，或者添加新的数据集等。
106.在一些实施例中，少样本模型支持任意类型的少样本模型架构，比如少样本分类模型，少样本目标检测模型，少样本图像分割模型，少样本自然语言处理模型等等。验证模型负责进行自然数据的推理，得到推理结果，用于后续的结果验证。验证模型必须是常见的或者没有见过对应稀缺样本的模型，比如可以是常见的有监督预训练模型，包括image net预训练模型、coco预训练或者文本任务的预训练模型等等。除此之外，验证模型还可以是无监督训练模型，以图像任务为例：包括：moco、simclr、byol、dino或mae等等无监督方法训练出的神经网络模型，这类模型无需数据标签，和少样本学习的初衷一致。
107.验证模型602提供了一个语义信息丰富的骨干网络，用于提取自然图像的语义信息。而输出层603用于调整输出格式，输出层603可以是一个可学习的全连接层，也可以是无需学习的输出层，比如knn或支持向量机等等。
108.在本技术实施例中，结果对比模块604，用于判断当前的自然数据是否是满足筛选条件的稀缺类别数据，判断标准包括两个：(1)少样本模型以及验证模型对自然数据的输出类别是否一致(2)验证模型对少样本数据以及自然数据之间的类别判断结果。
109.针对第一种判断标准，通过少样本数据库对输出层进行训练，此时验证模型后的输出层具有了类别区分能力，这时就可以对少样本模型的输出结果和验证模型的输出结果进行对比，如果两者类别预测一致，并且类别属于少样本数据库中的稀缺样本(即目标类别)，则通过结果对比模型，将对应的自然数据添加到少样本数据库中。
110.针对第二种判断标准，输出层为knn或者支持向量机等无须训练的类别区分网络结构，输出层输出少样本数据的特征向量和自然数据的特征向量，基于少样本数据的特征向量和自然数据的特征向量之间的特征距离，来判断自然数据是否满足筛选条件，当特征
距离小于特征阈值时，认为该自然数据与少样本数据处于同一类别，则通过结果对比模型，将对应的自然数据添加到少样本数据库中。
111.在一些实施例中，上述两个判断标准，可以采用或的形式(两者满足其一)，也可以采用并的形式(两者都满足)。
112.在本技术实施例中，循环更新包括数据更新和模型更新。其中，循环更新是基于结果对比模块的输出，来选择添加/不添加当前自然数据到少样本数据库中，而更新的少样本数据库又可以训练出新的少样本模型，从而又得到新的添加数据。在循环更新的过程中，自然数据也可以进行迭代更新，以满足更多样本的需求。图7是本技术实施例提供的少样本数据库的更新示意图，如图7所示，通过循环更新的方式，少样本数据库从d0扩展为d1，再扩展为d2，在此过程中不断增加的新样本，也能够不断扩展少样本模型的认知边界。
113.首先，本技术实施例针对相关技术的少样本学习研究中重模型，轻数据的问题，面向数据层面，通过提供一种验证模型(即少样本模型的平行框架)，来挖掘自然数据中的稀缺样本，以供少样本模型学习；其次，本技术实施例针对少样本模型数据缺乏的问题，提出通过挖掘类别与所述少样本数据库的目标类别一致的自然数据来不断扩充数据池，从而不断扩展模型的认知边界；最后，当前少样本研究框架基本都是面向特定领域，比如只针对图像，或者只针对文本，而本技术实施例提出的少样本模型学习方法，适用于任何少样本任务，搭建了通用的少样本学习流程，可以应用到包括图像、文本、语音等不同学习任务中，例如集成少样本算法的智能相机中。
114.基于上述实施例，本技术实施例提供一种少样本模型学习装置，图8是本技术实施例提供的一种少样本模型学习装置示意图，如图8所示，所述装置80包括获取模块801、数据推理模块802、添加模块803和更新模块804。
115.其中，获取模块801，用于获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型。
116.数据推理模块802，用于基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果。
117.添加模块803，用于在所述验证推理结果表征自然数据的类别与所述少样本数据库的少样本数据的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少样本数据库。
118.更新模块804，用于根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。
119.在一些实施例中，所述验证推理结果包括第一分类结果；所述验证模型至少包括预训练模型和第一输出层；数据推理模块802还用于基于所述预训练模型，对所述自然数据进行特征信息提取，得到第一特征数据；基于所述第一输出层，对所述第一特征数据进行分类处理，得到所述自然数据的第一分类结果；其中，所述第一输出层为基于所述少样本数据库中的少样本数据进行分类学习得到的具有分类功能的输出层。
120.在一些实施例中，所述装置还包括分类处理模块，用于基于所述少样本模型，对所述自然数据进行分类处理，得到分类结果；对应地，添加模块803还用于对所述第二分类结果和所述验证推理结果进行对比，将所述第一分类结果和所述第二分类结果中类别相同，且属于所述目标类别的自然数据确定为更新数据；将所述更新数据添加至所述少样本数据
库，得到更新少样本数据库。
121.在一些实施例中，所述验证模型至少包括预训练模型和第二输出层；数据推理模块802还用于基于所述预训练模型，对所述自然数据进行特征信息提取，得到第二特征数据；基于所述第二输出层，对所述第二特征数据进行特征提取，得到至少包括所述自然特征向量的所述验证推理结果。
122.在一些实施例中，所述装置还包括特征信息提取模块，用于基于所述预训练模型，对所述少样本数据库中的少样本数据进行特征信息提取，得到第三特征数据；特征提取模块，用于基于所述第二输出层，对所述第三特征数据进行特征提取，得到至少包括所述少样本特征向量的所述少样本推理结果；对应地，添加模块803还用于根据所述验证推理结果、所述少样本推理结果和所述第二输出层，确定所述少样本特征向量与所述自然特征向量之间的特征距离；将所述特征距离小于距离阈值的自然特征向量对应的自然数据，确定为更新数据；将所述更新数据添加至所述少样本数据库，得到更新少样本数据库。
123.在一些实施例中，所述装置还包括：第一更新模块，用于对所述自然数据库中的自然数据进行更新，得到更新自然数据库；第一数据推理基于所述验证模型，对所述更新自然数据库中的自然数据进行数据推理，得到更新验证推理结果；第一添加模块，用于将所述更新验证推理结果中类别与所述少样本数据库的目标类别一致的自然数据添加至所述更新少样本数据库，得到第一更新少样本数据库；第二更新模块，用于基于所述第一更新少样本数据库，对所述更新少样本模型进行更新，得到第一更新少样本模型。
124.以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
125.需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述少样本模型学习方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台少样本模型学习设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件和软件结合。
126.本技术实施例提供一种少样本模型学习设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述少样本模型学习方法。
127.本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述少样本模型学习方法。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
128.本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选
实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
129.需要说明的是，图9是本技术实施例提供的一种少样本模型学习设备的硬件实体示意图，如图9所示，该少样本模型学习设备90的硬件实体包括：处理器901、通信接口902和存储器903，其中：
130.处理器901通常控制少样本模型学习设备90的总体操作。
131.通信接口902可以使少样本模型学习设备通过网络与其他终端或服务器通信。
132.存储器903配置为存储由处理器901可执行的指令和应用，还可以缓存待处理器901以及少样本模型学习设备90中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。处理器901、通信接口902和存储器903之间可以通过总线904进行数据传输。
133.这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
134.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
135.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
136.在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
137.上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
138.另外，在本技术实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
139.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
140.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台少样本模型学习设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
141.以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。

技术特征：
1.一种少样本模型学习方法，其特征在于，所述方法包括：获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型；基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果；在所述验证推理结果表征自然数据的类别与所述少样本数据库的少样本数据的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少样本数据库；根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。2.根据权利要求1所述的方法，其特征在于，所述验证推理结果包括第一分类结果；所述验证模型至少包括预训练模型和第一输出层；基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果，包括：基于所述预训练模型，对所述自然数据进行特征信息提取，得到第一特征数据；基于所述第一输出层，对所述第一特征数据进行分类处理，得到所述自然数据的第一分类结果；其中，所述第一输出层为基于所述少样本数据库中的少样本数据进行分类学习得到的具有分类功能的输出层。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：基于所述少样本模型，对所述自然数据进行分类处理，得到所述自然数据的第二分类结果；对应地，在所述验证推理结果表征自然数据的类别与所述少样本数据库的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，包括：对所述第二分类结果和所述验证推理结果进行对比，将所述第一分类结果和所述第二分类结果中类别相同，且属于所述目标类别的自然数据确定为更新数据；将所述更新数据添加至所述少样本数据库，得到更新少样本数据库。4.根据权利要求1所述的方法，其特征在于，所述验证模型至少包括预训练模型和第二输出层；基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果，包括：基于所述预训练模型，对所述自然数据进行特征信息提取，得到第二特征数据；基于所述第二输出层，对所述第二特征数据进行特征提取，得到至少包括自然特征向量的所述验证推理结果。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：基于所述预训练模型，对所述少样本数据库中的少样本数据进行特征信息提取，得到第三特征数据；基于所述第二输出层，对所述第三特征数据进行特征提取，得到至少包括所述少样本特征向量的所述少样本推理结果；对应地，所述在所述验证推理结果表征自然数据的类别与所述少样本数据库的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少样本数据库，包括：根据所述验证推理结果、所述少样本推理结果和所述第二输出层，确定所述少样本特
征向量与所述自然特征向量之间的特征距离；将所述特征距离小于距离阈值的自然特征向量对应的自然数据，确定为更新数据；将所述更新数据添加至所述少样本数据库，得到更新少样本数据库。6.根据权利要求1至5任一项所述的方法，其特征在于，在得到所述更新少样本模型之后，所述方法还包括：对所述自然数据库中的自然数据进行更新，得到更新自然数据库；基于所述验证模型，对所述更新自然数据库中的自然数据进行数据推理，得到更新验证推理结果；将所述更新验证推理结果中类别与所述少样本数据库的目标类别一致的自然数据添加至所述更新少样本数据库，得到第一更新少样本数据库；基于所述第一更新少样本数据库，对所述更新少样本模型进行更新，得到第一更新少样本模型。7.根据权利要求1至5任一项所述的方法，其特征在于，所述少样本数据库的数据类别为以下其中一种：图像、文本或语音。8.一种少样本模型学习装置，其特征在于，所述装置包括：获取模块，用于获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型；数据推理模块，用于基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果；添加模块，用于将所述验证推理结果中类别与所述少样本数据库的目标类别一致的自然数据添加至所述少样本数据库，得到更新少样本数据库；更新模块，用于根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。9.一种少样本模型学习设备，其特征在于，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1至7任一项所述的少样本模型学习方法。10.一种计算机可读存储介质，其特征在于，其上存储有可执行指令，用于引起处理器执行所述可执行指令时，实现权利要求1至7任一项所述的少样本模型学习方法。

技术总结
本申请实施例公开了一种少样本模型学习方法、装置、设备及存储介质，方法包括：获取少样本数据库、自然数据库、验证模型和基于所述少样本数据库训练得到的少样本模型；基于所述验证模型，对所述自然数据库中的自然数据进行数据推理，得到验证推理结果；在所述验证推理结果表征自然数据的类别与所述少样本数据库的少样本数据的目标类别一致的情况下，将所述自然数据添加至所述少样本数据库，得到更新少样本数据库；根据所述更新少样本数据库，对所述少样本模型进行更新，得到更新少样本模型。得到更新少样本模型。得到更新少样本模型。


技术研发人员：林少波 曾星宇 赵瑞
受保护的技术使用者：商汤人工智能研究中心（深圳）有限公司
技术研发日：2023.06.13
技术公布日：2023/9/12