特征表示模型的损失函数构建方法、装置、设备及介质与流程

1.本技术涉及机器学习以及智慧医疗领域，尤其是涉及到一种特征表示模型的损失函数构建方法、装置、设备及介质。


背景技术：

2.无监督/自监督学习是指在没有标签信息的情况下，从数据中学习有用的知识或模式的机器学习方法。可广泛用于医疗、金融等领域，例如，通过无监督/自监督学习，获得图像识别的能力，从而用于医疗影像的分析中，自动分析医疗影像中的组织器官是病变组织还是健康组织。
3.自监督学习的一个重要目标是学习高维数据的特征表示，即将原始数据映射到一个低维或抽象的空间，使得该空间中的数据具有更好的可分性、可解释性和可利用性。特征表示的质量直接影响了后续的自监督学习任务，如聚类、降维、生成等。
4.目前，自监督学习中常用的特征表示方法主要有两大类：生成式自监督学习和对比学习。其中，生成式自监督学习存在如模型复杂、优化困难、重构误差与特征表示质量不一定相关等缺点。而对比学习的损失函数都是基于互信息，最大化正样本对之间的互信息，最小化负样本对之间的互信息。互信息可以衡量两个变量之间的相关性，越大表示越相关，越小表示越独立。现有的主流损失函数包括noise contrastive estimation(nce)、infonce、contrastive predictive coding(cpc)等，其中，nce是一种基于噪声分布的近似方法，需要预先定义一个噪声分布来采样负样本，这个噪声分布可能不符合真实数据分布，导致估计偏差。infonce是一种基于最大似然估计(mle)的方法，需要计算正样本和负样本之间的归一化指数函数，这个计算可能会受到数值稳定性和梯度消失的影响。cpc是一种基于预测未来或缺失信息的方法，需要设计合适的数据增强或掩码策略来生成数据对，这个策略可能会影响数据对之间的难度和多样性。


技术实现要素：

5.有鉴于此，本技术提供了一种特征表示模型的损失函数构建方法、装置、介质及设备，解决了现有损失函数中噪声分布导致的偏差，归一化指数函数的不稳定性，数据增强或掩码策略的设计难度等缺陷。
6.本技术的第一方面，提供了一种特征表示模型的损失函数构建方法，所述方法包括：
7.获取训练数据，并将所述训练数据输入编码器，得到所述训练数据对应的隐变量的概率分布；
8.在所述概率分布中采样得到采样向量，并将所述采样向量输入解码器，得到所述训练数据对应的重构数据；
9.计算所述训练数据以及所述重构数据之间的重构损失；
10.计算所述概率分布与先验分布之间的对比损失；
11.计算所述概率分布与所述先验分布之间的一致性损失；
12.利用所述重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据所述边缘距离计算边缘距离损失；
13.根据所述重构损失、所述对比损失、所述一致性损失以及所述边缘距离损失，确定总损失函数。
14.本技术的第二方面，提供了一种特征表示模型的损失函数构建装置，所述装置包括：
15.编码模块，用于获取训练数据，并将所述训练数据输入编码器，得到所述训练数据对应的隐变量的概率分布；
16.解码模块，用于在所述概率分布中采样得到采样向量，并将所述采样向量输入解码器，得到所述训练数据对应的重构数据；
17.第一损失计算模块，用于计算所述训练数据以及所述重构数据之间的重构损失；
18.第二损失计算模块，用于计算所述概率分布与先验分布之间的对比损失；
19.第三损失计算模块，用于计算所述概率分布与所述先验分布之间的一致性损失；
20.第四损失计算模块，用于利用所述重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据所述边缘距离计算边缘距离损失；
21.总损失计算模块，用于根据所述重构损失、所述对比损失、所述一致性损失以及所述边缘距离损失，确定总损失函数。
22.本技术的第三方面，提供了一种设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的指令或代码，所述处理器执行所述指令或代码时实现上述特征表示模型的损失函数构建方法。
23.本技术的第四方面，提供了一种介质，其上存储有指令或代码，所述指令或代码被处理器执行时实现上述特征表示模型的损失函数构建方法。
24.上述特征表示模型的损失函数构建方法、装置、设备及介质所实现的方案，不需要设计特定的数据增强或掩码策略，而是采用了一种基于变分自编码器(vae)的方法，利用随机隐变量来生成数据对，从而提高了数据对之间的随机性和多样性。此外，该实施例不需要预先定义噪声分布或计算归一化指数函数，而是采用了一种基于最大边缘似然估计的方法，直接优化正样本和负样本之间的边缘距离，从而提高了估计效率和稳定性。进一步地，该实施例还考虑了正样本和负样本之间的差异，提高了数据对之间的区分度和代表性。
25.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
26.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1示出了本技术实施例提供的一种特征表示模型的损失函数构建方法的流程示
意图；
28.图2示出了本技术实施例提供的另一种特征表示模型的损失函数构建方法的流程示意图；
29.图3示出了本技术实施例提供的另一种特征表示模型的损失函数构建方法的流程示意图；
30.图4示出了本技术实施例提供的一种特征表示模型的损失函数构建装置的结构框图；
31.图5示出了本技术实施例提供的一种电子设备的结构框图。
具体实施方式
32.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.本技术实施例提供的特征表示模型的损失函数构建方法，可以应用在由具有指令或程序运行能力的电子设备组成的装置中。电子设备可以但不限于各种服务器、工作站、个人计算机、笔记本电脑等。运行在不同的运算设备仅是方案在执行主体上的差异，本领域人员可预见在不同运算设备中运行能够产生相同的技术效果。下面通过具体的实施例对本发明进行详细的描述。
34.请参阅图1所示，图1为本发明实施例提供的特征表示模型的损失函数构建方法的一个流程示意图，包括如下步骤：
35.s101：获取训练数据，并将训练数据输入编码器，得到训练数据对应的隐变量的概率分布。
36.本发明提供的方法，可用于特征表示模型中，通过构建损失函数优化特征表示模型，以提高特征表示模型的特征提取效果。其中，特征表示模型可用于在高维数据中提取特征，映射到一个低维或抽象的空间。例如，在医学影像中提取像素点对应的像素值等图像特征，并利用多维向量表示，多维向量表示的图像特征可用于图像识别以及图像处理。例如可将多维表示的图像特征输入卷积模型中进行分类处理，得到针对该医学影像的识别结果，也即医学影像中的组织器官是病灶组织还是健康组织。
37.在该步骤中，首先获取训练数据，并将其输入编码器，使用一个编码器网络将高维的训练数据映射到一个低维的隐含变量空间，也即得到隐变量的概率分布。其中，训练数据可以是图像，也可以是文本，还可以是其他格式的数据。
38.编码器可以为变分自编码器(vae)，与普通的自编码器不同的是，vae不是直接输出一个确定的隐含变量，而是输出一个隐含变量的概率分布，通常假设为高斯分布。该实施例采用自分编码器，利用随机隐变量来正常数据对，而不需要设计特定是数据增强或掩码策略，这样做的好处是可以增加隐含变量的多样性和连续性，从而提高生成数据的质量和多样性。
39.s102：在概率分布中采样得到采样向量，并将采样向量输入解码器，得到训练数据对应的重构数据。
40.在该步骤中，将待训练数据输入编码器后得到的不是一个确定的隐变量的数值或向量，而是隐变量的概率分布，也即隐变量的取值有多种可能。因此，可使用一个解码器网络从隐含变量空间中采样，在多种可能中采样得到一种个可能，也即一个采样向量，进而利用采样得到的采样向量来重构数据，以降低数据的维度。其中，重构数据不是一个特定的数值，而是一个条件分布。
41.s103：计算训练数据以及重构数据之间的重构损失。
42.在该步骤中，由于从训练数据到重构数据，实现了数据的降维，因此重构数据所表述的内容与训练数据所表述的内容可能存在一定的偏差，基于此，计算训练数据与重构数据之间的重构损失，利用重构损失衡量原始的训练数据和重构数据之间的差异。可以理解的是，重构损失越小，则重构数据所表述的内容与训练数据所表述的内容之间的偏差越小。
43.其中，可采用二元交叉熵(binary cross entropy,bce)或均方误差(mean squared error,mse)作为重构损失的损失函数。
44.s104：计算概率分布与先验分布之间的对比损失。
45.在该步骤中，在理想情况下，隐变量的概率分布符合先验分布。基于此，计算隐变量的概率分布与先验分布之间的对比损失，利用对比损失衡量编码器输出的隐含变量分布和先验分布之间的差异。其中，可采用kl散度(kullback-leibler divergence,kld)等作为对比损失。其中，先验分布可以为正态分布，对比损失越小，则说明隐变量的概率分布越接近正态分布，编码器的效果越好。
46.s105：计算概率分布与先验分布之间的一致性损失。
47.在该步骤中，计算隐变量的概率分布与先验分布之间的一致性损失。其中，可采用mmd(maximum mean discrepancy，最大差异值)等作为一致性损失。其中，先验分布可以为正态分布，一致性损失越小，则说明隐变量的概率分布越接近正态分布，编码器的效果越好。
48.s106：利用重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据边缘距离计算边缘距离损失。
49.在该步骤中，在重构数据的条件分布中采样得到样本，并根据样本之间的相似度计算边缘距离，进而汇总所有样本对之间的边缘距离，计算边缘距离损失。其中，正样本和负样本之间的差异越大，则边缘距离损失越大。通过减小边缘距离损失，可减小正样本和负样本之间的差异，提高不同数据对之间的区分度和代表度。
50.s107：根据重构损失、对比损失、一致性损失以及边缘距离损失，确定总损失函数。
51.在该步骤中，综合前述的几个损失，得到总损失函数。例如，可以采用累加的方式，也可采用加权求和的方式。
52.该实施例不需要设计特定的数据增强或掩码策略，而是采用了一种基于变分自编码器(vae)的方法，利用随机隐变量来生成数据对，从而提高了数据对之间的随机性和多样性。此外，该实施例不需要预先定义噪声分布或计算归一化指数函数，而是采用了一种基于最大边缘似然估计的方法，直接优化正样本和负样本之间的边缘距离，从而提高了估计效率和稳定性。进一步地，该实施例还考虑了正样本和负样本之间的差异，提高了数据对之间的区分度和代表性。
53.进一步地，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例
的具体实施过程，提供了另一种特征表示模型的损失函数构建方法，如图2所示，该方法包括如下步骤：
54.s201：获取训练数据，并将训练数据输入编码器，得到训练数据对应的隐变量的概率分布。
55.在该步骤中，采用变分自编码器(vae)处理训练数据得到隐变量的概率分布，具体为得到隐变量z的均值向量μ和方差向量σ，该编码器所用具体公式如下：
56.q
φ
(|)＝n(z；μ(x),σ())
57.其中φ是编码器的参数，μ(x)和σ(x)是编码器输出的均值向量和方差向量。
58.可以理解的是，vae是一种生成式自监督学习模型，损失函数由两部分组成：一是重构损失，用于衡量原始数据和重构数据之间的差异，通常使用均方误差或交叉熵等指标；二是对比损失，用于衡量编码器输出的隐含变量分布和先验分布之间的差异，通常使用kl散度等指标。vae的目标是最小化损失函数，即同时使得重构误差和对比误差都尽可能小。
59.s202：利用重参数化方法，根据均值向量以及方差向量，在概率分布中采样，得到采样向量。
60.在该步骤中，从隐变量的概率分布中采样一个隐含变量z。通过重参数化技巧，可以将采样的结果引入网络计算从而实现采样过程的可导。具体地，首先从标准正态分布n(0,i)中采样，然后引入训练数据得到的μ和σ，即z＝μ+σ
⊙
∈，其中∈是从标准正态分布n(0,i)中采样的噪声向量。
61.s203：将采样向量输入解码器，得到训练数据对应的重构数据。
62.在该步骤中，解码器所用具体公式如下：
63.p
θ
(|)＝f(z)
64.其中θ是解码器的参数，p
θ
(|)是一个条件分布，f(z)是解码器输出的重构数据。根据重构数据的条件分布p
φ
(|)，即可得到一些新的样本，进而在这些样本中提取正样本以及负样本进行边缘距离损失的计算。
65.s204：计算训练数据以及重构数据之间的重构损失。
66.在该步骤中，重构损失lr具体公式如下：
[0067][0068]
或
[0069][0070]
其中n是输入数据的维度，xi和x’i
分别是输入的训练数据和重构数据的第i个元素。
[0071]
s205：计算概率分布与先验分布之间的对比损失。
[0072]
在该步骤中，对比损失ld具体计算公式如下：
[0073][0074]
其中d是隐变量的维度，σj和μj是隐变量的方差向量和均值向量的第j个元素。
[0075]
s206：计算概率分布与先验分布之间的一致性损失。
[0076]
在该步骤中，一致性损失lc具体计算公式如下：
[0077][0078]
其中n是输入数据的数量，m是采样数据的数量，zi和z’i
是输入数据和采样数据的隐变量，k(zi,zj)是高斯核函数，定义为k(zi,zj)＝exp(-γ||z
i-zj||2)，其中γ是一个超参数，表示核宽度。
[0079]
s207：在重构数据对应的条件分布中采样，得到多个样本。
[0080]
s208：提取多个样本中的所有正样本对，并分别计算每对正样本对之间的相似度。
[0081]
s209：提取多个样本中的所有负样本对，并分别计算每对负样本对之间的相似度。
[0082]
s210：分别根据每个正样本对之间的相似度以及每个负样本之间的相似度，确定正样本对与负样本对之间的边缘距离。
[0083]
在步骤s207-s210中，在重构数据的条件分布中采样得到多个样本，根据每个样本的内容所对应类别不同，两个样本可组成一对正样本对或负样本对。在多个样本中提取所有的正样本对以及负样本对，分别计算正样本对以及负样本对的相似度，然后根据相似度计算正样本对以及负样本对之间的边缘距离。可以理解的是，正样本是指属于某一类别的样本，负样本是指不属于某一类别的样本，例如，在识别病灶器官的医学影像时，若样本zi以及样本zj病灶器官的医学影像对应的数据，样本zk为健康器官的医学影像对应的数据，则样本zi以及样本zj为一对正样本对，而样本zi以及样本zk为一对负样本对。具体地，首先正样本对zi和zj之间的相似度s
ij
，可采用余弦相似度(cosine similarity)或点积(dot product)作为相似度函数。然后计算负样本对zi和zk之间的相似度s
ik
，计算方法与正样本对相似度计算方法相同。之后根据两个相似度计算正样本对以及负样本对之间的边缘距离，可以理解的是，正样本对之间的相似度越小，负样本对之间的相似度越大，则可以认为正样本和负样本之间的差异越小，越不容易区分正样本和负样本，因此边缘距离损失也越大。
[0084]
其中，分别根据每个正样本对之间的相似度以及每个负样本之间的相似度，确定正样本对与负样本对之间的边缘距离，包括：
[0085]
s2101：分别将每个正样本对作为待计算正样本对，并确定待计算正样本对所对应的多个待计算负样本对，其中，待计算正样本对以及待计算负样本对中存在相同的样本；
[0086]
s2102：计算待计算正样本对之间的相似度与每个待计算负样本对之间的相似度
的差值，并计算差值与预设超参数之间的和值；
[0087]
s2103：若和值大于0，则确定待计算正样本对与待计算负样本对之间的边缘距离为和值；
[0088]
s2104：若和值不大于0，则确定待计算正样本对与待计算负样本对之间的边缘距离为0。
[0089]
在步骤s2101-s2104中，根据正样本对之间的相似度以及负样本对之间的相似度计算两个样本对之间的边缘距离，其中，这两个样本对中应当具有相同的样本。例如，针对正样本对zi和zj以及负样本对zi和zk，二者存在相同的样本zi。采用如下公式计算正样本对和负样本对之间的边缘距离m
ijk
：
[0090]mijk
＝max(0,m+s
ik-s
ij
)，其中，m是一个超参数，表示边缘大小，s
ij
以及s
ik
分别是正样本对之间的相似度以及负样本对之间的相似度。
[0091]
s211：对所有边缘距离求均值，并将均值作为边缘距离损失。
[0092]
在该步骤中，综合分析每对正样本对以及负样本对之间的边缘距离，得到总的边缘距离损失。边缘损失lm具体计算公式如下：
[0093][0094]
其中n是输入数据的数量，m
ijk
是正样本对zi和zj与负样本对zi和zk之间的边缘距离，s
ij
是相似度函数，定义为s
ij
＝cos(zi,zj)或表示余弦相似度或点积。
[0095]
s212：根据对比损失确定第一权重系数，并利用第一权重系数对对比损失加权得到加权对比损失。
[0096]
s213：根据边缘距离损失确定第二权重系数，并利用第二权重系数对一致性损失加权得到加权一致性损失。
[0097]
s214：对重构损失、加权对比损失、加权一致性损失以及边缘距离损失累加，得到总损失函数。
[0098]
在步骤s212-s214中，分别根据对比损失以及边缘距离损失确定第一权重系数以及第二权重系数，并分别利用权重系数将对比损失以及一致性损失进行加权处理，通过两个权重系数平衡重构和对比的重要性。具体地，可利用如下公式计算第一权重系数α以及第二权重系数β：
[0099]
α＝exp(-ld)，β＝exp(-lm)，其中，ld和lm分别是对比损失以及一致性损失。
[0100]
可利用如下公式计算总损失l：
[0101]
l＝lr+
×
ld+
×
lc+m[0102]
其中，lr是重构损失，α
×
ld是加权对比损失，β
×
lc是加权一致性损失，lm是边缘距离损失。
[0103]
s215：根据总损失函数对应的总损失值，调整编码器的参数以及解码器的参数，并返回至将训练数据输入编码器的步骤，直至总损失值满足预设优化条件或调整参数次数达到预设循环次数。
[0104]
在该步骤中，根据总损失函数的总损失值，对编码器以及解码器进行优化，从而更
好地提取特征。具体地，利用优化算法向减小总损失值的方向调整编码器以及解码器的参数，并返回到将训练数据输入编码器的步骤，利用调整后的编码器以及解码器得到新的隐变量的概率分布以及重构数据，进而得到新的总损失值，若此时仍不满足停止条件，则重复执行调整编码器以及解码器参数的步骤，直至达到停止条件。其中，停止条件可根据总损失值确定，例如总损失值小于预设损失阈值，或总损失值收敛，也可根据循环次数确定，例如参数的调整次数达到预设循环次数。其中，优化方法可采用梯度下降法等算法，也可采用遗传算法等。
[0105]
图3示出了本技术实施例的特征表示模型的损失函数构建方法的一个流程示意图，如图所示，该方法包括如下具体步骤：
[0106]
(1)输入数据x，经过编码器encoder，得到隐变量z的均值向量μ和方差向量σ。
[0107]
(2)根据μ和σ，采用重参数化(reparameterization)技巧，生成隐变量z的采样向量z。
[0108]
(3)根据z，经过解码器decoder，得到重构数据x’。
[0109]
(4)计算x和x’之间的重构损失lr，采用二元交叉熵(binarycrossentropy,bce)或均方误差(meansquarederror,mse)作为损失函数。
[0110]
(5)计算μ和σ与标准正态分布n(0,1)之间的散度损失ld，采用kl散度(kullback-leiblerdivergence,kld)作为损失函数。
[0111]
(6)计算z与标准正态分布n(0,1)之间的一致性损失lc，采用mmd作为损失函数。
[0112]
(7)计算正样本对zi和zj之间的相似度s
ij
，采用余弦相似度(cosinesimilarity)或点积(dotproduct)作为相似度函数。
[0113]
(8)计算负样本对zi和zk之间的相似度s
ik
，同上。
[0114]
(9)计算正样本对和负样本对之间的边缘距离m
ijk
，采用m
ijk
＝max(0,m+s
ik-s
ij
)作为边缘距离函数，其中m是一个超参数，表示边缘大小。
[0115]
(10)计算所有数据对之间的边缘距离的平均值m，作为边缘距离损失lm的估计。
[0116]
(11)根据ld和lm，计算损失函数的权重系数α和β，采用α＝exp(-ld)和β＝exp(-lm)作为权重系数函数。
[0117]
(12)计算总损失l＝lr+α*ld+β*lc+lm，并反向传播更新编码器和解码器的参数。
[0118]
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0119]
可见，相较于传统的损失函数，本方案结合了生成式自监督学习和对比学习的优点，既能够利用数据的内在结构和多样性，又能够有效地区分不同类别的数据。可以有效地利用无标签数据，学习数据的高级特征表示，提高下游任务的性能；此外，本方案可以避免现有的生成式对比/自监督学习的损失函数的一些缺陷，如噪声分布的偏差，归一化指数函数的不稳定性，数据增强或掩码策略的设计难度等；使用变分自编码器作为基本模型，可以随机生成隐含变量，提高网络的泛化能力，同时也可以生成新的数据；在此基础上，本方案还设置了重构损失、一致性损失等，可以同时考虑数据对之间的局部相似度，全局一致性和动态平衡，从而提高数据对之间的随机性，多样性，区分度和代表性；最后，本方案通过灵活地调整损失函数的权重系数，根据正样本和负样本之间的边缘距离和最大平均差异，可以
提高损失函数的灵活性和鲁棒性。
[0120]
在一实施例中，提供一种特征表示模型的损失函数构建装置，该特征表示模型的损失函数构建装置与上述实施例中特征表示模型的损失函数构建方法一一对应。如图4所示，该特征表示模型的损失函数构建装置包括：编码模块、解码模块、第一损失计算模块、第二损失计算模块、第三损失计算模块、第四损失计算模块以及总损失计算模块。各功能模块详细说明如下：
[0121]
编码模块，用于获取训练数据，并将训练数据输入编码器，得到训练数据对应的隐变量的概率分布；
[0122]
解码模块，用于在概率分布中采样得到采样向量，并将采样向量输入解码器，得到训练数据对应的重构数据；
[0123]
第一损失计算模块，用于计算训练数据以及重构数据之间的重构损失；
[0124]
第二损失计算模块，用于计算概率分布与先验分布之间的对比损失；
[0125]
第三损失计算模块，用于计算概率分布与先验分布之间的一致性损失；
[0126]
第四损失计算模块，用于利用重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据边缘距离计算边缘距离损失；
[0127]
总损失计算模块，用于根据重构损失、对比损失、一致性损失以及边缘距离损失，确定总损失函数。
[0128]
在一个实施例中，总损失计算模块用于：
[0129]
对对比损失加权得到加权对比损失，对一致性损失加权得到加权一致性损失；
[0130]
对重构损失、加权对比损失、加权一致性损失以及边缘距离损失累加，得到总损失函数。
[0131]
在一个实施例中，总损失计算模块用于：
[0132]
根据对比损失确定第一权重系数，并利用第一权重系数对对比损失加权得到加权对比损失；
[0133]
根据边缘距离损失确定第二权重系数，并利用第二权重系数对一致性损失加权得到加权一致性损失。
[0134]
在一个实施例中，第四损失计算模块用于：
[0135]
在重构数据对应的条件分布中采样，得到多个样本；
[0136]
提取多个样本中的所有正样本对，并分别计算每对正样本对之间的相似度；
[0137]
提取多个样本中的所有负样本对，并分别计算每对负样本对之间的相似度；
[0138]
分别根据每个正样本对之间的相似度以及每个负样本之间的相似度，确定正样本对与负样本对之间的边缘距离；
[0139]
对所有边缘距离求均值，并将均值作为边缘距离损失。
[0140]
在一个实施例中，第四损失计算模块用于：
[0141]
分别将每个正样本对作为待计算正样本对，并确定待计算正样本对所对应的多个待计算负样本对，其中，待计算正样本对以及待计算负样本对中存在相同的样本；
[0142]
计算待计算正样本对之间的相似度与每个待计算负样本对之间的相似度的差值，并计算差值与预设超参数之间的和值；
[0143]
若和值大于0，则确定待计算正样本对与待计算负样本对之间的边缘距离为和值；
[0144]
若和值不大于0，则确定待计算正样本对与待计算负样本对之间的边缘距离为0。
[0145]
在一个实施例中，装置还包括优化模块，用于：
[0146]
根据总损失函数对应的总损失值，调整编码器的参数以及解码器的参数，并返回至将训练数据输入编码器的步骤，直至总损失值满足预设优化条件或调整参数次数达到预设循环次数。
[0147]
在一个实施例中，解码模块用于：：
[0148]
利用重参数化方法，根据均值向量以及方差向量，在概率分布中采样，得到采样向量。
[0149]
在一个实施例中，提供了一种电子设备，该电子设备可为手机、平板、车载移动终端等移动设备，也可为其他具有程序执行能力的设备，该电子设备其内部结构图可以如图5所示。该电子设备包括通过处理器、存储器和网络模块。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、指令或代码。该内存储器为非易失性存储介质中的操作系统和指令或代码的运行提供环境。该指令或代码被处理器执行时以实现一种上述特征表示模型的损失函数构建方法的功能或步骤。该电子设备的网络模块可包括网络接口和/或无线网络模块，电子设备可通过网络模块与其他设备或服务平台通信。此外，该电子设备还可包括显示屏和输入装置等。
[0150]
在一个实施例中，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的指令或代码，处理器执行指令或代码时实现以下步骤：
[0151]
获取训练数据，并将训练数据输入编码器，得到训练数据对应的隐变量的概率分布；
[0152]
在概率分布中采样得到采样向量，并将采样向量输入解码器，得到训练数据对应的重构数据；
[0153]
计算训练数据以及重构数据之间的重构损失；
[0154]
计算概率分布与先验分布之间的对比损失；
[0155]
计算概率分布与先验分布之间的一致性损失；
[0156]
利用重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据边缘距离计算边缘距离损失；
[0157]
根据重构损失、对比损失、一致性损失以及边缘距离损失，确定总损失函数。
[0158]
在一个实施例中，提供了一种存储介质，其上存储有指令或代码，指令或代码被处理器执行时实现以下步骤：
[0159]
获取训练数据，并将训练数据输入编码器，得到训练数据对应的隐变量的概率分布；
[0160]
在概率分布中采样得到采样向量，并将采样向量输入解码器，得到训练数据对应的重构数据；
[0161]
计算训练数据以及重构数据之间的重构损失；
[0162]
计算概率分布与先验分布之间的对比损失；
[0163]
计算概率分布与先验分布之间的一致性损失；
[0164]
利用重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之
间的边缘距离，并根据边缘距离计算边缘距离损失；
[0165]
根据重构损失、对比损失、一致性损失以及边缘距离损失，确定总损失函数。
[0166]
需要说明的是，上述关于存储介质或电子设备所能实现的功能或步骤，可对应参阅前述方法实施例中的相关描述，为避免重复，这里不再一一描述。
[0167]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过指令或代码来指令相关的硬件来完成，所述的指令或代码可存储于一非易失性可读取存储介质中，该指令或代码在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0168]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0169]
本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的单元或流程并不一定是实施本技术所必须的。本领域技术人员可以理解实施场景中的系统中的单元可以按照实施场景描述进行分布于实施场景的系统中，也可以进行相应变化位于不同于本实施场景的一个或多个系统中。上述实施场景的单元可以合并为一个单元，也可以进一步拆分成多个子单元。
[0170]
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

技术特征：
1.一种特征表示模型的损失函数构建方法，其特征在于，所述方法包括：获取训练数据，并将所述训练数据输入编码器，得到所述训练数据对应的隐变量的概率分布；在所述概率分布中采样得到采样向量，并将所述采样向量输入解码器，得到所述训练数据对应的重构数据；计算所述训练数据以及所述重构数据之间的重构损失；计算所述概率分布与先验分布之间的对比损失；计算所述概率分布与所述先验分布之间的一致性损失；利用所述重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据所述边缘距离计算边缘距离损失；根据所述重构损失、所述对比损失、所述一致性损失以及所述边缘距离损失，确定总损失函数。2.根据权利要求1所述的方法，其特征在于，所述根据所述重构损失、所述对比损失、所述一致性损失以及所述边缘距离损失，确定总损失函数，包括：对所述对比损失加权得到加权对比损失，对所述一致性损失加权得到加权一致性损失；对所述重构损失、所述加权对比损失、所述加权一致性损失以及所述边缘距离损失累加，得到所述总损失函数。3.根据权利要求2所述的方法，其特征在于，所述对所述对比损失加权得到加权对比损失，对所述一致性损失加权得到加权一致性损失，包括：根据所述对比损失确定第一权重系数，并利用所述第一权重系数对所述对比损失加权得到加权对比损失；根据所述边缘距离损失确定第二权重系数，并利用所述第二权重系数对所述一致性损失加权得到加权一致性损失。4.根据权利要求1所述的方法，其特征在于，所述利用所述重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据所述边缘距离计算边缘距离损失，包括：在所述重构数据对应的条件分布中采样，得到多个所述样本；提取多个所述样本中的所有正样本对，并分别计算每对正样本对之间的相似度；提取多个所述样本中的所有负样本对，并分别计算每对负样本对之间的相似度；分别根据每个所述正样本对之间的相似度以及每个所述负样本之间的相似度，确定所述正样本对与所述负样本对之间的边缘距离；对所有所述边缘距离求均值，并将所述均值作为所述边缘距离损失。5.根据权利要求4所述的方法，其特征在于，所述分别根据每个所述正样本对之间的相似度以及每个所述负样本之间的相似度，确定所述正样本对与所述负样本对之间的边缘距离，包括：分别将每个正样本对作为待计算正样本对，并确定所述待计算正样本对所对应的多个待计算负样本对，其中，所述待计算正样本对以及所述待计算负样本对中存在相同的样本；计算所述待计算正样本对之间的相似度与每个所述待计算负样本对之间的相似度的
差值，并计算所述差值与预设超参数之间的和值；若所述和值大于0，则确定所述待计算正样本对与所述待计算负样本对之间的边缘距离为所述和值；若所述和值不大于0，则确定所述待计算正样本对与所述待计算负样本对之间的边缘距离为0。6.根据权利要求1所述的方法，其特征在于，在所述确定总损失函数之后，所述方法还包括：根据所述总损失函数对应的总损失值，调整所述编码器的参数以及所述解码器的参数，并返回至所述将所述训练数据输入编码器的步骤，直至所述总损失值满足预设优化条件或调整参数次数达到预设循环次数。7.根据权利要求1所述的方法，其特征在于，所述在所述隐变量的概率分布中采样得到采样向量，包括：利用重参数化方法，根据所述均值向量以及所述方差向量，在所述概率分布中采样，得到所述采样向量。8.一种特征表示模型的损失函数构建装置，其特征在于，所述装置包括：编码模块，用于获取训练数据，并将所述训练数据输入编码器，得到所述训练数据对应的隐变量的概率分布；解码模块，用于在所述概率分布中采样得到采样向量，并将所述采样向量输入解码器，得到所述训练数据对应的重构数据；第一损失计算模块，用于计算所述训练数据以及所述重构数据之间的重构损失；第二损失计算模块，用于计算所述概率分布与先验分布之间的对比损失；第三损失计算模块，用于计算所述概率分布与所述先验分布之间的一致性损失；第四损失计算模块，用于利用所述重构数据生成多个样本，根据每两个样本之间的相似度，计算所有样本对之间的边缘距离，并根据所述边缘距离计算边缘距离损失；总损失计算模块，用于根据所述重构损失、所述对比损失、所述一致性损失以及所述边缘距离损失，确定总损失函数。9.一种存储介质，其上存储有程序或指令，其特征在于，所述程序或指令被处理器执行时实现如权利要求1至7中任一项所述的方法。10.一种电子设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的方法。

技术总结
本申请涉及人工智能以及智慧医疗领域，公开了一种特征表示模型的损失函数构建方法，包括：获取训练数据并输入编码器，得到训练数据对应的隐变量的概率分布；在概率分布中采样得到采样向量并输入解码器，得到训练数据对应的重构数据；计算训练数据以及重构数据的重构损失；计算概率分布与先验分布的对比损失；计算概率分布与先验分布的一致性损失；利用重构数据生成多个样本，计算所有样本对之间的边缘距离，并根据边缘距离计算边缘距离损失；根据重构损失、对比损失、一致性损失以及边缘距离损失，确定总损失函数。本申请的方法解决了现有损失函数中噪声分布导致的偏差，归一化指数函数的不稳定性，数据增强或掩码策略的设计难度等缺陷。等缺陷。等缺陷。


技术研发人员：王俊
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.06.19
技术公布日：2023/9/20