联合数据集的模型训练方法、X片的识别方法和相关设备与流程

联合数据集的模型训练方法、x片的识别方法和相关设备
技术领域
1.本公开涉及图像识别技术领域，特别涉及一种联合数据集的模型训练方法、x片的识别方法和相关设备。


背景技术：

2.胸部x线是目前用于胸腔疾病筛查和诊断最常见的检查方式，在日常临床中，x片的影像筛查和诊断依赖专业医生的经验，这是一项耗时及可能出现主观性评估错误。目前胸部x线的自动筛查主要有三个互相关联的任务组成：异常识别，异常中疾病分类，疾病中病灶区域定位。尽管现有算法大致明确胸部x线是正常还是异常，但由于胸部x线的低特异性，类间和类内的区分性很低，异常识别任务的性能都受限。除此之外，在实际临床场景中，阳性样本偏少、甚至某种疾病是缺少的，从而导致无法开展有效的有监督训练。


技术实现要素：

3.本公开目的在于：提供了一种联合数据集的模型训练方法、x片的识别方法和相关设备，其模型训练时利用共同的loss值来更新各个类别的数据集对应的特征提取网络的网络参数，有利于不同类别的数据集对应的特征提取网络使用时考虑到其他类别的数据集，从而提高训练所得的识别模型的泛用性。
4.为达上述目的，本公开采用以下技术方案：一种联合数据集的模型训练方法，其中，包括：
5.获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；
6.将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss值分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。
7.本公开还提供了一种x片的识别方法，其中，包括：
8.获取待识别x片；
9.将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由如上所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；
10.根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；
11.根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。
12.本公开还提供了一种联合数据集的模型训练装置，其中，包括：
13.第一获取模块，用于获取多个不同类别的第一数据集，并将各所述第一数据集包
含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；
14.训练模块，用于将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。
15.本公开还提供了一种x片的识别装置，其中，包括：
16.第二获取模块，用于获取待识别x片；
17.预测模块，用于将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由如上所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；
18.解析模块，用于根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；
19.判定模块，用于根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。
20.本公开还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
21.本公开还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。
22.本公开中提供的一种联合数据集的模型训练方法、x片的识别方法和相关设备，模型训练时，首先获取多个不同类别的第一数据集，并将各个第一数据集包含的第一训练图片调整为预设格式，得到各第一数据集分别对应的第二数据集。然后将各个第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各第二数据集联合后的loss值，并使用该loss值分别更新各个第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。应用时，将待识别x输入识别模型，预测得到概率向量；再根据预设需求，从概率向量中解析得到待识别x片对应的阴性概率和阳性概率。最后，根据阴性概率和阳性概率之间的大小关系，确定待识别x片的识别结果。本公开中，模型训练时不同类别的数据集进行联合，从而实现扩充样本类别；然后利用联合后的数据集共同的loss值来更新各个类别的数据集对应的特征提取网络的网络参数，有利于不同类别的数据集对应的特征提取网络使用时考虑到其他类别的数据集，从而提高训练所得的识别模型的泛用性和准确度。
附图说明
23.图1是本公开一实施例中联合数据集的模型训练方法的步骤示意图；
24.图2是本公开一实施例中x片的识别方法的步骤示意图；
25.图3是本公开一实施例中联合数据集的模型训练装置的整体结构框图；
26.图4是本公开一实施例中x片的识别装置的整体结构框图；
27.图5是本公开一实施例的计算机设备的结构示意框图。
28.本公开目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
29.为了使本公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本公开，并不用于限定本公开。
30.参照图1，本公开一实施例中提供了一种联合数据集的模型训练方法，其中，包括：
31.s1:获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；
32.s2:将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss值分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。
33.本实施例中，训练系统获取预先准备的多个不同类别的第一数据集，其中，各个第一数据集由相同方式采集得到。本实施例以vin-cxr(vinbigdata chest x-ray)和siim-cxr两个不同类别的第一数据集为例进行举例说明，实际应用时可以使用更多类别的第一数据集进行模型训练，具体根据实际需要进行选择，在此不做具体限制。第一数据集vin-cxr和siim-cxr这两个数据所包含的第一训练图片均是通过x射线扫描得到的x片，且均是与人体胸部x片相关。具体地，第一数据集vin-cxr包含1类正常情况图片和14类疾病图片，分别标注为：no findings(正常)0，aortic enlargement(主动脉扩大)1，atelectasis(肺扩张不全)2，calcification(钙化)3，cardiomegaly(心脏肥大)4，consolidation(肺实变)5，interstitial lung disease(间质性肺疾病)6，infiltration(肺部浸润)7，lung opacity(肺不透明)8，nodule/mass(肺结节/肺部块)9，other lesion(其他病变)10，pleural effusion(胸腔积液)11，pleural thickening(肺膜增厚)12，pneumothorax(气胸)13，pulmonary fibrosis(肺纤维化)14。第一数据集siim-cxr包含1类正常情况图片和3类疾病图片，分别标注为：negative for pneumonia(正常)0，typical appearance(典型性肺炎)1，indeterminate appearance(不确定性肺炎)2，atypical appearance(非典型性肺炎)3。进行模型训练时，无论使用的第一数据集的类别有多少个，统一转化为one-hot类别编码；以第一数据集vin-cxr和siim-cxr为例，第一数据集vin-cxr中的单张第一训练图片对应一个15维0和1的向量，而第一数据集siim-cxr中的单张第一训练图片对应一个4维0和1的向量。比如第一数据集vin-cxr的第一训练图片为正常情况图片，其对应的类别向量则为：[1,0,0,0,0,0,0,0,0,0,0,0,0,0,0]，长度为15，对应的第一个标志位为1；如果一张consolidation的第一训练图片，其对应类别向量是：[0,0,0,0,0,1,0,0,0,0,0,0,0,0,0]，长度为15，对应的第6个标志位为1；如果一张第一训练图片同时有多类疾病，比如包括consolidation和pulmonary fibrosis，则对应的类别向量是[0,0,0,0,0,1,0,0,0,0,0,0,0,0,1]，在第6个和15个标志位上为1。第一数据集siim-cxr中一张正常的第一训练图片，其对应类别向量是：[1,0,0,0]，长度为4，对应第1个标志位为1；如果是一张atypical appearance，则对应类别向量为：[0,0,0,1]，对应第4个标志位1；因为这个数据集后面三个类别是排他性的，所以不会存在同时有两种疾病类别，即单张第一训练图片对应的类别向量不会存在两个1。
[0034]
在将各个第一数据集所包含的第一训练图片输入神经网络进行模型训练之前，训
练系统将各张第一训练图片按照预设尺寸进行调整，并将各张第一训练图片的像素值标准化值预设范围内，实现将各个第一数据集的第一训练图片调整为预设格式，得到各个第一数据集对应的第二数据集(第二数据集包含的第二训练图片由第一训练图片调整为预设格式后得到)。训练系统将各个第二数据集作为训练数据输入神经网络进行模型训练，具体地，该神经网络包含多个特征提取网络、多个第一全连接处和一个全连接层，特征提取网络和第一全连接层的数量与第一数据集的类别数量一致，且单个特征提取网络对应连接单个第一全连接，而多个第一全连接层的输出统一与第二全连接层的输入连接。模型训练过程中，单个类别的第二数据集对应由单个特征提取网络和第一全连接层进行相应处理(比如第一数据集vin-cxr由特征提取网络a和第一全连接层a进行相应处理；第一数据集siim-cxr由特征提取网络b和第一全连接层b进行相应处理)；首先将各个第二数据集包含的第二训练图片分别输入各自对应的特征提取网络进行特征提取，得到各个第二训练图片各自对应的特征图。然后将各个特征图分别输入各自对应的第一全连接层映射为高维向量，得到各个特征图分别对应的第一向量；不同的第一全连接层输出的第一向量的长度均相同。各个第一向量在第二全连接层的输入处进行拼接，得到第二向量。拼接后的第二向量输入第二全连接层映射为低维向量，得到第三向量。第三向量经softmax函数进行概率化后得到多个概率值，这些概率值的数量与第三向量的长度一致(即这些概率值表征第三向量中每个向量值的概率，单个向量值表征单个类别的训练图片)。最后，使用联合loss函数对概率化后的第三向量进行损失计算，得到各个数据集联合后对应的loss值。再将这个loss回传到各个特征提取网络进行网络参数的更新，循环迭代上述模型训练的过程直至模型收敛，得到具有理想效果的识别模型。
[0035]
本实施例中，模型训练时不同类别的数据集进行联合，从而实现扩充样本类别；然后利用联合后的数据集共同的loss值来更新各个类别的数据集对应的特征提取网络的网络参数，有利于不同类别的数据集对应的特征提取网络使用时考虑到其他类别的数据集，从而提高训练所得的识别模型的泛用性和准确度。
[0036]
进一步的，所述神经网络包含多个特征提取网络、多个第一全连接层和一个第二全连接层，所述特征提取网络和所述第一全连接层的数量与所述第一数据集的类别数量一致，单个所述特征提取网络对应连接单个所述第一全连接层；所述模型训练过程中，使用分类loss函数计算各所述第二数据集联合后的loss值的步骤，包括：
[0037]
s201:将各所述第二数据集的第二训练图片分别输入各自对应的所述特征提取网络进行特征提取，得到各所述第二训练图片各自对应的特征图；
[0038]
s202:将各所述特征图分别输入各自对应的所述第一全连接层映射为高维向量，得到各所述特征图各自对应的第一向量，其中，各所述第一向量的长度相同；
[0039]
s203:将各所述第一向量进行拼接，得到第二向量；
[0040]
s204:将所述第二向量输入所述第二全连接层映射为低维向量，得到第三向量；
[0041]
s205:使用softmax函数对所述第三向量进行概率化，并利用联合loss函数对概率化后的所述第三向量进行损失计算，得到所述loss值。
[0042]
本实施例中，神经网络包含多个特征提取网络、多个第一全连接层和一个第二全连接层，单个类别的第二数据集对应单个特征提取网络和单个第一全连接层；特征提取网络用于提取第二训练图片的图片特征，可以使用densenet-121、resnet-50、esnet18、
mobilenetv3等流行网络。本实施例以第二数据集类别为vin-cxr、siim-cxr为例，第二数据集vin-cxr对应的特征提取网络选用densenet-121，第二数据集siim-cxr对应的特征提取网络选用resnet-50为例(实际应用时，不同类别的数据集对应使用的特征提取网络的类别可以根据实际需要进行选择，在此不做具体限制)。第二数据集vin-cxr输入特征提取网络densenet-121进行特征提取，得到对应的特征图a，该特征图a的大小为(1024,8,8)，即1024个通道，高度和宽度为8。第二数据集siim-cxr输入特征提取网络resnet-50进行特征提取，得到对应的特征图b，该特征图b的大小为(2048,8,8)，即高度和宽度为8，通道数量为2048。然后同步将特征图a和特征图b输入各自对应的第一全连接层映射为高维向量，得到向量长度相同、均为512的第一向量a和第一向量b。接着，对第一向量a和第一向量b进行拼接，得到长度为1024的第二向量。拼接后的第二向量输入第二全连接层映射为一个低维向量，得到第三向量，第三向量的长度为18，对应数据集vin-cxr和数据集siim-cxr包含的类别总数量(数据集vin-cxr和数据集siim-cxr中，第一个类别均为正常情况，可以合并为一起)；通过将不同类别的数据集进行合并，等同于扩充了阴性样本，以及增加了阳性样本类别的覆盖。第三向量经softmax函数进行概率化后得到18个概率值(18个概率值分别表征第三向量中对应位置的向量值的出现概率)。最后，使用联合loss函数对概率化后的第三向量进行损失计算，得到各个数据集联合后对应的loss值。优选的，联合loss函数选用bceloss，即计算预测类别和真实类别间的二值交叉熵(binary cross entropy)。
[0043]
进一步的，所述将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集的步骤，包括：
[0044]
s101:将各所述第一训练图片按照预设图片尺寸进行调整，并将各所述第一训练图片的像素值标准化至预设范围内，得到各所述第一训练图片分别对应的所述第二训练图片。
[0045]
本实施例中，训练系统将各个第一训练图片按照预设图片尺寸进行调整，并将各个第一训练图片的像素值标准化为预设范围内，得到各个第一训练图片分别对应的第二训练图片。优选的，训练系统将各个第一训练图片的同一调整至(3,256,256)，即3通道、宽度256、高度256。并且，将第一训练图片的像素值标准化到[0,1]内，在完成预设图片尺寸调整和像素值标准化后，第一训练图片转化为第二训练图片。
[0046]
参照图2，本公开一实施例还提供了一种x片的识别方法，其中，包括：
[0047]
a1:获取待识别x片；
[0048]
a2:将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由如上所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；
[0049]
a3:根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；
[0050]
a4:根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。
[0051]
本实施例中，由联合数据集的模型训练方法训练得到的识别模型部署在识别系统的硬件设备上，应用时，识别系统调取预先拍摄好的待识别x片，然后将待识别x片输入识别模型中，得到一个概率向量。该概率向量包含一个阴性向量值和多个阳性向量值，阳性向量
值和模型训练时使用的数据集(即第一数据集)所包含的疾病图片的类别数量相同。比如，模型训练时使用的数据集为vin-cxr和siim-cxr，这两种数据集共包含了17种类别的疾病图片，因此训练所得的识别模型所识别得到的概率向量包含17个阳性向量值(由上述步骤s201—s205的实施例可知，正常图片的类别会进行合并，因此概率向量只包含一个阴性向量值)。识别系统根据用户的预设需求，从模型输出的概率向量中解析得到待识别x片对应的阴性概率和阳性概率。具体地，识别系统将概率向量中的阴性向量值(阴性向量值位于概率向量的第一个位置)作为待识别x片的阴性概率，并调取预设需求。如果预设需求为降低误诊率，则从各个阳性向量值中筛选出具有最大值的阳性向量值作为待识别x片的阳性概率。如果预设需求为降低漏诊率，则从各个阳性向量值中筛选出具有最小值的阳性向量值作为待识别x片的所述阳性概率。识别系统解析待识别x片的阴性概率和阳性概率之间的大小关系，如果阴性概率大于阳性概率，则判定待识别x片的识别结果为阴性(即正常)；如果阴性概率小于阳性概率，则判定待识别x片的识别结果为阳性(即异常)。
[0052]
本实施例中，识别模型能够输出待识别x片对应训练时所使用的的各个数据集的类别的概率向量(概率向量的向量值是概率值)，从而保证对待识别x片的识别全面性和准确度。进一步的，识别系统根据用户设定的预设需求对概率向量进行解析，得到待识别x片的待识别结果，不仅可以实现对待识别x片的准确识别，同时还能满足用户的实际需求，灵活性高。
[0053]
进一步的，所述概率向量包含一个阴性向量值和多个阳性向量值，所述概率向量包含的阴性向量值和所有阳性向量值的概率总和为1，所述根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率的步骤，包括：
[0054]
a301:将所述阴性向量值作为所述待识别x片的所述阴性概率，并调取所述预设需求；
[0055]
a302:若所述预设需求为降低误诊率，则从各所述阳性向量值中筛选出具有最大值的阳性向量值作为所述待识别x片的所述阳性概率；
[0056]
a303:若所述预设需求为降低漏诊率，则从各所述阳性向量值中筛选出具有最小值的阳性向量值作为所述待识别x片的所述阳性概率。
[0057]
本实施例中，模型输出的概率向量包含一个阴性向量值和多个阳性向量值，且阴性向量值和所有阳性向量值的概率总和为1。以模型训练时使用了两个类别的第一数据集，分别是第一数据集vin-cxr和第一数据siim-cxr为例进行说明。识别模型预测的概率向量的长度为18，第一个位置的概率向量值(对应模型训练时对数据集中图片类别的标注)为阴性向量值，表征待识别x片识别为阴性的概率，因此识别系统将阴性向量值作为待识别x片的阴性概率；第2个位置至第18个位置的向量值均为阳性向量值，分别表征待识别x片识别为阳性的概率。如果用户的预设需求为降低误诊率，则应提高待识别x片被识别为阳性的概率，因此从各个阳性向量值中筛选出具有最大值的向量值作为待识别x片的阳性概率。如果用户的预设需求为降低漏诊率，则应提高待识别x片被识别为阴性的概率，因此从各个阳性向量值中筛选出具有最小值的阳性向量值作为带是被x片的阳性概率。
[0058]
进一步的，所述根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果的步骤，包括：
[0059]
a401:判断所述阴性概率是否大于所述阳性概率；
[0060]
a402:若所述阴性概率大于所述阳性概率，则判定所述识别结果为阴性；
[0061]
a403:若所述阴性概率小于所述阳性概率，则判定所述识别结果为阳性。
[0062]
本实施例中，识别系统判断待识别x片的阴性概率是否大于阳性概率，如果阴性概率大于阳性概率，则判定待识别x片的识别结果为阴性(即正常)。如果阴性概率小于阳性概率，则判定待识别x片的识别结果为阳性。
[0063]
参照图3，本公开提供了一种联合数据集的模型训练装置，其中，包括：
[0064]
第一获取模块1，用于获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；
[0065]
训练模块2，用于将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。
[0066]
进一步的，所述神经网络包含多个特征提取网络、多个第一全连接层和一个第二全连接层，所述特征提取网络和所述第一全连接层的数量与所述第一数据集的类别数量一致，单个所述特征提取网络对应连接单个所述第一全连接层；所述训练模块2，包括：
[0067]
提取单元，用于将各所述第二数据集的第二训练图片分别输入各自对应的所述特征提取网络进行特征提取，得到各所述第二训练图片各自对应的特征图；
[0068]
第一映射单元，用于将各所述特征图分别输入各自对应的所述第一全连接层映射为高维向量，得到各所述特征图各自对应的第一向量，其中，各所述第一向量的长度相同；
[0069]
拼接单元，用于将各所述第一向量进行拼接，得到第二向量；
[0070]
第二映射单元，用于将所述第二向量输入所述第二全连接层映射为低维向量，得到第三向量；
[0071]
计算单元，用于使用softmax函数对所述第三向量进行概率化，并利用联合loss函数对概率化后的所述第三向量进行损失计算，得到所述loss值。
[0072]
进一步的，所述第一获取模块1，包括：
[0073]
调整单元，用于将各所述第一训练图片按照预设图片尺寸进行调整，并将各所述第一训练图片的像素值标准化至预设范围内，得到各所述第一训练图片分别对应的所述第二训练图片。
[0074]
本实施例中，联合数据集的模型训练装置中各模块、单元用于对应执行与上述联合数据集的模型训练方法中的各个步骤，其具体实施过程在此不做详述。
[0075]
参照图4，本公开提供了一种x片的识别装置，其中，包括：
[0076]
第二获取模块3，用于获取待识别x片；
[0077]
预测模块4，用于将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由如上所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；
[0078]
解析模块5，用于根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；
[0079]
判定模块6，用于根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。
[0080]
进一步的，所述概率向量包含一个阴性向量值和多个阳性向量值，所述概率向量包含的阴性向量值和所有阳性向量值的概率总和为1，所述解析模块5，包括：
[0081]
选择单元，用于将所述阴性向量值作为所述待识别x片的所述阴性概率，并调取所述预设需求；
[0082]
第一筛选单元，用于若所述预设需求为降低误诊率，则从各所述阳性向量值中筛选出具有最大值的阳性向量值作为所述待识别x片的所述阳性概率；
[0083]
第二筛选单元，用于若所述预设需求为降低漏诊率，则从各所述阳性向量值中筛选出具有最小值的阳性向量值作为所述待识别x片的所述阳性概率。
[0084]
进一步的，所述判定模块6，包括：
[0085]
判断单元，用于判断所述阴性概率是否大于所述阳性概率；
[0086]
第一判定单元，用于若所述阴性概率大于所述阳性概率，则判定所述识别结果为阴性；
[0087]
第二判定单元，用于若所述阴性概率小于所述阳性概率，则判定所述识别结果为阳性。
[0088]
本实施例中，x片的识别装置中各模块、单元用于对应执行与上述x片的识别方法中的各个步骤，其具体实施过程在此不做详述。
[0089]
本公开中提供的一种联合数据集的模型训练装置和x片的识别装置，模型训练时，首先获取多个不同类别的第一数据集，并将各个第一数据集包含的第一训练图片调整为预设格式，得到各第一数据集分别对应的第二数据集。然后将各个第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各第二数据集联合后的loss值，并使用该loss值分别更新各个第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。应用时，将待识别x输入识别模型，预测得到概率向量；再根据预设需求，从概率向量中解析得到待识别x片对应的阴性概率和阳性概率。最后，根据阴性概率和阳性概率之间的大小关系，确定待识别x片的识别结果。本公开中，模型训练时不同类别的数据集进行联合，从而实现扩充样本类别；然后利用联合后的数据集共同的loss值来更新各个类别的数据集对应的特征提取网络的网络参数，有利于不同类别的数据集对应的特征提取网络使用时考虑到其他类别的数据集，从而提高训练所得的识别模型的泛用性和准确度。
[0090]
参照图5，本公开实施例中还提供一种计算机设备，该计算机设备可以是服务器，其内部结构可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储第一数据集等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种联合数据集的模型训练方法和一种x片的识别方法。
[0091]
上述处理器执行上述联合数据集的模型训练方法的步骤：
[0092]
s1:获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；
[0093]
s2:将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss值分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。
[0094]
进一步的，所述神经网络包含多个特征提取网络、多个第一全连接层和一个第二全连接层，所述特征提取网络和所述第一全连接层的数量与所述第一数据集的类别数量一致，单个所述特征提取网络对应连接单个所述第一全连接层；所述模型训练过程中，使用分类loss函数计算各所述第二数据集联合后的loss值的步骤，包括：
[0095]
s201:将各所述第二数据集的第二训练图片分别输入各自对应的所述特征提取网络进行特征提取，得到各所述第二训练图片各自对应的特征图；
[0096]
s202:将各所述特征图分别输入各自对应的所述第一全连接层映射为高维向量，得到各所述特征图各自对应的第一向量，其中，各所述第一向量的长度相同；
[0097]
s203:将各所述第一向量进行拼接，得到第二向量；
[0098]
s204:将所述第二向量输入所述第二全连接层映射为低维向量，得到第三向量；
[0099]
s205:使用softmax函数对所述第三向量进行概率化，并利用联合loss函数对概率化后的所述第三向量进行损失计算，得到所述loss值。
[0100]
进一步的，所述将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集的步骤，包括：
[0101]
s101:将各所述第一训练图片按照预设图片尺寸进行调整，并将各所述第一训练图片的像素值标准化至预设范围内，得到各所述第一训练图片分别对应的所述第二训练图片。
[0102]
上述处理器执行上述x片的识别方法的步骤：
[0103]
a1:获取待识别x片；
[0104]
a2:将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由如上所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；
[0105]
a3:根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；
[0106]
a4:根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。
[0107]
进一步的，所述概率向量包含一个阴性向量值和多个阳性向量值，所述概率向量包含的阴性向量值和所有阳性向量值的概率总和为1，所述根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率的步骤，包括：
[0108]
a301:将所述阴性向量值作为所述待识别x片的所述阴性概率，并调取所述预设需求；
[0109]
a302:若所述预设需求为降低误诊率，则从各所述阳性向量值中筛选出具有最大值的阳性向量值作为所述待识别x片的所述阳性概率；
[0110]
a303:若所述预设需求为降低漏诊率，则从各所述阳性向量值中筛选出具有最小值的阳性向量值作为所述待识别x片的所述阳性概率。
[0111]
进一步的，所述根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果的步骤，包括：
[0112]
a401:判断所述阴性概率是否大于所述阳性概率；
[0113]
a402:若所述阴性概率大于所述阳性概率，则判定所述识别结果为阴性；
[0114]
a403:若所述阴性概率小于所述阳性概率，则判定所述识别结果为阳性。
[0115]
本公开一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种联合数据集的模型训练方法和一种x片的识别方法，所述联合数据集的模型训练方法具体为：
[0116]
s1:获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；
[0117]
s2:将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss值分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。
[0118]
进一步的，所述神经网络包含多个特征提取网络、多个第一全连接层和一个第二全连接层，所述特征提取网络和所述第一全连接层的数量与所述第一数据集的类别数量一致，单个所述特征提取网络对应连接单个所述第一全连接层；所述模型训练过程中，使用分类loss函数计算各所述第二数据集联合后的loss值的步骤，包括：
[0119]
s201:将各所述第二数据集的第二训练图片分别输入各自对应的所述特征提取网络进行特征提取，得到各所述第二训练图片各自对应的特征图；
[0120]
s202:将各所述特征图分别输入各自对应的所述第一全连接层映射为高维向量，得到各所述特征图各自对应的第一向量，其中，各所述第一向量的长度相同；
[0121]
s203:将各所述第一向量进行拼接，得到第二向量；
[0122]
s204:将所述第二向量输入所述第二全连接层映射为低维向量，得到第三向量；
[0123]
s205:使用softmax函数对所述第三向量进行概率化，并利用联合loss函数对概率化后的所述第三向量进行损失计算，得到所述loss值。
[0124]
进一步的，所述将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集的步骤，包括：
[0125]
s101:将各所述第一训练图片按照预设图片尺寸进行调整，并将各所述第一训练图片的像素值标准化至预设范围内，得到各所述第一训练图片分别对应的所述第二训练图片。
[0126]
所述x片的识别方法具体为：
[0127]
a1:获取待识别x片；
[0128]
a2:将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由如上所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；
[0129]
a3:根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；
[0130]
a4:根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识
别结果。
[0131]
进一步的，所述概率向量包含一个阴性向量值和多个阳性向量值，所述概率向量包含的阴性向量值和所有阳性向量值的概率总和为1，所述根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率的步骤，包括：
[0132]
a301:将所述阴性向量值作为所述待识别x片的所述阴性概率，并调取所述预设需求；
[0133]
a302:若所述预设需求为降低误诊率，则从各所述阳性向量值中筛选出具有最大值的阳性向量值作为所述待识别x片的所述阳性概率；
[0134]
a303:若所述预设需求为降低漏诊率，则从各所述阳性向量值中筛选出具有最小值的阳性向量值作为所述待识别x片的所述阳性概率。
[0135]
进一步的，所述根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果的步骤，包括：
[0136]
a401:判断所述阴性概率是否大于所述阳性概率；
[0137]
a402:若所述阴性概率大于所述阳性概率，则判定所述识别结果为阴性；
[0138]
a403:若所述阴性概率小于所述阳性概率，则判定所述识别结果为阳性。
[0139]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储与一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本公开所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram通过多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0140]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、第一物体或者方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、装置、第一物体或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、第一物体或者方法中还存在另外的相同要素。
[0141]
以上所述仅为本公开的优选实施例，并非因此限制本公开的专利范围，凡是利用本公开说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本公开的专利保护范围内。

技术特征：
1.一种联合数据集的模型训练方法，其中，包括：获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss值分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。2.根据权利要求1所述的联合数据集的模型训练方法，其中，所述神经网络包含多个特征提取网络、多个第一全连接层和一个第二全连接层，所述特征提取网络和所述第一全连接层的数量与所述第一数据集的类别数量一致，单个所述特征提取网络对应连接单个所述第一全连接层；所述模型训练过程中，使用分类loss函数计算各所述第二数据集联合后的loss值的步骤，包括：将各所述第二数据集的第二训练图片分别输入各自对应的所述特征提取网络进行特征提取，得到各所述第二训练图片各自对应的特征图；将各所述特征图分别输入各自对应的所述第一全连接层映射为高维向量，得到各所述特征图各自对应的第一向量，其中，各所述第一向量的长度相同；将各所述第一向量进行拼接，得到第二向量；将所述第二向量输入所述第二全连接层映射为低维向量，得到第三向量；使用softmax函数对所述第三向量进行概率化，并利用联合loss函数对概率化后的所述第三向量进行损失计算，得到所述loss值。3.根据权利要求1所述的联合数据集的模型训练方法，其中，所述将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集的步骤，包括：将各所述第一训练图片按照预设图片尺寸进行调整，并将各所述第一训练图片的像素值标准化至预设范围内，得到各所述第一训练图片分别对应的所述第二训练图片。4.一种x片的识别方法，其中，包括：获取待识别x片；将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由权利要求1—3任一所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。5.根据权利要求4所述的x片的识别方法，其中，所述概率向量包含一个阴性向量值和多个阳性向量值，所述概率向量包含的阴性向量值和所有阳性向量值的概率总和为1，所述根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率的步骤，包括：将所述阴性向量值作为所述待识别x片的所述阴性概率，并调取所述预设需求；若所述预设需求为降低误诊率，则从各所述阳性向量值中筛选出具有最大值的阳性向
量值作为所述待识别x片的所述阳性概率；若所述预设需求为降低漏诊率，则从各所述阳性向量值中筛选出具有最小值的阳性向量值作为所述待识别x片的所述阳性概率。6.根据权利要求4所述的x片的识别方法，其中，所述根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果的步骤，包括：判断所述阴性概率是否大于所述阳性概率；若所述阴性概率大于所述阳性概率，则判定所述识别结果为阴性；若所述阴性概率小于所述阳性概率，则判定所述识别结果为阳性。7.一种联合数据集的模型训练装置，其中，包括：第一获取模块，用于获取多个不同类别的第一数据集，并将各所述第一数据集包含的第一训练图片调整为预设格式，得到各所述第一数据集分别对应的第二数据集；训练模块，用于将各所述第二数据集作为训练数据输入神经网络进行模型训练，在模型训练过程中，使用联合loss函数计算各所述第二数据集联合后的loss值，并使用所述loss分别更新各所述第二数据集各自对应的特征提取网络的网络参数，循环迭代至模型收敛，得到识别模型。8.一种x片的识别装置，其中，包括：第二获取模块，用于获取待识别x片；预测模块，用于将所述待识别x输入识别模型，预测得到概率向量，其中，所述识别模型由权利要求1—3任一所述的联合数据集的模型训练方法训练得到，且所述识别模型使用的训练数据为x射线扫描得到的图片；解析模块，用于根据预设需求，从所述概率向量中解析得到所述待识别x片对应的阴性概率和阳性概率；判定模块，用于根据所述阴性概率和所述阳性概率之间的大小关系，确定所述待识别x片的识别结果。9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1-3中任一项所述联合数据集的模型训练方法的步骤和/或权利要求4-6中任一项所述x片的识别方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1-3中任一项所述联合数据集的模型训练方法的步骤和/或权利要求4-6中任一项所述x片的识别方法的步骤。

技术总结
本公开提供了一种联合数据集的模型训练方法、X片的识别方法和相关设备，模型训练时不同类别的数据集进行联合，从而实现扩充样本类别；然后利用联合后的数据集共同的loss值来更新各个类别的数据集对应的特征提取网络的网络参数，有利于不同类别的数据集对应的特征提取网络使用时考虑到其他类别的数据集，从而提高训练所得的识别模型的泛用性和准确度。并且根据用户设定的预设需求对概率向量进行解析，得到待识别X片的待识别结果，不仅可以实现对待识别X片的准确识别，同时还能满足用户的实际需求，灵活性高。灵活性高。灵活性高。


技术研发人员：方建生
受保护的技术使用者：广州视源人工智能创新研究院有限公司
技术研发日：2022.02.23
技术公布日：2023/9/7