一种基于深度学习的超声病灶标准切面选取方法及系统与流程

1.本发明涉及超声技术领域，尤其涉及一种基于深度学习的超声病灶标准切面选取方法及系统。


背景技术：

2.临床试验是评估新型药物、疗法或医疗设备安全性和有效性的重要手段。在这些试验中，超声技术广泛应用于病灶的检测和评估。然而，在超声图像的扫描获取过程中，如探头位置、扫描角度等扫描参数受到扫描操作人员的经验限制，在临床试验中实现标准化的超声图像获取仍然具有挑战性。
3.现有技术中，通常是将实时超声图像与预设的若干个标准切面超声图像的特征向量进行匹配，筛选出相似度最高的标准切面超声图像；这种切面选取方式忽略了不同方向之间的信息冗余，因此可能会导致一些方向上的信息被低估或高估。


技术实现要素：

4.为了解决以上技术问题，本发明提供了一种可应用于临床试验中的基于深度学习的超声病灶标准切面选取方法及系统。
5.本发明所解决的技术问题可以采用以下技术方案实现：
6.一种基于深度学习的超声病灶标准切面选取方法，包括：
7.步骤s1，获取待处理的第一超声图像，提取所述第一超声图像的第一特征向量；
8.步骤s2，将所述第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与所述第一特征向量相似度最高的所述平均图像对应的所述标准切面类型；
9.步骤s3，根据所述标准切面类型确定标准切面对应的位置和角度。
10.优选地，所述步骤s3之后还包括：
11.步骤s4，对自适应调整位置和角度后的实时超声图像与确定得到的所述标准切面类型对应的标准切面进行配准。
12.优选地，所述步骤s4中使用图像配准算法进行配准，所述图像配准算法采用相位相关算法、互信息算法或变形场算法。
13.优选地，所述步骤s2中所述每个标准切面类型对应的平均图像的特征向量的获取步骤包括：
14.步骤a1，获取包含有病灶的第二超声图像组；
15.步骤a2，对所述第二超声图像组中的所有第二超声图像分别进行特征提取，得到特征向量组；
16.步骤a3，基于聚类算法对所述特征向量组进行聚类处理，得到不同病灶形态和位置类型对应的聚类簇组；
17.步骤a4，分别计算所述聚类簇组的每个聚类簇中所有所述第二超声图像的特征向量的平均值，得到每个聚类簇的平均图像以及所述平均图像的特征向量；
18.步骤a5，对所述聚类簇组对应的所有平均图像的特征向量进行分类，确定每个所述聚类簇对应的所述标准切面类型。
19.优选地，所述步骤a3中，所述聚类算法为k均值聚类算法、或基于密度的聚类算法、或层次聚类算法。
20.优选地，所述步骤a4中，所述聚类簇组的每个聚类簇中所有所述第二超声图像的特征向量的平均值采用特征计算函数计算得到；其中，所述特征计算函数为特征融合函数。
21.优选地，还包括一数据库，所述数据库中存储有每个所述标准切面类型对应的标准切面模板，所述标准切面模板至少指示有所述标准切面对应的位置和角度；
22.所述步骤s3包括：
23.步骤s31，根据确定得到的所述标准切面类型，从所述数据库中选择对应的所述标准切面模板；
24.步骤s32，根据所述标准切面模板自适应选择所述第一超声图像的位置和角度。
25.本发明还提供一种基于深度学习的超声病灶标准切面选取系统，用于实施如上述的基于深度学习的超声病灶标准切面选取方法，包括：
26.第一特征提取模块，用于获取待处理的第一超声图像，提取所述第一超声图像的第一特征向量；
27.特征匹配模块，连接所述第一特征提取模块，用于将所述第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与所述第一特征向量相似度最高的所述平均图像对应的所述标准切面类型；
28.切面选取模块，连接所述特征匹配模块，用于根据所述标准切面类型确定标准切面对应的位置和角度。
29.优选地，还包括：
30.切面配准模块，连接所述切面选取模块，用于对自适应调整位置和角度后的实时超声图像与确定得到的所述标准切面类型对应的标准切面进行配准。
31.优选地，还包括：
32.图像获取模块，用于获取包含有病灶的第二超声图像组；
33.第二特征提取模块，连接所述图像获取模块，用于对所述第二超声图像组中的所有第二超声图像分别进行特征提取，得到特征向量组；
34.聚类模块，连接所述第二特征提取模块，用于基于聚类算法对所述特征向量组进行聚类处理，得到不同病灶形态和位置类型对应的聚类簇组；
35.平均处理模块，连接所述聚类模块，用于分别计算所述聚类簇组的每个聚类簇中所有所述第二超声图像的特征向量的平均值，得到每个聚类簇的平均图像以及所述平均图像的特征向量；
36.分类模块，连接所述平均处理模块，用于对所述聚类簇组对应的所有平均图像的特征向量进行分类，确定每个所述聚类簇对应的所述标准切面类型。
37.本发明技术方案的优点或有益效果在于：
38.本发明通过将获取的超声图像的特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与第一特征向量相似度最高的平均图像对应的标准切面类型，进而根据标准切面类型确定标准切面对应的位置和角度，具有广泛的适用性和实用性；同
时可提高临床试验数据的可比性和准确性，并减少超声扫描操作的主观因素，从而提高临床试验的科学性和可靠性。
附图说明
39.图1为本发明的较佳实施例中，基于深度学习的超声病灶标准切面选取方法的流程示意图；
40.图2为本发明的较佳实施例中，步骤s3之后的流程示意图；
41.图3为本发明的较佳实施例中，平均图像的特征向量的获取步骤的流程示意图；
42.图4为本发明的较佳实施例中，步骤s3具体实施的流程示意图；
43.图5为本发明的较佳实施例中，基于深度学习的超声病灶标准切面选取系统的结构框图；
44.图6为本发明的较佳实施例中，基于深度学习的超声病灶标准切面选取系统具体实施的结构框图；
45.图7为本发明的较佳实施例中，基于深度学习的超声病灶标准切面选取系统具体实施的结构框图。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
48.下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
49.参见图1，本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种临床试验中基于深度学习的超声病灶标准切面选取方法，包括：
50.步骤s1，获取待处理的第一超声图像，提取第一超声图像的第一特征向量；
51.步骤s2，将第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与第一特征向量相似度最高的平均图像对应的标准切面类型；
52.步骤s3，根据标准切面类型确定标准切面对应的位置和角度。
53.具体的，在本实施例中，首先，获取待处理的第一超声图像，该第一超声图像为当前实时获取的图像，提取实时获取的第一超声图像的特征向量，并将其与预设的若干个标准切面类型对应的平均图像的特征向量进行匹配，计算其相似度，确定与第一特征向量最相似的平均图像，并将该平均图像所对应的标准切面类型作为该超声图像的标准切面类型，进而根据标准切面类型确定标准切面对应的位置和角度，相比之下，平均图像的特征向量，即超声图像特征向量的平均值的方法可以更好地利用不同方向之间的信息冗余，从而更全面地描述超声图像中每个像素点的特征。这种方法可以更好地捕捉不同组织或器官之间的差异，根据具体病灶的位置和形态，自动选择标准切面，具有广泛的适用性和实用性；同时可提高临床试验数据的可比性和准确性，并减少超声扫描操作的主观因素，从而提高
临床试验的科学性和可靠性。
54.作为优选的实施方式，其中，如图2所示，步骤s3之后还包括：
55.步骤s4，对自适应调整位置和角度后的实时超声图像与确定得到的标准切面类型对应的标准切面进行配准。
56.具体的，在本实施例中，通过对标准切面与超声图像进行配准，以解决现有技术中由于超声图像的变形和噪声，导致标准切面与超声图像之间存在的差异问题。
57.作为优选的实施方式，其中，步骤s4中使用图像配准算法进行配准，图像配准算法采用相位相关算法、互信息算法或变形场算法。
58.具体的，在本实施例中，为了将标准切面与超声图像进行配准，可以使用例如相位相关算法、互信息算法或变形场算法等图像配准算法实现。
59.进一步的，上述步骤s4之后还包括：检验所选取的标准切面的准确性。为了验证本发明实施方案的准确性和可靠性，在实际应用中，通过一些有经验的医生或超声诊断专家对标准切面进行评估和比较，计算其灵敏度和特异性等指标，实现对所选取的标准切面的检验。
60.作为优选的实施方式，其中，如图3所示，步骤s2中每个标准切面类型对应的平均图像的特征向量的获取步骤包括：
61.步骤a1，获取包含有病灶的第二超声图像组；
62.其中，获取一组超声图像，构成第二超声图像组，第二超声图像组中的这些超声图像来自临床试验的病人。每个第二超声图像均包含有至少一个病灶。优选的，每个超声图像应包含病灶的清晰边界和足够的信息以供特征提取。
63.步骤a2，对第二超声图像组中的所有第二超声图像分别进行特征提取，得到特征向量组；
64.其中，对每个第二超声图像分别进行特征提取，得到一组特征向量，以描述超声图像的形态和位置信息。在一个较佳的实施例中，特征提取步骤可使用现有的卷积神经网络(cnn)模型或his统计灰度分布的方法实现，卷积神经网络模型优选使用例如vgg、resnet或inception等网络模型。在另一较佳的实施例中，也可根据具体需求自定义设计cnn模型，实现个性化特征提取。对于每个超声图像，将其输入cnn模型并提取其最后一层卷积层的输出作为该图像的特征向量。
65.进一步的，在特征提取之前，还包括数据预处理步骤：将所有超声图像进行预处理，包括使用各项异性滤波和前后帧的iir滤波增强图像，归一化等处理，以提高聚类精度。然后对预处理后的超声图像进行特征提取。
66.步骤a3，基于聚类算法对特征向量组进行聚类处理，得到不同病灶形态和位置类型对应的聚类簇组；
67.其中，对第二超声图像组的所有图像的特征向量进行聚类，得到一组簇。在一个较佳的实施例中，聚类操作可使用常见的聚类算法，例如k-means、dbscan或层次聚类等实现，将特征向量输入到聚类算法中进行聚类，聚类算法会自动将所有特征向量分为不同的聚类簇，每个聚类簇代表一种病灶形态和位置类型。优选的，聚类数目和参数可根据具体需求选择合适的数值。
68.步骤a4，分别计算聚类簇组的每个聚类簇中所有第二超声图像的特征向量的平均
值，得到每个聚类簇的平均图像以及平均图像的特征向量；
69.其中，对于每个簇，计算其中所有第二超声图像的平均图像，并提取该平均图像的特征向量。对于每个簇，将其中所有超声图像的特征向量求平均得到该簇的平均特征向量。然后，将平均特征向量输入cnn模型，并提取其最后一层卷积层的输出作为该簇的平均图像的特征向量。该步骤a4中通过对于每个聚类簇中的特征向量，计算其平均值作为该簇的代表特征向量，从而减少特征提取的复杂性和主观性，并且可以充分利用所有信息。
70.需要说明的是，为了提高模型复用性，该步骤a4中使用的cnn模型可以共用步骤a2中所使用的卷积神经网络模型。进一步的，上述步骤s1中对于待处理的第一超声图像，也可共用步骤a2中所使用的卷积神经网络模型实现特征提取操作，将待处理的第一超声图像输入至cnn模型中，并提取其最后一层卷积层的输出作为该图像的特征向量。
71.步骤a5，对聚类簇组对应的所有平均图像的特征向量进行分类，确定每个聚类簇对应的标准切面类型。
72.其中，对所有平均图像的特征向量进行分类，确定每个簇所对应的标准切面类型。在一个较佳的实施例中，分类操作可使用常见的分类算法，例如svm、随机森林或深度神经网络等实现。训练分类器时，将每个平均图像的特征向量作为输入，将其对应的标准切面类型作为输出。在实际应用中，标准切面选取：对于实时的第二超声图像，将其提取特征向量后，将其与所有聚类簇的代表特征向量进行比较，选取最相似的聚类簇的代表特征向量作为标准切面。
73.具体的，考虑到传统的计算超声图像特征向量的方法通常是通过对每个像素点的灰度值和方向信息进行加权平均来得到特征向量，这种特征向量计算方法虽然简单易行，但它忽略了不同方向之间的信息冗余，因此可能会导致一些方向上的信息被低估或高估。在本实施例中，通过计算超声图像特征向量的平均值的方法可以更好地利用不同方向之间的信息冗余，从而更全面地描述超声图像中每个像素点的特征；同时这种方法可以更好地捕捉不同组织或器官之间的差异，并提高分类和诊断的准确性。
74.此外，计算超声图像特征向量的平均值还可以减少计算量，从而提高模型的训练效率。因为只需要对每个超声图像的特征向量求平均值，而不需要对每个像素点的特征向量进行计算，因此可以大大减少计算时间和内存需求。
75.作为优选的实施方式，其中，步骤a3中，聚类算法为k均值聚类算法、或基于密度的聚类算法、或层次聚类算法。
76.具体的，在本实施例中，采用层次聚类算法对所有超声图像进行聚类，将特征向量输入到层次聚类算法中进行聚类，层次聚类算法会自动将所有特征向量分为不同的聚类簇，每个聚类簇代表一种病灶形态和位置类型，以得到不同的病灶形态和位置类型。层次聚类算法是一种基于树形结构的聚类方法，其主要思想是将数据分为不同的层次结构，并逐步合并具有相似特征的数据点，最终得到一棵树形结构。
77.作为优选的实施方式，其中，步骤a4中，聚类簇组的每个聚类簇中所有第二超声图像的特征向量的平均值采用特征计算函数计算得到；其中，特征计算函数为特征融合函数。
78.具体的，在本实施例中，上述步骤a4中，对于数据集中的每个超声图像，计算其特征向量，可使用基于python语言中的scikit-learn库中的特征计算函数，如特征融合(feature union)函数或fmri to feature函数等实现，这些函数可以将多个超声图像的特
征向量合并成一个特征向量。对于每个超声图像，计算其特征向量的平均值，可以使用numpy(numerical python)中的mean函数实现。
79.进一步的，上述步骤a5中，使用深度神经网络进行分类操作，深度神经网络包含卷积层、池化层、全连接层，与常规vgg、resnet等网络不同的是，该深度神经网络的第一层卷积层采用13*13的大卷积核，并将第一层卷积层的输出直接跳过连接(skip connect)，然后加(add)至全连接层中，通过这种深度神经网络架构最大程度保留高层和中层的特征，并随层次加深不易丢失，与相同层数的网络相比，其敏感度和特异度均有提升。
80.作为优选的实施方式，其中，还包括一数据库，数据库中存储有每个标准切面类型对应的标准切面模板，标准切面模板至少指示有标准切面对应的位置和角度；
81.如图4所示，步骤s3包括：
82.步骤s31，根据确定得到的标准切面类型，从数据库中选择对应的标准切面模板；
83.步骤s32，根据标准切面模板自适应选择第一超声图像的位置和角度。
84.具体的，在本实施例中，根据标准切面类型选择标准切面。对于每个标准切面类型，事先确定一个标准切面模板，并存储在数据库中。在实际应用中，通过匹配确定得到实时的超声图像对应的标准切面类型，然后从数据库中选择与标准切面类型对应的标准切面模板，并在实时的超声图像中自适应地选择与标准切面模板相似的位置和角度。
85.本发明还提供一种基于深度学习的超声病灶标准切面选取系统，用于实施如上述的基于深度学习的超声病灶标准切面选取方法，如图5所示，包括：
86.第一特征提取模块1，用于获取待处理的第一超声图像，提取第一超声图像的第一特征向量；
87.特征匹配模块2，连接第一特征提取模块1，用于将第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与第一特征向量相似度最高的平均图像对应的标准切面类型；
88.切面选取模块3，连接特征匹配模块2，用于根据标准切面类型确定标准切面对应的位置和角度。
89.作为优选的实施方式，其中，如图6所示，还包括：
90.切面配准模块4，连接切面选取模块3，用于对自适应调整位置和角度后的实时超声图像与确定得到的标准切面类型对应的标准切面进行配准。
91.具体的，在实际应用中，由于超声图像的变形和噪声，标准切面与超声图像之间会存在一定的差异。在本实施例中，将标准切面与超声图像进行配准，以避免标准切面与超声图像之间存在的差异导致降低试验数据的可比性和准确性。进一步的，为了将标准切面与超声图像进行配准，可以使用例如相位相关算法、互信息算法或变形场算法等图像配准算法实现配准操作。
92.作为优选的实施方式，其中，如图7所示，还包括：
93.图像获取模块5，用于获取包含有病灶的第二超声图像组；
94.第二特征提取模块6，连接图像获取模块5，用于对第二超声图像组中的所有第二超声图像分别进行特征提取，得到特征向量组；
95.聚类模块7，连接第二特征提取模块6，用于基于聚类算法对特征向量组进行聚类处理，得到不同病灶形态和位置类型对应的聚类簇组；
96.平均处理模块8，连接聚类模块7，用于分别计算聚类簇组的每个聚类簇中所有第二超声图像的特征向量的平均值，得到每个聚类簇的平均图像以及平均图像的特征向量；
97.分类模块9，连接平均处理模块8，用于对聚类簇组对应的所有平均图像的特征向量进行分类，确定每个聚类簇对应的标准切面类型。
98.采用上述技术方案的优点或有益效果在于：本发明通过将获取的超声图像的特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与第一特征向量相似度最高的平均图像对应的标准切面类型，进而根据标准切面类型确定标准切面对应的位置和角度，具有广泛的适用性和实用性；同时可提高临床试验数据的可比性和准确性，并减少超声扫描操作的主观因素，从而提高临床试验的科学性和可靠性。
99.以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

技术特征：
1.一种基于深度学习的超声病灶标准切面选取方法，其特征在于，包括：步骤s1，获取待处理的第一超声图像，提取所述第一超声图像的第一特征向量；步骤s2，将所述第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与所述第一特征向量相似度最高的所述平均图像对应的所述标准切面类型；步骤s3，根据所述标准切面类型确定标准切面对应的位置和角度。2.根据权利要求1所述的基于深度学习的超声病灶标准切面选取方法，其特征在于，所述步骤s3之后还包括：步骤s4，对自适应调整位置和角度后的实时超声图像与确定得到的所述标准切面类型对应的标准切面进行配准。3.根据权利要求2所述的基于深度学习的超声病灶标准切面选取方法，其特征在于，所述步骤s4中使用图像配准算法进行配准，所述图像配准算法采用相位相关算法、互信息算法或变形场算法。4.根据权利要求1所述的基于深度学习的超声病灶标准切面选取方法，其特征在于，所述步骤s2中所述每个标准切面类型对应的平均图像的特征向量的获取步骤包括：步骤a1，获取包含有病灶的第二超声图像组；步骤a2，对所述第二超声图像组中的所有第二超声图像分别进行特征提取，得到特征向量组；步骤a3，基于聚类算法对所述特征向量组进行聚类处理，得到不同病灶形态和位置类型对应的聚类簇组；步骤a4，分别计算所述聚类簇组的每个聚类簇中所有所述第二超声图像的特征向量的平均值，得到每个聚类簇的平均图像以及所述平均图像的特征向量；步骤a5，对所述聚类簇组对应的所有平均图像的特征向量进行分类，确定每个所述聚类簇对应的所述标准切面类型。5.根据权利要求4所述的基于深度学习的超声病灶标准切面选取方法，其特征在于，所述步骤a3中，所述聚类算法为k均值聚类算法、或基于密度的聚类算法、或层次聚类算法。6.根据权利要求4所述的基于深度学习的超声病灶标准切面选取方法，其特征在于，所述步骤a4中，所述聚类簇组的每个聚类簇中所有所述第二超声图像的特征向量的平均值采用特征计算函数计算得到；其中，所述特征计算函数为特征融合函数。7.根据权利要求1所述的基于深度学习的超声病灶标准切面选取方法，其特征在于，还包括一数据库，所述数据库中存储有每个所述标准切面类型对应的标准切面模板，所述标准切面模板至少指示有所述标准切面对应的位置和角度；所述步骤s3包括：步骤s31，根据确定得到的所述标准切面类型，从所述数据库中选择对应的所述标准切面模板；步骤s32，根据所述标准切面模板自适应选择所述第一超声图像的位置和角度。8.一种基于深度学习的超声病灶标准切面选取系统，其特征在于，用于实施如权利要求1-7任意一项所述的基于深度学习的超声病灶标准切面选取方法，包括：第一特征提取模块，用于获取待处理的第一超声图像，提取所述第一超声图像的第一特征向量；
特征匹配模块，连接所述第一特征提取模块，用于将所述第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与所述第一特征向量相似度最高的所述平均图像对应的所述标准切面类型；切面选取模块，连接所述特征匹配模块，用于根据所述标准切面类型确定标准切面对应的位置和角度。9.根据权利要求8所述的基于深度学习的超声病灶标准切面选取系统，其特征在于，还包括：切面配准模块，连接所述切面选取模块，用于对自适应调整位置和角度后的实时超声图像与确定得到的所述标准切面类型对应的标准切面进行配准。10.根据权利要求8所述的基于深度学习的超声病灶标准切面选取系统，其特征在于，还包括：图像获取模块，用于获取包含有病灶的第二超声图像组；第二特征提取模块，连接所述图像获取模块，用于对所述第二超声图像组中的所有第二超声图像分别进行特征提取，得到特征向量组；聚类模块，连接所述第二特征提取模块，用于基于聚类算法对所述特征向量组进行聚类处理，得到不同病灶形态和位置类型对应的聚类簇组；平均处理模块，连接所述聚类模块，用于分别计算所述聚类簇组的每个聚类簇中所有所述第二超声图像的特征向量的平均值，得到每个聚类簇的平均图像以及所述平均图像的特征向量；分类模块，连接所述平均处理模块，用于对所述聚类簇组对应的所有平均图像的特征向量进行分类，确定每个所述聚类簇对应的所述标准切面类型。

技术总结
本发明提供一种基于深度学习的超声病灶标准切面选取方法及系统，属于超声技术领域，包括：步骤S1，获取待处理的第一超声图像，提取第一超声图像的第一特征向量；步骤S2，将第一特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与第一特征向量相似度最高的平均图像对应的标准切面类型；步骤S3，根据标准切面类型确定标准切面对应的位置和角度。有益效果：本发明通过将获取的超声图像的特征向量与每个标准切面类型对应的平均图像的特征向量进行匹配，确定与第一特征向量相似度最高的平均图像对应的标准切面类型，进而根据标准切面类型确定标准切面对应的位置和角度，具有广泛的适用性和实用性。具有广泛的适用性和实用性。具有广泛的适用性和实用性。


技术研发人员：黄孟钦 朱瑞星 陈冬银
受保护的技术使用者：上海深至信息科技有限公司
技术研发日：2023.06.02
技术公布日：2023/9/5