一种基于深度学习和AFM图像的纳米颗粒自动检测方法

一种基于深度学习和afm图像的纳米颗粒自动检测方法
技术领域
1.本发明涉及了一种纳米颗粒自动检测方法，涉及显微图像分析领域，具体涉及一种基于深度学习和afm图像的纳米颗粒自动检测方法。


背景技术：

2.近年来，纳米颗粒因其小尺寸、高比表面积、表面效应等物理、化学和生物学特性，已被广泛应用于医学、电子、能源、材料等领域。原子力显微镜(atomic force microscopy，afm)是表征纳米颗粒形貌、尺寸、团聚等信息的主要手段。
3.当前，基于afm图像的纳米颗粒的分析多依靠人工判断图像中的纳米颗粒，记录纳米颗粒数量，并通过拉取与分析截断线得到单个纳米颗粒的高度信息，具有耗时耗力、受主观影响的缺点；此外，已有nanoscope analysis软件具有颗粒分析功能，该软件根据像素的高度定义纳米颗粒的区域，仅能够区分基底平整、无其他杂质下的孤立的纳米颗粒，具有适用范围小、需人工参与、无法判断颗粒团聚等问题。
4.随着纳米颗粒表征需求的不断扩大，高效、可靠的afm图像纳米颗粒自动分析方法尤为重要。


技术实现要素：

5.为了解决背景技术中存在的问题，本发明所提供一种基于深度学习和afm图像的纳米颗粒自动检测方法，实现高效、准确、自动地提取afm图像中的纳米颗粒个体与统计信息。
6.本发明采用的技术方案是：
7.本发明基于深度学习和afm图像的纳米颗粒自动检测方法包括如下步骤：
8.1)采集若干纳米颗粒的原子力显微镜afm原图像并进行图像处理与标注后获得每张原子力显微镜afm原图像的afm归一化高度图及标注信息，从而建立用于纳米颗粒分析的afm图像数据库。
9.2)建立纳米颗粒检测与分割深度学习模型。
10.3)将各张afm归一化高度图按照预设比例划分为训练集和验证集，将训练集和验证集输入纳米颗粒检测与分割深度学习模型中根据标注信息进行训练获得训练完成的纳米颗粒检测与分割深度学习模型；实际操作中按照比例7:2:1划分为训练集、验证集与测试集，使用测试集对训练完成的纳米颗粒检测与分割深度学习模型的性能进行评价。
11.4)采集待检测的纳米颗粒的原子力显微镜afm检测原图像并进行图像处理后获得afm检测高度图、afm检测可视化高度图和afm检测归一化高度图；将afm检测归一化高度图输入训练完成的纳米颗粒检测与分割深度学习模型中，训练完成的纳米颗粒检测与分割深度学习模型输出原子力显微镜afm检测原图像中的每个纳米颗粒的区域信息、团聚信息以及置信度，进而显示在afm检测可视化高度图中。
12.5)根据原子力显微镜afm检测原图像和afm检测高度图计算获得像素-尺寸因子，
进而计算获得其中每个纳米颗粒的尺寸信息，从而获得原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息和团聚比例，最终实现纳米颗粒的自动检测。
13.所述的步骤1)中，采集的若干纳米颗粒的原子力显微镜afm原图像包括具有不同形貌、尺寸、浓度、团聚程度和基底的纳米颗粒的原子力显微镜afm原图像，形貌具体包括球形与片状，基底具体为用于固定纳米颗粒的基底，包括硅片、云母片和载玻片。
14.所述的步骤1)中，采集若干纳米颗粒的原子力显微镜afm原图像并进行图像处理，针对每一张原子力显微镜afm原图像，具体如下：
15.从原子力显微镜afm原图像中提取afm高度传感器数据，对afm高度传感器数据进行平滑处理或依次进行平滑处理和平面拟合得到afm高度图；逐个像素地将afm高度图中的高度数值映射为彩色像素得到afm可视化高度图；在afm可视化高度图上标注各个纳米颗粒的标注信息，标注信息包括区域信息和团聚信息，区域信息包括位置和轮廓，团聚信息即团聚和非团聚；对afm高度图进行最大最小归一化，得到afm归一化高度图。
16.所述的步骤2)中，建立的纳米颗粒检测与分割深度学习模型具体如下：
17.基于solov2实时实例分割模型，将solov2实时实例分割模型中的骨干网络使用深度为10的resnet模型，将solov2实时实例分割模型中的骨干网络、颈部网络及头部网络的通道数改为原通道数的0.5倍，从而建立轻量化的纳米颗粒检测与分割深度学习模型。
18.所述的步骤3)中，将训练集和验证集输入纳米颗粒检测与分割深度学习模型中进行训练，具体如下：
19.步骤3.1)针对训练集中的每张afm归一化高度图，将afm归一化高度图及其对应的afm可视化高度图上的标注信息进行数据增强处理，数据增强处理包括使用随机水平翻转、随机垂直翻转、随机对角翻转和随机尺寸缩放中的一种和几种处理方法进行处理，每次处理后均获得一张数据增强图。
20.步骤3.2)将训练集和各张数据增强图输入纳米颗粒检测与分割深度学习模型中进行训练，每次训练获得纳米颗粒检测与分割深度学习模型更新后的模型参数，作为下一次训练的模型参数。
21.步骤3.3)重复步骤3.1)-3.2)，每次重复训练后均获得当前更新后的纳米颗粒检测与分割深度学习模型，将验证集输入当前更新后的纳米颗粒检测与分割深度学习模型中，获得纳米颗粒检测与分割深度学习模型的平均准确率ap值，直至若干次训练后获得的平均准确率ap值趋近于一个定值，完成训练，获得训练完成的纳米颗粒检测与分割深度学习模型。
22.使用测试集对训练完成的深度学习模型进行性能评估，根据预设经验判断模型性能是否达到要求，若未达到要求，重复步骤1)以增加afm图像数据库的数据量，并重复步骤3.1)-3.3)，直至性能满足要求，得到最终的纳米颗粒检测与分割深度学习模型。
23.所述的步骤4)中，根据原子力显微镜afm检测原图像中的每个纳米颗粒的置信度，将置信度大于预设置信度阈值的纳米颗粒的区域信息和团聚信息显示在afm检测可视化高度图中。
24.所述的步骤5)中，根据原子力显微镜afm检测原图像和afm检测高度图计算获得像素-尺寸因子，进而计算获得其中每个纳米颗粒的尺寸信息，具体如下：
25.步骤5.1)从原子力显微镜afm检测原图像中提取afm扫描尺寸，从afm检测高度图
中提取afm高度图像素尺寸，将afm扫描尺寸与afm高度图尺寸作商获得像素-尺寸因子。
26.步骤5.2)根据步骤4)中获得的原子力显微镜afm检测原图像中的每个纳米颗粒的区域信息计算每个纳米颗粒的掩膜图，每个纳米颗粒的区域内部的掩膜图的数值为真，每个纳米颗粒区域外部的掩膜图的数值为假；使afm检测高度图与每个纳米颗粒的掩膜进行与操作，得到每个纳米颗粒的高度图，每个纳米颗粒的高度图中的有效像素为每个纳米颗粒的掩膜图为真的像素。
27.步骤5.3)计算原子力显微镜afm检测原图像中的每个纳米颗粒的高度图中的有效像素的个数，计算有效像素的个数和像素-尺寸因子的乘积获得每个纳米颗粒的面积。
28.步骤5.4)提取原子力显微镜afm检测原图像中的每个纳米颗粒的高度图中的有效像素的数值，所有有效像素的数值的最大值即为每个纳米颗粒的高度。
29.步骤5.5)计算所有有效像素的数值的和与像素-尺寸因子的乘积获得每个纳米颗粒的体积；每个纳米颗粒的面积、高度和体积即为每个纳米颗粒的尺寸信息。
30.所述的步骤5)中，根据每个纳米颗粒的尺寸信息，从而获得原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息和团聚比例，具体如下：
31.根据步骤4)中获得的原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的个数和团聚的纳米颗粒的个数；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和面积，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的平均面积和面积分布以及团聚的纳米颗粒的面积分布；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和高度，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的平均高度和高度分布以及团聚的纳米颗粒的高度分布；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和体积，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的体积分布和团聚的纳米颗粒的体积分布；原子力显微镜afm检测原图像中的非团聚的纳米颗粒的个数、平均面积、面积分布、平均高度、高度分布和体积分布以及团聚的纳米颗粒的个数、面积分布、高度分布和体积分布构成原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息。
32.计算原子力显微镜afm检测原图像中的团聚的纳米颗粒个数与所有的纳米颗粒个数的商获得团聚比例。
33.本发明的有益效果是：
34.本发明的纳米颗粒检测与分割深度学习模型能够高效、准确地获得afm图像中每个纳米颗粒的区域以及团聚信息；能够由计算机自动地、无需或少量人工参与地获取afm图像中纳米颗粒的个数、面积分布、高度分布、体积分布与团聚比例信息，具有高效、准确、适用范围广等优点。本发明能够自动地分割afm图像中的纳米颗粒，并进一步分析纳米颗粒信息，解决了目前基于传统机器视觉方法的纳米颗粒分析存在的准确度低、适用性弱和半自动化问题。
附图说明
35.图1为本发明方法的流程图；
36.图2为实施例中实施例的afm可视化高度图；
37.图3为由实施例中检测到的显示于afm可视化高度图的纳米颗粒的区域；
38.图4为实施例中用于对比的nanoscope analysis软件的颗粒分析功能检测到的纳米颗粒的区域。
具体实施方式
39.下面结合附图及具体实施例对本发明作进一步详细说明。
40.如图1所示，本发明基于深度学习和afm图像的纳米颗粒自动检测方法包括如下步骤：
41.1)采集若干纳米颗粒的原子力显微镜afm原图像并进行图像处理与标注后获得每张原子力显微镜afm原图像的afm归一化高度图及标注信息，从而建立用于纳米颗粒分析的afm图像数据库。
42.步骤1)中，采集的若干纳米颗粒的原子力显微镜afm原图像包括具有不同形貌、尺寸、浓度、团聚程度和基底的纳米颗粒的原子力显微镜afm原图像，形貌具体包括球形与片状，基底具体为用于固定纳米颗粒的基底，包括硅片、云母片和载玻片。
43.步骤1)中，采集若干纳米颗粒的原子力显微镜afm原图像并进行图像处理，针对每一张原子力显微镜afm原图像，具体如下：
44.从原子力显微镜afm原图像中提取afm高度传感器数据，对afm高度传感器数据进行平滑处理或依次进行平滑处理和平面拟合得到afm高度图；逐个像素地将afm高度图中的高度数值映射为彩色像素得到afm可视化高度图；在afm可视化高度图上标注各个纳米颗粒的标注信息，标注信息包括区域信息和团聚信息，区域信息包括位置和轮廓，团聚信息即团聚和非团聚；对afm高度图进行最大最小归一化，得到afm归一化高度图。
45.在本发明的具体实施方式中，进一步限定步骤1)的具体步骤如下：
46.搜集包含纳米颗粒的afm图像原文件：本例中搜集包含纳米颗粒的afm图像原文件的具体步骤为：搜集纳米颗粒、制备扫描样品以及afm扫描成像；搜集纳米颗粒的类型包含氧化锌纳米颗粒、二氧化钛纳米颗粒、二氧化硅纳米颗粒、氧化铈纳米颗粒、三氧化二铁纳米颗粒、四氧化三铁纳米颗粒、铁酸锌纳米颗粒、金纳米颗粒、二硫化钼纳米片、mxene薄片等不同类型的纳米颗粒，或不同来源的同一类型纳米颗粒，具有不同的形貌、尺寸与团聚程度。
47.制备扫描样品的步骤为：对于每种纳米颗粒，以水为溶液，制备3种浓度的纳米颗粒悬浮液；对于每种纳米颗粒悬浮液，使用移液枪吸取50μl纳米颗粒悬浮液滴至基底上；将滴有纳米颗粒悬浮液的基底至于无尘环境中，自然干燥至表面无水；3种纳米颗粒悬浮液的浓度的数值以成5倍等比增加；最大浓度的设置依赖于纳米颗粒，原则为保证在该浓度下，afm图像中纳米颗粒在视野内分布均匀、紧密但未出现大量堆叠的纳米颗粒；为增加用于纳米颗粒分析的afm图像数据库的数据丰富度，基底在制样过程中随机选择，可选基底包括云母片、硅片与载玻片。
48.步骤1)中从afm图像原文件获取afm高度图、afm可视化高度图与afm归一化高度图；获取afm高度图的具体步骤包括：使用python软件及nanoscope软件包，从afm图像原文件中提取afm高度传感器即zsensor数据；对afm高度传感器数据进行平滑处理即flatten，平滑处理的阶数为1；在本实施例中，为增加数据库丰富度，未对平滑处理后的afm高度传感器数据进行平面拟合；获取afm可视化高度图的具体步骤包括：使用python软件及
nanoscope软件包，对afm高度图进行着色即colorize，实现将afm高度图中的高度数值映射为彩色像素；获取afm归一化高度图的具体步骤包括：使用python软件，提取afm高度图中的最大值h
max
与最小值h
min
，逐个像素的对afm高度图进行归一化；对于单个像素的归一化，从高度值h计算归一化高度值v的公式为v＝(h-h
min
)/(h
max-h
min
)。标注afm可视化图像中纳米颗粒的位置及轮廓，具体步骤为：由具有afm图像纳米颗粒分析经验的人员，标注afm可视化图像中每个纳米颗粒的区域以及是否团聚，纳米颗粒的区域均为沿着纳米颗粒的轮廓标注。
49.2)建立纳米颗粒检测与分割深度学习模型。
50.步骤2)中，建立的纳米颗粒检测与分割深度学习模型具体如下：
51.基于solov2实时实例分割模型，将solov2实时实例分割模型中的骨干网络使用深度为10的resnet模型，将solov2实时实例分割模型中的骨干网络、颈部网络及头部网络的通道数改为原通道数的0.5倍，从而建立轻量化的纳米颗粒检测与分割深度学习模型。
52.3)将各张afm归一化高度图按照预设比例划分为训练集和验证集，将训练集和验证集输入纳米颗粒检测与分割深度学习模型中根据标注信息进行训练获得训练完成的纳米颗粒检测与分割深度学习模型；实际操作中按照比例7:2:1划分为训练集、验证集与测试集，使用测试集对训练完成的纳米颗粒检测与分割深度学习模型的性能进行评价。
53.步骤3)中，将训练集和验证集输入纳米颗粒检测与分割深度学习模型中进行训练，具体如下：
54.步骤3.1)针对训练集中的每张afm归一化高度图，将afm归一化高度图及其对应的afm可视化高度图上的标注信息进行数据增强处理，数据增强处理包括使用随机水平翻转、随机垂直翻转、随机对角翻转和随机尺寸缩放中的一种和几种处理方法进行处理，每次处理后均获得一张数据增强图。
55.步骤3.1)中，具体数据增强方法包括随机翻转与随机尺寸缩放，随机翻转的概率为0.5，翻转方向从垂直、水平、对角中随机选择；随机尺寸缩放为从可选尺寸中随机选择一个尺寸进行缩放，可选尺寸包括128
×
128与256
×
256。
56.步骤3.2)将训练集和各张数据增强图输入纳米颗粒检测与分割深度学习模型中进行训练，每次训练获得纳米颗粒检测与分割深度学习模型更新后的模型参数，作为下一次训练的模型参数。
57.步骤3.3)重复步骤3.1)-3.2)，每次重复训练后均获得当前更新后的纳米颗粒检测与分割深度学习模型，将验证集输入当前更新后的纳米颗粒检测与分割深度学习模型中，获得纳米颗粒检测与分割深度学习模型的平均准确率ap值，直至若干次训练后获得的平均准确率ap值趋近于一个定值，完成训练，获得训练完成的纳米颗粒检测与分割深度学习模型。
58.使用测试集对训练完成的深度学习模型进行性能评估，根据预设经验判断模型性能是否达到要求，若未达到要求，重复步骤1)以增加afm图像数据库的数据量，并重复步骤3.1)-3.3)，直至性能满足要求，得到最终的纳米颗粒检测与分割深度学习模型。
59.4)采集待检测的纳米颗粒的原子力显微镜afm检测原图像并进行图像处理后获得afm检测高度图、afm检测可视化高度图和afm检测归一化高度图；将afm检测归一化高度图输入训练完成的纳米颗粒检测与分割深度学习模型中，训练完成的纳米颗粒检测与分割深
度学习模型输出原子力显微镜afm检测原图像中的每个纳米颗粒的区域信息、团聚信息以及置信度，进而显示在afm检测可视化高度图中。
60.步骤4)中，根据原子力显微镜afm检测原图像中的每个纳米颗粒的置信度，将置信度大于预设置信度阈值的纳米颗粒的区域信息和团聚信息显示在afm检测可视化高度图中。
61.5)根据原子力显微镜afm检测原图像和afm检测高度图计算获得像素-尺寸因子，进而计算获得其中每个纳米颗粒的尺寸信息，从而获得原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息和团聚比例，最终实现纳米颗粒的自动检测。
62.步骤5)中，根据原子力显微镜afm检测原图像和afm检测高度图计算获得像素-尺寸因子，进而计算获得其中每个纳米颗粒的尺寸信息，具体如下：
63.步骤5.1)从原子力显微镜afm检测原图像中提取afm扫描尺寸，从afm检测高度图中提取afm高度图像素尺寸，将afm扫描尺寸与afm高度图尺寸作商获得像素-尺寸因子。
64.步骤5.2)根据步骤4)中获得的原子力显微镜afm检测原图像中的每个纳米颗粒的区域信息计算每个纳米颗粒的掩膜图，每个纳米颗粒的区域内部的掩膜图的数值为真，每个纳米颗粒区域外部的掩膜图的数值为假；使afm检测高度图与每个纳米颗粒的掩膜进行与操作，得到每个纳米颗粒的高度图，每个纳米颗粒的高度图中的有效像素为每个纳米颗粒的掩膜图为真的像素。
65.步骤5.3)计算原子力显微镜afm检测原图像中的每个纳米颗粒的高度图中的有效像素的个数，计算有效像素的个数和像素-尺寸因子的乘积获得每个纳米颗粒的面积。
66.步骤5.4)提取原子力显微镜afm检测原图像中的每个纳米颗粒的高度图中的有效像素的数值，所有有效像素的数值的最大值即为每个纳米颗粒的高度。
67.步骤5.5)计算所有有效像素的数值的和与像素-尺寸因子的乘积获得每个纳米颗粒的体积；每个纳米颗粒的面积、高度和体积即为每个纳米颗粒的尺寸信息。
68.步骤5)中，根据每个纳米颗粒的尺寸信息，从而获得原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息和团聚比例，具体如下：
69.根据步骤4)中获得的原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的个数和团聚的纳米颗粒的个数；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和面积，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的平均面积和面积分布以及团聚的纳米颗粒的面积分布；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和高度，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的平均高度和高度分布以及团聚的纳米颗粒的高度分布；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和体积，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的体积分布和团聚的纳米颗粒的体积分布；原子力显微镜afm检测原图像中的非团聚的纳米颗粒的个数、平均面积、面积分布、平均高度、高度分布和体积分布以及团聚的纳米颗粒的个数、面积分布、高度分布和体积分布构成原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息。
70.计算原子力显微镜afm检测原图像中的团聚的纳米颗粒个数与所有的纳米颗粒个数的商获得团聚比例。
71.为显示本发明的有益效果，通过执行本发明的步骤4)-5)，对用于实施例的afm图
像进行颗粒分析，得到的afm可视化高度图如图2所示的，经步骤4)得到了每个纳米颗粒的区域、团聚以及置信度信息，将每个纳米颗粒的区域显示于afm可视化高度图的结果如图3所示，在该实施例中使用的置信度阈值为0.5；进一步，经步骤5)，得到该实施例中的纳米颗粒个数、面积分布、高度分布、体积分布与团聚比例信息。
72.进一步地，将本发明方法与人工测量、nanoscope analysis软件的颗粒分析功能两种方法进行对比，其中nanoscope analysis软件的颗粒分析功能的纳米颗粒的区域的检测结果如图4所示，对比结果如表1所示。
73.表1
[0074][0075]
如图4所示，用于对比的nanoscope analysis软件的颗粒分析功能将相互接触的纳米颗粒视为一个纳米颗粒，导致纳米颗粒个数的小于人工测量和本发明方法，而本发明方法与人工测量的结果相近，由此本发明其技术效果突出显著。
[0076]
上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

技术特征：
1.一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：方法包括如下步骤：1)采集若干纳米颗粒的原子力显微镜afm原图像并进行图像处理与标注后获得每张原子力显微镜afm原图像的afm归一化高度图及标注信息；2)建立纳米颗粒检测与分割深度学习模型；3)将各张afm归一化高度图按照预设比例划分为训练集和验证集，将训练集和验证集输入纳米颗粒检测与分割深度学习模型中根据标注信息进行训练获得训练完成的纳米颗粒检测与分割深度学习模型；4)采集待检测的纳米颗粒的原子力显微镜afm检测原图像并进行图像处理后获得afm检测高度图、afm检测可视化高度图和afm检测归一化高度图；将afm检测归一化高度图输入训练完成的纳米颗粒检测与分割深度学习模型中，训练完成的纳米颗粒检测与分割深度学习模型输出原子力显微镜afm检测原图像中的每个纳米颗粒的区域信息、团聚信息以及置信度，进而显示在afm检测可视化高度图中；5)根据原子力显微镜afm检测原图像和afm检测高度图计算获得像素-尺寸因子，进而计算获得其中每个纳米颗粒的尺寸信息，从而获得原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息和团聚比例，最终实现纳米颗粒的自动检测。2.根据权利要求1所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤1)中，采集的若干纳米颗粒的原子力显微镜afm原图像包括具有不同形貌、尺寸、浓度、团聚程度和基底的纳米颗粒的原子力显微镜afm原图像，形貌具体包括球形与片状，基底具体为用于固定纳米颗粒的基底，包括硅片、云母片和载玻片。3.根据权利要求1所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤1)中，采集若干纳米颗粒的原子力显微镜afm原图像并进行图像处理，针对每一张原子力显微镜afm原图像，具体如下：从原子力显微镜afm原图像中提取afm高度传感器数据，对afm高度传感器数据进行平滑处理或依次进行平滑处理和平面拟合得到afm高度图；逐个像素地将afm高度图中的高度数值映射为彩色像素得到afm可视化高度图；在afm可视化高度图上标注各个纳米颗粒的标注信息，标注信息包括区域信息和团聚信息，区域信息包括位置和轮廓，团聚信息即团聚和非团聚；对afm高度图进行最大最小归一化，得到afm归一化高度图。4.根据权利要求1所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤2)中，建立的纳米颗粒检测与分割深度学习模型具体如下：基于solov2实时实例分割模型，将solov2实时实例分割模型中的骨干网络使用深度为10的resnet模型，将solov2实时实例分割模型中的骨干网络、颈部网络及头部网络的通道数改为原通道数的0.5倍，从而建立轻量化的纳米颗粒检测与分割深度学习模型。5.根据权利要求3所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤3)中，将训练集和验证集输入纳米颗粒检测与分割深度学习模型中进行训练，具体如下：步骤3.1)针对训练集中的每张afm归一化高度图，将afm归一化高度图及其对应的afm可视化高度图上的标注信息进行数据增强处理，数据增强处理包括使用随机水平翻转、随机垂直翻转、随机对角翻转和随机尺寸缩放中的一种和几种处理方法进行处理，每次处理
后均获得一张数据增强图；步骤3.2)将训练集和各张数据增强图输入纳米颗粒检测与分割深度学习模型中进行训练，每次训练获得纳米颗粒检测与分割深度学习模型更新后的模型参数，作为下一次训练的模型参数；步骤3.3)重复步骤3.1)-3.2)，每次重复训练后均获得当前更新后的纳米颗粒检测与分割深度学习模型，将验证集输入当前更新后的纳米颗粒检测与分割深度学习模型中，获得纳米颗粒检测与分割深度学习模型的平均准确率ap值，直至若干次训练后获得的平均准确率ap值趋近于一个定值，完成训练，获得训练完成的纳米颗粒检测与分割深度学习模型。6.根据权利要求1所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤4)中，根据原子力显微镜afm检测原图像中的每个纳米颗粒的置信度，将置信度大于预设置信度阈值的纳米颗粒的区域信息和团聚信息显示在afm检测可视化高度图中。7.根据权利要求1所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤5)中，根据原子力显微镜afm检测原图像和afm检测高度图计算获得像素-尺寸因子，进而计算获得其中每个纳米颗粒的尺寸信息，具体如下：步骤5.1)从原子力显微镜afm检测原图像中提取afm扫描尺寸，从afm检测高度图中提取afm高度图像素尺寸，将afm扫描尺寸与afm高度图尺寸作商获得像素-尺寸因子；步骤5.2)根据步骤4)中获得的原子力显微镜afm检测原图像中的每个纳米颗粒的区域信息计算每个纳米颗粒的掩膜图，每个纳米颗粒的区域内部的掩膜图的数值为真，每个纳米颗粒区域外部的掩膜图的数值为假；使afm检测高度图与每个纳米颗粒的掩膜进行与操作，得到每个纳米颗粒的高度图，每个纳米颗粒的高度图中的有效像素为每个纳米颗粒的掩膜图为真的像素；步骤5.3)计算原子力显微镜afm检测原图像中的每个纳米颗粒的高度图中的有效像素的个数，计算有效像素的个数和像素-尺寸因子的乘积获得每个纳米颗粒的面积；步骤5.4)提取原子力显微镜afm检测原图像中的每个纳米颗粒的高度图中的有效像素的数值，所有有效像素的数值的最大值即为每个纳米颗粒的高度；步骤5.5)计算所有有效像素的数值的和与像素-尺寸因子的乘积获得每个纳米颗粒的体积；每个纳米颗粒的面积、高度和体积即为每个纳米颗粒的尺寸信息。8.根据权利要求7所述的一种基于深度学习和afm图像的纳米颗粒自动检测方法，其特征在于：所述的步骤5)中，根据每个纳米颗粒的尺寸信息，从而获得原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息和团聚比例，具体如下：根据步骤4)中获得的原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的个数和团聚的纳米颗粒的个数；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和面积，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的平均面积和面积分布以及团聚的纳米颗粒的面积分布；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和高度，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的平均高度和高度分布以及团聚的纳米颗粒的高度分布；根据原子力显微镜afm检测原图像中的每个纳米颗粒的团聚信息和体积，获得原子力显微镜afm检测原图像中的非团聚的纳米颗粒的体积分布和团聚的纳米颗粒的体
积分布；原子力显微镜afm检测原图像中的非团聚的纳米颗粒的个数、平均面积、面积分布、平均高度、高度分布和体积分布以及团聚的纳米颗粒的个数、面积分布、高度分布和体积分布构成原子力显微镜afm检测原图像中所有纳米颗粒的尺寸分布信息；计算原子力显微镜afm检测原图像中的团聚的纳米颗粒个数与所有的纳米颗粒个数的商获得团聚比例。

技术总结
本发明公开了一种基于深度学习和AFM图像的纳米颗粒自动检测方法。方法包括：采集纳米颗粒AFM原图像处理获得归一化高度图；建立深度学习模型并训练模型；采集待检测的纳米颗粒的AFM检测原图像并处理；将检测归一化高度图输入训练完成的模型中，输出纳米颗粒的区域、团聚信息和置信度信息显示在检测可视化高度图中；根据检测原图像和检测高度图获得纳米颗粒的像素-尺寸因子、尺寸信息、尺寸分布信息和团聚比例，最终实现纳米颗粒的自动检测。本发明能够自动地分割AFM图像中的纳米颗粒，并进一步分析纳米颗粒信息，解决了目前基于传统机器视觉方法的纳米颗粒分析存在的准确度低、适用性弱和半自动化问题。用性弱和半自动化问题。用性弱和半自动化问题。


技术研发人员：成芳 刘达
受保护的技术使用者：浙江大学
技术研发日：2023.06.20
技术公布日：2023/10/8