一种基于深度学习的磨牙定位方法及龋齿预防方法与流程

1.本发明涉及机器视觉技术领域，尤其是涉及一种基于深度学习的磨牙定位方法及龋齿预防方法。


背景技术：

2.针对龋齿的传统临床诊断方法进行分析之后，发现其中有很多的弊端，而且凭借物理手段，很难避免这些弊端。比如现有的方法主要为探针和x线片。探针对于牙齿本身就有一定的伤害，易损害牙釉质，影响牙齿的自愈能力，且诊断结果取决于医生主观判断；x线片具有放射性，不可长期重复检测，并且只对龋损较严重的情况判断，无法实现早期诊断。


技术实现要素：

3.本发明的目的在于用于解决上述技术问题，提供一种基于深度学习的磨牙定位方法及龋齿预防方法，本发明根据临床理论，建立标准的图像数据集，且在视频流的分割上采取语义分割，使得整个检测系统高度自动化，具有高效、精准、便捷等优势；本发明能够在实时视频拍摄下，对龋齿高病发的磨牙进行追踪定位，并且结合龋损检测方法，实现对早期活跃性龋的判断。
4.本发明解决上述技术问题采用的技术方案是：一种基于深度学习的磨牙定位方法，包括以下步骤：
5.步骤s1：根据牙齿形态学提供的牙齿形态特征，针对每颗磨牙建立标准，共有13种类别；
6.步骤s2：采集口腔内上下颌面每颗磨牙图像，确保每颗磨牙都有至少100张的图像，做成所需的磨牙数据集，并按步骤s1建立的每颗磨牙标准进行关键点标注，建立数据集；
7.步骤s3：将数据集传入u-net网络模型并进行训练；
8.步骤s4：训练获取最优权重之后，在视频流中识别磨牙图像，输出语义分割完成的若干磨牙关键帧图像及其对应标签。通过切割若干磨牙关键帧图像，从而将磨牙按照步骤s1的标准进行分类，并对分类信息形成标签，从而完成磨牙信息的定位。
9.作为优选，步骤s3中还包括以下内容：在u-net网络模型中加入多头注意力机制，所述注意力采用的计算公式为：
[0010][0011]
其中，q，k，v为自注意力机制涉及到的三个矩阵，a为q和k经过softmax函数后的注意力系数矩阵。
[0012]
作为优选，u-net网络模型包括loss函数，loss函数计算使用交叉熵与softmax函数结合，loss的交叉熵计算公式如下：
[0013][0014]
其中，w(x)为权重，权重的计算公式如下：
[0015][0016]
作为优选，u-net网络模型包括左编码部分、右解码部分和卷积神经部分。
[0017]
作为优选，左编码部分包括4个重复结构，4个重复结构包括2个3*3的卷积层、非线性relu层和一个stride为2的2*2max pooling层。
[0018]
作为优选，所述左编码部分的卷积层过程的公式如下：
[0019]
y＝matrix_1(filter)*matrix_2(image)；
[0020]
其中，matrix_1和matrix_2分别是卷积核的矩阵函数和图像转成的矩阵函数，利用矩阵乘法能得到卷积输出之后的y。
[0021]
作为优选，卷积神经部分使用im2col函数，其计算公式如下：
[0022][0023]
其中，数据输入为(n，c，h，w)，n为输入数据的数据量，c为每个数据的通道数，h为每个通道的高，w为每个通道的宽，padding是作为填充数据的特征图填充宽度，为了保证卷积后图片的形状不变，默认设置为1，kernel_size是设置的卷积核大小，stride是卷积步长。
[0024]
作为优选，右解码部分包括4个重复结构，先进行反卷积将特征通道数量减半，然后将结果与编码部分对应拼接，再将拼接后的特征图进行2次3*3的卷积，最后通过一层为1*1的卷积核进行卷积。
[0025]
作为优选，右解码部分的反卷积操作的计算公式如下：
[0026]hin
＝(h
out-1)
×
stride[0]-2
×
padding[0]+dilation[0]
×
(
[0027]
kern el_size[0]-1)+1+α
×
stride[0]；
[0028]
其中α表示向下取整减去小数的部分，α∈[0,1)，且α
×
stride[0]∈z
+
。其余参数与上述卷积计算公式参数均一致。
[0029]
作为优选，u-net神经网络模型的最大学习率为0.0001，优化器选择为adam，最大训练循环次数为5000，显示训练间隔次数为50，学习目标为0.0001。
[0030]
一种基于深度学习的龋齿预防方法，包括以下步骤：
[0031]
步骤一：通过基于深度学习的磨牙定位方法对磨牙信息进行定位，并建立龋损检测的方法；
[0032]
步骤二：将获取到的各颗磨牙关键帧图像输入步骤一中的龋损检测的方法，每颗磨牙的图像均取10张进行龋损计算，结果取均值；
[0033]
步骤三：建立mysql数据库，将均值结果和对应的磨牙标签保存到建立好的数据库中；
[0034]
步骤四：每隔1周时间，对磨牙进行检测，三个周期后，将每个类别的三个均值进行分析；若呈现明显增长趋势，则判定为活跃性龋齿；若无明显增长，但三个均值都超过正常的范围，则判定为静态龋；若三个均值都正常，则为健康状态。
[0035]
作为优选，步骤一中龋损检测的方法包括三种，分别为基于自体荧光显色效应的检测方法、白垩色检测方法、窝沟沟深检测方法；
[0036]
基于自体荧光显色效应的检测方法包括以下内容：对儿童龋齿和健康磨牙样本进行荧光光谱测试实验，根据自体荧光效应，在获得所需波段的显色图像，即为该颗磨牙的龋损部分，对显色图像进行处理转换成龋损定量分析的数据；
[0037]
白垩色检测方法包括以下内容：根据龋齿学特性，利用hsv颜色模式对步骤s4获得的磨牙关键帧图像进行白垩色检测，若轮廓中无明显白色，则为健康磨牙，反之则为龋齿；所述白垩色检测包括以下内容：获取步骤s4获得的磨牙关键帧图像的白垩色范围，对早期龋齿的白垩色部分进行hsv颜色提取，然后利用数据分析提取白垩色hsv范围，最后按着提取出来的hsv范围对输入图像进行处理，对该hsv范围中的像素块进行显色处理，完成对早期龋齿的白垩色检测；
[0038]
窝沟沟深检测方法包括以下内容：根据步骤s1针对每颗磨牙建立的标准，判断窝沟形态和点隙位置，从而判断磨牙是否产生龋齿。
[0039]
本发明具有的有益效果是：
[0040]
1、本技术提供的基于深度学习的儿童龋齿预防方法，通过u-net神经网络训练数据，可以根据磨牙轮廓和窝沟形态特异性对磨牙进行分类和分割，对于小样本的训练有着较好的结果，当它在少于100张图的图像数据集上训练时，iou值仍能达到92％，取得很好的识别分类效果。在精度和效率上均有优异表现。
[0041]
2、本发明根据临床理论，建立标准的图像数据集，且在视频流的分割上采取语义分割，使得整个检测系统高度自动化，具有高效、精准、便捷等优势；本发明能够在实时视频拍摄下，对龋齿高病发的磨牙进行追踪定位，并且结合龋损检测方法，实现对早期活跃性龋的判断。
附图说明
[0042]
图1是本发明磨牙定位方法的流程图；
[0043]
图2-1是上颌第一磨牙的示意图；
[0044]
图2-2是上颌第二磨牙的示意图；
[0045]
图2-3是上颌第二磨牙(三尖型)的示意图；
[0046]
图2-4是下颌第一磨牙的示意图；
[0047]
图2-5是下颌第二磨牙(五尖型)的示意图；
[0048]
图2-6是下颌第二磨牙(四尖型)的示意图；
[0049]
图2-7是上颌第一前磨牙的示意图；
[0050]
图2-8是上颌第二前磨牙(ⅰ)的示意图；
[0051]
图2-9是上颌第二前磨牙(ⅱ)的示意图；
[0052]
图2-10是下颌第一前磨牙的示意图；
[0053]
图2-11是下颌第二前磨牙(y形)的示意图；
[0054]
图2-12下颌第二前磨牙(h形)的示意图；
[0055]
图2-13是下颌第二前磨牙(u形)的示意图；
[0056]
图3是u-net网络模型的实施例结构示意图；
[0057]
图4是实施例中数据集标签形态示意图；
[0058]
图5是实施例中405nm波长激发光下龋损部分的显色结果图；
[0059]
图6是实施例中视频流检测磨牙形态图；
[0060]
图7是实施例中白垩色检测结果图；
[0061]
图8是实施例中各类别磨牙样本数量图；
[0062]
图9是原生u-net网络和引入attention机制的u-net网络中利用acc评价标准的模型效果对比图；
[0063]
图10是原生u-net网络和引入attention机制的u-net网络中利用auc评价标准的模型效果对比图；
[0064]
图11是原生u-net网络和引入attention机制的u-net网络中利用f1-score评价标准的模型效果对比图；
[0065]
图12是加入注意力机制后的acc变化对比图；
[0066]
图中：1、近中颊尖远中牙尖嵴，2、近中颊尖，3、颊沟，4、近中颊尖近中牙尖嵴，5、近中颊尖三角嵴，6、近中沟，7、近中边缘嵴，8、近中点隙，9、中央点隙，10、近中舌尖三角嵴，11、近中舌尖近中牙尖嵴，12、近中舌尖，13、近中舌尖远中牙尖嵴，14、远中颊尖远中牙尖嵴，15、远中颊尖，16、远中点隙，17、远中颊尖三角嵴，19、远中边缘嵴，20、远中舌尖三角嵴，21、远中舌尖远中牙尖嵴，22、远中舌尖，23、远中舌尖近中牙尖嵴，24、远中舌沟，25、近中舌尖远中副嵴，26、远中沟，27、舌尖近中牙尖嵴，28、舌尖三角嵴，29、舌尖远中牙尖嵴，30、舌尖，31、舌沟，32、远颊沟，33、远中尖，34、颊轴嵴，35、颊尖近中牙尖嵴，36、颊尖三角嵴，37、中央沟，38、近中颊沟，39、近中舌沟，40、颊尖，41、颊尖远中牙尖嵴，42、远中颊沟，43、舌轴嵴，44、近中颊嵴，45、横嵴
具体实施方式
[0067]
以下结合附图和实施方式对本发明作进一步的说明。
[0068]
如图1-12所示，本发明一种基于深度学习的磨牙定位方法，包括以下步骤：
[0069]
步骤s1：根据牙齿形态学提供的牙齿形态特征，针对每颗磨牙建立标准，共有13种类别。
[0070]
根据《牙齿形态》(片冈繁夫子编著)、《牙齿形态练习图册》等权威资料，结合浙江大学牙科专业人员提供的医学依据，将磨牙形态分为13类，分别为上颌第一前磨牙、上颌第二前磨牙(ⅰ)、上颌第二前磨牙(ⅱ)、上颌第一磨牙、上颌第二磨牙、上颌第二磨牙(三尖型)、下颌第一磨牙、下颌第二磨牙(五尖型)、下颌第二磨牙(四尖型)、下颌第一前磨牙、下颌第二前磨牙(y型)、下颌第二前磨牙(h型)、下颌第二前磨牙(u型)，每种形态的磨牙都具备两种特征：轮廓和窝沟形态，以此为依据建立标准。
[0071]
如图2-1至图2-13所示，为不同类别的磨牙颌面示意图，汇总了上述各类磨牙的医学中提及的磨牙形态特征，以下进行归纳总结。
[0072]
磨牙的平面解剖结构可以分成7个部分，分别为牙尖、牙尖嵴、边缘嵴、三角嵴、斜面、沟以及点隙。牙尖的颌面外形最高点，近似锥体形，常位于尖牙的切段、前磨牙和磨牙的颌面。牙尖嵴是从牙尖顶端延伸至近、远中方向的嵴。边缘嵴是前牙舌面窝的近远中边缘及后牙颌面边缘的长条形釉质隆起。三角嵴是从后牙尖延伸向颌面的一条嵴。一个三角嵴由
两个斜面汇合而成。斜面是组成牙尖的各个面，每个牙尖有四个斜面，两斜面相交成嵴，各斜面依其所在位置命名。沟是由各个牙尖和嵴相交汇成的，像山间溪流的凹陷部分。点隙是三条或三条以上发育沟的汇合处，或某些发育沟的某端所形成的点状凹陷。
[0073]
根据以上关于磨牙形态基本特征，可以组合形成具有特异性的磨牙形态，本技术所研究的儿童龋齿，根据调查，其高发部位在于，故此重点对于磨牙颌面进行形态说明。
[0074]
如图2-1所示，为上颌第一磨牙的示意图。上颌第一磨牙包括近中颊尖远中牙尖嵴1、近中颊尖2、颊沟3、近中颊尖近中牙尖嵴4、近中颊尖三角嵴5、近中沟6、近中边缘嵴7、近中点隙8、中央点隙9、近中舌尖三角嵴10、近中舌尖近中牙尖嵴11、近中舌尖12、近中舌尖远中牙尖嵴13、远中颊尖远中牙尖嵴14、远中颊尖15、远中颊尖远中牙尖嵴14、远中颊尖三角嵴17、远中隙点、远中边缘嵴19、远中舌尖三角嵴20、远中舌尖远中牙尖嵴21、远中舌尖22、远中舌尖近中牙尖嵴23、远中舌沟24、近中舌尖远中副嵴25。上颌第一磨牙的颌面有4个牙尖，各牙尖的高度从大到小依次为近中舌尖12、近中颊尖2、远中颊尖15、远中舌尖22。每个牙尖各有一个三角嵴。且主要有3个点隙：近中点隙8、中央点隙9、远中点隙16。在窝沟方面，上颌第一磨牙主要有3条发育沟，分别为颊沟3、近中沟6、远中舌沟24。
[0075]
如图2-2所示，为上颌第二磨牙的示意图。上颌第二磨牙包括近中颊尖远中牙尖嵴1、近中颊尖2、颊沟3、近中颊尖近中牙尖嵴4、近中颊尖三角嵴5、近中沟6、近中边缘嵴7、近中点隙8、中央点隙9、近中舌尖三角嵴10、近中舌尖近中牙尖嵴11、近中舌尖12、近中舌尖远中牙尖嵴13、远中颊尖远中牙尖嵴14、远中颊尖15、远中颊尖远中牙尖嵴14、远中颊尖三角嵴17、远中沟26、远中隙点、远中边缘嵴19、远中舌尖三角嵴20、远中舌尖远中牙尖嵴21、远中舌尖22、远中舌尖近中牙尖嵴23、远中舌沟24、近中舌尖远中副嵴25。上颌第二磨牙的颌面形态与上颌第一磨牙外轮廓形态相似，总体较上颌第一磨牙稍小，其中远中舌尖22明显缩小。在窝沟方面，上颌第二磨牙有4条发育沟，分别为颊沟3、近中沟6、远中沟26、远中舌沟24。
[0076]
如图2-3所示，为上颌第二磨牙(三尖型)的示意图。上颌第二磨牙(三尖型)包括近中颊尖远中牙尖嵴1、近中颊尖2、颊沟3、近中颊尖近中牙尖嵴4、近中颊尖三角嵴5、近中沟6、近中边缘嵴7、近中点隙8、中央点隙9、舌尖近中牙尖嵴27、远中颊尖远中牙尖嵴14、远中颊尖15、远中颊尖远中牙尖嵴14、远中颊尖三角嵴17、远中沟26、远中隙点、远中边缘嵴19、舌尖三角嵴、舌尖远中牙尖嵴29、舌尖30。上颌第二磨牙(三尖型)的颌面轮廓形态与第一磨牙和一般第二磨牙差异较大，其有3个牙尖，3条牙尖嵴。
[0077]
如图2-4所示，为下颌第一磨牙的示意图。下颌第一磨牙包括颊沟3、近中颊尖2、近中颊尖三角嵴5、近中沟、近中点隙8、近中边缘嵴7、中央点隙9、近中舌尖三角嵴10、近中舌尖12、舌沟31、远中颊尖15、远颊沟32、远中尖33、远中点隙16、远中边缘嵴19、远中沟26、远中舌尖三角嵴20、远中舌尖22、远中舌尖近中牙尖嵴23。下颌第一磨牙的颌面有5个牙尖，颊尖短而圆钝，舌尖30长而尖锐，远中尖33最小，都位于颊面与远中面交界处。在嵴方面，下颌第一磨牙有5条三角嵴，远中颊尖三角嵴17最长，远中尖三角嵴最短。其共有3个点隙，共有5条发育沟，分别为颊沟3、远颊沟32、远中沟26、近中沟6、舌沟31。
[0078]
如图2-5所示，为下颌第二磨牙(五尖型)的示意图。下颌第二磨牙(五尖型)包括颊沟3、近中颊尖2、近中颊尖三角嵴5、近中沟6、近中点隙8、近中边缘嵴7、中央点隙9、近中舌尖三角嵴10、近中舌尖12、舌沟31、远中颊尖15、远颊沟32、远中尖33、远中点隙16、远中边缘
嵴19、远中沟26、远中舌尖三角嵴20、远中舌尖22、远中舌尖近中牙尖嵴23。下颌第二磨牙(五尖型)与下颌第一磨牙整体形态相似，体型上稍小。临床中表示在离体后不易区分，但可根据大小和活体口腔中的排列顺序识别。
[0079]
如图2-6所示，是下颌第二磨牙(四尖型)的示意图。下颌第二磨牙(四尖型)包括近中颊尖远中牙尖嵴1、近中颊尖2、近中颊尖近中牙尖嵴4、近中牙三角嵴、近中边缘嵴7、近中沟6、近中舌尖三角嵴10、近中舌尖近中牙尖嵴11、近中舌尖12、近中舌尖远中牙尖嵴13、远中颊尖远中牙尖嵴14、远中颊尖15、远中颊尖远中牙尖嵴14、远中颊尖三角嵴17、远中边缘嵴19、远中沟26、远中舌尖三角嵴20、远中舌尖远中牙尖嵴21、远中舌尖22、远中舌尖近中牙尖嵴23。下颌第二磨牙(四尖型)的颌面有4个牙尖，无远中尖33。其有4条发育沟，都呈现“+”字分布，颌面像一个“田”字型。
[0080]
如图2-7所示，是上颌第一前磨牙的示意图。上颌第一前磨牙包括颊轴嵴34、颊尖近中牙尖嵴35、颊尖三角嵴36、中央沟37、近中颊沟38、近中边缘嵴7、近中沟6、近中点隙8、近中舌沟39、舌尖近中牙尖嵴27、舌尖30、颊尖40、颊尖远中牙尖嵴41、远中颊沟42、远中边缘嵴19、远中点隙16、远中舌沟24、舌尖三角嵴28、舌尖远中牙尖嵴29。上颌第一前磨牙的颌面拥有2个牙尖，其中颊尖偏远中，舌尖30偏近中。在嵴方面，2条三角嵴汇聚形成中央沟37。上颌第一前磨牙有2个点隙，分别为近中点隙8和远中点隙16，由近中点隙8发出的沟越过近中边缘嵴7至近中面，称为近中沟6。
[0081]
如图2-8所示，是上颌第二前磨牙(ⅰ)的示意图。上颌第二前磨牙(ⅰ)包括颊尖40、颊尖近中牙尖嵴35、中央沟37、近中边缘嵴7、舌尖近中牙尖嵴27、舌尖30、颊轴嵴34、颊尖远中牙尖嵴41、颊尖三角嵴36、远中边缘嵴19、舌尖三角嵴28、舌尖远中牙尖嵴29、舌轴嵴43。上颌第二前磨牙(ⅰ)与上颌第一前磨牙形态相似，有两个牙尖，均偏近中。其中颊尖的三角嵴较小，形成的中央沟37也较短，没有近中沟6越过近中边缘嵴7。
[0082]
如图2-9所示，是上颌第二前磨牙(ⅱ)的示意图。上颌第二前磨牙(ⅱ)包括颊尖40、颊尖近中牙尖嵴35、中央沟37、近中边缘嵴7、舌尖近中牙尖嵴27、舌尖30、颊轴嵴34、颊尖远中牙尖嵴41、颊尖三角嵴36、远中边缘嵴19、舌尖三角嵴28、舌尖远中牙尖嵴29、舌轴嵴43。上颌第二前磨牙(ⅱ)与上颌第二前磨牙(ⅰ)的轮廓形态相似，区别在于副嵴的位置和形态不同。
[0083]
如图2-10所示，为下颌第一前磨牙的示意图。下颌第一前磨牙包括颊尖40、颊尖近中牙尖嵴35、近中颊嵴44、横嵴45、近中舌沟39、舌尖30、颊尖远中牙尖嵴41、远中颊沟42、远中边缘嵴19、远中舌沟24。下颌第一前磨牙的颌面有2个牙尖，其中颊尖高大，舌尖30短小，位置均偏近中。颊尖三角嵴36和舌尖三角嵴28相连横过颌面形成横嵴45，横嵴45将颌面分成较小的三角形近中窝和较大的长圆形远中窝。近中沟6跨过边缘嵴至舌面称为近中舌沟39。
[0084]
如图2-11所示，为下颌第二前磨牙(y形)的示意图。下颌第二前磨牙(y形)包括颊尖40、颊尖近中牙尖嵴35、中央点隙9、近中边缘嵴7、近中点隙8、近中舌尖三角嵴10、近中舌尖12、舌沟31、颊轴嵴34、颊尖远中牙尖嵴41、颊尖三角嵴36、远中点隙16、远中边缘嵴19、远中舌尖三角嵴20、远中舌尖22。下颌第二前磨牙(y形)的颌面有一个颊尖和两个舌尖，近中舌尖12大于远中舌尖22。在嵴方面，远中舌尖三角嵴20最小。下颌第二前磨牙(y形)是唯一拥有3个点隙的前磨牙，窝沟形态成“y”字形。
[0085]
如图2-12所示，是下颌第二前磨牙(h形)的示意图。下颌第二前磨牙(h形)包括颊尖40、颊尖近中牙尖嵴35、近中颊沟38、近中边缘嵴7、近中舌沟39、舌尖三角嵴28、舌尖近中牙尖嵴27、舌尖30、颊轴嵴34、颊尖远中牙尖嵴41、颊尖三角嵴36、远中颊沟42、远中边缘嵴19、远中舌沟24、中央沟37、舌尖远中牙尖嵴29。下颌第二前磨牙(h形)的外形轮廓与下颌第二前磨牙(y形)相似。但不同之处在于其颌面有一个颊尖和一个舌尖30，位置上均偏近中。其窝沟形态呈现“h”字形。
[0086]
如图2-13所示，是下颌第二前磨牙(u形)的示意图。下颌第二前磨牙(u形)包括颊尖40、颊尖近中牙尖嵴35、近中边缘嵴7、舌尖三角嵴28、舌尖近中牙尖嵴27、舌尖30、颊轴嵴34、颊尖远中牙尖嵴41、颊尖三角嵴36、远中边缘嵴19、舌尖远中牙尖嵴29。下颌第二前磨牙(u形)的外形轮廓与上述两个同种类的磨牙相似。它的颌面有一个颊尖和一个舌尖30，其中颊尖三角嵴36明显大于舌尖三角嵴28，窝沟形态呈现“u”形。
[0087]
步骤s2：采集儿童口腔内上下颌面每颗磨牙图像，确保每颗磨牙都有至少100张的图像，再进行数据增强，做成所需的磨牙数据集，并按步骤s1标准进行关键点标注，建立数据集。
[0088]
如图4所述，为本实施例数据集标签形态示意图。本实施例根据医学上磨牙形态学分析，转换成了工程标准，以轮廓和窝沟形态为依据已经数据标注。
[0089]
本实施例所得到的图像，都要根据s1中定义的标准进行关键点标注，经过多次实验。数据增强后使得每种磨牙图像增加到400张。
[0090]
步骤s3：将数据集传入u-net网络模型并进行训练，u-net网络模型是基于编码器-解码器(encode-decode)的思想。因为本实施例中一张图中可能涉及多颗磨牙，且可能出现一张图中磨牙未完整一颗包含在内，故此本实施例在u-net做完编码部分后加入了多头注意力机制。其计算公式为
[0091][0092]
其中，q，k，v为自注意力机制涉及到的三个矩阵，a为q和k经过softmax后的注意力系数矩阵。
[0093]
如图3所述，本实施例中u-net网络的拓扑结构包括左编码部分、右解码部分、上下两个卷积以及激活层四个部分。左编码部分的组成包括4个重复结构，分别是2个3*3的卷积层、非线性relu层和一个stride为2的2*2max pooling层。右解码的组成也包括4个重复结构，先进行反卷积将特征通道数量减半，然后将结果与编码部分对应拼接，再将拼接后的特征图进行2次3*3的卷积，最后通过一层为1*1的卷积核进行卷积。
[0094]
本实施例利用pytorch框架，涉及u-net网络的卷积神经部分主要使用im2col函数，其计算公式如下：
[0095][0096]
其中，数据输入为(n，c，h，w)，n为输入数据的数据量，c为每个数据的通道数，h为每个通道的高，w为每个通道的宽。padding是作为填充数据的特征图填充宽度，为了保证卷积后图片的形状不变，默认设置为1。
[0097]
kernel_size是设置的卷积核大小。stride是卷积步长。
[0098]
右解码部分的反卷积操作的计算公式如下：
[0099]hin
＝(h
out-1)
×
stride[0]-2
×
padding[0]+dilation[0]
×
(
[0100]
kern el_size[0]-1)+1+α
×
stride[0]；
[0101]
其中α表示向下取整减去小数的部分，α∈[0,1)，且α
×
stride[0]∈z
+
。其余参数与上述卷积计算公式参数均一致。
[0102]
本实施例中u-net网络的loss函数计算使用交叉熵与softmax函数结合，在pytorch框架中的crossentropy已提供自带的softmax函数，故直接在此基础上改进即可。loss的交叉熵计算公式如下：
[0103][0104]
其中，w(x)为权重，权重的计算公式如下：
[0105][0106]
步骤s4：训练获取最优权重之后，在视频流中识别磨牙图像，如图6所示，为视频流检测磨牙类别。通过重复实验，调整优化检测关键帧的间隔，使之达到最优效果，输出语义分割完成的若干磨牙关键帧图像及其对应标签。
[0107]
一种基于深度学习的龋齿预防方法，包括以下步骤：
[0108]
步骤一：通过所述基于深度学习的磨牙定位方法对磨牙信息进行定位，并建立龋损检测的方法；
[0109]
本实施例根据医学原理，步骤一中龋损检测的方法包括三种，分别为基于自体荧光显色效应的检测方法、白垩色检测方法、窝沟沟深检测方法；
[0110]
基于自体荧光显色效应的检测方法包括以下内容：对儿童龋齿和健康磨牙样本进行荧光光谱测试实验，根据自体荧光效应，在获得所需波段的显色图像，即为该颗磨牙的龋损部分，对显色图像进行处理转换成龋损定量分析的数据；
[0111]
本实施例中深入查考医学中磨牙含有的部分自体荧光基团的吸收和自体荧光波长。研究表明，口腔内的卟啉主要有四类：原卟啉，粪卟啉，尿卟啉以及血卟啉。其中原卟啉是导致磨牙龋损的最主要因素。如表1所示，为磨牙含有的部分自体荧光基团的吸收和自体荧光波长结果。
[0112]
表1
[0113]
自体荧光基团吸收波长(nm)荧光波长(nm)胶原蛋白300-340420-460弹性蛋白300-340420-460色氨酸220，280，288320-350粪卟啉398，497，531，565，620622尿卟啉404，501，533，568，622624原卟啉406，505，540，575，630633
[0114]
本实施例也对儿童龋齿和健康磨牙样本进行荧光光谱测试实验，结果如图5所示。图中是在使用405nm的激发光作用下，上颌第二磨牙龋齿在图像处理之后留下龋齿显色部
分。
[0115]
从实施例结果中可知，健康的牙体组织和菌斑组织在405nm激发光的激发下，在可见光波段均有荧光效应，相比健康牙釉质和牙本质而言，龋损部分的荧光光谱的能量在650-700nm波段有明显的增加，并随着龋损严重程度增大而增加。
[0116]
根据自体荧光效应，在获得所需波段的显色图像，即为该颗磨牙的龋损部分。后续可对该显色图像作进一步处理，来转换成龋损定量分析的数据。例如计算色品坐标比值，计算显色部分面积与该颗磨牙颌面相对面积的比值等方法。
[0117]
白垩色检测方法包括以下内容：根据龋齿学特性，利用hsv颜色模式对步骤s4获得的磨牙关键帧图像进行白垩色检测，若轮廓中无明显白色，则为健康磨牙，反之则为龋齿；所述白垩色检测包括以下内容：获取步骤s4获得的磨牙关键帧图像的白垩色范围，对早期龋齿的白垩色部分进行hsv颜色提取，然后利用数据分析提取白垩色hsv范围，最后按着提取出来的hsv范围对输入图像进行处理，对该hsv范围中的像素块进行显色处理，完成对早期龋齿的白垩色检测；
[0118]
本实施例考察了龋齿学理论，龋病最初涉及牙釉质，使釉柱和釉柱间质羟磷灰石晶体溶解、局部脱矿，出现折光率改变。肉眼观察时，病变区失去半透明而成为无光泽的白垩色。目前临床中会诊的成年人的龋齿上的白垩色相对不明显，会被口腔卫生环境所影响，加之成年人饮食习惯较为复杂，所以需要结合其他指标配合检测。但是儿童的口腔环境相对良好，特别换恒牙之后不久，一般为6-12岁，这一年龄段的儿童根据流调显示患龋率相对较高。临床经验表明儿童的龋齿初期白垩色特征比较明显，可以作为判断依据。
[0119]
龋齿学还表明在龋病中后期，磨牙出现脱矿后釉质表层空隙增大，易吸附外来食物色素，病变区后续可能会出现粗糙的棕色、褐色斑，当龋损更加严重时，会出现棕黑色斑，即医学中描述的龋洞。利用这一特性，可以将特定区段的颜色作为龋损程度的分类标准。
[0120]
利用上述龋齿学特性，将其转化为工程标准。首先介绍hsv颜色模式，该颜色模式相对于rgb颜色模式更便于描述人眼对颜色的感觉。在hsv模式中，h(hue)代表色相，即在0
°‑
360
°
的标准色轮上，色相是按位置度量的；s(saturation)表示饱和度，其表示色彩的纯度，为0时呈灰色，其取值范围为0％-100％，数值越大，颜色中的灰色越少，颜色越鲜艳，主要呈现了一种从灰色到纯色的变化；b(brightness)表示亮度，其作用是控制色彩的明暗变化，它的取值范围为0％-100％，数值越小，色彩越暗，越接近于黑色，相反数值越大，色彩越亮，越接近于白色。
[0121]
如图7所示，为本实施例在u-net网络模型语义分割之后的图像中采取白垩色检测所呈现的结果，其中轮廓中无明显白色，则为健康磨牙，反之则为龋齿。
[0122]
窝沟沟深检测方法包括以下内容：根据步骤s1针对每颗磨牙建立的标准，判断窝沟形态和点隙位置，从而判断磨牙是否产生龋齿。
[0123]
本实施例查考了《儿童龋齿学》，窝沟形态在龋齿的诊断和预防方面起着重要的作用，因为数据表明绝大多数儿童的龋齿好发部位在于磨牙，如恒磨牙颌面窝沟就是龋齿的好发部位。本实施例对应窝沟沟深检测的实现，需要结合步骤1中牙齿形态理论，以此来精确判断窝沟形态，点隙位置等特征。本实施例采取人工或机器的双目视觉来实现龋齿检测。
[0124]
步骤二：将获取到的各颗磨牙关键帧图像输入步骤一中的龋损检测的方法，每颗磨牙的图像均取10张进行龋损计算，结果取均值；
[0125]
步骤三：本实施例建立了一个mysql数据库，存放在基于android的app端，并将均值结果和对应的磨牙标签上传和保存到建立好的数据库中；
[0126]
步骤四：每隔1周时间，对磨牙进行检测，三个周期后，将每个类别的三个均值进行分析；若呈现明显增长趋势，则判定为活跃性龋齿；若无明显增长，但三个均值都超过正常的范围，则判定为静态龋；若三个均值都正常，则为健康状态。
[0127]
为了进一步验证本实施例的基于深度学习的磨牙定位方法及龋齿预防方法的准确性，以下提供一个实验例，儿童口腔早期龋齿识别检测实验。
[0128]
数据集采集：由于国内外很少有本文课题的相关性研究，在查考国内外相关资料之后，并没有获取有效数据集。本实验新建立所需磨牙数据集。数据集来源包括若干志愿者的口腔磨牙颌面图、网络图集以及1：1口腔模型。志愿者的口腔磨牙颌面图约100张，网络图集200张，1：1口腔模型拍摄的图像400张。汇总的rgb图像数据集包含本文所述全部13类磨牙颌面图，且经浙一医院专业牙科医生鉴定，约450张图为存在龋齿。采集设备为zcf口腔高清内窥镜相机，其图像传感器为cmos，焦距为1.5cm，相机分辨率为1920*1080，传感器像素为200万像素，视角为70度。
[0129]
设置实验环境：取两个磨牙模型，均为1：1的标准病理磨牙模型，其中一个磨牙模型具备32颗正常的恒牙，其中包括4颗第三磨牙，即智齿。另一个磨牙模型具备28颗正常的恒牙，其中没有4颗智齿。除模型外，邀请两名12岁志愿者参加实验，两名志愿者口腔中均具备正常的恒牙，经专业医生检查诊断，一名有龋齿现象，另一名磨牙均健康。
[0130]
首先对自建数据集进行数据分析，建立图像数据的标签信息，如图8所示，为各类磨牙样本数量。其中发现上颌第二磨牙(三尖型)、下颌第二前磨牙(h型)的图像数量较少，分别占总样本的1.14％和2.85％。含龋比例最高的为下颌第一磨牙。含龋齿比例由高到底依次为下颌第一磨牙、下颌第二磨牙、上颌第一磨牙、上颌第二磨牙以及各类前磨牙，这也与医学中表明的患龋率相一致。
[0131]
针对各种类磨牙图像样本数量不平衡的情况，本实验中采用图像增强的方式来实现各种类图像样本数量的平衡。故此着重对上颌第二磨牙(三尖型)、下颌第二前磨牙(h型)的样本图像进行图像增强，主要通过几何变换的手段，包括旋转、裁剪、缩放、翻转等操作。以此达到各类别磨牙样本数量平衡的目的。
[0132]
将处理好的图像数据集以9：1的比例分为训练集和测试集，然后通过加入attention机制的u-net网络进行训练，其中u-net神经网络模型的最大学习率为0.0001，优化器选择为“adam”，最大训练循环次数为5000，显示训练间隔次数为50，学习目标为0.0001。读取最后一个训练权重last_epoch_weights文件进行预测，预测模式有两种，一个是读取单张图片，另一个是调用摄像头接口进行实时检测。
[0133]
分别对基于磨牙颌面轮廓和基于颌面窝沟形态为标准的数据标注，先用原生u-net网络进行训练，利用acc、auc、f1-score三个评价标准对其模型好坏进行检验。不改变数据集，对两种标准标注的数据再用加入attention机制的u-net网络进行训练。如图9-11所示，为原生u-net网络和引入attention机制的u-net网络的模型效果对比图。图中黑色代表基于窝沟形态的标注方式，红色代表基于颌面轮廓的标注方式，同种网络下还可以比较出两种标注方式的效果好坏。可以发现加入注意力机制之后的u-net训练好的模型效果中，acc有明显提升。对比4类磨牙的实际效果，如图12所示，其中同样识别下颌第二磨牙(五尖
型)，基于颌面轮廓的模型acc比原始u-net网络提高了8％，其余在识别各种类磨牙时，无论采取哪一种识别方法，都有不同程度的提升。
[0134]
因为基于磨牙颌面轮廓和基于颌面窝沟形态的标准都在一定程度上为磨牙的识别起到贡献，但是单独识别的结果表明效果有待商榷。故此提出将两种方式都经过加入注意力机制后的u-net网络进行训练，然后在最后进行加权平均法进行模型融合，如下表2所示，为针对识别下颌第二磨牙(五尖型)，不同权重比例时，模型的评价指标统计。其中α代表基于颌面轮廓的模型权重，γ代表基于窝沟形态的模型权重。统计结果可知，在α＝0.5，γ＝0.5时，模型融合效果最佳。实验结果发现不同权重时，对auc指标的影响较大，对acc整体都有明显提升，对f1-score指标变化影响不大。最终都使加入注意力机制的u-net网络，且针对识别下颌第二磨牙(五尖型)时，对比单独使用基于颌面轮廓的模型时，acc提升了7.78％，auc提升了8.07％，f1-score提升了6.55％；对比单独使用窝沟沟深的模型时，acc提升了0.8％，auc提升了7.57％，f1-score提升了6.03％。
[0135]
表2
[0136]
模型accaucf1-scoreα＝0.3，γ＝0.70.69050.85120.8922α＝0.4，γ＝0.60.72680.87330.8923α＝0.5，γ＝0.50.77920.90260.9061α＝0.6，γ＝0.40.75800.89120.8980α＝0.7，γ＝0.30.71860.88200.8917
[0137]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

技术特征：
1.一种基于深度学习的磨牙定位方法，其特征在于：包括以下步骤：。步骤s1：根据牙齿形态学提供的牙齿形态特征，针对每颗磨牙建立标准，共有13种类别；步骤s2：采集口腔内上下颌面每颗磨牙图像，确保每颗磨牙都有至少100张的图像，做成所需的磨牙数据集，并按步骤s1建立的每颗磨牙标准进行关键点标注，建立数据集；步骤s3：将数据集传入u-net网络模型并进行训练；步骤s4：训练获取最优权重之后，在视频流中识别磨牙图像，输出语义分割完成的若干磨牙关键帧图像及其对应标签。2.根据权利要求1所述的基于深度学习的磨牙定位方法，其特征在于：步骤s3中还包括以下内容：在u-net网络模型中加入多头注意力机制，所述注意力采用的计算公式为：其中，q，k，v为自注意力机制涉及到的三个矩阵，a为q和k经过softmax函数后的注意力系数矩阵。3.根据权利要求2所述的基于深度学习的磨牙定位方法，其特征在于：u-net网络模型包括loss函数，loss函数计算使用交叉熵与softmax函数结合，loss的交叉熵计算公式如下：其中，w(x)为权重，权重的计算公式如下：4.根据权利要求1或2或3所述的基于深度学习的磨牙定位方法，其特征在于：u-net网络模型包括左编码部分、右解码部分和卷积神经部分。5.根据权利要求4所述的基于深度学习的磨牙定位方法，其特征在于：左编码部分包括4个重复结构，4个重复结构包括2个3*3的卷积层、非线性relu层和一个stride为2的2*2max pooling层。6.根据权利要求5所述的基于深度学习的磨牙定位方法，其特征在于：所述左编码部分的卷积层过程的公式如下：y＝matrix_1(filter)*matrix_2(image)；其中，matrix_1和matrix_2分别是卷积核的矩阵函数和图像转成的矩阵函数，利用矩阵乘法能得到卷积输出之后的y。7.根据权利要求5或6所述的基于深度学习的磨牙定位方法，其特征在于：卷积神经部分使用im2col函数，其计算公式如下：其中，数据输入为(n，c，h，w)，n为输入数据的数据量，c为每个数据的通道数，h为每个通道的高，w为每个通道的宽，padding是作为填充数据的特征图填充宽度，为了保证卷积后
图片的形状不变，默认设置为1，kernel_size是设置的卷积核大小，stride是卷积步长。8.根据权利要求7所述的基于深度学习的磨牙定位方法，其特征在于：右解码部分包括4个重复结构，先进行反卷积将特征通道数量减半，然后将结果与编码部分对应拼接，再将拼接后的特征图进行2次3*3的卷积，最后通过一层为1*1的卷积核进行卷积。9.根据权利要求8所述的基于深度学习的磨牙定位方法，其特征在于：右解码部分的反卷积操作的计算公式如下：h
in
＝(h
out-1)
×
stride[0]-2
×
padding[0]+dilation[0]
×
(kern el_size[0]-1)+1+α
×
stride[0]；其中α表示向下取整减去小数的部分，α∈[0,1)，且α
×
stride[0]∈z
+
。10.一种基于深度学习的龋齿预防方法，其特征在于：包括以下步骤：步骤一：通过权利要求1所述基于深度学习的磨牙定位方法对磨牙信息进行定位，并建立龋损检测的方法；步骤二：将获取到的各颗磨牙关键帧图像输入步骤一中的龋损检测的方法，每颗磨牙的图像均取10张进行龋损计算，结果取均值；步骤三：建立mysql数据库，将均值结果和对应的磨牙标签保存到建立好的数据库中；步骤四：每隔1周时间，对磨牙进行检测，三个周期后，将每个类别的三个均值进行分析；若呈现明显增长趋势，则判定为活跃性龋齿；若无明显增长，但三个均值都超过正常的范围，则判定为静态龋；若三个均值都正常，则为健康状态。

技术总结
本发明公开了一种基于深度学习的磨牙定位方法及龋齿预防方法，包括以下步骤：步骤S1：根据牙齿形态学提供的牙齿形态特征，针对每颗磨牙建立标准；步骤S2：采集口腔内上下颌面每颗磨牙图像，做成所需的磨牙数据集，并按步骤S1建立的每颗磨牙标准进行关键点标注，建立数据集；步骤S3：将数据集传入U-net网络模型并进行训练；步骤S4：训练获取最优权重之后，在视频流中识别磨牙图像，输出语义分割完成的若干磨牙关键帧图像及其对应标签。本发明根据临床理论，建立标准的图像数据集，且在视频流的分割上采取语义分割，使得整个检测系统高度自动化，具有高效、精准、便捷等优势。便捷等优势。便捷等优势。


技术研发人员：李宏 杨世波 房禹池 施麦克 李博文
受保护的技术使用者：杭州百桥医疗技术有限公司
技术研发日：2023.05.17
技术公布日：2023/9/14