一种基于单目相机的滑坡动静态监测方法

1.本发明涉及机器视觉技术领域，具体涉及一种基于单目相机的滑坡动静态监测方法。


背景技术：

2.我国是一个多山国家，特别是中西部地区，地形地质条件错综复杂，又多处于板块交界处，受地质活动影响很大，再加上气候和人类活动等方面的影响，地质灾害时常发生。而山体滑坡又是地质灾害中最主要的问题，会带来巨大的损失，因此对山体滑坡监测技术的研究有着重要的现实意义。
3.传统的监测方法需要大量的技术人员参与，在早期的滑坡监测中发挥了一定作用，但其实时性差，需要投入大量的人力、物力和财力，监测结果也会受到技术人员知识经验的影响。随着科学技术的发展，滑坡监测的方法不断朝着自动化、网络化和高精度化的方向发展。但在实际应用中还是存在着许多局限性，目前的滑坡监测方法大都利用各种传感器进行监测，但传感器的安装困难，通用性也无法得到保障。
4.本技术的发明人经过研究发现，山体滑坡通常表现为边坡的位移变形，因此对边坡的位移状态进行监测是可靠的手段，由此如何创新地根据山体滑坡时的边坡形变特征，来提供一种山体滑坡监测方法，成为目前亟待解决的问题。


技术实现要素：

5.针对现有山体滑坡监测方法大都利用各种传感器进行监测，但传感器的安装困难，通用性也无法得到保障，因此存在许多局限性的技术问题，本发明提供一种基于单目相机的滑坡动静态监测方法，该方法可以结合静态变化和动态变化，对边坡的位移变形进行准确实时的监测，能有效提高滑坡灾害的监测能力，减少滑坡灾害带来的损失，并能够广泛应用于工程实际。
6.为了解决上述技术问题，本发明采用了如下的技术方案：
7.一种基于单目相机的滑坡动静态监测方法，包括以下步骤：
8.s1、采集待监测边坡的图像数据作为卷积神经网络模型的数据集，使用该卷积神经网络模型从数据集中划分挑选出无噪声影响的图像数据；
9.s2、对无噪声影响的图像数据进行前处理操作；
10.s3、对前处理操作后的图像数据进行基于图像差分和结构相似度指数的静态变化监测以及基于三重光流算法的动态变化监测，计算出待监测边坡的图数数据存在的位移速度；
11.s4、根据动静态变化监测计算出的位移速度判断是否发生滑坡灾害。
12.进一步，所述步骤s1具体包括：
13.s11、使用单目相机周期性的采集待监测边坡的图像数据并建立数据集；
14.s12、选择卷积神经网络算法建立卷积神经网络模型，使用该卷积神经网络模型对
数据集中的图像数据分类，将图像数据划分为有噪声影响和无噪声影响两类。
15.进一步，所述步骤s12建立的卷积神经网络模型包括顺序连接的一个卷积层、一个池化层、一个第一全连接层、一个dropout层和一个第二全连接层，卷积层的卷积核数量为32，卷积核大小为3
×
3，池化层的池化核大小为2
×
2，第一全连接层的神经元个数为256，dropout层的丢弃率为0.25，第二全连接层的神经元个数为2。
16.进一步，所述步骤s2具体包括：
17.s21、根据图像之间的相互匹配的特点，计算出一个图像之间的变换矩阵，并基于该变换矩阵进行图像转换，将一个图像映射到另外一个图像上，实现图像对齐；
18.s22、对图像像素进行归一化处理，再进行强度拉伸，以增强对比度，提升图像质量；
19.s23、对图像数据进行直方图均衡化操作，即对像素个数多的灰度值进行展宽，对像素个数少的灰度值进行归并，从而使图像清晰，实现图像增强。
20.进一步，所述步骤s3具体包括：
21.s31、对给定时间t时图像执行像素到像素的值减法，对于特定日期im1t以及一个不同日期im2t，图像差分的计算公式如下：
22.image difference＝im1t-im2t
23.s32、结构相似度指数基于亮度值、对比度值和区域结构三个独立的元素组合来测量图像的相似性，假设x和y是相同大小的图像内的两个区域的位置，亮度值的相似度为l(x,y)，对比度的相似度为c(x,y)，区域结构的相似度为s(x,y)，则结构相似度指数的计算公式如下：
[0024][0025]
其中，μ
x
和μy分别为x和y区域的局部样本均值，σ
x
和σy分别为x和y区域的局部标准差，σ
xy
是在去除x和y区域的平均值后x和y的样本互相关，c1、c2和c3为一个小的正常数；
[0026]
s33、利用光流算法对连续帧图像中由于物体移动导致的图像中目标像素的移动进行动态变化监测，光流速中最重要的是假设图像的亮度恒定，即在一个较短的时间内物体的位置可以发生变化，但是反射率和照度将保持不变，光流方程包括：
[0027]
i(x,y,t)＝i(x+
△
x,y+
△
y,t+
△
t)
[0028]
其中，i(x,y,t)为时间t时位置(x,y)处的图像强度，位置的变化由时间的变化
△
t时的
△
x和
△
y表示；在光流方程右侧使用泰勒展开后，得到以下等式：
[0029][0030]
通过求解该方程可以得到光流约束方程：
[0031]ix
·
u+iy·
v+i
t
＝0
[0032]
其中，i
x
、iy、i
t
是像素点灰度沿x、y、t方向的偏导数，u、v分别为光流沿x、y方向的速度矢量；
[0033]
s34、经上述s31～s33步骤后给图像中的每个像素点赋予了一个速度矢量，这样就形成了一个运动矢量场；在某一特定时刻，图像上的点与现实边坡上的点一一对应，这种对
应关系可以通过投影来计算得到，据此可以得到边坡上每个点的实际位移速度；
[0034]
s35、根据静态变换监测算法计算得到的图像与图像之间的图像差异矩阵和结构相似度指数以及动态变换监测算法计算得到每个像素点的速度矢量来映射待监测边坡的位移速度v。
[0035]
进一步，所述步骤s32中参数c1、c2和c3的建议取值如下：
[0036]
c1＝(k1·
l)2[0037]
c2＝(k2·
l)2[0038]
c3＝c2/2
[0039]
其中，k1是一个较小的常数，k2是另外一个较小的常数，l是像素值的动态范围。
[0040]
进一步，所述步骤s35中还包括根据位移速度v和图像之间的时间差t来求取待监测边坡的位移量s，计算公式为s＝v
·
t。
[0041]
进一步，所述步骤s4具体包括：如果待监测边坡的位移速度超出预设的位移速度阈值，则判断发生滑坡灾害。
[0042]
与现有技术相比，本发明提供的基于单目相机的滑坡动静态监测方法，通过使用单目相机周期性地采集待监测边坡的图像数据，利用卷积神经网络算法建立卷积神经网络模型，使用该卷积神经网络模型对图像数据分类；对分类后的可用数据即无云雾噪声影响的图像数据采取图像对齐、图像增强以及直方图均衡化等前处理操作；之后结合图像差分和结构相似度指数进行静态变化监测以及利用三重光流算法进行动态变化监测；以此来监测边坡发生的位移速度，从而判断是否发生滑坡灾害。本方法可有效提高现有滑坡灾害监测能力，减少滑坡灾害带来的损失，更好保证滑坡灾害地段人民生命财产安全，能够广泛应用于工程实际。
附图说明
[0043]
图1是本发明提供的基于单目相机的滑坡动静态监测方法流程示意图。
[0044]
图2是本发明提供的实施例中图像分类训练集和验证集的准确率示图。
[0045]
图3是本发明提供的实施例中图像数据原图和直方图均衡化处理后的像素值直方图。
具体实施方式
[0046]
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
[0047]
请参考图1所示，本发明提供一种基于单目相机的滑坡动静态监测方法，包括以下步骤：
[0048]
s1、采集待监测边坡的图像数据作为卷积神经网络模型的数据集，使用该卷积神经网络模型从数据集中划分挑选出无噪声影响的图像数据。
[0049]
作为具体实施例，所述步骤s1具体包括：
[0050]
s11、使用单目相机周期性的采集待监测边坡的图像数据并建立数据集，具体实施方式中可将单目相机固定在待监测边坡的正面，每隔1h采集一次图像，无需人员对采集过程进行干预，而采集到的图像可能会受到云雾等噪声的干扰，因此需要建立卷积神经网络
模型自动区分图像数据的可用性。对此，本具体实施例还包括步骤：
[0051]
s12、选择卷积神经网络算法建立卷积神经网络模型，使用该卷积神经网络模型对数据集中的图像数据分类，将图像数据划分为有噪声影响和无噪声影响两类。作为具体实施方式，所述步骤s12建立的卷积神经网络模型包括顺序连接的一个卷积层、一个池化层、一个第一全连接层、一个dropout层(丢弃层)和一个第二全连接层，卷积层的卷积核数量为32，卷积核大小为3
×
3；池化层的池化核大小为2
×
2，即使用2
×
2的池化窗口进行最大池化操作，将二维特征图展开成一维向量后，输入到第一全连接层中；第一全连接层的神经元个数为256；dropout层的丢弃率为0.25，以此减少过拟合的风险；第二全连接层的神经元个数为2。本方法实验使用验证集的准确率作为判断预测精度的标准，该卷积神经网络模型实现分类的准确率在验证集上可以达到0.95，具体本实施方式中卷积神经网络模型的训练集和验证集准确率如图2所示。
[0052]
s2、对无噪声影响的图像数据进行前处理操作，具体包括步骤：
[0053]
s21、由于单目相机是户外拍摄，外界环境的影响(比如风)可能会造成相机摇晃，导致采集的图像数据发生扭曲旋转，因此要在一个图像中检测到一组特征点，并与另一张图像中的特征点相匹配，然后根据图像之间的相互匹配的特点，计算出一个图像之间的变换矩阵，并基于该变换矩阵进行图像转换，将一个图像映射到另外一个图像上，实现图像之间的相互对齐。此外，为了更好地实现后续的变化监测，需要对数据进行图像增强操作，对此，所述步骤s2具体还包括以下步骤：
[0054]
s22、首先对图像像素进行归一化处理，使得图像像素区间为[0,1]，再进行强度拉伸，将图像像素范围映射到[0,255]之间，以增强对比度，提升图像质量；
[0055]
s23、其次对图像数据进行直方图均衡化操作，即对像素个数多的灰度值进行展宽，对像素个数少的灰度值进行归并，从而使图像清晰，实现图像增强，本实施例中的原图和直方图均衡化处理后的像素值直方图如图3所示。由于在进行动静态变化监测时，只需要关注边坡区域，因此，需要对图像数据进行掩膜处理以提取出感兴趣区域。
[0056]
s3、对前处理操作后的图像数据进行基于图像差分和结构相似度指数的静态变化监测以及基于三重光流算法的动态变化监测，计算出待监测边坡的图数数据存在的位移速度。
[0057]
作为具体实施例，所述步骤s3具体包括：
[0058]
s31、为了减少太阳光照射强度和角度对不同时间所采集到的图像的影响，本实施例中选用每天下午1点采集的图像数据进行对比分析。对给定时间t(如前后两天)时图像执行像素到像素的值减法，求得图像差异即图像差分，对于特定日期im1t以及一个不同日期im2t，图像差分的计算公式如下：
[0059]
image difference＝im1t-im2t
[0060]
s32、结构相似度指数基于亮度值、对比度值和区域结构三个独立的元素组合来测量图像的相似性，假设x和y是相同大小的图像内的两个区域的位置，亮度值的相似度为l(x,y)，对比度的相似度为c(x,y)，区域结构的相似度为s(x,y)，则结构相似度指数的计算公式如下：
[0061]
[0062]
其中，μ
x
和μy分别为x和y区域的局部样本均值，σ
x
和σy分别为x和y区域的局部标准差，σ
xy
是在去除x和y区域的平均值后x和y的样本互相关，c1、c2和c3为一个小的正常数。结构相似度指数图是利用在整个图像上逐像素移动的滑动窗口而产生的，通过平均整个图像的结构相似度指数值来计算整个图像的单个结构相似度得分，以求取图像之间的相似性。此外，测量图像质量相似度的方法还可以采用均方误差法来实现。
[0063]
s33、利用光流算法对连续帧图像中由于物体移动导致的图像中目标像素的移动进行动态变化监测，光流速中最重要的是假设图像的亮度恒定，即在一个较短的时间内物体的位置可以发生变化，但是反射率和照度将保持不变，光流方程包括：
[0064]
i(x,y,t)＝i(x+
△
x,y+
△
y,t+
△
t)
[0065]
其中，i(x,y,t)为时间t时位置(x,y)处的图像强度，位置的变化由时间的变化
△
t时的
△
x和
△
y表示；在光流方程右侧使用泰勒展开后，得到以下等式：
[0066][0067]
通过求解该方程可以得到光流约束方程：
[0068]ix
·
u+iy·
v+i
t
＝0
[0069]
其中，i
x
、iy、i
t
是像素点灰度沿x、y、t方向的偏导数，u、v分别为光流沿x、y方向的速度矢量。
[0070]
特别的，为了更好的补偿较长的时间间隔，本实施例计算了三联帧的光流而不是图像对。例如，{图像n、图像n+1和图像n、图像n+2}形成第一个三重集，{图像n+1，图像n+2和图像n+1，图像n+3}形成第二个三重集，对于其余的图像序列以此类推。从每组三重集中计算出光流量然后堆叠到水平方向的
△
x/
△
t和垂直方向的
△
y/
△
t，由于计算过程涉及更多的图像数据，叠加过程可以计算出更为精确的光流运动。
[0071]
s34、经上述s31～s33步骤后给图像中的每个像素点赋予了一个速度矢量，这样就形成了一个运动矢量场；在某一特定时刻，图像上的点与现实边坡上的点一一对应，这种对应关系可以通过投影来计算得到，据此可以得到边坡上每个点的实际位移速度。
[0072]
s35、根据静态变换监测算法计算得到的图像与图像之间的图像差异矩阵(图像差分)和结构相似度指数以及动态变换监测算法计算得到每个像素点的速度矢量来映射待监测边坡的位移速度v。
[0073]
为了避免在计算样本均值、方差和相关性时数值不稳定性，本方法引入了较小的正常数c1、c2和c3。作为具体实施例，所述步骤s32中参数c1、c2和c3的建议取值如下：
[0074]
c1＝(k1·
l)2[0075]
c2＝(k2·
l)2[0076]
c3＝c2/2
[0077]
其中，k1是一个较小的常数，例如0.01；k2是另外一个较小的常数，例如0.03；l是像素值的动态范围，例如255或1。这些常数的选择可以根据实际应用和需求进行微调，选择较小的常数有助于使ssim指标对于人类感知的差异更敏感，但过小的常数可能导致计算不稳定。
[0078]
s4、根据动静态变化监测计算出的位移量判断是否发生滑坡灾害，具体包括：如果
待监测边坡的位移速度超出预设的位移速度阈值，则判断发生滑坡灾害。
[0079]
作为具体实施例，所述步骤s35中还包括根据位移速度v和图像之间的时间差t来求取待监测边坡的位移量s，计算公式为s＝v
·
t。对应地，所述步骤s4还可以根据位移量s来判断是否发生滑坡灾害，具体包括：如果待监测边坡的位移量超出预设的位移量阈值，则判断发生滑坡灾害。
[0080]
与现有技术相比，本发明提供的基于单目相机的滑坡动静态监测方法，通过使用单目相机周期性地采集待监测边坡的图像数据，利用卷积神经网络算法建立卷积神经网络模型，使用该卷积神经网络模型对图像数据分类；对分类后的可用数据即无云雾噪声影响的图像数据采取图像对齐、图像增强以及直方图均衡化等前处理操作；之后结合图像差分和结构相似度指数进行静态变化监测以及利用三重光流算法进行动态变化监测；以此来监测边坡发生的位移速度，从而判断是否发生滑坡灾害。本方法可有效提高现有滑坡灾害监测能力，减少滑坡灾害带来的损失，更好保证滑坡灾害地段人民生命财产安全，能够广泛应用于工程实际。
[0081]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.一种基于单目相机的滑坡动静态监测方法，其特征在于，包括以下步骤：s1、采集待监测边坡的图像数据作为卷积神经网络模型的数据集，使用该卷积神经网络模型从数据集中划分挑选出无噪声影响的图像数据；s2、对无噪声影响的图像数据进行前处理操作；s3、对前处理操作后的图像数据进行基于图像差分和结构相似度指数的静态变化监测以及基于三重光流算法的动态变化监测，计算出待监测边坡的图数数据存在的位移速度；s4、根据动静态变化监测计算出的位移速度判断是否发生滑坡灾害。2.根据权利要求1所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s1具体包括：s11、使用单目相机周期性的采集待监测边坡的图像数据并建立数据集；s12、选择卷积神经网络算法建立卷积神经网络模型，使用该卷积神经网络模型对数据集中的图像数据分类，将图像数据划分为有噪声影响和无噪声影响两类。3.根据权利要求2所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s12建立的卷积神经网络模型包括顺序连接的一个卷积层、一个池化层、一个第一全连接层、一个dropout层和一个第二全连接层，卷积层的卷积核数量为32，卷积核大小为3
×
3，池化层的池化核大小为2
×
2，第一全连接层的神经元个数为256，dropout层的丢弃率为0.25，第二全连接层的神经元个数为2。4.根据权利要求1所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s2具体包括：s21、根据图像之间的相互匹配的特点，计算出一个图像之间的变换矩阵，并基于该变换矩阵进行图像转换，将一个图像映射到另外一个图像上，实现图像对齐；s22、对图像像素进行归一化处理，再进行强度拉伸，以增强对比度，提升图像质量；s23、对图像数据进行直方图均衡化操作，即对像素个数多的灰度值进行展宽，对像素个数少的灰度值进行归并，从而使图像清晰，实现图像增强。5.根据权利要求1所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s3具体包括：s31、对给定时间t时图像执行像素到像素的值减法，对于特定日期im1t以及一个不同日期im2t，图像差分的计算公式如下：image difference＝im1t-im2ts32、结构相似度指数基于亮度值、对比度值和区域结构三个独立的元素组合来测量图像的相似性，假设x和y是相同大小的图像内的两个区域的位置，亮度值的相似度为l(x,y)，对比度的相似度为c(x,y)，区域结构的相似度为s(x,y)，则结构相似度指数的计算公式如下：其中，μ
x
和μ
y
分别为x和y区域的局部样本均值，σ
x
和σ
y
分别为x和y区域的局部标准差，σ
xy
是在去除x和y区域的平均值后x和y的样本互相关，c1、c2和c3为一个小的正常数；s33、利用光流算法对连续帧图像中由于物体移动导致的图像中目标像素的移动进行
动态变化监测，光流速中最重要的是假设图像的亮度恒定，即在一个较短的时间内物体的位置可以发生变化，但是反射率和照度将保持不变，光流方程包括：i(x,y,t)＝i(x+
△
x,y+
△
y,t+
△
t)其中，i(x,y,t)为时间t时位置(x,y)处的图像强度，位置的变化由时间的变化
△
t时的
△
x和
△
y表示；在光流方程右侧使用泰勒展开后，得到以下等式：通过求解该方程可以得到光流约束方程：i
x
·
u+i
y
·
v+i
t
＝0其中，i
x
、i
y
、i
t
是像素点灰度沿x、y、t方向的偏导数，u、v分别为光流沿x、y方向的速度矢量；s34、经上述s31～s33步骤后给图像中的每个像素点赋予了一个速度矢量，这样就形成了一个运动矢量场；在某一特定时刻，图像上的点与现实边坡上的点一一对应，这种对应关系可以通过投影来计算得到，据此可以得到边坡上每个点的实际位移速度；s35、根据静态变换监测算法计算得到的图像与图像之间的图像差异矩阵和结构相似度指数以及动态变换监测算法计算得到每个像素点的速度矢量来映射待监测边坡的位移速度v。6.根据权利要求5所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s32中参数c1、c2和c3的建议取值如下：c1＝(k1·
l)2c2＝(k2·
l)2c3＝c2/2其中，k1是一个较小的常数，k2是另外一个较小的常数，l是像素值的动态范围。7.根据权利要求5所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s35中还包括根据位移速度v和图像之间的时间差t来求取待监测边坡的位移量s，计算公式为s＝v
·
t。8.根据权利要求1所述的基于单目相机的滑坡动静态监测方法，其特征在于，所述步骤s4具体包括：如果待监测边坡的位移速度超出预设的位移速度阈值，则判断发生滑坡灾害。

技术总结
本发明提供一种基于单目相机的滑坡动静态监测方法，包括以下步骤：采集待监测边坡的图像数据作为卷积神经网络模型的数据集，使用该卷积神经网络模型从数据集中划分挑选出无噪声影响的图像数据；对无噪声影响的图像数据进行前处理操作；对前处理操作后的图像数据进行基于图像差分和结构相似度指数的静态变化监测以及基于三重光流算法的动态变化监测，计算出待监测边坡的图数数据存在的位移量；根据动静态变化监测计算出的位移速度判断是否发生滑坡灾害。本方法通过结合静态变化和动态变化，对边坡的位移变形进行准确实时的监测，能有效提高滑坡灾害的监测能力，减少滑坡灾害带来的损失，并能够广泛应用于工程实际。并能够广泛应用于工程实际。并能够广泛应用于工程实际。


技术研发人员：蒲源源 陈结 宋龙飞 尚雪义 罗忠浩
受保护的技术使用者：重庆大学
技术研发日：2023.07.12
技术公布日：2023/10/15