一种基于LSTM图像语义分析的光纤周界入侵监测方法与流程

一种基于lstm图像语义分析的光纤周界入侵监测方法
技术领域
1.本发明属于安防领域，具体涉及一种基于lstm图像语义分析的光纤周界入侵监测方法。


背景技术：

2.伴随着智慧城市的建设，用于防止非法入侵的周界安全显得越来越重要。以分布式光纤传感为基础的周界安防监测系统比传统周界安防系统具有更加优越的性能，但其也会受到风雨、重型卡车、火车等的扰动，从而产生一定的入侵行为误报。
3.入侵行为是在一定的时间和一定距离发生的。入侵行为在空间上形成的震动会向栅栏周围传播，同时在时间维度上，震动会经过一定的周期才衰减。所以，在其时间和距离维度的瀑布图上，入侵会呈现出与其他干扰不同的特征，是一个具有时间和距离维度的连续事件，必须综合判决。


技术实现要素：

4.本发明的目的在于克服上述现有技术中存在的不足，根据入侵行为的时间序列特征及长短时记忆模型lstm(long short term memory networks)更擅长利用历史信息做出合理预测的特点，基于光纤振动传感装置探测的振动信号构建瀑布图语义数据，利用lstm对入侵行为进行有效识别，可大幅减少大风、汽车经过等引起的入侵行为误报。
5.为实现上述发明目的，本发明提供一种基于lstm图像语义分析的光纤周界入侵监测方法，包括如下步骤：(1)通过解析分布式光纤振动传感装置测得的振动信号获取具有逻辑语义的瀑布图；(2)将所述瀑布图上满足预设条件的斑点的位置和时间点确定为lstm图像语义分析数据的基准区域；(3)围绕所述基准区域，在瀑布图的时域空间截取存在语义关联的n段区域的数据，形成具有多维度特征的n个子瀑布图；(4)将n段区域数据输入cnn网络分别提取出n段的特征，然后将n段的特征按照时间序列分别输入到lstm网络中的n个单元进行入侵判决。
6.进一步地，步骤(2)中所述基准区域需同时满足：轮廓内图像的像素平均强度大于最小强度阈值、轮廓的宽度大于最小宽度阈值及持续时间大于最小持续时间。
7.进一步地，步骤(3)中，当所述n＝4时，4段区域按发生时间的先后顺序分别为入侵背景区域、入侵开始区域、入侵持续区域和入侵结束区域。
8.进一步地，步骤(3)中对所述瀑布图的截取方法采用“类
‘
目’型”、“类
‘
目’扩展型”和“倒
‘
品’字型”中的任一种。
9.进一步地，所述n＝3，3段区域按发生时间的先后顺序分别为入侵背景区域、入侵开始区域和入侵持续区域。
10.进一步地，所述入侵背景区域为入侵前的位于基准区域以外下方的区域，或者为入侵过程中位于基准区域以外入侵斑点旁边的区域。
11.进一步地，在瀑布图上对所述入侵背景区域进行截取时，直接截取基准区域以外
的下方一块w
×
h大小的数据；或者，截取基准区域以外的下方更长更宽区域或者更多块的数据，然后将其合并为w
×
h大小的数据。
12.进一步地，所述合并采用缩放方式或求均值方式。
13.进一步地，所述lstm图像语义分析的样本截取及训练方法包括如下步骤：(a)根据标注的位置和区域信息作为基准区域，生成标准的lstm图像语义分析样本库；(b)模拟入侵行为，生成新样本加入样本库；(c)基通过于lstm的深度学习模型对样本进行训练。
14.进一步地，所述步骤(b)中模拟的入侵行为包括模拟栅栏形态、模拟入侵时间的长短及模拟入侵的强度。
15.与现有技术相比，本发明的有益效果为：
16.1、将入侵行为建模为有丰富语义关联的时间序列数据,利用了入侵的先验知识，从时间维度，入侵发生后，栅栏的突然晃动与之前的静止或者微振状态有鲜明的对比；从空间维度，入侵发生后，入侵位置附近的振动明显与其他位置不同。
17.2、基于构建的瀑布图语义数据，利用lstm对入侵行为进行有效识别，大幅减少大风、汽车等引起的误报，提高了产品性能。
18.3、根据真实的入侵场景，采用模拟人工入侵的数据增强技术，扩展了符合入侵特征的更多数据样本。
附图说明
19.图1为本发明一个实施例的流程图。
20.图2为本发明一个实施例的原理框图。
21.图3为本发明一个实施例入侵的4个阶段及入侵的基准区域。
22.图4为本发明一个实施例类“目”型逻辑语义瀑布图数据截取方式。
23.图5为本发明一个实施例类“目”扩展型逻辑语义瀑布图数据截取方式。
24.图6为本发明一个实施例倒“品”型逻辑语义瀑布图数据截取方式。
25.图7为本发明一个实施例实际截取的4个频段特征的类“目”型逻辑语义瀑布图。
26.图8为本发明一个实施例识别的入侵(框图)有效的与旁边的风和车的扰动进行区分的实际效果图。
具体实施方式
27.下面结合附图和具体实施例，对本发明的技术方案做进一步说明。
28.长短时记忆模型lstm(long short term memory networks)的主要原理是通过一种特殊的神经元结构来长时间存储信息，可以利用前面的信息来预测某些强关联的后面信息。例如，可以通过一个语言模型，利用以前的文字信息来预测下一个文字。如，需要预测“the clouds are in the()”最后一个单词，在没有其他提示信息的情况下，通过前面的语境分析，就能很大概率预测到最后一个单词应该是sky。
29.上面的句子只需要较短的前面信息或历史信息就能完成。有些单词需要更长的历史信息才能做出准确的预测。lstm正是为了解决类似的问题而提出的。
30.入侵行为具有明显的时间序列特征，而lstm更擅长于利用历史信息做出合理的预测，将lstm应用于光纤振动的入侵检测，成为一种可能。
31.如图1和图2所示，本发明基于lstm图像语义分析的光纤周界入侵监测方法的一个实施例，包括如下步骤：(1)通过解析分布式光纤振动传感装置测得的振动信号获取具有逻辑语义的瀑布图；(2)将所述瀑布图上满足预设条件的斑点的位置和时间点确定为lstm图像语义分析数据的基准区域；(3)围绕所述基准区域，在瀑布图的时域空间截取存在语义关联的n段区域的数据，形成具有多维度特征的n个子瀑布图；(4)将n段区域数据输入cnn网络分别提取出n段的特征，然后将n段的特征按照时间序列分别输入到lstm网络中的n个单元进行入侵判决。步骤(3)中的多维度特征包括直接的信号差值、信号方差、相关度值、fft变换后某个频段的功率或能量特征、小波分解后的各尺度的细节能量特征，n个子瀑布图分别对应n个频段，每个子瀑布图具有不同的特征。n的最小取值为2。
32.如图2所示，包含逻辑语义关联的多段瀑布图数据，经过cnn网络提取出特征，然后按照时间序列输入到lstm网络中。每个阶段的特征输入到一个lstm单元，多个lstm单元用来对多个不同入侵阶段的内在关联性进行建模。最后lstm输出到全连接网络，形成最终是否为入侵的判决。
33.在一个实施例中，步骤(2)中所述基准区域需同时满足：轮廓内图像的像素平均强度大于最小强度阈值、轮廓的宽度大于最小宽度阈值及持续时间大于最小持续时间。
34.在一个实施例中，步骤(3)中，当n＝4时，4段区域按发生时间的先后顺序分别为入侵背景区域、入侵开始区域、入侵持续区域和入侵结束区域。
35.在一个实施例中，步骤(3)中对所述瀑布图的截取方法采用“类
‘
目’型”、“类
‘
目’扩展型”和“倒
‘
品’字型”中的任一种。
36.在一个实施例中，所述n＝3，3段区域按发生时间的先后顺序分别为入侵背景区域、入侵开始区域和入侵持续区域。
37.在一个实施例中，所述入侵背景区域为入侵前的位于基准区域以外下方的区域，或者为入侵过程中位于基准区域以外入侵斑点旁边的区域。
38.在一个实施例中，如图4-图6所示，在瀑布图上对所述入侵背景区域进行截取时，直接截取基准区域以外的下方一块w
×
h大小的数据；或者，截取基准区域以外的下方更长更宽区域或者更多块的数据，然后将其合并为w
×
h大小的数据。
39.在一个实施例中，所述合并采用缩放方式或求均值方式。
40.在一个实施例中，所述lstm图像语义分析的样本截取及训练方法包括如下步骤：(a)根据标注的位置和区域信息作为基准区域，生成标准的lstm图像语义分析样本库；(b)模拟入侵行为，生成新样本加入样本库；(c)基通过于lstm的深度学习模型对样本进行训练。训练集合中正样本，是根据标注的位置和区域信息作为基准区域，截取逻辑语义数据，而实际在线运行是通过截取较大干扰的瀑布图斑点位置附近的数据。训练集合中负样本数据可以截取较大干扰的瀑布图斑点位置附近的数据。
41.在一个实施例中，所述步骤(b)中模拟的入侵行为包括模拟栅栏形态、模拟入侵时间的长短及模拟入侵的强度。在实际的安防领域，不能随意地像图像处理那样来对图像进行各种变换，因为瀑布图的背后实际是采集的振动信号。本技术采用了三种模拟入侵效果的方法，分别是模拟栅栏形态、模拟入侵时间的长短、模拟入侵的强度。
42.1、模拟栅栏形态
43.具体方法包括瀑布图左右翻转，瀑布图距离维度缩放。
44.2、模拟入侵时间的长短
45.具体方法是瀑布图时间维度的缩放，相当于缩短和延长入侵的时间。
46.3、模拟入侵的强度
47.具体方法是瀑布图像素值的缩放，模拟减弱或者增加入侵强度。
48.入侵的语义分析
49.入侵行为的描述可以表达为两种不同的模态，一种可以用文本进行描述，一种是用光纤感知的振动信号来描述。
50.如果按照文本语言的思维，可以如下概述
[0051][0052]
抽象的描述为：
[0053][0054][0055]
用光纤感知的振动信号来描述
[0056][0057]
参考发明申请201610476700.7，可将光纤振动信号表达为瀑布图的形态，如图3所示，其中的虚线框就是基准区域，也就是大斑点区域。
[0058]
预先确定基准区域
[0059]
在实际部署中，由于每时每刻都在采集数据，当风平浪静没有扰动的时候，是没有必要进行lstm语义分析的。只有当大的扰动出现时候，才进行lstm判决。所以可以先判断是否有大的扰动，在瀑布图上找到大的斑点的位置和时间点，即预先确定lstm语义分析数据
的基准区域。
[0060]
参考发明申请cn201610476700.7的步骤：
[0061]
4d.对所有轮廓做基本的筛选，如果轮廓内图像的像素平均值即平均强度大于最小强度阈值，并且轮廓的宽度大于最小宽度阈值，并且持续时间大于最小持续时间，只有这种轮廓才会进入分类器的判别；
[0062]
确定lstm语义分析数据的基准区域的方法：
[0063]
如果轮廓内图像的像素平均值即平均强度大于最小强度阈值，并且轮廓的宽度大于最小宽度阈值，并且持续时间大于最小持续时间，则该轮廓区域作为构建lstm语义分析数据的基准区域。
[0064]
构建逻辑语义数据
[0065]
参考发明申请cn201610476700.7
[0066]
一种基于图像识别的光纤周界入侵监测方法，在需防护区域内铺设探测光缆，外界入侵引起的振动由探测光缆探知以改变传输光信号的特性，该探测光缆将光信号传输至监测主机，所述的监测主机接收到变化后的光信号，先转换为电信号，然后对电信号采样并进行模拟数字转换，得到离散的数字信号，该数字信号传输至上位机，由上位机内入侵报警模块对采集的数字信号进行处理，获得处理后信号的特征量，以形成一个或多个瀑布图，该瀑布图是以时间、距离以及特征量数值形成的二维图像，特征量映射为图像的像素值；根据瀑布图的形态，进行图像的模式识别，进而判别是否为入侵事件，若判定为是则触发入侵报警。所述特征量可以是直接的信号差值、信号方差、相关度值、fft变换后某个频段的功率或能量特征、小波分解后的各尺度的细节能量特征。
[0067]
本文正是基于上述方案，围绕基准区域，采用多维度特征的多个瀑布图，在瀑布图的时域空间截取存在语义关联的多块区域的数据，构建lstm的输入。
[0068]
逻辑语义数据
[0069]
在时空区域，即在时间和距离两个维度，选取瀑布图多块区域的数据，每个区域的多层瀑布图作为一个lstm cell的输入，形成channels
×w×
h的图像数据。
[0070]
后图中每个方框表示一个lstm cell的输入，即channels
×w×
h的图像数据。多个方框的图像就构成具有逻辑语义信息的数据，共同组成lstm的多个cell的输入，即待识别的目标对象。
[0071]
围绕基准区域，逻辑语义瀑布图数据截取的方法可以分两种：
[0072]
一种是类“目”型方案，如图4所示：分别对应入侵背景数据、入侵开始的数据、入侵持续阶段的数据、入侵结束阶段的数据。
[0073]
1：入侵的瀑布图数据，需要根据lstm网络结构，选择w
×
h大小的区域。
[0074]
2：入侵的背景数据截取方式可以多样化，
[0075]
1)最简单的就是直接选择入侵前的一块数据，如图4所示的“类
‘
目’型”方案。
[0076]
2)入侵的背景数据可以进行扩展，选择更广区域的数据，如图5所示的“类
‘
目’扩展型”方案。通过一定的数据处理，将大于w
×
h区域的入侵的背景数据，统一变换为lstm cell的输入，即channels
×w×
h大小的数据。
[0077]
另一种是倒“品”字型方案：入侵的数据不但包含入侵中心的数据，也包含入侵旁边的数据，如图6所示。这种方式可以涵盖较宽的入侵信号。
[0078]
根据用户需求，如果用户需要快速报警，那么只需要开始入侵和部分持续入侵的数据，如果用户接受更长时间的延迟告警，从而提高报警的可靠性，那么可以继续截取到入侵尾端的数据。
[0079]
入侵前的环境数据可以直接截取w
×
h大小的数据，也可以采集更长更宽区域或者更多块的数据，经过合并之后得到。
[0080]
合并的方法包括：瀑布图的缩放、求均值方式进行合并。
[0081]
截取入侵的周边环境数据，还可以截取入侵斑点旁边的环境数据。
[0082]
工程应用举例
[0083]
针对振动范围小于40米，告警时间要求小于6秒的入侵场景，根据本发明方案的方法如下设计了lstm网络。
[0084]
1)考虑肯定要涵盖40米宽的入侵行为，所以lstm每个cell的宽度为60点，对应的是截取60米宽的入侵样本。
[0085]
2)为了保证告警的及时性，即要求小于6秒进行告警，不截取入侵尾端的数据，只截取入侵背景、入侵开始、入侵持续的三段数据，每段数据4.2秒，对应瀑布图每段数据是14点的高度。这样lstm网络的cell数量是3个，三个lstm单元分别处理这三段数据，建立相互关联的模型。
[0086]
3)经过多次实践，采用了4个channels，即4张瀑布图，分别采用中频和高频共四个频段。lstm每个cell的原始输入瀑布图大小为channels
×w×
h＝4
×
60
×
14，如图7所示，为实际输入的4通道瀑布图入侵正样本。
[0087]
最后得到的效果如图8所示，能够有效的避免风和车引起的告警，黑底框部分表示被识别的入侵头部或者开始入侵单元w
×
h＝60
×
14大小的区域。识别准确率和告警时间都满足实际要求。
[0088]
实际测试结果
[0089]
对于大型车辆的告警：传统算法(专利cn201610476700.7的方案)有298个车辆告警，采用本发明lstm方案，只有28个车辆告警。对于风的误报，收集的约13.3小时大风数据，传统算法的告警数1012，而lstm算法告警数285。基于lstm图像语义分析的算法性能在大风和车辆误报上性能得到很大提升。
[0090]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

技术特征：
1.一种基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，包括如下步骤：(1)通过解析分布式光纤振动传感装置测得的振动信号获取具有逻辑语义的瀑布图；(2)将所述瀑布图上满足预设条件的斑点的位置和时间点确定为lstm图像语义分析数据的基准区域；(3)围绕所述基准区域，在瀑布图的时域空间截取存在语义关联的n段区域的数据，形成具有多维度特征的n个子瀑布图；(4)将n段区域数据输入cnn网络分别提取出n段的特征，然后将n段的特征按照时间序列分别输入到lstm网络中的n个单元进行入侵判决。2.根据权利要求1所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，步骤(2)中所述基准区域需同时满足：轮廓内图像的像素平均强度大于最小强度阈值、轮廓的宽度大于最小宽度阈值及持续时间大于最小持续时间。3.根据权利要求2所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，步骤(3)中，当所述n＝4时，4段区域按发生时间的先后顺序分别为入侵背景区域、入侵开始区域、入侵持续区域和入侵结束区域。4.根据权利要求1所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，步骤(3)中对所述瀑布图的截取方法采用“类
‘
目’型”、“类
‘
目’扩展型”和“倒
‘
品’字型”中的任一种。5.根据权利要求3所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，所述n＝3，3段区域按发生时间的先后顺序分别为入侵背景区域、入侵开始区域和入侵持续区域。6.根据权利要求3所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，所述入侵背景区域为入侵前的位于基准区域以外下方的区域，或者为入侵过程中位于基准区域以外入侵斑点旁边的区域。7.根据权利要求3所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，在瀑布图上对所述入侵背景区域进行截取时，直接截取基准区域以外的下方一块w
×
h大小的数据；或者，截取基准区域以外的下方更长更宽区域或者更多块的数据，然后将其合并为w
×
h大小的数据。8.根据权利要求7所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，所述合并采用缩放方式或求均值方式。9.根据权利要求1所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，所述lstm图像语义分析的样本截取及训练方法包括如下步骤：(a)根据标注的位置和区域信息作为基准区域，生成标准的lstm图像语义分析样本库；(b)模拟入侵行为，生成新样本加入样本库；(c)基于lstm的深度学习模型对样本进行训练。10.根据权利要求9所述的基于lstm图像语义分析的光纤周界入侵监测方法，其特征在于，所述步骤(b)中模拟的入侵行为包括模拟栅栏形态、模拟入侵时间的长短及模拟入侵的强度。

技术总结
本发明公开了一种基于LSTM图像语义分析的光纤周界入侵监测方法，包括如下步骤：(1)通过解析分布式光纤振动传感装置测得的振动信号获取具有逻辑语义的瀑布图；(2)将所述瀑布图上满足预设条件的斑点的位置和时间点确定为LSTM图像语义分析数据的基准区域；(3)围绕所述基准区域，在瀑布图的时域空间截取存在语义关联的n段区域的数据，形成具有多维度特征的n个子瀑布图(4)将n段区域数据输入CNN网络分别提取出n段的特征，然后将n段的特征按照时间序列分别输入到LSTM网络中的n个单元进行入侵判决。本发明利用LSTM对入侵行为进行有效识别，可大幅减少大风、汽车经过等引起的入侵行为误报。为误报。为误报。


技术研发人员：解应春 宋康 刘东 刘进 周勇军 张益民
受保护的技术使用者：平湖波汇通信科技有限公司
技术研发日：2023.03.30
技术公布日：2023/8/14