一种物联网数据分析及异常检测方法与系统与流程

1.本发明涉及一种物联网数据分析及异常检测方法与系统，属于物联网技术领域。


背景技术：

2.当前，物联网技术在智能电网、智慧环保、智慧水务、智能交通等领域得到广泛的应用，在物联网在运行的过程中，各个传感器会产生远远大于传统业务系统的数据，这些海量数据对于物联网中的异常的判断会带来不小的难度，传统中心化的服务平台多采用简单的门限法对异常进行判断，这种方法无法充分利用大量的物联网业务数据以及数据之间潜在的关系，对于异常的检测精度较低，且由于数据量较大难以对其进行有效标注，难以对数据建立有效的模型描述，进一步对物联网异常状态的判断带来了难度。
3.此外，物联网系统拓扑结构发生变化时，如电力系统负载变化、水务系统管道变化等，物联网状态不能及时更新，相关对应的数据发生变化时利用传统的固定门限判断会产生较大的误差。因此，需要一种新的方法来对物联网中大量传感器产生的数据进行判断并确定异常情况的出现。


技术实现要素：

4.发明要解决的技术问题
5.本发明针对物联网数据利用效率低且无标注的问题，提出了一种物联网数据分析及异常检测方法与系统。
6.技术方案
7.为达到上述目的，本发明提供的技术方案为：
8.一种物联网数据分析及异常检测方法，包括如下步骤：
9.步骤1，将传感器数据在时间轴进行聚类，当聚类时间超过某个值时，将数据首先进行降维后再进行聚类；
10.步骤2，基于步骤1聚类所产生的簇建立机器学习模型，并将实际观察数据与通过机器学习模型所预测的数据进行比较以判断网络中是否存在异常。
11.进一步地，步骤2对异常判断的方法为
12.步骤21，将簇中从属于一个传感器的数据视作一组，针对该组内的所有数据求出数据的均值点；
13.步骤22，将均值点与该组数据中距离最大的数据点之间的区间均分为n个区域，将每个区域依次赋值为1,2，
…
，n，将均值点与该组数据中距离最小的数据点之间的区间均分为m个区域，将每个区域依次赋值为-1，-2，
…
，m；
14.步骤23，统计该组数据内落到各个区间内的数据点的数量，计算各个区间中数据的出现概率，记为pi，i＝-m,
…
,-1,0,1,
…n15.该组数据的平均自信息熵记为
[0016][0017]
步骤24，得到该组数据的平均自信息熵后，在实际传感器网络运行时，在k时刻经数据聚类、降维后，使用同样的方法得到某组数据的平均自信息熵
[0018][0019]
当hk(x)与h(x)之差的绝对值超过预定门限α时，则认为k时刻传感器网络存在异常。
[0020]
进一步地，步骤2对异常判断的方法为：
[0021]
步骤21，将簇中从属于两个传感器的数据x，y，分别计算两组数据的均值点；
[0022]
步骤22，将均值点与该组数据中距离最大的数据点之间的区间均分为n个区域，将每个区域依次赋值为1,2，
…
，n，将均值点与该组数据中距离最小的数据点之间的区间均分为m个区域，将每个区域依次赋值为-1，-2，
…
，m；
[0023]
步骤23，统计该组数据内落到各个区间内的数据点的数量，计算各个区间中数据的出现概率，记为qi，i＝-m,
…
,-1,0,1,
…n[0024]
两组数据x，y的互信息熵记为
[0025][0026]
其中q
ij
表示在第i，j区间数据出现的联合概率；
[0027]
步骤24，得到两组数据的互信息熵后，在实际传感器网络运行时，在k时刻经数据聚类、降维后，使用同样的方法得到某组数据的平均自信息熵
[0028][0029]
当hk(x,y)与h(x,y)之差的绝对值超过预定门限β时，则认为k时刻传感器网络对应的传感器存在异常。
[0030]
进一步地，步骤2对异常判断的方法为：
[0031]
步骤21，对若干聚类产生的簇数据建立cnn+transformer模型；
[0032]
步骤22，当从网络中实际观察数据与通过步骤21训练所得模型预测数据之差的绝对值高于某个预定门限时，则认为传感器网络存在异常。
[0033]
进一步地，步骤2对异常判断的方法为：
[0034]
步骤21，对若干聚类产生的簇数据建立lstm+transformer模型；
[0035]
步骤22，当从网络中实际观察数据与通过步骤21训练所得模型预测数据之差的绝对值高于某个预定门限时，则认为传感器网络存在异常。
[0036]
一种实现本发明物联网数据分析及异常检测方法的物联网数据分析及异常检测系统，主要包括：数据聚类模块、数据降维模块、机器学习模块、异常检测模块，其中：
[0037]
数据聚类模块实现异常检测方法中传感器数据的聚类
[0038]
数据分析降维模块实现传感器数据的分析以及高维传感器数据的降维
[0039]
机器学习模块通过机器学习方法建立传感器数据的计算学习模型
[0040]
异常检测模块利用机器学习模型对传感器网络中是否存在异常做出判断。
[0041]
有益效果
[0042]
本发明方法能够对海量物联网数据进行分析，有效解决了数据爆炸的难题；
[0043]
本发明方法能够针对不同的传感器时间序列数据无需标注而发现异常数据，快速检测物联网异常。
[0044]
本发明方法相较于传统方法能够自动监测网络拓扑结构改变的异常情况。
附图说明
[0045]
图1为本发明物联网数据分析及异常检测方法的步骤图；
[0046]
图2为本发明所建立的cnn+transformer模型图；
[0047]
图3为本发明所建立的lstm+transformer模型图；
[0048]
图4为本发明物联网数据分析及异常检测系统框图。
具体实施方式
[0049]
为进一步了解本发明的内容，结合附图和具体实施方式对本发明作详细描述。
[0050]
如图1所示，本发明物联网数据分析及异常检测方法的步骤为：
[0051]
步骤1，将传感器数据在时间轴进行聚类，本实施例采用k-means、knn方法，聚类的目的是在时间上把时序数据分开，每一个聚类所得到的簇里的数据都代表了一个稳定的拓扑结构，通过聚类能够快速地对物联网的拓扑结构变化进行响应，当物联网数据在一定时间内无聚类结果时，则将数据首先进行降维后再进行聚类。降维方法可采用线性降维方法和非线性降维方法，本实施例中，线性降维方法采用pca，非线性降维方法采用t-sne。
[0052]
步骤2，基于步骤1聚类所产生的簇建立相关的数据模型进行网络异常的判断。本发明主要采用两类方法：
[0053]
判断方法一：在每个聚类产生的簇中，将从属于一个传感器的数据视作一组，计算该组数据的自信息熵或者多组数据的互信息熵，是否超过对应均值一个预定门限值。超过门限即为不正常，对某一组数据计算自信息熵的方法为：
[0054]
步骤1，针对该组内的所有数据求出数据的均值点。
[0055]
步骤2，将均值点与其距离最大的数据点之间的区间均分为n个区域，将每个区域依次赋值为1,2，
…
，n；将均值点与其距离最小的数据点之间的区间均分为m个区域，将每个区域依次赋值为-1，-2，
…
，m。
[0056]
步骤3，统计该组数据内落到各个区间内的数据点的数量，计算各个区间中数据的出现概率，记为pi，i＝-m,
…
,-1,0,1,
…n[0057]
该组数据的平均自信息熵记为
[0058][0059]
其中pi为第i个区间的数据点出现的概率，通过计算该区域内数据点的个数与数据点的总个数之比得到。
[0060]
步骤4，得到该组数据的平均自信息熵后，在实际传感器网络运行时，在k时刻经数据聚类、降维后，使用同样的方法得到某组数据的平均自信息熵
为注意力层数据o
t
的均值与方差。
[0081]
在已知目标层观察数据的情况下，通过最大化目标函数对图中网络进行调优，最终取使目标函数最大的网络参数，完成模型训练。在本实施例中，目标函数为各观察值的对数似然函数之和∑
t
l(z
t
|θ
t
)
[0082]
如图3所示，lstm+transformer模型包括五层，最底层为输入层以上依次为lstm层、注意力层、似然层以及目标层，
[0083]
图中，输入z
t
(t＝1,2,3)为前述步骤所产生的三个时间点的数据，对应该传感器网络某个时间段的数据，配置lstm模型与transformer模型相关的参数，在本实施例中，lstm层激活函数采用tanh；transformer模型编解码层数为6。
[0084]
使用lstm单元计算当前时间步的隐态：h
t
＝lstm(z
t-1
,h
t-1
),(t＝1,2,3)
[0085]
lstm层数据输入transformer模型，计算注意力层数据o
t
(t＝1,2,3)：o
t
＝transformer(h
t
)
[0086]
假设每个时间步长里的目标值z
t
服从概率分布l(z
t
|θ
t
)，通过注意力层数据对概率分布参数θ
t
进行计算，在本实施例中，概率分布函数l选择高斯函数，θ
t
～n(μ,σ2)，μ与σ2为注意力层数据o
t
的均值与方差。
[0087]
在已知目标层观察数据的情况下，通过最大化目标函数对图中网络进行调优，最终取使目标函数最大的网络参数，完成模型训练。在本实施例中，目标函数为各观察值的对数似然函数之和∑
t
l(z
t
|θ
t
)
[0088]
经上述步骤训练得到的cnn+transformer模型或者lstm+transformer模型用于对实际数据进行预测，设实际观察数据为由模型预测数据为z
t
′
，当两者差距的绝对值高于某个预定门限时，则认为传感器网络存在异常，本实施例中，取大于|z
t
′
|的5％。
[0089]
如图4所示，一种实现本发明物联网数据分析及异常检测方法的物联网数据分析及异常检测系统，主要包括：数据聚类模块、数据降维模块、机器学习模块、异常检测模块。
[0090]
数据聚类模块实现异常检测方法中传感器数据的聚类；数据分析降维模块实现传感器数据的分析以及高维传感器数据的降维；机器学习模块通过机器学习方法建立传感器数据的计算学习模型；异常检测模块利用机器学习模型对传感器网络中是否存在异常做出判断。
[0091]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

技术特征：
1.一种物联网数据分析及异常检测方法，包括如下步骤：步骤s1，将传感器数据在时间轴进行聚类，当聚类时间超过某个值时，将数据首先进行降维后再进行聚类；步骤s2，基于步骤s1聚类所产生的簇建立机器学习模型，并将实际观察数据与通过机器学习模型所预测的数据进行比较以判断网络中是否存在异常。2.如权利要求1所述的一种物联网数据分析及异常检测方法，其特征在于，步骤s2对网络异常判断的方法为：步骤s21，将簇中从属于一个传感器的数据视作一组，针对该组内的所有数据求出数据的均值点；步骤s22，将均值点与该组数据中距离最大的数据点之间的区间均分为n个区域，将每个区域依次赋值为1,2，
…
，n，将均值点与该组数据中距离最小的数据点之间的区间均分为m个区域，将每个区域依次赋值为-1，-2，
…
，m；步骤s23，统计该组数据内落到各个区间内的数据点的数量，计算各个区间中数据的出现概率，记为p
i
，i＝-m,
…
,-1,0,1,
…
n计算该组数据的平均自信息熵：步骤s24，得到该组数据的平均自信息熵后，在实际传感器网络运行时，在k时刻经数据聚类、降维后，使用同样的方法得到某组数据的平均自信息熵当h
k
(x)与h(x)之差的绝对值超过预定门限α时，则认为k时刻传感器网络存在异常。3.如权利要求1所述的一种物联网数据分析及异常检测方法，其特征在于，步骤s2对网络异常判断的方法为：步骤s21，将簇中从属于两个传感器的数据x，y，分别计算两组数据的均值点；步骤s22，将均值点与该组数据中距离最大的数据点之间的区间均分为n个区域，将每个区域依次赋值为1,2，
…
，n，将均值点与该组数据中距离最小的数据点之间的区间均分为m个区域，将每个区域依次赋值为-1，-2，
…
，m；步骤s23，统计该组数据内落到各个区间内的数据点的数量，计算各个区间中数据的出现概率，记为q
i
，i＝-m,
…
,-1,0,1,
…
n计算两组数据x，y的互信息熵：其中q
ij
表示在第i，j区间数据出现的联合概率；步骤s24，得到两组数据的互信息熵后，在实际传感器网络运行时，在k时刻经数据聚类、降维后，使用同样的方法得到两组数据的平均自信息熵
当h
k
(x,y)与h(x,y)之差的绝对值超过预定门限β时，则认为k时刻传感器网络对应的传感器存在异常。4.如权利要求1所述的一种物联网数据分析及异常检测方法，其特征在于，步骤s2对网络异常判断的方法为：步骤s21，对若干聚类产生的簇数据建立cnn+transformer模型；步骤s22，当从网络中实际观察数据与通过步骤s21训练所得模型预测数据之差的绝对值高于某个预定门限时，则认为传感器网络存在异常。5.如权利要求1所述的一种物联网数据分析及异常检测方法，其特征在于，步骤s2对网络异常判断的方法为：步骤s21，对若干聚类产生的簇数据建立lstm+transformer模型；步骤s22，当从网络中实际观察数据与通过步骤s21训练所得模型预测数据之差的绝对值高于某个预定门限时，则认为传感器网络存在异常。6.一种实现如权利要求1-5任一所述的物联网数据分析及异常检测方法的物联网数据分析及异常检测系统，其特征在于，由数据聚类模块、数据降维模块、机器学习模块、异常检测模块组成，其中：数据聚类模块实现异常检测方法中传感器数据的聚类；数据分析降维模块实现传感器数据的分析以及高维传感器数据的降维；机器学习模块通过机器学习方法建立传感器数据的计算学习模型；异常检测模块利用机器学习模型对传感器网络中是否存在异常做出判断。

技术总结
本发明公开了一种物联网数据分析及异常检测方法与系统，属于物联网技术领域。本发明方法首先将物联网传感器数据在时间轴进行聚类，并基于聚类所产生的簇建立机器学习模型，将实际观察数据与通过机器学习模型所预测的数据进行比较以判断网络中是否存在异常，机器学习模型采用自信息熵/互信息熵模型、CNN+Transformer模型、LSTM+Transformer模型。数据分析及异常检测系统主要包括数据聚类模块、数据降维模块、机器学习模块、异常检测模块，实现了所提出的异常检测方法。本发明方法能够对海量物联网数据进行分析，同时针对不同的传感器时间序列数据无需标注而快速检测异常，有效解决了数据爆炸的难题；本发明相较于传统方法还能够自动监测网络拓扑结构改变的异常情况。能够自动监测网络拓扑结构改变的异常情况。能够自动监测网络拓扑结构改变的异常情况。


技术研发人员：吉辉 刘扬 邹磊
受保护的技术使用者：苏摩智能技术（南京）有限公司
技术研发日：2022.12.29
技术公布日：2023/9/22