水文数据的处理方法、系统及可读存储介质与流程

1.本发明属于水文水利数据治理技术领域，具体涉及一种水文数据的处理方法、系统及可读存储介质。


背景技术：

2.水文水利数据统一平台系统实现了江河湖库的雨量、水位、水温、流速、流量、蒸发等水文要素数据的自动化监测，为安全管理与运行调度提供及时有效的信息，及时预警，提高管理的效率和质量。
3.在实时监测过程中，由于信号、环境、天气等情况，监测的水文数据难免会出现数值错误、数据缺失等异常情况。随着水利信息化水平的不断提高，现有的异常检测算法对于水文数据表现出的季节性、随机性以及时空相关性等复杂特性处理不够充分，所以在异常检测的精度上还存在较大的提升空间。另外，对于异常情况下数据的修复也是当前亟需解决的难题。


技术实现要素：

4.基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种水文数据的处理方法、系统及可读存储介质。
5.为了达到上述发明目的，本发明采用以下技术方案：一种水文数据的处理方法，包括以下步骤：s1、采集水文数据并进行数据校验，判断数据校验是否通过；若否，则对校验不通过的异常数据序列进行步骤s2的处理；s2、利用one-class svm模型对异常数据序列的数据点进行异常检测，得到第一指标值；分别利用ewma算法、cof算法、isolation forest算法对异常数据序列的数据点进行异常检测，并结合各算法的权重对异常检测结果求和得到第二指标值；将数据点对应的历年数据输入lstm模型得到拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；s3、将第一指标值、第二指标值和第三指标值作为观测值输入隐马尔可夫模型进行识别，得到目标异常数据点。
6.作为优选方案，所述步骤s1中，采集水文数据之后进行数据分类，划分为要素数据和工况数据；要素数据包括水位、雨量、流量、蒸发量中的至少一种；工况数据包括电源电压、信号强度、温度中的至少一种。
7.作为优选方案，所述步骤s2中，基于拟合值与异常数据序列的方差确定异常数据点，包括：
基于拟合值与异常数据序列的方差构建数据值的上限max和下限min：；其中，value
lstm
为拟合值，variance为异常数据序列的方差，k为常量；若数据点的数据值超出上限max或下限min，则数据点为异常数据点并输出相应的标签作为第三指标值。
8.作为优选方案，所述数据点的异常类型包括数据值突变和数据值缺失。
9.作为优选方案，水文数据的处理方法，还包括以下步骤：s4、判断目标异常数据点在异常数据序列中的占比是否超出预设阈值；若否，则对目标异常数据点进行自适应时序整编；若是，则对目标异常数据点进行异常整编。
10.作为优选方案，所述对目标异常数据点进行自适应时序整编，包括以下步骤：s41、对异常数据序列进行adf检验；若检验通过，则转至步骤s42；若检验不通过，则对异常数据序列进行一次差分之后再进行adf检验；s42、判断异常数据序列是否有周期性；如是，则对目标异常数据点进行周期性整编；若否，则对目标异常数据点进行趋势性整编。
11.作为优选方案，所述周期性整编包括：将目标异常数据点分别进行三次指数平滑预测和gm(2,1)预测，并对预测结果取加权平均，得到整编后的数据点；所述趋势性整编包括：将目标异常数据点分别进行arima预测和gm(1,1)预测，并对预测结果取加权平均，得到整编后的数据点。
12.作为优选方案，所述对目标异常数据点进行异常整编包括以下步骤：判断目标异常数据点的类型为数据值突变或数据值缺失；若为数据值缺失，则利用目标异常数据点输入lstm模型得到的拟合值作为整编后的数据点；若为数据值突变，则利用knn算法对异常数据序列的所有数据点进行聚类，选取目标异常数据点前后n个数据点作为目标数据点，确定包含目标数据点数量最多的簇作为目标簇，计算各目标数据点至目标簇中心的距离并取均值，利用均值对目标异常数据点进行整编；其中，n为大于1的整数。
13.本发明还提供一种水文数据的处理系统，应用如上方案所述的水文数据的处理方法，所述水文数据的处理系统包括：数据采集及校验模块，用于采集水文数据并进行数据校验；数据算法处理模块，用于利用one-class svm模型对异常数据序列的数据点进行异常检测，得到第一指标值；还用于分别利用ewma算法、cof算法、isolation forest算法对异常数据序列的数据点进行异常检测，并结合各算法的权重对异常检测结果求和得到第二指标值；还用于将数据点对应的历年数据输入lstm模型得到拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；异常数据检测模块，用于将第一指标值、第二指标值和第三指标值作为观测值输
入隐马尔可夫模型进行识别，得到目标异常数据点。
14.本发明还提供一种可读存储介质，所述可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行如上任一项方案所述的水文数据的处理方法。
15.本发明与现有技术相比，有益效果是：（1）本发明对水文数据进行多维度异常检测，有效提升异常数据识别的精度；（2）本发明在识别异常数据之后进行补充处理或者数据修正，从而实现数据的整编，保证数据的准确性。
附图说明
16.图1是本发明实施例1的水文数据的处理方法的流程图；图2是本发明实施例1的水文数据的处理方法的主要流程图；图3是本发明实施例1的数据识别的流程图；图4是本发明实施例1的数据整编的流程图；图5是本发明实施例1的水文数据的处理方法的构架图。
具体实施方式
17.为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
18.实施例1：如图1和图2所示，本实施例的水文数据的处理方法，包括以下步骤：一、数据采集。
19.本实施例的采集水文数据并进行数据校验，判断数据校验是否通过；若否，则对校验不通过的异常数据序列进行后续步骤的处理；若是，则作为正常数据入库，以便后续进行水文数据业务呈现。
20.其中，本实施例采集水文数据之后还进行数据归类，划分为要素数据和工况数据；要素数据包括水位、雨量、流量、蒸发量中的至少一种；工况数据包括电源电压、信号强度、温度中的至少一种。便于后续异常数据的分类整编。
21.二、数据识别。
22.本实施例的对异常数据序列分别进行不同的多维度处理，实现多维度异常检测。
23.具体地，如图3所示，利用one-class svm模型对异常数据序列的数据点进行异常检测，得到第一指标值，即异常检测输出的标签，例如0和1。其中，one-class svm是一种novelty detection（新动向检测）算法，需要进行预训练，其训练数据集中需要是正常数据，不包含异常数据点，当新的异常点出现时可以通过超平面进行异常点检测，具体可参考现有技术，在此不赘述。
24.再者，还分别利用ewma算法、cof算法、isolation forest算法对异常数据序列的数据点进行异常检测，并结合各算法的权重对异常检测结果（即三种算法输出的标签）求和得到第二指标值。
25.其中，对于ewma算法，首先计算ewma算法的输出值，在实际场景中取异常数据序列的方差，配合ewma算法的输出值确定正常数据的上界max1和下界min1：；
26.其中，variance为异常数据序列的方差，value
ewma
为ewma算法的输出值，k1为常量。
27.最后，根据正常数据的上界max1和下界min1进行异常数据检测，输出相应的标签作为异常检测结果。
28.另外，cof（connectivity-based outlier factor）算法是一种基于密度的异常检测方法，主要用于发现数据集中的异常点。在cof算法中，异常点被定义为无法通过近邻之间的连通性与其他数据点连接的点，具体过程可参考现有技术，在此不赘述。
29.孤立森林（isolation forest）算法是一种基于集成学习的异常检测算法，适用于高维数据、大规模数据集和非线性数据，它通过构建随机生成的树来寻找异常点。
30.本实施例的ewma算法、cof算法、isolation forest算法的权重分别为0.2、0.3、0.5，具体可根据实际业务场景进行调整。
31.本实施例还将数据点对应的历年数据输入lstm模型得到今年的拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；具体地，基于拟合值与异常数据序列的方差确定异常数据点，包括：基于拟合值与异常数据序列的方差构建数据值的上限max2和下限min2：；其中，value
lstm
为拟合值，variance为异常数据序列的方差，k2为常量；若数据点的数据值超出上限max2或下限min2，则数据点为异常数据点并输出相应的标签作为第三指标值。
32.最后，将第一指标值、第二指标值和第三指标值作为观测值输入隐马尔可夫模型进行识别，得到目标异常数据点。
33.其中，隐马尔可夫模型主要解决三个问题：概率计算问题、学习问题和预测问题，本实施例通过em迭代解决学习问题，获得模型参数，预测问题通过viterbi算法解决；在训练时的隐藏状态设为两种，具体的训练过程可参考现有技术，在此不赘述。
34.本实施例的数据点的异常类型包括数据值突变和数据值缺失。
35.对于识别的目标异常数据点的后续数据整编处理同样具有重要的实际应用价值。因此，本实施例的水文数据的处理方法，还包括以下步骤：三、数据整编。
36.具体地，如图4所示，判断目标异常数据点在异常数据序列中的占比（简称异常占比）是否超出预设阈值；若否，则认为监测设备正常，对目标异常数据点进行自适应时序整编；若是，则认为监测设备存在故障，对目标异常数据点进行异常整编。
37.具体地，本实施例对目标异常数据点进行自适应时序整编，包括以下步骤：（i）对异常数据序列进行adf检验；若检验通过，则转至步骤（ii）；若检验不通过，
则对异常数据序列进行一次差分之后再进行adf检验；（ii）判断异常数据序列是否有周期性；如是，则对目标异常数据点进行周期性整编；若否，则对目标异常数据点进行趋势性整编。
38.其中，本实施例判断异常数据序列是否有周期性的过程为：对异常数据序列的数据点进行快速傅里叶变换，得到频率的评分，进而输出数据点的对应的各个周期的评分，取评分最高对应的目标周期；如果目标周期超出预设的周期阈值，则认为异常数据序列有周期性，进行周期性整编；否则，则认为异常数据序列无周期性，进行趋势性整编，实现数据修正。
39.本实施例的周期性整编的具体过程包括：将目标异常数据点分别进行三次指数平滑预测和gm(2,1)预测，并对预测结果取加权平均，得到整编后的数据点，实现数据修正。
40.本实施例的趋势性整编的具体过程包括：将目标异常数据点分别进行arima预测和gm(1,1)预测，并对预测结果取加权平均，得到整编后的数据点。其中，arima预测的参数d设置为0，参数p和q分别遍历1、3、5、10、15，通过bic挑选最优参数进行预测。
41.上述三次指数平滑预测、gm(2,1)预测、arima预测和gm(1,1)预测的具体过程可参考现有技术，在此不赘述。
42.另外，本实施例对目标异常数据点进行异常整编包括以下步骤：判断目标异常数据点的类型为数据值突变或数据值缺失，即判断是否为突变值（反之为数据值缺失）；若为数据值缺失，则利用目标异常数据点输入上述lstm模型得到的拟合值作为整编后的数据点，实现数据补充；若为数据值突变，则进行近邻聚类整编，具体利用knn算法对异常数据序列的所有数据点进行聚类，选取目标异常数据点前后n个数据点（例如n=5，具体可根据实际需求确定）作为目标数据点，确定包含目标数据点数量最多的簇作为目标簇，计算各目标数据点至目标簇中心的距离并取均值，利用均值对目标异常数据点进行整编，实现数据修正。
43.最后，将整编之后的数据入库，一般后续的业务呈现。
44.基于上述水文数据的处理方法，如图5所示，本实施例还提供水文数据的处理系统，包括如下功能模块：数据采集及校验模块、数据算法处理模块、异常数据检测模块和异常数据整编模块。
45.本实施例的数据采集及校验模块用于采集水文数据并进行数据校验。
46.本实施例的数据算法处理模块用于利用one-class svm模型对异常数据序列的数据点进行异常检测，得到第一指标值；还用于分别利用ewma算法、cof算法、isolation forest算法对异常数据序列的数据点进行异常检测，并结合各算法的权重对异常检测结果求和得到第二指标值；还用于将数据点对应的历年数据输入lstm模型得到拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；本实施例的异常数据检测模块用于将第一指标值、第二指标值和第三指标值作为观测值输入隐马尔可夫模型进行识别，得到目标异常数据点。
47.本实施例的异常数据整编模块用于对目标异常数据点进行数据整编。
48.上述功能模块的具体实现过程可参考上述处理方法的详细描述，在此不赘述。
49.本实施例还提供可读存储介质，可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述水文数据的处理方法，实现水文数据的智能化处理。
50.实施例2：本实施例的水文数据的处理方法与实施例1的不同之处在于：省略后续对目标异常数据点进行数据整编的过程，简化数据处理的流程，满足不同应用的需求；其他步骤可参考实施例1。
51.相应地，本实施例的水文数据的处理系统作适应性精简，省略异常数据整编模块，满足不同应用的需求；其他功能模块可参考实施例1。
52.本实施例的还提供可读存储介质，可读存储介质中存储有指令，当指令在计算机上运行时，使得计算机执行上述水文数据的处理方法，实现水文数据的智能化处理。
53.以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

技术特征：
1.一种水文数据的处理方法，其特征在于，包括以下步骤：s1、采集水文数据并进行数据校验，判断数据校验是否通过；若否，则对校验不通过的异常数据序列进行步骤s2的处理；s2、利用one-class svm模型对异常数据序列的数据点进行异常检测，得到第一指标值；分别利用ewma算法、cof算法、isolation forest算法对异常数据序列的数据点进行异常检测，并结合各算法的权重对异常检测结果求和得到第二指标值；将数据点对应的历年数据输入lstm模型得到拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；s3、将第一指标值、第二指标值和第三指标值作为观测值输入隐马尔可夫模型进行识别，得到目标异常数据点。2.根据权利要求1所述的水文数据的处理方法，其特征在于，所述步骤s1中，采集水文数据之后进行数据分类，划分为要素数据和工况数据；要素数据包括水位、雨量、流量、蒸发量中的至少一种；工况数据包括电源电压、信号强度、温度中的至少一种。3.根据权利要求2所述的水文数据的处理方法，其特征在于，所述步骤s2中，基于拟合值与异常数据序列的方差确定异常数据点，包括：基于拟合值与异常数据序列的方差构建数据值的上限max和下限min：；其中，value
lstm
为拟合值，variance为异常数据序列的方差，k为常量；若数据点的数据值超出上限max或下限min，则数据点为异常数据点并输出相应的标签作为第三指标值。4.根据权利要求3所述的水文数据的处理方法，其特征在于，所述数据点的异常类型包括数据值突变和数据值缺失。5.根据权利要求4所述的水文数据的处理方法，其特征在于，还包括以下步骤：s4、判断目标异常数据点在异常数据序列中的占比是否超出预设阈值；若否，则对目标异常数据点进行自适应时序整编；若是，则对目标异常数据点进行异常整编。6.根据权利要求5所述的水文数据的处理方法，其特征在于，所述对目标异常数据点进行自适应时序整编，包括以下步骤：s41、对异常数据序列进行adf检验；若检验通过，则转至步骤s42；若检验不通过，则对异常数据序列进行一次差分之后再进行adf检验；s42、判断异常数据序列是否有周期性；如是，则对目标异常数据点进行周期性整编；若否，则对目标异常数据点进行趋势性整编。7.根据权利要求6所述的水文数据的处理方法，其特征在于，所述周期性整编包括：将目标异常数据点分别进行三次指数平滑预测和gm(2,1)预测，并对预测结果取加权平均，得到整编后的数据点；所述趋势性整编包括：
将目标异常数据点分别进行arima预测和gm(1,1)预测，并对预测结果取加权平均，得到整编后的数据点。8.根据权利要求5所述的水文数据的处理方法，其特征在于，所述对目标异常数据点进行异常整编包括以下步骤：判断目标异常数据点的类型为数据值突变或数据值缺失；若为数据值缺失，则利用目标异常数据点输入lstm模型得到的拟合值作为整编后的数据点；若为数据值突变，则利用knn算法对异常数据序列的所有数据点进行聚类，选取目标异常数据点前后n个数据点作为目标数据点，确定包含目标数据点数量最多的簇作为目标簇，计算各目标数据点至目标簇中心的距离并取均值，利用均值对目标异常数据点进行整编；其中，n为大于1的整数。9.一种水文数据的处理系统，应用如权利要求1所述的水文数据的处理方法，其特征在于，所述水文数据的处理系统包括：数据采集及校验模块，用于采集水文数据并进行数据校验；数据算法处理模块，用于利用one-class svm模型对异常数据序列的数据点进行异常检测，得到第一指标值；还用于分别利用ewma算法、cof算法、isolation forest算法对异常数据序列的数据点进行异常检测，并结合各算法的权重对异常检测结果求和得到第二指标值；还用于将数据点对应的历年数据输入lstm模型得到拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；异常数据检测模块，用于将第一指标值、第二指标值和第三指标值作为观测值输入隐马尔可夫模型进行识别，得到目标异常数据点。10.一种可读存储介质，所述可读存储介质中存储有指令，其特征在于，当指令在计算机上运行时，使得计算机执行如权利要求1-8任一项所述的水文数据的处理方法。

技术总结
本发明涉及一种水文数据的处理方法、系统及可读存储介质，其处理方法包括：采集水文数据并进行数据校验，判断数据校验是否通过；若否，则对校验不通过的异常数据序列进行后续处理；利用One-Class SVM模型对数据点进行异常检测，得到第一指标值；分别利用EWMA算法、COF算法、Isolation Forest算法对数据点进行异常检测，并结合各算法的权重加权求和得到第二指标值；将数据点对应的历年数据输入LSTM模型得到拟合值，基于拟合值与异常数据序列的方差确定异常数据点，得到第三指标值；将第一指标值、第二指标值和第三指标值作为观测值输入隐马尔可夫模型得到目标异常数据点。本发明提升异常数据的识别精度。常数据的识别精度。常数据的识别精度。


技术研发人员：陈晓莉 陈潇 李抗旱 蓝康波 徐路平 邹嫣 李修乾 赵碧君
受保护的技术使用者：浙江鹏信信息科技股份有限公司
技术研发日：2023.08.07
技术公布日：2023/9/9