一种面向在线水质、水动力监测数据的滚动数据清洗方法

1.本发明涉及数据清洗技术领域，尤其是涉及一种面向在线水质、水动力监测数据的滚动数据清洗方法。


背景技术：

2.近年来，随着科技的不断进步，自动监测技术得到了广泛的应用，特别是在水资源监测领域。自动监测系统能够实时收集水质、水动力数据，为水资源管理提供了重要的信息支持。然而，自动监测数据存在许多不一致、缺失或异常的情况，影响到数据的准确性和可靠性，也影响到了后续相关模型建立的精度。
3.数据清洗方法是指通过自动或人工的方法对原始数据进行处理，去除及填补异常值、缺失值等，使得数据更加准确、完整，更有利于进一步的分析和使用。在水资源管理领域，数据清洗对于保证水质监测数据的准确性，提高水资源管理的效率，是十分必要的。但是，面对水动力、水质在线监测数据数据量大且数据驳杂的问题，现有的数据清洗方法难以实现精准的数据清洗，且对于非常规监测情况下的数据难以保持数据的连续性和完整性。


技术实现要素：

4.本发明的目的是为了提供一种面向在线水质、水动力监测数据的滚动数据清洗方法，能够应对大量且驳杂的水动力、水质在线监测数据，实现规范且自动化的滚动数据清洗。
5.本发明的目的可以通过以下技术方案来实现：
6.一种面向在线水质、水动力监测数据的滚动数据清洗方法，包括以下步骤：
7.步骤1)获取在线监测的历史及当天的水质、水动力数据，并根据数据类型将获取到的数据进行分类整理；
8.步骤2)针对每种类型的监测数据，挖掘异常数据特征，对数据进行预处理并判断能否满足第一清洗策略要求；
9.步骤3)对满足第一清洗策略要求的数据，使用第一清洗策略进行数据清洗，其中第一清洗策略基于stl时序分解和密度聚类构建，其变量设置根据所属数据分类及异常数据特征共同决定；
10.步骤4)对不满足第一清洗策略要求的数据，使用第二清洗策略进行数据清洗，其中，第二清洗策略基于均值清洗构建，其变量设置根据所属数据分类及异常数据特征共同决定；
11.步骤5)对清洗结果按清洗策略进行标注，上传至数据库中。
12.所述步骤1)中，根据数据类型将获取到的数据进行分类整理包括：
13.将监测数据按水动力数据与水质数据进行分类；
14.根据监测数据所属不同监测点位进行具体分类；
15.根据监测数据本身是否为连贯数据进行分类；
16.将监测数据中会受到特定情况影响的数据按具体情况进行分类。
17.所述步骤2)中，对于每种类型的监测数据挖掘的异常数据特征至少包括下述特征中的一种：
18.i)根据异常数据持续时长与变化趋势，分析其类型属于短期跳变、长期跳变或长期渐变异常，挖掘其时长趋势特征；
19.ii)根据导致异常数据发生的原因，结合监测仪器特性、数据传输偏差和管理方维护频率因素进行分析，挖掘其起因特征；
20.iii)根据原始数据与其他水质、水动力数据的相关关系，挖掘其数据关系特征。
21.所述步骤2)中，对数据进行预处理具体包括以下步骤：
22.判断当日数据是否为空，若为空则按照起始时间给出一天的空数据组并退出数据清洗流程；
23.按照时间先后顺序，对数据进行升序排序；
24.根据时间变量，对数据进行去重；
25.对当日及历史数据，以线性回归法进行初步填补。
26.所述步骤2)中，判断能否满足第一清洗策略要求具体为：
27.判断1：判断当日有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断2；
28.判断2：判断历史有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断3；
29.判断3：判断当日前一周有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则满足第一清洗策略要求。
30.所述步骤3)中，使用第一清洗策略进行数据清洗包括以下步骤：
31.步骤3-1)对历史数据使用优化后的stl时序分解方法进行清洗；
32.步骤3-2)基于步骤3-1)清洗后的历史数据，对当日数据使用优化后的stl时序分解方法进行清洗；
33.步骤3-3)基于stl时序分解清洗后的历史数据与当日数据，使用优化后的密度聚类方法对当日数据进行二次清洗。
34.所述优化后的stl时序分解方法具体为：
35.构建优化后的局部加权回归法，以反向最近邻个数替代拟合点的k近邻域：
36.设点x的反向最近邻为dk(x)＝d，d满足以下条件：
37.(1)d∈x|{x}
38.(2)
39.其中nk(x)为点x的k近邻域，将d进行二阶局部加权线性回归以完成loess的平滑目标；
40.基于优化后的局部加权回归法进行stl分解，将原始监测数据序列分解为趋势序列、周期序列及残差序列：
41.yi＝ti+si+ri42.其中，yi(i＝1，2，...，n)为原始数据序列，si(i＝1，2，...，n)为周期序列，ti(i＝1，2，...，n)为趋势序列，ri(i＝1，2，...，n)为残差序列；
43.通过设定两重邻域阈值判断法对残差序列进行判断得到异常数据，其中，第一重判断为：
[0044][0045]
th
max
＝μ+a*σ
[0046]
th
min
＝μ-b*σ
[0047]
其中，μ为残差项的平均值，σ为残差项的标准差，th
max
为第一层残差判断阈值上限，th
min
为第一层残差判断阈值下限，a与b为第一层判断变量；
[0048]
当yi超出阈值上限或下限时，将该值设定为初步异常值q，并设定第二层残差判断阈值对其领域内数据进行第二步判定：
[0049][0050]
th
max
＝μ+a*σ
[0051]
th
min
＝μ-b*σ
[0052]
其中th
max
为第二层残差判断阈值上限，th
min
为第二层残差判断阈值下限，a与b为第二层判断变量，h为异常影响时间。
[0053]
所述步骤3-3)中，优化后的密度聚类方法包括以下步骤：
[0054]
步骤3-3-1)以原始监测数据、趋势序列ti与周期序列si构建密度聚类相似度矩阵m
tr
；
[0055]
步骤3-3-2)以遗传算法及反向最近邻方法优化初始点选择：
[0056]
设m
tr
中每个点x的反向最近邻为dk(x)＝d，并计算x的k个近邻的距离v
k，x
以及距离之和v
x
，将其放入矩阵中构建反向最近邻相似度矩阵rk；
[0057]
构建遗传算法初始种群，设定交叉概率pc，变异概率pn，种群大小n，停止迭代条件δ，采用二进制编码生成n个个体：
[0058][0059]
l＝c*j
[0060]
其中，m为聚类中心任意一位数的十进制形式，y为8位的编码结果，r为m的定义域阈值，q为异常数据影响变量，由异常数据特征决定，l为总编码长度，c为聚类中心数，j为特征维度；
[0061]
采用目标适应度函数为：
[0062][0063]
其中init为聚类中心，f(init)为聚类中心适应度，ni(init)为init的i近邻域数值个数；
[0064]
使用遗传算法进行迭代优化，当f(init)≤δ时达到停止迭代条件，输出初始点优化结果；
[0065]
步骤3-3-3)通过密度聚类算法，将和初始点属于同一类的数据划为同一个簇；
[0066]
步骤3-3-4)重复步骤3-3-2)-步骤3-3-3)，对剩余点进行聚类；
[0067]
步骤3-3-5)将未加入任何簇类的样本点记为异常数据点，对异常数据点进行清洗，用周期分量与趋势分量相加进行重新构造。
[0068]
所述步骤4)中，使用第二清洗策略进行数据清洗具体为：
[0069]
对输入的每个数据点xi，计算前后h时间内的平均值μi，进行如下不等式判断：
[0070][0071]
其中，为均值清洗判断阈值最小值，为均值清洗阈值判断最大值，h为异常影响时间；
[0072]
若上述不等式不成立，则判断该点数据为异常数据点，对异常数据点用平均值数据进行重新构造。
[0073]
所述步骤5)中，对清洗结果按清洗策略进行标注具体为：
[0074]
将判定为正常且无需填补的数据点标注为cleantag.no_fill；
[0075]
将判定为需要填补的数据点标注为cleantag.fill；
[0076]
将第一清洗策略清洗的数据点标注为cleantag.algorithm；
[0077]
将第二清洗策略清洗的数据点标注为cleantag.statistic。
[0078]
与现有技术相比，本发明具有以下有益效果：
[0079]
(1)本发明能够应用于长期监测的在线监测数据，对于数据量庞大的输入来源，也能实现自动化的滚动数据清洗。
[0080]
(2)本发明对于常规监测情况下的数据，通过使用第一清洗策略能够高效准确地判断并清洗数据中存在的异常数据，保证了水质监测数据的准确性，提高了水资源管理的效率。并且基于数据分类及异常数据特征的参数选择提升了方法的性能，保证了本发明的泛用性。
[0081]
(3)本发明对于非常规监测情况下的数据，通过使用第二清洗策略保障了实际运行过程中数据的连续性和完整性，使方案整体更为可靠且保证了水资源管理的安全稳定运行。
[0082]
(4)本发明对数据驳杂的水质、水动力监测数据首先进行分类，根据分类结果分别进行数据清洗，为后续两种策略的判断提供了基础，提高了数据清洗的准确性。
附图说明
[0083]
图1为本发明的方法流程图；
[0084]
图2为本发明判断能否满足第一清洗策略要求的流程图。
具体实施方式
[0085]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0086]
本实施例提供一种面向在线水质、水动力监测数据的滚动数据清洗方法，如图1所示，包括以下步骤：
[0087]
步骤1)获取在线监测的历史及当天的水质、水动力数据，并根据数据类型将获取到的数据进行分类整理。
[0088]
本实施例采用某水库长期在线监测数据作为待清洗数据，每日定时从该水库数据库中取出各个站点的水质、水动力在线监测数据，分别取出了当日监测数据及当日之前一个月的历史监测数据。
[0089]
根据数据类型将获取到的数据进行分类整理包括：
[0090]
将监测数据按水动力数据与水质数据进行分类；
[0091]
根据监测数据所属不同监测点位进行具体分类；
[0092]
根据监测数据本身是否为连贯数据进行分类；
[0093]
将监测数据中会受到特定情况影响的数据按具体情况进行分类。
[0094]
本实施例中，对取出监测数据进行分类，首先需要对监测点位进行分类，如该水库共有五个固定监测站点、三个固定桩监测站点、六个浮筒、七个氯化物监测浮筒和两个泵站监测点；进一步需要对监测数据种类进行划分，如该水库日常监测浊度、溶解氧等常规水质指标和水位、流量等水动力指标；水动力数据中，泵站的流量由于为非连贯数据，需要单独与泵站开庭信号绑定进行数据清洗；水质数据中，氯化物数据由于受到特定季节的咸潮影响，也需要单独进行数据清洗。
[0095]
步骤2)针对每种类型的监测数据，挖掘异常数据特征，对数据进行预处理并判断能否满足第一清洗策略要求。
[0096]
首先，对各数据进行异常数据的特征挖掘，对不同站点、指标下异常数据的时长趋势、起因和多数据相关性进行分析，为后期清洗方法的建立提供基础。
[0097]
本实施例中，对于每种类型的监测数据挖掘的异常数据特征至少包括下述特征中的一种：
[0098]
i)根据异常数据持续时长与变化趋势，分析其类型属于短期跳变、长期跳变或长期渐变异常，挖掘其时长趋势特征；
[0099]
ii)根据导致异常数据发生的原因，结合监测仪器特性、数据传输偏差和管理方维护频率因素进行分析，挖掘其起因特征；
[0100]
iii)根据原始数据与其他水质、水动力数据的相关关系，挖掘其数据关系特征。
[0101]
其次，对数据进行预处理，具体包括以下步骤：
[0102]
s1：判断当日数据是否为空，若为空则按照起始时间给出一天的空数据组并退出数据清洗流程，避免数据空置的情况。
[0103]
s2：针对监测数据中时间重复及顺序错乱的问题，按照时间先后顺序，对数据进行升序排序，并根据时间变量，对数据进行去重，保证后续清洗方法实施的稳定性。
[0104]
s3：针对监测数据中的缺失数据，对当日及历史数据，使用python以线性回归法进行初步填补，保证后续清洗方法的顺利实施。
[0105]
本发明使用第一清洗策略与第二清洗策略协同完成滚动数据清洗，其中第二清洗策略是针对第一清洗策略无法完成或效果较差的情况下进行的一个保障性清洗策略。要确定选用哪种策略，首先需判断能否满足第一清洗策略要求，如图2所示，判断方法具体为：
[0106]
判断1：判断当日有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断2；
[0107]
判断2：判断历史有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断3；
[0108]
判断3：判断当日前一周有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则满足第一清洗策略要求。
[0109]
步骤3)对满足第一清洗策略要求的数据，使用第一清洗策略进行数据清洗，其中，第一清洗策略利用优化后的stl时序分解清洗对历史数据进行初步清洗，进一步对清洗后历史数据与当日数据进行清洗。在此基础上使用优化后的密度聚类法对当日数据进行清洗，达到较好的清洗效果。
[0110]
步骤3-1)对历史数据使用优化后的的基于局部加权回归的季节性趋势(seasonal-trend decomposition procedure based on loess,stl)时序分解方法进行清洗。
[0111]
优化后的stl时序分解方法具体为：
[0112]
构建优化后的局部加权回归法(locally weighted regression，loess)，以反向最近邻个数替代拟合点的k近邻域：
[0113]
设点x的反向最近邻为dk(x)＝d，d满足以下条件：
[0114]
(1)d∈x|{x}
[0115]
(2)
[0116]
其中nk(x)为点x的k近邻域，将d进行二阶局部加权线性回归以完成loess的平滑目标；
[0117]
基于优化后的局部加权回归法进行stl分解，将原始监测数据序列分解为趋势序列、周期序列及残差序列：
[0118]
yi＝ti+si+ri[0119]
其中，yi(i＝1，2，...，n)为原始数据序列，si(i＝1，2，...，n)为周期序列，ti(i＝1，2，...，n)为趋势序列，ri(i＝1，2，...，n)为残差序列；
[0120]
通过设定两重邻域阈值判断法对残差序列进行判断得到异常数据，其中，第一重判断为：
[0121][0122]
th
max
＝μ+a*σ
[0123]
th
min
＝u-b*σ
[0124]
其中，μ为残差项的平均值，σ为残差项的标准差，th
max
为第一层残差判断阈值上限，th
min
为第一层残差判断阈值下限，a与b为第一层判断变量；
[0125]
当yi超出阈值上限或下限时，将该值设定为初步异常值q，并设定第二层残差判断阈值对其领域内数据进行第二步判定：
[0126][0127]
th
max
＝μ+a*σ
[0128]
th
min
＝μ-b*σ
[0129]
其中th
max
为第二层残差判断阈值上限，th
min
为第二层残差判断阈值下限，a与b为
第二层判断变量，h为异常影响时间。
[0130]
步骤3-2)基于步骤3-1)清洗后的历史数据，使用python对当日数据使用优化后的stl时序分解方法进行清洗。
[0131]
步骤3-3)基于stl时序分解清洗后的历史数据与当日数据，基于python使用优化后的密度聚类方法(density-based spatial clustering of applications with noise，dbscan)对当日数据进行二次清洗。
[0132]
步骤3-3-1)以原始监测数据、趋势序列ti与周期序列si构建密度聚类相似度矩阵m
tr
；
[0133]
步骤3-3-2)以遗传算法及反向最近邻方法优化初始点选择：
[0134]
设m
tr
中每个点x的反向最近邻为dk(x)＝d，并计算x的k个近邻的距离v
k，x
以及距离之和v
x
，将其放入矩阵中构建反向最近邻相似度矩阵rk；
[0135]
构建遗传算法初始种群，设定交叉概率pc，变异概率pn，种群大小n，停止迭代条件δ，采用二进制编码生成n个个体：
[0136][0137]
l＝c*j
[0138]
其中，m为聚类中心任意一位数的十进制形式，y为8位的编码结果，r为m的定义域阈值，q为异常数据影响变量，由异常数据特征决定，l为总编码长度，c为聚类中心数，j为特征维度；
[0139]
采用目标适应度函数为：
[0140][0141]
其中init为聚类中心，f(init)为聚类中心适应度，ni(init)为init的i近邻域数值个数；
[0142]
使用遗传算法进行迭代优化，当f(init)≤δ时达到停止迭代条件，输出初始点优化结果；
[0143]
步骤3-3-3)通过dbscan算法，将和初始点属于同一类的数据划为同一个簇；
[0144]
步骤3-3-4)重复步骤3-3-2)-步骤3-3-3)，对剩余点进行聚类。
[0145]
步骤3-3-5)将未加入任何簇类的样本点记为异常数据点，对异常数据点进行清洗，对异常数据点用周期分量与趋势分量相加进行重新构造。
[0146]
本实施例中，上述stl时序分解方法和密度聚类方法中的变量设置根据所属数据分类及异常数据特征共同决定。具体的，stl时序分解的周期大小、残差判断阈值变量及密度聚类法中距离阈值及邻域样本数阈值变量通过数据分类和异常数据特征挖掘共同决定。
[0147]
在一种实施例中，密度聚类优化过程中的异常数据影响变量q由异常数据特征决定，若监测数据中异常数据主要为短时跳变数据，则设q为0.5；若主要为长时渐变数据，则设q为2；若主要为混合型异常数据，则设q为1。
[0148]
步骤4)对不满足第一清洗策略要求的数据，使用第二清洗策略进行数据清洗，其中，第二清洗策略基于均值清洗构建。
[0149]
本实施例中，使用第二清洗策略进行数据清洗具体为：
[0150]
对输入的每个数据点xi，计算前后h时间内的平均值μi，进行如下不等式判断：
[0151][0152]
其中，为均值清洗判断阈值最小值，为均值清洗阈值判断最大值，h为异常影响时间；
[0153]
若上述不等式不成立，则判断该点数据为异常数据点，对异常数据点用平均值数据进行重新构造。
[0154]
一种实施例中，均值清洗判断阈值由数据分类和异常数据特征挖掘共同决定。
[0155]
步骤5)对清洗结果按清洗策略进行标注，上传至数据库中。
[0156]
具体的，将判定为正常且无需填补的数据点标注为cleantag.no_fill；将判定为需要填补的数据点标注为cleantag.fill；将第一清洗策略清洗的数据点标注为cleantag.algorithm；将第二清洗策略清洗的数据点标注为cleantag.statistic。
[0157]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

技术特征：
1.一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，包括以下步骤：步骤1)获取在线监测的历史及当天的水质、水动力数据，并根据数据类型将获取到的数据进行分类整理；步骤2)针对每种类型的监测数据，挖掘异常数据特征，对数据进行预处理并判断能否满足第一清洗策略要求；步骤3)对满足第一清洗策略要求的数据，使用第一清洗策略进行数据清洗，其中第一清洗策略基于stl时序分解和密度聚类构建，其变量设置根据所属数据分类及异常数据特征共同决定；步骤4)对不满足第一清洗策略要求的数据，使用第二清洗策略进行数据清洗，其中，第二清洗策略基于均值清洗构建，其变量设置根据所属数据分类及异常数据特征共同决定；步骤5)对清洗结果按清洗策略进行标注，上传至数据库中。2.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤1)中，根据数据类型将获取到的数据进行分类整理包括：将监测数据按水动力数据与水质数据进行分类；根据监测数据所属不同监测点位进行具体分类；根据监测数据本身是否为连贯数据进行分类；将监测数据中会受到特定情况影响的数据按具体情况进行分类。3.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤2)中，对于每种类型的监测数据挖掘的异常数据特征至少包括下述特征中的一种：i)根据异常数据持续时长与变化趋势，分析其类型属于短期跳变、长期跳变或长期渐变异常，挖掘其时长趋势特征；ii)根据导致异常数据发生的原因，结合监测仪器特性、数据传输偏差和管理方维护频率因素进行分析，挖掘其起因特征；iii)根据原始数据与其他水质、水动力数据的相关关系，挖掘其数据关系特征。4.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤2)中，对数据进行预处理具体包括以下步骤：判断当日数据是否为空，若为空则按照起始时间给出一天的空数据组并退出数据清洗流程；按照时间先后顺序，对数据进行升序排序；根据时间变量，对数据进行去重；对当日及历史数据，以线性回归法进行初步填补。5.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤2)中，判断能否满足第一清洗策略要求具体为：判断1：判断当日有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断2；判断2：判断历史有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则进行判断3；
判断3：判断当日前一周有效数据量是否小于应得量的50％，若是则不满足第一清洗策略要求，若否则满足第一清洗策略要求。6.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤3)中，使用第一清洗策略进行数据清洗包括以下步骤：步骤3-1)对历史数据使用优化后的stl时序分解方法进行清洗；步骤3-2)基于步骤3-1)清洗后的历史数据，对当日数据使用优化后的stl时序分解方法进行清洗；步骤3-3)基于stl时序分解清洗后的历史数据与当日数据，使用优化后的密度聚类方法对当日数据进行二次清洗。7.根据权利要求6所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述优化后的stl时序分解方法具体为：构建优化后的局部加权回归法，以反向最近邻个数替代拟合点的k近邻域：设点x的反向最近邻为d
k
(x)＝d，d满足以下条件：(1)d∈x|{x}(2)其中n
k
(x)为点x的k近邻域，将d进行二阶局部加权线性回归以完成loess的平滑目标；基于优化后的局部加权回归法进行stl分解，将原始监测数据序列分解为趋势序列、周期序列及残差序列：y
i
＝t
i
+s
i
+r
i
其中，y
i
(i＝1，2，...，n)为原始数据序列，s
i
(i＝1，2，...，n)为周期序列，t
i
(i＝1，2，...，n)为趋势序列，r
i
(i＝1，2，...，n)为残差序列；通过设定两重邻域阈值判断法对残差序列进行判断得到异常数据，其中，第一重判断为：th
max
＝μ+a*σth
min
＝μ-b*σ其中，μ为残差项的平均值，σ为残差项的标准差，th
max
为第一层残差判断阈值上限，th
min
为第一层残差判断阈值下限，a与b为第一层判断变量；当y
i
超出阈值上限或下限时，将该值设定为初步异常值q，并设定第二层残差判断阈值对其领域内数据进行第二步判定：th
max
＝μ+a*σth
min
＝μ-b*σ其中th
max
为第二层残差判断阈值上限，th
min
为第二层残差判断阈值下限，a与b为第二层判断变量，h为异常影响时间。8.根据权利要求7所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其
特征在于，所述步骤3-3)中，优化后的密度聚类方法包括以下步骤：步骤3-3-1)以原始监测数据、趋势序列t
i
与周期序列s
i
构建密度聚类相似度矩阵m
tr
；步骤3-3-2)以遗传算法及反向最近邻方法优化初始点选择：设m
tr
中每个点x的反向最近邻为d
k
(x)＝d，并计算x的k个近邻的距离v
k，x
以及距离之和v
x
，将其放入矩阵中构建反向最近邻相似度矩阵r
k
；构建遗传算法初始种群，设定交叉概率p
c
，变异概率p
n
，种群大小n，停止迭代条件δ，采用二进制编码生成n个个体：l＝c*j其中，m为聚类中心任意一位数的十进制形式，y为8位的编码结果，r为m的定义域阈值，q为异常数据影响变量，由异常数据特征决定，l为总编码长度，c为聚类中心数，j为特征维度；采用目标适应度函数为：其中init为聚类中心，f(init为聚类中心适应度，n
i
(init)为init的i近邻域数值个数；使用遗传算法进行迭代优化，当f(init≤δ时达到停止迭代条件，输出初始点优化结果；步骤3-3-3)通过密度聚类算法，将和初始点属于同一类的数据划为同一个簇；步骤3-3-4)重复步骤3-3-2)-步骤3-3-3)，对剩余点进行聚类；步骤3-3-5)将未加入任何簇类的样本点记为异常数据点，对异常数据点进行清洗，用周期分量与趋势分量相加进行重新构造。9.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤4)中，使用第二清洗策略进行数据清洗具体为：对输入的每个数据点x
i
，计算前后h时间内的平均值μ
i
，进行如下不等式判断：其中，为均值清洗判断阈值最小值，为均值清洗阈值判断最大值，h为异常影响时间；若上述不等式不成立，则判断该点数据为异常数据点，对异常数据点用平均值数据进行重新构造。10.根据权利要求1所述的一种面向在线水质、水动力监测数据的滚动数据清洗方法，其特征在于，所述步骤5)中，对清洗结果按清洗策略进行标注具体为：将判定为正常且无需填补的数据点标注为cleantag.no_fill；将判定为需要填补的数据点标注为cleantag.fill；将第一清洗策略清洗的数据点标注为cleantag.algorithm；将第二清洗策略清洗的数据点标注为cleantag.statistic。

技术总结
本发明涉及一种面向在线水质、水动力监测数据的滚动数据清洗方法，包括以下步骤：获取在线监测的历史及当天的水质、水动力数据，并根据数据类型将获取到的数据进行分类整理；针对每种类型的监测数据，挖掘异常数据特征，对数据进行预处理并判断能否满足第一清洗策略要求；若满足第一清洗策略要求，则使用优化后的STL时序分解清洗与密度聚类法对进行数据清洗，并用时序分解后的趋势分量与周期分量之和对异常数据进行重构，否则使用均值清洗法进行数据清洗；对清洗结果按清洗策略进行标注，上传至数据库中。与现有技术相比，本发明考虑了在线监测数据和异常数据的特性，通过两种清洗策略协同的方式，提高了数据质量并保障了监测数据的完整性。数据的完整性。数据的完整性。


技术研发人员：张海平 宋辰煜 崔婧嫄 瞿尧 崔亚飞 张晟
受保护的技术使用者：同济大学
技术研发日：2023.06.14
技术公布日：2023/8/31