异常数据检测方法、装置、电子设备和存储介质与流程
未命名
07-15
阅读:86
评论:0

1.本发明涉及水文气象技术领域,具体涉及一种异常数据检测方法、装置、电子设备和存储介质。
背景技术:
2.高寒地区流域水文过程对气候变化十分敏感。目前高寒地区降水估计受限于地面观测站点个数、遥感卫星数据质量、模型模拟方案选择等原因,数据质量存在较大波动,一定程度上影响着水文气象研究。因此,需要对降水数据进行校正。现有技术中,针对高寒流域的降水异常检测方法大多依赖于针对地面气象站点的插值算法得到的流域降水数据进行估计,然而由于高寒地区复杂的地貌类型,通过插值算法并不能准确的对流域的降水进行估计,从而降低了对原始流域降水进行异常检测的准确度。
技术实现要素:
3.有鉴于此,本发明实施方式提供了一种异常数据检测方法、装置、电子设备和存储介质,能够在一定程度上提升对原始流域降水数据进行异常检测的准确度。
4.本发明一方面提供了一种异常数据检测方法,所述方法包括:获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据;基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据;若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。
5.在一个实施方式中,将所述原始流域降水数据判定为异常数据,包括:计算各个时段的流域降水估算数据的标准差;若原始流域降水数据和与所述原始流域降水数据的时段对应的流域降水估算数据的差的绝对值大于所述标准差,将所述原始流域降水数据判定为异常数据。
6.在一个实施方式中,异常数据检测方法还包括:若原始流域降水和与所述原始流域降水数据的时段对应的流域降水估算数据的差大于所述标准差,将所述流域降水估算数据与所述标准差之和作为所述时段的目标流域降水数据;若原始流域降水和与所述原始流域降水数据的时段对应的流域降水估算数据的差小于所述标准差的相反数,将所述流域降水估算数据与所述标准差之差作为所述时段的目标流域降水数据;若原始流域降水数据和与所述原始流域降水数据的时段对应的流域降水估算数据的差的绝对值小于或等于所述标准差,将所述原始流域讲述数据作为所述时段的目标流域降水数据。
7.在一个实施方式中,所述时段按照月份进行划分,异常数据检测方法还包括:计算所述预设时间序列中各个月份相同时段的原始流域降水数据的月尺度原始降水平均值,以及计算所述预设时间序列中各个月份相同时段的流域降水估算数据的月尺度估算降水平均值;计算各个月份的月尺度估算降水平均值和月尺度原始降水平均值的比值,得到各个月份的量级校正系数;将所述预设时间序列中各个时段的目标流域降水数据和与所述目标
流域降水数据对应月份的量级校正系数的乘积作为预设时间序列中各个时段的量级校正降水数据。
8.在一个实施方式中,异常数据检测方法还包括:计算所述预设时间序列中各个时段的量级校正降水数据的百分比位次;若所述预设时间序列中量级校正降水数据对应时段的目标流域降水数据小于或等于所述量级校正降水数据,且所述量级校正降水数据的百分比位次在预设范围内,将所述目标流域降水数据作为所述时段的峰值校正降水数据;若所述量级校正降水序列中量级校正降水数据的百分比位次不处于所述预设范围内,将所述量级校正降水数据作为所述时段的峰值校正降水数据。
9.在一个实施方式中,获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据,包括:获取预设时间序列中针对目标流域的蒸散发栅格数据、地表水储量变化栅格数据、原始流域降水栅格数据,以及获取预设时间序列中各个时段的地表径流数据;将所述蒸散发栅格数据按照所述时段进行聚合处理,得到目标蒸散发栅格数据,以及将所述地表水储量变化栅格数据按照所述时段进行聚合处理,得到目标地表水储量变化数据;以及将所述原始流域降水栅格数据按照所述时段进行聚合处理,得到目标原始流域降水栅格数据;基于所述目标蒸散发栅格数据计算所述目标流域的蒸散发数据,以及基于所述目标地表水储量变化数据计算所述目标流域的地表水储量变化数据;以及基于所述目标原始流域降水栅格数据计算所述目标流域的原始流域降水数据。
10.在一个实施方式中,基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据,包括:基于所述地表径流数据确定目标流域的径流深度数据;将针对同一个时段的蒸散发数据、地表水储量数据、径流深度数据相加,得到流域降水估算数据。
11.本发明另一方面还提供了一种异常数据检测装置,所述异常数据检测装置包括:数据获取单元,用于获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据;流域降水估算单元,用于基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据;异常判定单元,用于若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。
12.本发明另一方面还提供了一种电子设备,所述电子设备装置包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的异常数据检测方法。
13.本发明另一方面还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现上述的异常数据检测方法。
14.通过获取目标流域的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据,然后基于水量平衡原理,即基于蒸散发数据、地表径流数据和地表水储量变化数据对降水量进行估算,得到流域降水估算数据,然后将流域降水估算数据和原始流域降水数据进行对比,若两者的差异大于预设阈值,则将该时段的原始流域降水数据判定为异常数据,从而可以在一定程度上提升对原始流域降水数据异常判定的准确度。
附图说明
15.通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:
16.图1示出了本发明一个实施方式中异常数据检测方法的步骤示意图;
17.图2示出了本发明一个实施方式中水量平衡原理中不同分量的水量变化图;
18.图3示出了本发明一个实施方式中基于水量平衡原理计算得到的流域降水估算数据变化图;
19.图4示出了本发明一个实施方式中经过异常校正得到的目标流域降水数据变化图;
20.图5(a)示出了本发明一个实施方式中流域降水估算数据与原始流域降水数据的月际变化图;
21.图5(b)示出了本发明一个实施方式中经过量级校正得到的量级校正降水数据变化图;
22.图6示出了本发明一个实施方式中经过峰值校正得到的峰值校正降水数据变化图;
23.图7示出了本发明一个实施方式中异常数据检测装置示意图;
24.图8示出了本发明一个实施方式中电子设备的结构示意图。
具体实施方式
25.为使本发明实施方式的目的、技术方案和优点更加清楚,下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
26.降水是全球水循环过程中的关键过程,准确的降水数据能够有效提高水文模型、陆面过程模型模拟的精度。高寒地区流域由于地形复杂、气候条件恶劣,限制了气象站点的建设与维护,观测资料十分缺乏。此外,高寒地区流域水文过程对气候变化十分敏感,尤其是在全球变暖背景下,高寒流域的水循环过程加快。目前高寒地区降水估计受限于地面观测站点个数、遥感卫星数据质量、模型模拟方案选择等原因,数据质量存在较大波动,一定程度上影响着水文气象研究。遥感卫星技术和多源融合方法的发展为高质量降水产品提供了可能,但现有的降水产品在高寒流域驱动径流模拟时仍然表现不佳。已有的降水校正方法多依赖于针对地面气象站点的插值算法,因此,需要提出一种能够提升流域降水数据异常检测准确性的方法,以及流域校正流域降水数据的方法,从而为研究高寒地区的气候变化提供依据。
27.请参阅图1,本技术一个实施方式提供的异常数据检测方法,该方法可以包括以下多个步骤。
28.s110:获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据。
29.在本实施方式中,水量平衡即在给定任意尺度的时域空间中,水的运动(包括相
变)有连续性,在数量上保持着收支平衡。因此,可以通过蒸发、径流、地表水的变化等对降水量进行估算。
30.在本实施方式中,所述蒸散发数据用于表示在一定的时间和空间尺度上水的蒸腾量。所述地表水储量变化数据用于表示地表水在一定时间和空间尺度上蓄水量的变化。所述地表径流数据用于表示流域水文站点观测到的整个流域的径流量数据。所述原始流域降水数据用于流域在一定的时间和空间尺度上的降水量。其中,蒸散发数据、地表水储量变化数据、原始流域降水数据都可以用长度计量单位进行衡量。而地表径流数据为流域出水口水文站点监测到的数据,其用体积计量单位进行衡量。基于水量平衡原理的计算过程需要将各个物理量的参数进行统一,因此,可以将地表径流数据除以流域面积,从而得到的径流深度数据,以统一各个物理量的参数,从而可以基于水量平衡的原理进行估算。
31.在本实施方式中,所述预设时间序列可以是一个长时间序列,所述各个时段可以是对长时间序列进行划分得到的。具体的,例如,请参阅图2,预设时间序列是20年,可以将20年的时间按照月份进行划分,然后可以统计这20年内每个月的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据。
32.s120:基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据。
33.请参阅图3,在本实施方式中,通过对上述步骤中得到的针对各个时段的蒸散发数据、地表水储量变化数据和与地表径流数据对应的径流深度数据进行累加运算,从而得到预设时间序列中各个时段的基于水量平衡原理计算得到的流域降水估算数据。具体的,例如,月尺度的蒸散发数据etr、地表水储量变化数据tg,以及地表径流数据对应的径流深度数据ro进行降水估算,具体计算方法如下:
[0034][0035]
其中为第i个月份由水量平衡原理得到的流域降水估算数据,i=1,2,
…
,n,n为预设时间序列中月份个数,为第个月份的径流深度数据,为i个月份的蒸散发数据,为第i个月份地表水储量变化数据。
[0036]
s130:若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。
[0037]
在本实施方式中,由于原始流域降水数据可以是通过气象站点数据的降水量经过插值计算得到的整个流域降水的准确度,然后再对流域内各个格网单元的加权平均处理得到的。然而,由于高寒区域地形复杂多变,气象站点稀少,从而由插值得到的降水数据的统计可能存在着较大的误差。原始流域降水数据还可以是针对遥感卫星观测数据在该流域内各个格网单元的加权平均处理得到的。然而,由于卫星观测数据受到电离辐射、大气厚度等因素的影响,其数据质量也可能存在一定程度的偏差。因此,可以通过水量平衡原理对预设时间序列中同一时段的原始流域降水数据中的异常值进行检测,对于原始流域降水数据和基于水量平衡原理估算得到的流域降水估算数据进行对比,若两者之间的数据差异超过了设定的阈值,则可以该时段的原始流域降水数据判定为异常数据。
[0038]
在一个实施方式中,将所述原始流域降水数据判定为异常数据,可以包括:计算各
个时段的流域降水估算数据的标准差;若原始流域降水数据和与所述原始流域降水数据的时段对应的流域降水估算数据的差的绝对值大于所述标准差,将所述原始流域降水数据判定为异常数据。
[0039]
在本实施方式中,标准差是在概率统计中最常使用作为统计分布程度(statistical dispersion)上的测量。标准差定义是总体各单位标准值与其平均数离差平方的算术平均数的平方根。它反映组内个体间的离散程度。标准差是一组数据平均值分散程度的一种度量。一个较大的标准差,代表大部分数值和其平均值之间差异较大;一个较小的标准差,代表这些数值较接近平均值。因此,可以将预设时间序列中各个时段的流域进行标准差计算得到的标准差作为约束条件,将原始流域降水数据和基于水量平衡原理估算得到的流域降水估算数据之间的差异大于该标准差的情况下,将该原始流域降水数据判定为异常数据。
[0040]
在一个实施方式中,若原始流域降水和与所述原始流域降水数据的时段对应的流域降水估算数据的差大于所述标准差,将所述流域降水估算数据与所述标准差之和作为所述时段的目标流域降水数据;若原始流域降水和与所述原始流域降水数据的时段对应的流域降水估算数据的差小于所述标准差的相反数,将所述流域降水估算数据与所述标准差之差作为所述时段的目标流域降水数据;若原始流域降水数据和与所述原始流域降水数据的时段对应的流域降水估算数据的差的绝对值小于或等于所述标准差,将所述原始流域讲述数据作为所述时段的目标流域降水数据。
[0041]
在本实施方式中,若检测到原始流域降水数据存在异常,还需要对异常数据进行校正,使得校正后的流域降水数据符合预期,从而为高寒流域的气候变化研究提供数据支撑。具体的,例如,将上述步骤中得到的流域降水估算数据的标准差记为目标流域降水记为则目标流域降水的表达式可以概括为:
[0042][0043]
请参阅图4,对20年的原始流域降水数据以流域降水估算数据的标准差作为约束条件,得到这20年的目标流域降水变化图。
[0044]
在一个实施方式中,所述时段按照月份进行划分,异常数据检测方法还可以包括:计算所述预设时间序列中各个月份相同时段的原始流域降水数据的月尺度原始降水平均值,以及计算所述预设时间序列中各个月份相同时段的流域降水估算数据的月尺度估算降水平均值;计算各个月份的月尺度估算降水平均值和月尺度原始降水平均值的比值,得到各个月份的量级校正系数;将所述预设时间序列中各个时段的目标流域降水数据和与所述目标流域降水数据对应月份的量级校正系数的乘积作为预设时间序列中各个时段的量级校正降水数据。
[0045]
请参阅图5(a)和图5(b),在本实施方式中,对于通过上述实施方式得到的目标流域降水数据可能还存在着一定的偏差,因此,可以通过考虑季节性的降水偏差对目标流域降水数据进一步的进行校正。具体的,例如,首先,通过分别计算流域降水估算数据与原始
流域降水数据的月际变化(如图5(a)所示),并用流域降水估算数据除以原始流域降水数据,得到各个月份的量级校正系数,然后将各个月份的目标流域降水数据作为输入变量,并乘以对应月份的量级校正系数,得到经过量级校正的量级校正降水数据(如图5(b)所示)。
[0046]
在一个实施方式中,异常数据检测方法还可以包括:计算所述预设时间序列中各个时段的量级校正降水数据的百分比位次;若所述预设时间序列中量级校正降水数据对应时段的目标流域降水数据小于或等于所述量级校正降水数据,且所述量级校正降水数据的百分比位次在预设范围内,将所述目标流域降水数据作为所述时段的峰值校正降水数据;若所述量级校正降水序列中量级校正降水数据的百分比位次不处于所述预设范围内,将所述量级校正降水数据作为所述时段的峰值校正降水数据。
[0047]
请参阅图6,在本实施方式中,除了对原始降水数据按照水量平衡原理进行约束以外,还需要对其降水峰值进行约束。降水峰值的约束方法可以通过百分比校正法进行。可以对预设时间序列中各个时段的量级校正降水数据进行排序,并计算各个量级校正降水数据的百分比位次,然后将百分比位次在预设范围的量级校正降水数据作为待峰值校正的量级降水数据。然后,采用基于水量平衡原理得到的目标流域降水数据进行峰值约束。当待峰值校正的量级降水数据大于目标流域降水数据,将峰值校正降水数据设置为目标流域降水数据;当待峰值校正的量级降水数据小于或等于目标流域降水数据,则无需进行峰值校正。具体的,例如:
[0048][0049]
其中,为峰值校正降水数据;为待峰值校正的量级降水数据;为与待峰值校正的量级降水数据对应时段的目标流域降水数据。具体的,例如,将各个量级校正降水数据从高至低进行排序,将其百分比位次大于或等于前5%,以及小于或等于后5%这个阈值范围的量级校正降水数据作为待峰值校正的量级降水数据。然后将这些待峰值校正的量级降水数据与对应时段的目标流域降水数据进行对比,若待峰值校正的量级降水数据大于对应时段的目标流域降水数据,则用目标流域降水数据作为该时段的峰值校正降水数据;若待峰值校正的量级降水数据小于或等于对应时段的目标流域降水数据,则该时段的峰值校正降水数据为量级校正降水数据。
[0050]
通过基于水量平衡原理对多源数据进行融合得到的流域降水数据对原始流域降水数据进行约束,并在此基础上采用量级校正以及峰值校正的方法目标流域降水数据进一步的约束,可以在一定程度上提升对原始流域降水数据校正的准确度,从而为高寒地区水文模型、陆面过程模型模拟等的研究提供精确的数据支持。
[0051]
在一个实施方式中,获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据,可以包括:获取预设时间序列中针对目标流域的蒸散发栅格数据、地表水储量变化栅格数据、原始流域降水栅格数据,以及获取预设时间序列中各个时段的地表径流数据;将所述蒸散发栅格数据按照所述时段进行聚合处理,得到目标蒸散发栅格数据,以及将所述地表水储量变化栅格数据按照所述时段进行聚合处理,得到目标地表水储量变化数据;以及将所述原始流域降水栅格数据按照所述时段进行聚合处理,得到目标原始流域降水栅格数据;基于所述目标蒸散发栅格数据计算所述目标
流域的蒸散发数据,以及基于所述目标地表水储量变化数据计算所述目标流域的地表水储量变化数据;以及基于所述目标原始流域降水栅格数据计算所述目标流域的原始流域降水数据。
[0052]
在本实施方式中,蒸散发栅格数据可以是对下载的在预设时间序列范围内的蒸散发遥感卫星数据按照目标流域的边界进行矢量裁剪得到的。地表水栅格数据可以是对下载的在预设时间序列范围内的地表水储量变化遥感卫星数据按照目标流域的边界进行矢量裁剪得到的。然后,将蒸散发栅格数据按照月尺度进行聚合处理。具体的,例如,可以获取modis(moderate-resolution imaging spectroradiometer)提供的蒸散发数据,空间分辨率为500m,时间分辨率为8天。首先对modis数据按照目标流域的边界进行裁剪,得到蒸散发栅格数据,然后将蒸散发栅格数据按照对应的时段进行归一化聚合处理,得到目标蒸散发栅格数据。然后,对各个时段的目标蒸散发栅格数据进行均值化处理,得到各个时段的蒸散发数据。可以获取grace(gravity recovery and climate experiment)提供的地表水储量变化数据,空间分辨率为0.5
°
,时间分辨率为月尺度。首先对grace数据按照目标流域的边界进行裁剪,得到地表水储量变化栅格数据,然后将地表水储量变化栅格数据按照对应的时段进行归一化聚合处理,得到目标地表水储量变化栅格数据。然后,对各个时段的目标地表水储量变化栅格数据进行均值化处理,得到各个时段的地表水储量变化数据。原始流域降水栅格数据可以是中国区域地面气象要素驱动数据集cmfd(china meteorological forcing dataset),根据流域矢量边界进行数据裁剪,得到目标原始流域降水栅格数据,对各个时段的目标原始流域降水栅格数据进行均值化处理,得到各个时段的目标原始流域降水数据。对于获取的地表径流数据,可以将其按照对应的时段进行聚合处理即可。
[0053]
在一个实施方式中,基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据,可以包括:基于所述地表径流数据确定目标流域的径流深度数据;将针对同一个时段的蒸散发数据、地表水储量数据、径流深度数据相加,得到流域降水估算数据。
[0054]
在本实施方式中,由于流域水文站点数据的单位是立方米/月,它是代表控制流域的径流量。由于当水上涨到一定程度之后,整个流域在月尺度上的变化可以看作是一个柱状体内部的变化,即两个时段的径流数据之间的流域面积的变化不变。然后,将流域水文站点数据除以流域面积可以得到径流深度数据。然后,基于水量平衡原理将蒸散发数据、地表水储量数据、径流深度数据相加,得到各个时段的流域降水估算数据。
[0055]
请参阅图7,本技术的一个实施方式还提供一种异常数据检测装置,所述异常数据检测装置可以包括:数据获取单元、流域降水估算单元、异常判定单元。
[0056]
数据获取单元,用于获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据。
[0057]
流域降水估算单元,用于基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据。
[0058]
异常判定单元,用于若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。
[0059]
关于异常数据检测装置实现的具体功能和效果,可以参照本说明书其他实施方式对照解释,在此不再赘述。所述异常数据检测装置中的各个模块可全部或部分通过软件、硬
件及其组合来实现。所述各模块可以以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0060]
请参阅图8,本技术一个实施方式还提供一种电子设备,所述电子设备包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现上述的异常数据检测方法。
[0061]
其中,处理器可以为中央处理器(central processing unit,cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片,或者上述各类芯片的组合。
[0062]
存储器作为一种非暂态计算机可读存储介质,可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块,如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块,从而执行处理器的各种功能应用以及数据处理,即实现上述方法实施方式中的方法。
[0063]
存储器可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储处理器所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非暂态存储器,例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中,存储器可选包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0064]
本技术一个实施方式还提供一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现上述的异常数据检测方法。
[0065]
本领域普通技术人员可以理解实现所述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如所述各方法的实施方式的流程。其中,本说明书所提供的各实施方式中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。
[0066]
应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0067]
本说明书多个实施方式之间,采用递进的方式进行描述。不同的实施方式着重于描述相较于其它实施方式不相同的部分。所属领域技术人员在阅读本说明书之后,可以获
知本说明书中的多个实施方式,以及实施方式揭示的多个技术特征,可以进行更多种的组合,为使描述简洁,未对所述实施方式中的各个技术特征所有可能的组合都进行描述。然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0068]
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0069]
本说明书中的多个实施方式本身均着重于强调与其他实施方式不同的部分,各实施方式之间可以相互对照解释。所属领域技术人员基于一般的技术常识对本说明书中的多个实施方式的任意组合均涵盖于本说明书的揭示范围内。
[0070]
以上所述仅为本案的实施方式而已,并不用以限制本案的权利要求保护范围。对于本领域技术人员来说,本案可以有各种更改和变化。凡在本案的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本案的权利要求范围之内。
技术特征:
1.一种异常数据检测方法,其特征在于,所述方法包括:获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据;基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据;若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。2.根据权利要求1所述的方法,其特征在于,将所述原始流域降水数据判定为异常数据,包括:计算各个时段的流域降水估算数据的标准差;若原始流域降水数据和与所述原始流域降水数据的时段对应的流域降水估算数据的差的绝对值大于所述标准差,将所述原始流域降水数据判定为异常数据。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:若原始流域降水和与所述原始流域降水数据的时段对应的流域降水估算数据的差大于所述标准差,将所述流域降水估算数据与所述标准差之和作为所述时段的目标流域降水数据;若原始流域降水和与所述原始流域降水数据的时段对应的流域降水估算数据的差小于所述标准差的相反数,将所述流域降水估算数据与所述标准差之差作为所述时段的目标流域降水数据;若原始流域降水数据和与所述原始流域降水数据的时段对应的流域降水估算数据的差的绝对值小于或等于所述标准差,将所述原始流域讲述数据作为所述时段的目标流域降水数据。4.根据权利要求3所述的方法,其特征在于,所述时段按照月份进行划分,所述方法还包括:计算所述预设时间序列中各个月份相同时段的原始流域降水数据的月尺度原始降水平均值,以及计算所述预设时间序列中各个月份相同时段的流域降水估算数据的月尺度估算降水平均值;计算各个月份的月尺度估算降水平均值和月尺度原始降水平均值的比值,得到各个月份的量级校正系数;将所述预设时间序列中各个时段的目标流域降水数据和与所述目标流域降水数据对应月份的量级校正系数的乘积作为预设时间序列中各个时段的量级校正降水数据。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:计算所述预设时间序列中各个时段的量级校正降水数据的百分比位次;若所述预设时间序列中量级校正降水数据对应时段的目标流域降水数据小于或等于所述量级校正降水数据,且所述量级校正降水数据的百分比位次在预设范围内,将所述目标流域降水数据作为所述时段的峰值校正降水数据;若所述量级校正降水序列中量级校正降水数据的百分比位次不处于所述预设范围内,将所述量级校正降水数据作为所述时段的峰值校正降水数据。6.根据权利要求1所述的方法,其特征在于,获取预设时间序列中各个时段的蒸散发数
据、地表水储量变化数据、地表径流数据和原始流域降水数据,包括:获取预设时间序列中针对目标流域的蒸散发栅格数据、地表水储量变化栅格数据、原始流域降水栅格数据,以及获取预设时间序列中各个时段的地表径流数据;将所述蒸散发栅格数据按照所述时段进行聚合处理,得到目标蒸散发栅格数据,以及将所述地表水储量变化栅格数据按照所述时段进行聚合处理,得到目标地表水储量变化数据;以及将所述原始流域降水栅格数据按照所述时段进行聚合处理,得到目标原始流域降水栅格数据;基于所述目标蒸散发栅格数据计算所述目标流域的蒸散发数据,以及基于所述目标地表水储量变化数据计算所述目标流域的地表水储量变化数据;以及基于所述目标原始流域降水栅格数据计算所述目标流域的原始流域降水数据。7.根据权利要求1所述的方法,其特征在于,基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据,包括:基于所述地表径流数据确定目标流域的径流深度数据;将针对同一个时段的蒸散发数据、地表水储量数据、径流深度数据相加,得到流域降水估算数据。8.一种异常数据检测装置,其特征在于,所述异常数据检测装置包括:数据获取单元,用于获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据;流域降水估算单元,用于基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据;异常判定单元,用于若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。9.一种电子设备,其特征在于,所述电子设备装置包括处理器和存储器,所述存储器用于存储计算机程序,所述计算机程序被所述处理器执行时,实现如权利要求1至7中任一所述的方法。10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至7中任一所述的方法。
技术总结
本发明公开了一种异常数据检测方法、装置、设备和存储介质,所述方法包括:获取预设时间序列中各个时段的蒸散发数据、地表水储量变化数据、地表径流数据和原始流域降水数据;基于所述蒸散发数据、所述地表水储量变化数据和所述地表径流数据估算各个时段的流域降水数据,得到流域降水估算数据;若原始流域降水数据和与所述原始流域降水数据时段的对应的流域降水估算数据之间的差异大于阈值,将所述原始流域降水数据判定为异常数据。本发明提供的技术方案,能够在一定程度上提升对原始流域降水数据进行异常检测的准确度。水数据进行异常检测的准确度。水数据进行异常检测的准确度。
技术研发人员:杨恒 刘志武 梁犁丽 蒋定国 戴会超 张博 翟然 吕振豫 董义阳
受保护的技术使用者:中国长江三峡集团有限公司
技术研发日:2023.03.02
技术公布日:2023/7/12
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种零温度系数电流产生电路的制作方法 下一篇:一种胭脂果果糕的制备方法与流程