实时数据波动检测方法、装置、设备、介质及程序产品与流程

1.本发明涉及大数据技术领域，尤其涉及一种实时数据波动检测方法、装置、设备、介质及程序产品。


背景技术：

2.为快速洞察市场经营情况，抢占市场先机，亟需对营销、业务办理等复杂的经营业务的海量数据实现精准、快速感知。同时希望数据的波动情况能够第一时间得到检测。
3.实时数据中，数据统计的时间粒度对实时呈现的特征产生较大影响。通常情况下，较小的时间粒度，实时数据变动频率更快，存在较大的随机扰动和不稳定性。但敏感的数据波动中隐藏着更加细腻的波动信息，能够及时发现问题；较大的时间粒度，可以较好的将随机扰动消除，从而使得实时整体上更加稳定；但趋势变化较缓，导致反映的具体数据情况相对滞后。
4.进而，如何以较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警，成为目前亟待解决的问题。


技术实现要素：

5.本发明提供一种实时数据波动检测方法、装置、设备、介质及程序产品，用以实现以较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警。
6.第一方面，本技术实施例提供一种实时数据波动检测方法，包括：
7.确定历史数据；
8.基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；
9.根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；
10.基于所述局部动态基线对所述实时数据进行波动检测。
11.在一个实施例中，所述根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，包括：
12.根据所述第一时间粒度序列拟合生成第一动态基线；
13.根据所述第二时间粒度序列拟合生成第二动态基线；
14.根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线。
15.在一个实施例中，所述根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线，包括：
16.将所述第一动态基线和所述第二动态基线上，各个对应的时间点的数据进行均值
处理，生成与实时数据的时间粒度对应的局部动态基线。
17.在一个实施例中，所述根据所述第一时间粒度序列拟合生成第一动态基线，包括：
18.基于霍尔特-温特方法对所述第一时间粒度序列进行拟合，生成所述第一动态基线；
19.所述根据所述第二时间粒度序列拟合生成第二动态基线，包括：
20.基于霍尔特-温特方法对所述第二时间粒度序列进行拟合，生成所述第二动态基线。
21.在一个实施例中，所述基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列，包括：
22.基于所述第一时间粒度对所述历史数据进行均值处理，得到所述第一时间粒度序列；
23.基于所述第二时间粒度对所述历史数据进行均值处理，得到所述第二时间粒度序列。
24.在一个实施例中，所述基于所述局部动态基线对所述实时数据进行波动检测，包括：
25.当预设时间范围内所述实时数据超过所述局部动态基线的数据数量达到设定阈值时，确定所述实时数据出现波动。
26.第二方面，本技术实施例提供一种实时数据波动检测装置，包括：
27.数据确定模块，用于确定历史数据；
28.时间序列获取模块，用于基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；
29.动态基线生成模块，用于根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；
30.数据波动检测模块，用于基于所述局部动态基线对所述实时数据进行波动检测。
31.第三方面，本技术实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述实时数据波动检测方法。
32.第四方面，本技术实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述实时数据波动检测方法。
33.第五方面，本技术实施例还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述实时数据波动检测方法。
34.本发明提供的实时数据波动检测方法、装置、设备、介质及程序产品，通过基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列，根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，再基于所述局部动态基线对所述实时数据进行波动检测。由于所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度。进而第一时间粒度序列隐藏着更加细腻的数据波动信息；第二时间粒度序列能够较好的将
随机扰动消除；从而采取基于第一时间粒度序列和所述第二时间粒度序列得到的局部动态基线，对所述实时数据进行波动检测，能够在较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警。
附图说明
35.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明提供的实时数据波动检测方法的流程示意图之一；
37.图2是本发明提供的实时数据波动检测方法的流程示意图之二；
38.图3表示本发明实施例中某kpi数据基于每分钟频率的时序数据趋势；
39.图4表示本发明分别对30分钟频率聚合的序列和15分钟频率聚合的序列进行预警基线预测结果的结构示意图；
40.图5表示本发明实施例对30分钟频率聚合得出新序列的数据波动检测结果；
41.图6表示本发明实施例对15分钟频率聚合得出新序列的数据波动检测结果；
42.图7表示本发明实施例基于局部动态基线进行数据波动检测的数据波动检测结果；
43.图8是本发明提供的实时数据波动检测装置的结构示意图；
44.图9是本发明提供的电子设备的结构示意图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.现有技术目前面临几方面的挑战：
47.1.较小的时间粒度上数据波动检测存在较强的随机扰动，削弱了数据变化的规律特性；导致更加难以准确拟合。
48.2.较小的时间粒度上进行数据波动检测意味着需要进行高频监控，对大量的指标进行高频预测，需要大量的算力支撑。
49.3.较小的时间粒度上进行数据波动检测存在更加严重的周期漂移特征，甚至失去了实时的基本特性。
50.实时数据中，数据统计的时间粒度对实时呈现的特征产生较大影响。通常情况下，较小的时间粒度，实时数据变动频率更快，存在较大的随机扰动和不稳定性；但敏感的数据波动中隐藏着更加细腻的波动信息，能够及时发现问题。较大的时间粒度，可以较好的将随机扰动消除，从而使得实时整体上更加稳定；但趋势变化较缓，导致反映的具体数据情况相对滞后。
51.鉴于此，本技术实施例提出一种实时数据波动检测方法、装置、设备、介质及程序
产品，旨在用以实现以较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警。
52.本发明的核心思想是将较小时间粒度的历史数据，映射到较大的时间粒度进行动态基线预测，再对较小时间粒度上的真实数据进行高频数据波动检测。将历史数据经过不同时间粒度的聚合后，得到不同的新序列；再对这些新序列进行动态基线预测，得出未来一定时间范围内的动态基线；最后将这些动态基线映射到较小时间粒度的实时数据的时间轴上，得到的是衡量实时数据的局部动态基线。后续基于局部动态基线对实时数据进行实时监控和异常波动判断，实现高频数据的实时监控。
53.下面结合图1-图2描述本发明的实时数据波动检测。
54.请参照图1，实时数据波动检测包括：
55.步骤100、确定历史数据；
56.通过电子设备获取历史数据。其中的历史数据可以是较小时间粒度(如秒级、分钟级)的网络性能kpi(key performance indicator)测试数据。具体的，kpi测试数据表示关键性能参数。可以包括：呼叫成功率(针对语音业务)、激活成功率(针对分组交换业务)、网络时延、ps(packet switc、分组交换)吞吐量、ps ping包时延、ping包成功率等。
57.例如历史数据可以包括上午10点到11点的一个小时的时段中每分钟的网络时延数据。
58.步骤200、基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度。
59.电子设备基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列。
60.由于直接对较小粒度的历史数据进行波动检测会带来较强的随机扰动的问题，但是由于小粒度的历史数据具有丰富的数据波动信息；应该尽可能地保留更多的数据波动细节。因此，基于所述历史数据分别进行第一时间粒度的数据聚合，得到第一时间粒度序列。第一时间粒度大于所述历史数据的时间粒度。
61.例如，历史数据是时间粒度是1分钟。第一时间粒度序列的时间粒度可以是10分钟、15分钟或20分钟。
62.另外，由于高频实时数据，其对外部因素的干扰更加敏感。通过将高频实时数据映射到低频实时，使得随机扰动被削弱，从而得到具有更好实时特性的序列。基于所述历史数据进行第二时间粒度的数据聚合，得到第二时间粒度序列。第二时间粒度大于所述第一时间粒度。
63.例如，第一时间粒度序列的时间粒度可以是10分钟、15分钟或20分钟；第二时间粒度序列的时间粒度可以是25分钟、30分钟或35分钟等。
64.具体地，在本技术实施例中，步骤200、所述基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列，包括：
65.步骤210、基于所述第一时间粒度对所述历史数据进行均值处理，得到所述第一时间粒度序列；
66.电子设备基于所述第一时间粒度对所述历史数据进行均值处理，得到所述第一时
间粒度序列。电子设备将高频的历史数据基于所述第一时间粒度转换成较低频的第一时间粒度序列。
67.例如，电子设备可将每分钟频率的历史数据转换成15分钟范围内的平均值作为新序列的值。具体地，可将1-15分钟内每分钟的kpi测试数据之和的平均值，作为1-15分钟每分钟的第一时间粒度序列的数据值。
68.步骤220、基于所述第二时间粒度对所述历史数据进行均值处理，得到所述第二时间粒度序列。
69.电子设备基于所述第二时间粒度对所述历史数据进行均值处理，得到所述第二时间粒度序列。电子设备将高频的历史数据基于所述第二时间粒度转换成较低频的第二时间粒度序列。
70.例如，电子设备可将每分钟频率的历史数据转换成30分钟范围内的平均值作为新序列的值。具体地，可将1-30分钟内每分钟的kpi测试数据之和的平均值，作为1-30分钟每分钟的第二时间粒度序列的数据值。
71.步骤300、根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；
72.电子设备根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线。其中，实时数据也可以是上述关键性能参数，如呼叫成功率(针对语音业务)、激活成功率(针对分组交换业务)、网络时延、ps(packet switc、分组交换)吞吐量、ps ping包时延、ping包成功率等。
73.需要说明的是，所述实时数据的时间粒度小于所述第一时间粒度的多种时间粒度。在本技术实施例中，实时数据的时间粒度与历史数据的时间粒度相同。
74.由于第一时间粒度序列的第一时间粒度大于所述历史数据的时间粒度，且小于第二时间粒度序列的第二时间粒度。因此第一时间粒度序列保留了较丰富和细腻的数据波动信息；而第二时间粒度序列则去除了高频实时数据中因外部因素带来的随机扰动。因此基于第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，能够实现高频实时kpi的快速数据波动检测，并削弱高频实时的随机扰动，保证序列的长期趋势下对局部数据波动的捕获。
75.具体地，在本技术实施例中，请参照图2，步骤300、所述根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，包括：
76.步骤310、根据所述第一时间粒度序列拟合生成第一动态基线。
77.电子设备根据所述第一时间粒度序列拟合生成第一动态基线。
78.具体地，步骤310、根据所述第一时间粒度序列拟合生成第一动态基线，包括：
79.步骤311、基于霍尔特-温特方法对所述第一时间粒度序列进行拟合，生成所述第一动态基线。获取的第一动态基线可用于对低频的实时数据进行波动检测。
80.步骤320、根据所述第二时间粒度序列拟合生成第二动态基线；
81.电子设备根据所述第二时间粒度序列拟合生成第二动态基线。
82.具体地，步骤320、根据所述第二时间粒度序列拟合生成第二动态基线，包括：
83.步骤321、基于霍尔特-温特方法对所述第二时间粒度序列进行拟合，生成所述第二动态基线。获取的第二动态基线可用于对低频的实时数据进行波动检测。
84.通过将高频的历史数据检测映射到低频的数据上进行学习，再将预测结果映射到高频的实时数据上进行比较。从而能够在更加良好特性的数据序列上进行拟合，同时减少高频的数据波动检测过程中模型的优化时间消耗，提高模型的检测效率。此外，在较低频率的时间粒度上进行基线拟合，可以较好的自动获取数据波动检测结果，作为各个时段的数据波动异常标记辅助，用于后续的高频实时数据的波动检测过程中的算法学习的标签信息。
85.步骤330、根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线。
86.电子设备根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线。综合第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线，能够实现高频实时kpi数据的快速数据波动检测，并削弱高频实时的随机扰动，保证序列的长期趋势下对局部数据波动的捕获。
87.具体地，步骤330、根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线，包括：
88.步骤331、将所述第一动态基线和所述第二动态基线上，各个对应的时间点的数据进行均值处理，生成与实时数据的时间粒度对应的局部动态基线。
89.电子设备将所述第一动态基线和所述第二动态基线上，各个对应的时间点的数据进行均值处理，生成与实时数据的时间粒度对应的局部动态基线
90.具体地，可将第一动态基线和所述第二动态基线上预测结果填充到其所对应的时间窗口内，再求第一动态基线和所述第二动态基线上各个时间点上的平均值作为局部动态基线，即与实时数据的时间粒度对应的高频的动态基线。
91.步骤400、基于所述局部动态基线对所述实时数据进行波动检测。
92.电子设备基于所述局部动态基线对所述实时数据进行波动检测。
93.需要说明的是，通过历史数据中得到高频时序的每时刻的动态基线值，所代表的意义是局部的平均水平，不能简单作为高频的实时数据判断是否异常波动的绝对标准。因此，需要在较小的局部范围内判断是否存在异常波动。
94.具体地，步骤400、所述基于所述局部动态基线对所述实时数据进行波动检测，包括：
95.步骤410、当预设时间范围内所述实时数据超过所述局部动态基线的数据数量达到设定阈值时，确定所述实时数据出现波动。
96.具体地，本发明实施例采用滑动统计预设时间范围内的实际值超出局部动态基线的设定比例，当超出给定阈值则该区间为异常波动，否则为正常。
97.例如统计10分钟范围内的真实值超出局部动态基线比例超过30％定义为波动。即10分钟范围内的10个数据中有3个真实值超出局部动态基线，此时判断该10分钟出现数据波动。
98.通过基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列，根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，再基于所述局部动态基线对所述实时数据进行波动检测。由于所述第一时间粒度大于所述历史数据的时间粒度，且小
于所述第二时间粒度。进而第一时间粒度序列隐藏着更加细腻的数据波动信息；第二时间粒度序列能够较好的将随机扰动消除；从而采取基于第一时间粒度序列和所述第二时间粒度序列得到的局部动态基线，对所述实时数据进行波动检测，能够在较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警。
99.下面通过一个典型的实施例进行说明。
100.电子设备得到一个某业务kpi每分钟频率的时序数据，如图3所示。从图3可看出，该kpi数据大部分时间的值相对较低，运行过程中，会突然出现一些较高的突变波动，这些波动的幅度大小不一。假设基于传统的固定基线方式，如果阈值设置为100，将产生大量的误告警；如果设置大于200，产生误告警的同时，大部分异常数据波动特征也没有被检测到。
101.在该实施例中，将图3中的时序数据映射到15分钟和30分钟频率聚合得到两个新的序列。然后，分别对这两个新序列进行预警基线预测，如图4所示。不同的时间频率下聚合的两个新序列中，均得出对未来一定步长的预测。将预测结果分配到所对应的时间范围内的分钟粒度上，再计算每分钟所对应的预警基线值，得到局部动态基线。详细演算过程见表1。
102.表1：生成局部动态基线示意
[0103][0104]
本实施例在线数据波动检测中，统计10分钟范围内的真实值超出基线比例超过30％定义为波动，其他情况为正常。最终检测结果输出如图5～图7。
[0105]
从图5～图7可以看出，基于本实施例的局部动态基线进行数据波动检测，相比30分钟频率聚合得出新序列的数据波动检测结果，以及15分钟频率聚合得出新序列的数据波动检测结果，本实施例能够实现以较高的频率有效的、自动的捕获数据的异常波动，并且能够尽量避免随机扰动可能会引起的误告警。
[0106]
从而，本技术实施例的实时数据波动检测方法具有如下效果：
[0107]
1、解决高频实时kpi数据的快速数据波动检测，提高算法的检测性能。实现高性能的无监督数据波动识别，无需大量的数据标记工作。
[0108]
2、削弱高频实时的随机扰动，保证序列的长期趋势下对局部数据波动的捕获，对大多数应用场景具备很强应用推广性。
[0109]
本发明通过将历史数据转换到较大时间粒度进行序列特性学习，再映射到较小的实时数据的时间粒度下进行数据波动识别。大量减少计算需求限制，适用于大规模的数据
波动的监控场景。
[0110]
下面对本发明提供的实时数据波动检测装置进行描述，下文描述的实时数据波动检测装置与上文描述的实时数据波动检测方法可相互对应参照。
[0111]
请参照图8，本技术实施例提供一种实时数据波动检测装置，包括：
[0112]
数据确定模块201，用于确定历史数据；
[0113]
时间序列获取模块202，用于基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；
[0114]
动态基线生成模块203，用于根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；
[0115]
数据波动检测模块204，用于基于所述局部动态基线对所述实时数据进行波动检测。
[0116]
本实施例的实时数据波动检测装置，通过基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列，根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，再基于所述局部动态基线对所述实时数据进行波动检测。由于所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度。进而第一时间粒度序列隐藏着更加细腻的数据波动信息；第二时间粒度序列能够较好的将随机扰动消除；从而采取基于第一时间粒度序列和所述第二时间粒度序列得到的局部动态基线，对所述实时数据进行波动检测，能够在较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警。
[0117]
在上述各实施例的基础上，作为一种可选实施例，所述动态基线生成模块，具体包括：
[0118]
第一动态基线生成模块，用于根据所述第一时间粒度序列拟合生成第一动态基线；
[0119]
第二动态基线生成模块，用于根据所述第二时间粒度序列拟合生成第二动态基线；
[0120]
局部动态基线生成模块，用于根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线。
[0121]
在上述各实施例的基础上，作为一种可选实施例，所述局部动态基线，具体用于：
[0122]
将所述第一动态基线和所述第二动态基线上，各个对应的时间点的数据进行均值处理，生成与实时数据的时间粒度对应的局部动态基线。
[0123]
在上述各实施例的基础上，作为一种可选实施例，所述第一动态基线生成模块，具体用于：
[0124]
基于霍尔特-温特方法对所述第一时间粒度序列进行拟合，生成所述第一动态基线；
[0125]
所述第二动态基线生成模块，具体用于：
[0126]
基于霍尔特-温特方法对所述第二时间粒度序列进行拟合，生成所述第二动态基
线。
[0127]
在上述各实施例的基础上，作为一种可选实施例，所述时间序列获取模块，包括：
[0128]
第一时间粒度序列获取模块，用于基于所述第一时间粒度对所述历史数据进行均值处理，得到所述第一时间粒度序列；
[0129]
第二时间粒度序列获取模块，用于基于所述第二时间粒度对所述历史数据进行均值处理，得到所述第二时间粒度序列。
[0130]
在上述各实施例的基础上，作为一种可选实施例，所述数据波动检测模块，具体用于：
[0131]
当预设时间范围内所述实时数据超过所述局部动态基线的数据数量达到设定阈值时，确定所述实时数据出现波动。
[0132]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行实时数据波动检测方法，该方法包括：确定历史数据；基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；基于所述局部动态基线对所述实时数据进行波动检测。
[0133]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0134]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的实时数据波动检测方法，该方法包括：确定历史数据；基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；基于所述局部动态基线对所述实时数据进行波动检测。
[0135]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的实时数据波动检测方法，该方法包括：确定历史数据；基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史
数据的时间粒度，且小于所述第二时间粒度；根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；基于所述局部动态基线对所述实时数据进行波动检测。
[0136]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0137]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0138]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种实时数据波动检测方法，其特征在于，包括：确定历史数据；基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；基于所述局部动态基线对所述实时数据进行波动检测。2.根据权利要求1所述的实时数据波动检测方法，其特征在于，所述根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线，包括：根据所述第一时间粒度序列拟合生成第一动态基线；根据所述第二时间粒度序列拟合生成第二动态基线；根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线。3.根据权利要求2所述的实时数据波动检测方法，其特征在于，所述根据所述第一动态基线和所述第二动态基线，拟合生成与实时数据的时间粒度对应的局部动态基线，包括：将所述第一动态基线和所述第二动态基线上，各个对应的时间点的数据进行均值处理，生成与实时数据的时间粒度对应的局部动态基线。4.根据权利要求2所述的实时数据波动检测方法，其特征在于，所述根据所述第一时间粒度序列拟合生成第一动态基线，包括：基于霍尔特-温特方法对所述第一时间粒度序列进行拟合，生成所述第一动态基线；所述根据所述第二时间粒度序列拟合生成第二动态基线，包括：基于霍尔特-温特方法对所述第二时间粒度序列进行拟合，生成所述第二动态基线。5.根据权利要求1所述的实时数据波动检测方法，其特征在于，所述基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列，包括：基于所述第一时间粒度对所述历史数据进行均值处理，得到所述第一时间粒度序列；基于所述第二时间粒度对所述历史数据进行均值处理，得到所述第二时间粒度序列。6.根据权利要求1所述的实时数据波动检测方法，其特征在于，所述基于所述局部动态基线对所述实时数据进行波动检测，包括：当预设时间范围内所述实时数据超过所述局部动态基线的数据数量达到设定阈值时，确定所述实时数据出现波动。7.一种实时数据波动检测装置，其特征在于，包括：数据确定模块，用于确定历史数据；时间序列获取模块，用于基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；动态基线生成模块，用于根据所述第一时间粒度序列和所述第二时间粒度序列，拟合
生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；数据波动检测模块，用于基于所述局部动态基线对所述实时数据进行波动检测。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述实时数据波动检测方法。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述实时数据波动检测方法。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述实时数据波动检测方法。

技术总结
本发明涉及大数据技术领域，提供一种实时数据波动检测方法、装置、设备、介质及程序产品。实时数据波动检测方法，包括：确定历史数据；基于所述历史数据分别进行第一时间粒度和第二时间粒度的数据聚合，得到第一时间粒度序列和第二时间粒度序列；所述第一时间粒度大于所述历史数据的时间粒度，且小于所述第二时间粒度；根据所述第一时间粒度序列和所述第二时间粒度序列，拟合生成与实时数据的时间粒度对应的局部动态基线；所述实时数据的时间粒度小于所述第一时间粒度；基于所述局部动态基线对所述实时数据进行波动检测。本发明用以实现以较高的频率有效的、自动的捕获数据的异常波动，并且尽量避免随机扰动可能会引起的误告警。警。警。


技术研发人员：刘芳 王斌
受保护的技术使用者：中国移动通信集团有限公司
技术研发日：2022.03.01
技术公布日：2023/9/11