一种实时数据异常告警的方法、装置及电子设备与流程

1.本发明属于数据异常告警技术领域，具体涉及一种实时数据异常告警的方法、装置及电子设备。


背景技术：

2.目前数据开发人员在进行实时数据开发过程中，需要对接上游实时传输过来的实时数据，通过对这些实时数据的清洗、计算产生结果数据，并将结果数据存入数据库中。在这一系列环节中，上游传输数据的稳定性对于整个实时数据的开发就显示至关重要，因为一旦上游数据的量异常增大或者减少可能就会造成数据的堆积或者缩减，从而引发下游的报表将不能有效的展示出正确的数据而数据开发人员却毫不知情，等到业务人员反馈后问题处理时间将变长，问题的影响面将扩大。
3.基于上述问题，当前无论是第三方专业数据开发平台，还是企业自建平台，对于实时数据传输的稳定性基本都是人力监控的方式，对企业来说，在海量的实时数据面前，需要大量的人力进行监控，造成了人力成本投入巨大，对实时数据传输的异常无法快速准确地发出告警的问题。


技术实现要素：

4.为此，本发明提供一种实时数据异常告警的方法、装置及电子设备，以解决现有技术中人力成本投入巨大，对实时数据的异常无法快速准确地发出告警的问题人力成本投入巨大，对实时数据传输的异常无法快速准确地发出告警的问题。
5.为实现以上目的，本发明采用如下技术方案：
6.第一方面，本发明提供一种实时数据异常告警的方法，包括：
7.获取kafka队列中数据传输速率；
8.根据所述数据传输速率得到预设时间段的数据的抖动系数；
9.当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式；
10.生成告警信息，根据所述联系方式将所述告警信息发送给所述负责人。
11.进一步地，所述根据所述数据传输速率得到预设时间段的数据的抖动系数，包括：
12.依据所述数据传输速率得到预设时间段内采样点传输速率的均值和标准差；
13.将所述标准差与所述均值的比值作为抖动系数。
14.进一步地，所述获取kafka队列中数据传输速率，包括：
15.通过接口获取kafka队列中数据的传输速率。
16.进一步地，所述当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式，包括：
17.接收用户在页面设置的所述预设时间段的阈值、负责人和联系方式；
18.若所述抖动系数大于所述阈值，则获取所述预设时间段的所述负责人和联系方
式。
19.进一步地，所述阈值包括所述第一阈值和所述第二阈值，所述第一阈值小于所述第二阈值，所述若所述抖动系数大于所述阈值，则获取所述预设时间段的所述负责人和联系方式，包括：
20.当所述抖动系数大于所述第一阈值但小于所述第二阈值时，获取所述负责人中的第一负责人及联系方式；
21.当所述抖动系数大于或等于所述第二阈值时，获取所述负责人中的第一负责人及联系方式和第二负责人及联系方式。
22.进一步地，所述生成告警信息，包括：
23.将所述抖动系数、当前时间戳和所述kafka队列的id封装成告警信息。
24.第二方面，本发明提供了一种实时数据异常告警的装置，包括：
25.获取速率模块，用于获取kafka队列中数据传输速率；
26.计算抖动模块，用于根据所述数据传输速率得到预设时间段的数据的抖动系数；
27.获取负责人模块，用于当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式；
28.告警模块，用于生成告警信息，根据所述联系方式将所述告警信息发送给所述负责人。
29.第三方面，本发明提供了一种电子设备，包括：
30.至少一个处理器；以及
31.与所述至少一个处理器通信连接的存储器；其中，
32.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一种实时数据异常告警的方法。
33.本发明采用以上技术方案，至少具备以下有益效果：
34.用户可以根据实时数据开发的需求设置抖动的阈值和负责人及联系方式，服务端检测实时数据的抖动系数，当抖动系数大于阈值时，依据超出阈值的多少，向对应级别的负责人发送告警信息，实现自动化异常监测，减少了用于异常监测的人员，从而减少了由于人力监控产生的成本，实现了对实时数据的监控和快速准确的告警。
35.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
36.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
37.图1是本发明一示例性实施例示出的一种实时数据异常告警的方法的流程图；
38.图2是本发明另一示例性实施例示出的一种实时数据异常告警的装置的示意框图；
39.图3是本发明一示例性实施例示出的一种电子设备的示意框图；
40.下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
41.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
42.当前无论是第三方专业数据开发平台，还是企业自建平台，对于实时数据传输的稳定性基本都是人力监控的方式，对企业来说，在海量的实时数据面前，需要大量的人力进行监控，造成了人力成本投入巨大，对实时数据传输的异常无法快速准确地发出告警的问题。
43.本发明实施例，提供了一种实时数据异常告警的方法、装置及电子设备，用户可以根据实时数据开发的需求设置抖动的阈值和负责人及联系方式，服务端检测实时数据的抖动系数，当抖动系数大于抖动阈值时，依据超出阈值的多少，向对应级别的负责人发送告警信息，从而减少了由于人力监控产生的成本，实现了对实时数据的监控和快速准确的告警。
44.下面通过具体地实施例对本发明中实时推送消息的方法进行说明。
45.请参阅图1，图1是本发明一示例性实施例示出的一种实时数据异常告警的方法的流程图，参见图1，该方法包括：
46.步骤s11、获取kafka队列中数据传输速率；
47.步骤s12、根据数据传输速率得到预设时间段的数据的抖动系数；
48.步骤s13、当抖动系数大于预设的阈值时，获取预设时间段对应的负责人和联系方式；
49.步骤s14、生成告警信息，根据联系方式将告警信息发送给负责人。
50.需要说明的是，本实施例提供的技术方案在具体实践中可以小程序的形式或者以插件的形式加载在项目中使用，或者以独立程序的形式，提供服务接口供使用。适用的场景包括但不限于：大数据开发平台、实时数据开发。
51.具体地，用户可以通过页面填写表单形式，根据实时数据开发的需求设置抖动的阈值和负责人及联系方式。
52.可以理解的是，本实施例提供的技术方案，服务端检测实时数据的抖动系数，当抖动系数大于用户设置的抖动阈值时，依据超出阈值的多少，向对应级别的负责人发送告警信息，实现自动化异常监测，减少了用于异常监测的人员，从而减少了由于人力监控产生的成本，实现了对实时数据的监控和快速准确的告警。
53.在具体实践中，步骤s11中“获取kafka队列中数据传输速率”可以为：通过接口获取kafka队列中数据的传输速率。
54.具体地，在服务器中开启定时任务，定时扫描kafka队列中数据，以接口的形式获取kafka队列中数据的传输速率。
55.可以理解的是，本实施例提供的技术方案，通过设置定时任务获取kafka队列中数据的传输速率，为后续计算抖动系数提供了基础数据。
56.在具体实践中，步骤s12中“根据所述数据传输速率得到预设时间段的数据的抖动
系数”，包括：
57.依据所述数据传输速率得到预设时间段内采样点传输速率的均值和标准差；
58.将标准差与均值的比值作为抖动系数。
59.需要说明的是，定时任务会定时获取传输速率，每次获取传输速率会产生一个采样点，用于计算传输速率的均值和标准差；具体地，以接口的形式获取kafka队列中数据的传输速率后，将其中采样点对应的时间节点的传输速率取出，作为采样点传输速率；获取预设时间段内包含的采样点，依据标准差算法计算出采样点传输速率标准差；计算出采样点传输速率的均值；标准差除以均值得到抖动系数。
60.可以理解的是，本实施例提供的技术方案，通过定时任务获取采样点传输速率，计算得到数据传输的抖动系数，对kafka队列中数据进行实时监控。
61.在具体实践中，步骤s13中“当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式”，包括：
62.接收用户在页面设置的预设时间段的阈值、负责人和联系方式；
63.若抖动系数大于阈值，则获取预设时间段的负责人和联系方式。
64.具体地，阈值包括第一阈值和第二阈值，第一阈值小于第二阈值，若抖动系数大于阈值，当抖动系数大于第一阈值但小于第二阈值时，获取所述负责人中的第一负责人及联系方式，当抖动系数大于或等于第二阈值时，获取负责人中的第一负责人及联系方式和第二负责人及联系方式。
65.需要说明的是，用户会根据时间段设置负责人和联系方式时，也就是说该时间段内设置的负责人属于值班状态，当数据异常时会发送告警给值班状态的负责人；值班负责人中设置有不同处理级别的人，抖动系数只超过第一阈值没有超过第二阈值时，可以视为一般数据异常，告警信息只发送给低级别的处理负责人；当抖动系数超过了第二阈值，数据异常较为严重，告警信息发送给低级别的处理负责人同时还要发给高级别处理负责人。
66.可以理解的是，本实施例提供的技术方案，自动定时监测数据异常，能根据数据异常情况的严重性，向对应负责人告警，实现了告警的及时性。
67.在具体实践中，步骤s14中“生成告警信息，根据所述联系方式将所述告警信息发送给所述负责人”，具体生成告警信息，包括：
68.将所述抖动系数、当前时间戳和所述kafka队列的id封装成告警信息。
69.具体地，发生数据异常告警时，将抖动系数、当前时间戳和所述kafka队列的id封装成告警信息后，发送到通知中心，通知中心根据获取的负责人及联系方式将告警信息发送出去。
70.需要说明的是，告警信息中抖动系数可以反映出数据异常的严重性，时间戳反映出的是具体异常的时间段，kafka队列的id是对数据异常的准确定位。
71.可以理解的是，本实施例提供的技术方案，告警信息中包含的信息，可以直观的反映出数据异常的情况，从时间维度和数据异常位置上实现了准确的告警，能使相关负责人更快的掌握情况从而作出应对。
72.请参阅图2，图2是本发明另一示例性实施例示出的一种实时数据异常告警的装置的示意框图，参见图2，实时数据异常告警的装置100包括：
73.获取速率模块101，用于获取kafka队列中数据传输速率；
74.计算抖动模块102，用于根据数据传输速率得到预设时间段的数据的抖动系数；
75.获取负责人模块103，用于当抖动系数大于预设的阈值时，获取预设时间段对应的负责人和联系方式；
76.告警模块104，用于生成告警信息，根据联系方式将所述告警信息发送给所述负责人。
77.本实施例提供的技术方案在具体实践中可以小程序的形式或者以插件的形式加载在项目中使用，或者以独立程序的形式，提供服务接口供使用。适用的场景包括但不限于：大数据开发平台、实时数据开发。
78.具体地，用户可以通过页面填写表单形式，根据实时数据开发的需求设置抖动的阈值和负责人及联系方式。
79.可以理解的是，本实施例提供的技术方案，服务端检测实时数据的抖动系数，当抖动系数大于用户设置的抖动阈值时，依据超出阈值的多少，向对应级别的负责人发送告警信息，实现自动化异常监测，减少了用于异常监测的人员，从而减少了由于人力监控产生的成本，实现了对实时数据的监控和快速准确的告警。
80.请参阅图3，图3是本发明一示例性实施例示出的一种电子设备的示意框图，参见图3，该电子设备包括：
81.至少一个处理器；以及
82.与所述至少一个处理器通信连接的存储器；其中，
83.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一种实时数据异常告警的方法。
84.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
85.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种实时数据异常告警的方法，其特征在于，包括：获取kafka队列中数据传输速率；根据所述数据传输速率得到预设时间段的数据的抖动系数；当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式；生成告警信息，根据所述联系方式将所述告警信息发送给所述负责人。2.根据权利要求1所述的方法，其特征在于，所述根据所述数据传输速率得到预设时间段的数据的抖动系数，包括：依据所述数据传输速率得到预设时间段内采样点传输速率的均值和标准差；将所述标准差与所述均值的比值作为抖动系数。3.根据权利要求1所述的方法，其特征在于，所述获取kafka队列中数据传输速率，包括：通过接口获取kafka队列中数据的传输速率。4.根据权利要求2所述的方法，其特征在于，所述当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式，包括：接收用户在页面设置的所述预设时间段的阈值、负责人和联系方式；若所述抖动系数大于所述阈值，则获取所述预设时间段的所述负责人和联系方式。5.根据权利要求4所述的方法，其特征在于，所述阈值包括所述第一阈值和所述第二阈值，所述第一阈值小于所述第二阈值，所述若所述抖动系数大于所述阈值，则获取所述预设时间段的所述负责人和联系方式，包括：当所述抖动系数大于所述第一阈值但小于所述第二阈值时，获取所述负责人中的第一负责人及联系方式；当所述抖动系数大于或等于所述第二阈值时，获取所述负责人中的第一负责人及联系方式和第二负责人及联系方式。6.根据权利要求5所述的方法，其特征在于，所述生成告警信息，包括：将所述抖动系数、当前时间戳和所述kafka队列的id封装成告警信息。7.一种实时数据异常告警的装置，其特征在于，包括：获取速率模块，用于获取kafka队列中数据传输速率；计算抖动模块，用于根据所述数据传输速率得到预设时间段的数据的抖动系数；获取负责人模块，用于当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式；告警模块，用于生成告警信息，根据所述联系方式将所述告警信息发送给所述负责人。8.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

技术总结
本发明涉及一种实时数据异常告警的方法、装置及电子设备，属于数据异常告警技术领域，所述方法包括：获取Kafka队列中数据传输速率；根据所述数据传输速率得到预设时间段的数据的抖动系数；当所述抖动系数大于预设的阈值时，获取所述预设时间段对应的负责人和联系方式；生成告警信息，根据所述联系方式将所述告警信息发送给所述负责人；用户可以根据实时数据开发的需求设置抖动的阈值和负责人及联系方式，服务端检测实时数据的抖动系数，当抖动系数大于抖动阈值时，依据超出阈值的多少，向对应级别的负责人发送告警信息，从而减少了由于人力监控产生的成本，实现了对实时数据的监控和快速准确的告警。控和快速准确的告警。控和快速准确的告警。


技术研发人员：徐志阳
受保护的技术使用者：上海中通吉网络技术有限公司
技术研发日：2023.05.18
技术公布日：2023/8/16