并发流量监控方法、装置、终端设备以及存储介质与流程

1.本技术涉及流量监控技术领域，尤其涉及一种并发流量监控方法、装置、终端设备以及存储介质。


背景技术：

2.目前微服务应用在生产上的业务场景，大多数都包含了高并发秒杀场景。而在高并发秒杀场景下，微服务应用承载的流量一般在限定的几十秒内发生，其主要存在以下痛点：
3.一、开发人员难以通过现有的组织级监控(天眼、大禹)，获取微服务应用的实时流量大小；二、现有的同类技术应用需要接收预先统计的指定时间内服务器集群请求总数，并且还需要计算本地在所述指定时间内收到的请求数在所述服务器集群请求总数中的占比，导致需要收集的数据多，过程繁琐，并且对代码有侵入性。
4.因此，在高并发的秒杀场景下，微服务应用面临着极短的流量响应时间要求和安全要求。


技术实现要素：

5.本技术的主要目的在于提供一种并发流量监控方法、装置、终端设备以及存储介质，旨在解决高并发流量监控的时效性差、安全性低的技术问题。
6.为实现上述目的，本技术提供一种并发流量监控方法，所述并发流量监控方法包括：
7.获取应用的消费日志；
8.转换所述消费日志并过滤，得到对应的事件数据流；
9.基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。
10.可选地，所述秒级处理窗口包括秒级事件时间窗口和秒级聚合窗口，所述基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到所述目标并发数据的步骤包括：
11.基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量；
12.基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据。
13.可选地，所述事件数据流包括第一事件数据流和/或第二事件数据流，所述转换所述消费日志并过滤，得到对应的事件数据流的步骤包括：
14.转换所述消费日志的类型并复制，分别得到初始事件数据流和复制事件数据流；
15.根据预设订阅条件，分别过滤所述初始事件数据流及所述复制事件数据流，得到所述第一事件数据流及所述第二事件数据流。
16.可选地，所述水位线包括低水位线和高水位线，所述基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量的步骤包括：
17.基于所述低水位线，触发所述秒级事件时间窗口计算所述第一事件数据流，得到若干第一并发数据；
18.基于所述高水位线，触发所述秒级事件时间窗口计算所述第二事件数据流，得到若干第二并发数据。
19.可选地，所述目标并发数据包括目标第一并发数据及目标第二并发数据，所述基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据的步骤包括：
20.基于预设第一聚合机制及所述秒级聚合窗口，在所述若干第一并发数据中提取所述目标第一并发数据；
21.基于预设第二聚合机制及所述秒级聚合窗口，在所述若干第二并发数据中提取所述目标第二并发数据。
22.可选地，所述基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到所述目标并发数据的步骤之后，还包括：
23.将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中；
24.在检测到第一并发数据和/或所述第二并发数据高于预设历史信息时，更新和/或补偿更新所述历史信息。
25.可选地，所述将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中的步骤之后，还包括：
26.分别从所述服务器集群和/或所述数据库中，获得所述第一并发数据和/或所述第二并发数据；
27.根据所述第一并发数据和/或所述第二并发数据，对所述应用进行调整。
28.本技术实施例还提出一种并发流量监控装置，所述并发流量监控装置包括：
29.获取模块，用于获取应用的消费日志；
30.转换模块，用于转换所述消费日志并过滤，得到对应的事件数据流；
31.秒级处理模块，用于基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。
32.本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的并发流量监控程序，所述并发流量监控程序被所述处理器执行时实现如上所述的并发流量监控方法的步骤。
33.本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有并发流量监控程序，所述并发流量监控程序被处理器执行时实现如上所述的并发流量监控方法的步骤。
34.本技术实施例提出的并发流量监控方法、装置、终端设备以及存储介质，通过获取应用的消费日志；转换所述消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。基于本技术方案，通过获取微服务应用的消费日志作为数据源可以解决高并发流量监控的安全性低的技术问题，可以避免对业务代码进行修改或侵入；通过转换消费日志并过滤，得到事件数据流，进而结合秒级处理窗口对进行秒级处理，得到微服务应用的秒级并发流量，可以解决高并发流量监控的时
效性差的技术问题，提升高并发流量的响应效率。
附图说明
35.图1为本技术并发流量监控装置所属终端设备的功能模块示意图；
36.图2为本技术并发流量监控方法第一示例性实施例的流程示意图；
37.图3为本技术并发流量监控方法第二示例性实施例的流程示意图；
38.图4为本技术并发流量监控方法的模块架构图；
39.图5为本技术并发流量监控方法第三示例性实施例的流程示意图；
40.图6为申请并发流量监控方法的查询实时并发数据的界面图；
41.图7为申请并发流量监控方法的查询历史并发数据的界面图。
42.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
43.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
44.本技术实施例的主要解决方案是：获取应用的消费日志；转换所述消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。基于本技术方案，通过获取微服务应用的消费日志作为数据源可以解决高并发流量监控的安全性低的技术问题，可以避免对业务代码进行修改或侵入；通过转换消费日志并过滤，得到事件数据流，进而结合秒级处理窗口对进行秒级处理，得到微服务应用的秒级并发流量，可以解决高并发流量监控的时效性差的技术问题，提升高并发流量的响应效率。
45.本技术实施例涉及的技术术语：
46.qps，queries per second，每秒查询数/每秒请求数。qps是指系统在单位时间内能够处理的查询或请求的数量，通常用于衡量系统的性能和吞吐能力。qps的数值越高，表示系统能够处理更多的查询或请求，具有更高的并发能力。
47.kafka topic。在kafka消息系统中，一个topic代表着一个特定的消息类别或主题，可以看作是消息发布和订阅的逻辑容器。每个topic可以有多个生产者(消息的发布者)和多个消费者(消息的订阅者)，生产者将消息发布到指定的topic，而消费者则从topic中订阅和消费消息。kafka topic是消息在kafka集群中的逻辑分类，用于将消息进行组织和划分。它可以理解为一个消息队列，其中的消息按照一定的规则进行存储和分发。每个topic都有一个唯一的名称标识，用于在kafka集群中进行消息的发送和接收。通过使用topic，可以将不同的消息进行隔离和管理，使得不同的应用或模块可以独立地发布和订阅特定的消息类型。这种逻辑上的分类和隔离可以帮助实现高度可扩展的消息系统，同时提供灵活的消息处理和流转机制。
48.flink，一种开源的流式处理框架，被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。它提供了一种高效、可扩展和容错的方式来处理和分析实时数据。支持高吞吐、低延迟、高性能的分布式处理框架。
49.本技术实施例考虑到，目前行内在生产上覆盖的业务场景已经包含大量的高并发秒杀场景。在高并发秒杀场景下，微服务承载的流量一般在限定的几十秒内发生，瞬时压力
大，主要存在以下痛点：
50.一：目前现有的组织级监控(天眼、大禹等)无法查询到秒级实时并发数据，因此开发人员无法感知实时流量大小。
51.二：目前现有的组织级监控(天眼、大禹等)无法查询到秒级历史并发数据，因此开发人员无法对生产上的应用承载力进行评估，也无法预估活动流量数据，进行提前扩容等操作。
52.三：现有的同类技术应用需要接收预先统计的指定时间内服务器集群请求总数，并且还需要计算本地在所述指定时间内收到的请求数在所述服务器集群请求总数中的占比，过程繁琐，需要收集的数据多，并且对代码有侵入性。
53.因此，本技术实施例方案，从解决高并发场景下的接口qps数据的时效性和安全性的实际问题出发，采用在对代码无侵入的情况下通过日志进行接口qps数据计算的方案，设计了一种基于flink框架的接口qps数据计算方法，可以获取接口的实时并发数据和历史并发数据，避免了高并发流量监控对代码的侵入性，提升高并发流量的响应效率。
54.具体地，参照图1，图1为本技术并发流量监控装置所属终端设备的功能模块示意图。该并发流量监控装置可以为独立于终端设备的、能够进行并发流量监控的装置，其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有并发流量监控功能的智能移动终端，还可以为具有并发流量监控功能的固定终端设备或服务器等。
55.在本实施例中，该并发流量监控装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
56.存储器130中存储有操作系统以及并发流量监控程序，并发流量监控装置可以将获取应用的消费日志；转换消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对事件数据流进行秒级处理，得到目标并发数据等信息存储于该存储器130中；输出模块110可为显示屏等。通信模块140可以包括wifi模块、移动通信模块以及蓝牙模块等，通过通信模块140与外部设备或服务器进行通信。
57.其中，存储器130中的并发流量监控程序被处理器执行时实现以下步骤：
58.获取应用的消费日志；
59.转换所述消费日志并过滤，得到对应的事件数据流；
60.基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。
61.进一步地，存储器130中的并发流量监控程序被处理器执行时还实现以下步骤：
62.基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量；
63.基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据。
64.进一步地，存储器130中的并发流量监控程序被处理器执行时还实现以下步骤：
65.转换所述消费日志的类型并复制，分别得到初始事件数据流和复制事件数据流；
66.根据预设订阅条件，分别过滤所述初始事件数据流及所述复制事件数据流，得到所述第一事件数据流及所述第二事件数据流。
67.进一步地，存储器130中的并发流量监控程序被处理器执行时还实现以下步骤：
68.基于所述低水位线，触发所述秒级事件时间窗口计算所述第一事件数据流，得到若干第一并发数据；
69.基于所述高水位线，触发所述秒级事件时间窗口计算所述第二事件数据流，得到若干第二并发数据。
70.进一步地，存储器130中的并发流量监控程序被处理器执行时还实现以下步骤：
71.基于预设第一聚合机制及所述秒级聚合窗口，在所述若干第一并发数据中提取所述目标第一并发数据；
72.基于预设第二聚合机制及所述秒级聚合窗口，在所述若干第二并发数据中提取所述目标第二并发数据。
73.进一步地，存储器130中的并发流量监控程序被处理器执行时还实现以下步骤：
74.将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中；
75.在检测到第一并发数据和/或所述第二并发数据高于预设历史信息时，更新和/或补偿更新所述历史信息。
76.进一步地，存储器130中的并发流量监控程序被处理器执行时还实现以下步骤：
77.分别从所述服务器集群和/或所述数据库中，获得所述第一并发数据和/或所述第二并发数据；
78.根据所述第一并发数据和/或所述第二并发数据，对所述应用进行调整。
79.本实施例通过上述方案，具体通过获取应用的消费日志；转换所述消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。基于本技术方案，通过获取微服务应用的消费日志作为数据源可以解决高并发流量监控的安全性低的技术问题，可以避免对业务代码进行修改或侵入；通过转换消费日志并过滤，得到事件数据流，进而结合秒级处理窗口对进行秒级处理，得到微服务应用的秒级并发流量，可以解决高并发流量监控的时效性差的技术问题，提升高并发流量的响应效率。
80.基于上述终端设备架构但不限于上述架构，提出本技术方法实施例。
81.参照图2，图2为本技术并发流量监控方法第一示例性实施例的流程示意图。所述并发流量监控方法包括：
82.步骤s210，获取应用的消费日志；
83.本实施例方法的执行主体可以是一种并发流量监控装置，也可以是一种并发流量监控终端设备或服务器，本实施例以并发流量监控装置进行举例，该并发流量监控装置可以集成在具有并发流量监控功能的智能手机、平板电脑等终端设备上。
84.本技术实施例方案，从解决高并发场景下的高并发流量监控的时效性和安全性的实际问题出发，主要实现对高并发流量尤其是高并发流量的监控，提升图片画质效果。采用在对代码无侵入的情况下通过日志进行接口qps数据计算的方案，设计了一种基于flink框架的接口qps数据计算方法，可以获取接口的实时并发数据和历史并发数据，避免了高并发流量监控对代码的侵入性，提升高并发流量的响应效率。
85.具体地，消费日志可以是多个用户使用微服务应用时所生成的日志，包括但不限于时间戳、日志级别、日志来源、日志内容、线程信息、异常信息、用户信息、系统环境信息、
请求和响应信息、性能指标等。在本技术实施例中，通过获取多个用户使用微服务应用时所生成的消费日志，并将其发送到流式处理平台对消费日志进行秒级处理，可以获得该微服务应用的秒级并发数据。
86.步骤s220，转换所述消费日志并过滤，得到对应的事件数据流；
87.具体地，事件数据流可以按照事件发生的顺序进行处理，并以低延迟的方式对事件进行处理和响应；通过将消费日志转换为事件数据流，可以进行各种数据聚合和转换操作。例如，可以对事件进行过滤、映射、窗口化、聚合等操作，从而提取有用的信息和指标。
88.步骤s230，基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。
89.需要说明的是，本技术实施例中的并发数据可以是qps数据。
90.示例性地，考虑到目前现有的组织级监控(天眼、大禹等)难以查询到秒级实时并发数据，且需要接收预先统计的指定时间内服务器集群请求总数，并且还需要计算本地在所述指定时间内收到的请求数在所述服务器集群请求总数中的占比，过程繁琐，需要收集的数据多，并且对代码有侵入性，因此，在多个用户同时对微服务应用操作时，通过接口实时地获取微服务应用的消费日志，将消费日志转换类型，并根据预先记录的订阅节点的信息，动态地过滤出所需要聚合的数据，得到实时事件数据流，基于预设的秒级处理窗口对实时事件数据流进行秒级处理，可以得到该微服务应用在每一秒或任一秒内的实时并发数据，进而可以使得开发人员针对该实时并发数据，对微服务应用进行运维治理。
91.本实施例通过上述方案，具体通过获取应用的消费日志；转换所述消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。基于本技术方案，通过获取微服务应用的消费日志作为数据源可以解决高并发流量监控的安全性低的技术问题，可以避免对业务代码进行修改或侵入；通过转换消费日志并过滤，得到事件数据流，进而结合秒级处理窗口对进行秒级处理，得到微服务应用的秒级并发流量，可以解决高并发流量监控的时效性差的技术问题，提升高并发流量的响应效率。
92.参照图3，图3为本技术并发流量监控方法第二示例性实施例的流程示意图。基于上述图2所示的实施例，所述事件数据流包括第一事件数据流和/或第二事件数据流，步骤s220，转换所述消费日志并过滤，得到对应的事件数据流，包括：
93.步骤s310，转换所述消费日志的类型并复制，分别得到初始事件数据流和复制事件数据流；
94.具体地，初始事件数据流是指通过转换消费日志类型后得到的事件数据流，复制事件数据流是指通过复制消费日志后得到的另一个事件数据流，它与初始事件数据流相互独立，拥有相同的数据内容。在本实施例中，初始事件数据流和复制事件数据流分别用于并行计算实时并发量(qps数据)以及历史并发量(历史qps数据)。
95.本实施例，通过了使用日志作为主要的分析数据源：这样可以做到对业务代码的零侵入，并且利用了流式处理框架(flink)，通过不同的窗口(flink中的一种算子函数)大小结合日志产生的时间(event time)和应用消费到日志的时间(processing time)的使用去平衡数据乱序导致的高延迟问题以及准实时下的数据准确性的问题。
96.参照图4，图4为本技术并发流量监控方法的模块架构图。本实施例采用并发流量
监控的模块架构图包括：日志消费(source)、数据转换、数据分发(sink)。消费日志的kafka topic被视为主要的数据来源。为了处理这些日志数据，使用了flink框架提供的kafka消费者接口，将日志数据转换为事件数据流。系统中的主要数据来源是一个或多个kafka topic，其中存储了产生的日志数据。flink框架提供了与kafka集成的功能，其中包括kafka消费者接口。该接口允许从kafka topic中消费数据，并将其作为事件数据流传递给flink应用程序进行处理。
97.步骤s320，根据预设订阅条件，分别过滤所述初始事件数据流及所述复制事件数据流，得到所述第一事件数据流及所述第二事件数据流。
98.具体地，本实例以第一事件数据流为实时事件数据流，第二事件数据流为历史事件数据流进行举例。
99.在数据转换任务中，由初始事件数据流和复制事件数据流分别与配置数据流(如图4中的解析单元/过滤单元)连接，并根据配置数据流中记录的订阅节点的信息，分别动态过滤出初始事件数据流和复制事件数据流中需要聚合的数据，形成新的第一事件数据流和第二事件数据流，如此，可以根据订阅节点的需求灵活地选择要处理的事件数据，并将其分发到秒级处理窗口中进行处理。
100.进一步地，所述秒级处理窗口包括秒级事件时间窗口和秒级聚合窗口，步骤s230，基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据，包括：
101.步骤s330，基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量；
102.具体地，秒级事件时间窗口用于计算每秒的并发数据(qps数据)；秒级聚合窗口用于将若干秒的并发数据进行聚合，以从该聚合窗口中选取最高值的并发数据作为目标并发数据；为了保证数据的实时性和准确性，水位线表示事件时间的进展，使得时间数据流中的事件都已经到达或超过某个时间点，用于控制窗口计算的触发时机。其中，水位线的设置取决于数据的实时性和需要保证的数据准确性。
103.在对事件时间数据流进行处理时，为了针对具体的业务需求进行精细化的监控和统计，首先使用日志中的日志时间戳作为事件时间(event time)，然后，添加水位线(watermark)来保证当前秒级事件时间窗口触发时，可以收集到秒级事件时间窗口内的数据，进而根据不同日志，计算不同接口或不同交易码下的并发数据(qps数据)。
104.需要说明的是，秒级事件时间窗口的计算是基于事件时间维度的，也即每秒都会触发计算操作。对于每个接口或交易码，可以独立计算其对应的并发数据。这样可以对不同的业务维度进行监控和分析，了解每个接口或交易码的请求频率和负载情况。通过将日志数据按照接口或交易码进行分组，并在每秒触发的计算过程中进行聚合，可以得到实时的并发数据，可以更好地理解微服务应用的性能状况，及时发现问题，并进行相应的优化和调整，以提供更好的用户体验和系统可靠性。
105.进一步地，所述水位线包括低水位线和高水位线，步骤s330，基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量，包括：
106.步骤a331，基于所述低水位线，触发所述秒级事件时间窗口计算所述第一事件数据流，得到若干第一并发数据；
107.步骤a332，基于所述高水位线，触发所述秒级事件时间窗口计算所述第二事件数
据流，得到若干第二并发数据。
108.需要说明的是，在本技术实施例中，可以是步骤a331和步骤a332同时执行，可以是步骤a331在步骤a332之前执行，也可以是步骤a331在步骤a332之后执行。
109.具体地，在图4中的source端输出事件时间数据流后，为实时数据流和历史数据流分别设置了不同的水位线大小,可以控制窗口计算的触发时机，低水位线配置保证数据流的实时性；高水位线配置保证数据流的准确性，并由高水位的数据流去补偿更新当日最高数据和/或历史最高数据，并记录qps历史数据。
110.步骤s340，基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据。
111.进一步地，所述目标并发数据包括目标第一并发数据及目标第二并发数据，步骤s340，基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据，包括：
112.步骤a341，基于预设第一聚合机制及所述秒级聚合窗口，在所述若干第一并发数据中提取所述目标第一并发数据；
113.需要说明的是，在本技术实施例中，可以是步骤a341和步骤a342同时执行，可以是步骤a341在步骤a342之前执行，也可以是步骤a341在步骤a342之后执行。
114.具体地，第一并发数据可以是实时并发数据。通过秒级聚合窗口将若干秒内的并发数据进行聚合，可以在该秒级聚合窗口内提取并发数据的最高值并输出。如此，可以减少对下游系统的写入操作，同时还能获取若干秒内的最高的实时并发数据。
115.示例性地，通过秒级聚合窗口将1-3秒对应的并发数据进行聚合，从该1-3秒中提取出并发数据最高值，得到1-3秒的目标并发数据；然后，通过秒级聚合窗口将4-6秒对应的并发数据进行聚合，从该4-6秒中提取出并发数据最高值，得到4-6秒的目标并发数据。
116.步骤a342，基于预设第二聚合机制及所述秒级聚合窗口，在所述若干第二并发数据中提取所述目标第二并发数据。
117.具体地，第二并发数据可以是历史并发数据。对于历史事件数据流，每小时选取qps数据的最高值进行输出。每小时会触发一次输出操作，保存每日的qps数据的最高值以及历史qps的最高值数据，如此，可以补偿更新当日或历史上的最高qps值。
118.进一步地，步骤s230，基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据之后，还包括：
119.步骤s350，将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中；
120.具体地，将第一并发数据和第二并发数据分别写入预设的服务器集群和数据库中。通过将数据存储在不同的存储介质中，可以实现数据的冗余备份和故障容错，提高数据的可靠性和可用性。
121.步骤s360，在检测到第一并发数据和/或所述第二并发数据高于预设历史信息时，更新和/或补偿更新所述历史信息。
122.具体地，历史信息可以是当日最高历史信息和/或当月最高历史信息和/或当年最高历史信息和/或最高历史信息。
123.当检测到第一并发数据和/或第二并发数据高于历史信息时，对该历史信息进行
相应的数据更新和补偿。也即，如果新的并发数据超过了之前记录的历史信息，系统会更新历史信息以反映最新的数据状态，提升了历史信息的准确性和实时性，并保持了与实时数据的一致性。
124.本实施例通过上述方案，具体通过使用日志时间戳作为事件时间，添加水位线来触发窗口计算，使用不同的窗口大小和聚合策略，以及设置不同的水位线大小，可以实现对并发数据的实时计算和历史统计，并保证数据的准确性和实时性，可以帮助系统及时发现异常情况、及时调整资源分配，并提供实时的业务指标供决策和优化使用。同时，基于事件时间的计算还能够保证数据的准确性和一致性，避免了由于数据到达顺序不确定性而导致的计算错误。
125.参照图5，图5为本技术并发流量监控方法第三示例性实施例的流程示意图。基于上述图2、3所示的实施例，步骤s350，将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中，包括：
126.步骤s510，分别从所述服务器集群和/或所述数据库中，获得所述第一并发数据和/或所述第二并发数据；
127.步骤s520，根据所述第一并发数据和/或所述第二并发数据，对所述应用进行调整。
128.具体地，可以分别将第一并发数据和第二并发数据展示出来，以方便开发人员对并发流量进行实时监控和分析。参照图6及图7，图6为申请并发流量监控方法的查询实时并发数据的界面图，实时并发数据查询界面图可以是包括产品编号、微服务名称、接口名称、别名、类型、并发量响应时间、并发量、并发量当前时间、并发量当日最高、并发量当日最高时间、并发量历史最高中的一项或多项，且可进行排序，方便用户查询。图7为申请并发流量监控方法的查询历史并发数据的界面图，用户可以用过选择编号、微服务名称、接口、时间中的一项或多项，查询到对应的历史并发数据。
129.其中，根据查询到的实时并发数据和/或历史并发数据的结果，可以对应用进行调整。通过模型分析并发数据，可以生成潜在的问题或瓶颈，并采取相应的措施来改进应用的性能和效率。例如，可以调整系统的配置参数、优化算法或增加资源以满足高并发需求。
130.本实施例通过上述方案，具体通过分别从所述服务器集群和/或所述数据库中，获得所述第一并发数据和/或所述第二并发数据；根据所述第一并发数据和/或所述第二并发数据，对所述应用进行调整，可以实现系统的性能优化、效率提升和用户体验改善，从而提升微服务应用的整体质量和价值。
131.此外，本技术实施例还提出一种并发流量监控装置，所述并发流量监控装置包括：
132.获取模块，用于获取应用的消费日志；
133.转换模块，用于转换所述消费日志并过滤，得到对应的事件数据流；
134.秒级处理模块，用于基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。
135.本实施例实现并发流量监控的原理及实施过程，请参照上述各实施例，在此不再赘述。
136.此外，本技术实施例还提出一种终端设备，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的并发流量监控程序，所述并发流量监控程序
被所述处理器执行时实现如上所述的并发流量监控方法的步骤。
137.由于本并发流量监控程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
138.此外，本技术实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有并发流量监控程序，所述并发流量监控程序被处理器执行时实现如上所述的并发流量监控方法的步骤。
139.由于本并发流量监控程序被处理器执行时，采用了前述所有实施例的全部技术方案，因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果，在此不再一一赘述。
140.相比现有技术，本技术实施例提出的并发流量监控方法、装置、终端设备以及存储介质，通过获取应用的消费日志；转换所述消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。基于本技术方案，通过获取微服务应用的消费日志作为数据源可以解决高并发流量监控的安全性低的技术问题，可以避免对业务代码进行修改或侵入；通过转换消费日志并过滤，得到事件数据流，进而结合秒级处理窗口对进行秒级处理，得到微服务应用的秒级并发流量，可以解决高并发流量监控的时效性差的技术问题，提升高并发流量的响应效率。
141.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
142.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
143.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
144.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种并发流量监控方法，其特征在于，所述并发流量监控方法包括以下步骤：获取应用的消费日志；转换所述消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。2.如权利要求1所述的并发流量监控方法，其特征在于，所述秒级处理窗口包括秒级事件时间窗口和秒级聚合窗口，所述基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到所述目标并发数据的步骤包括：基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量；基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据。3.如权利要求2所述的并发流量监控方法，其特征在于，所述事件数据流包括第一事件数据流和/或第二事件数据流，所述转换所述消费日志并过滤，得到对应的事件数据流的步骤包括：转换所述消费日志的类型并复制，分别得到初始事件数据流和复制事件数据流；根据预设订阅条件，分别过滤所述初始事件数据流及所述复制事件数据流，得到所述第一事件数据流及所述第二事件数据流。4.如权利要求3所述的并发流量监控方法，其特征在于，所述水位线包括低水位线和高水位线，所述基于预设水位线，触发所述秒级事件时间窗口计算所述事件数据流，得到若干并发流量的步骤包括：基于所述低水位线，触发所述秒级事件时间窗口计算所述第一事件数据流，得到若干第一并发数据；基于所述高水位线，触发所述秒级事件时间窗口计算所述第二事件数据流，得到若干第二并发数据。5.如权利要求4所述的并发流量监控方法，其特征在于，所述目标并发数据包括目标第一并发数据及目标第二并发数据，所述基于所述秒级聚合窗口，在所述若干并发流量中进行选取，得到所述目标并发数据的步骤包括：基于预设第一聚合机制及所述秒级聚合窗口，在所述若干第一并发数据中提取所述目标第一并发数据；基于预设第二聚合机制及所述秒级聚合窗口，在所述若干第二并发数据中提取所述目标第二并发数据。6.如权利要求5所述的并发流量监控方法，其特征在于，所述基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到所述目标并发数据的步骤之后，还包括：将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中；在检测到第一并发数据和/或所述第二并发数据高于预设历史信息时，更新和/或补偿更新所述历史信息。7.如权利要求6所述的并发流量监控方法，其特征在于，所述将所述第一并发数据写入预设服务器集群中，将所述第二并发数据写入预设数据库中的步骤之后，还包括：分别从所述服务器集群和/或所述数据库中，获得所述第一并发数据和/或所述第二并
发数据；根据所述第一并发数据和/或所述第二并发数据，对所述应用进行调整。8.一种并发流量监控装置，其特征在于，所述并发流量监控装置包括：获取模块，用于获取应用的消费日志；转换模块，用于转换所述消费日志并过滤，得到对应的事件数据流；秒级处理模块，用于基于预设秒级处理窗口，对所述事件数据流进行秒级处理，得到目标并发数据。9.一种终端设备，其特征在于，所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的并发流量监控程序，所述并发流量监控程序被所述处理器执行时实现如权利要求1-7中任一项所述的并发流量监控方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有并发流量监控程序，所述并发流量监控程序被处理器执行时实现如权利要求1-7中任一项所述的并发流量监控方法的步骤。

技术总结
本申请公开了一种并发流量监控方法、装置、终端设备以及存储介质，其并发流量监控方法包括：获取应用的消费日志；转换消费日志并过滤，得到对应的事件数据流；基于预设秒级处理窗口，对事件数据流进行秒级处理，得到目标并发数据。基于本申请方案，通过获取微服务应用的消费日志作为数据源可以解决高并发流量监控的安全性低的技术问题，可以避免对业务代码进行修改或侵入；通过转换消费日志并过滤，得到事件数据流，进而结合秒级处理窗口对进行秒级处理，得到微服务应用的秒级并发流量，可以解决高并发流量监控的时效性差的技术问题，提升高并发流量的响应效率。提升高并发流量的响应效率。提升高并发流量的响应效率。


技术研发人员：蒋林瑞 任杨 周刚
受保护的技术使用者：招商银行股份有限公司
技术研发日：2023.06.29
技术公布日：2023/9/14