一种票务数据的处理方法及装置与流程

1.本技术涉及数据处理技术领域，尤其涉及一种票务数据的处理方法及装置。


背景技术：

2.领达(ibe+)是中国航信面向线上机票销售的接口级产品，承载着大量的用户请求，在服务器集群上存储着巨量的日志文件。机票销售方需要关注用户的调用情况、各接口的调用情况、国内国际出票量等相关的数据。
3.现有技术中，通过编写脚本或程序等方式，使用定时任务，获取已经归档的日志文件，并将处理后的数据储存为文件或者存储到数据库中，再对数据进行分析和处理。在实际运行的过程中，由于数据处理业务分布繁多，各种针对性的脚本部署及脚本维护难度大，通过定时抓取日志数据导致数据处理的即时性差，当故障出现时，无法及时维护导致经济利益受损。
4.因此，现亟需一种票务数据的处理方法，能够实现对票务数据的即时性处理，提高数据处理效率。


技术实现要素：

5.有鉴于此，本技术提供了一种票务数据的处理方法及装置，能够实现对票务数据的即时性处理、提高数据处理效率。
6.其技术方案如下：
7.第一方面，本技术实施例提供了一种票务数据的处理方法，所述方法包括：
8.通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；
9.将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；
10.将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。
11.可选的，所述通过日志收集系统flume获取运行日志数据，包括：
12.通过所述日志收集系统flume获取网站服务器的域名请求日志数据，所述域名请求日志数据包括：域名访问频次信息以及域名访问时长信息；
13.通过所述日志收集系统flume获取应用服务器的应用监控日志数据，所述应用监控日志数据包括：应用接口访问日志以及应用接口调用日志。
14.可选的，所述方法还包括：
15.通过代理程序telegraf获取性能指标数据，并将所述性能指标数据存储至所述时序数据库中。
16.可选的，所述方法还包括：
17.通过预设的可视化工具展示所述运行日志数据以及所述性能指标数据。
18.可选的，所述方法还包括：
19.通过预设的日志获取脚本获取应用服务器的商务日志数据，所述商务日志数据包括客票销售数据；
20.将所述商务日志数据、所述商务日志数据对应的接口信息与日期信息按照预设时间周期进行聚合，以得到聚合后的商务日志数据；
21.将所述聚合后的商务日志数据存储至预设的分布式文件系统。
22.可选的，所述方法还包括：
23.基于hql语言解析所述分布式文件系统，按照预设展示维度导出商务报表数据。
24.第二方面，本技术实施例提供了一种票务数据的处理装置，所述装置包括：
25.运行日志获取模块，用于通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；
26.运行日志中转模块，用于将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；
27.数据存储模块，用于将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。
28.可选的，所述运行日志获取模块，具体包括：
29.请求日志获取子模块，用于通过所述日志收集系统flume获取网站服务器的域名请求日志数据，所述域名请求日志数据包括域名访问频次信息以及域名访问时长信息；
30.监控日志获取子模块，用于通过所述日志收集系统flume获取应用服务器的应用监控日志数据，所述应用监控日志数据包括应用接口访问日志以及应用接口调用日志。
31.可选的，所述装置还包括：
32.性能指标数据存储模块，用于通过代理程序telegraf获取性能指标数据，并将所述性能指标数据存储至所述时序数据库中。
33.可选的，所述装置还包括：
34.商务日志获取模块，用于通过预设的日志获取脚本获取应用服务器的商务日志数据，所述商务日志数据包括客票销售数据；
35.商务日志聚合模块，用于将所述商务日志数据、所述商务日志数据对应的接口信息与日期信息按照预设时间周期进行聚合，以得到聚合后的商务日志数据；
36.商务日志存储模块，用于将所述聚合后的商务日志数据存储至预设的分布式文件系统。
37.上述技术方案具有如下有益效果：
38.本技术实施例提供的一种票务数据的处理方法，在执行所述方法时，通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。由上，本技术实施例基于flume实时收集运行日志数据，并基于分布式数据中转平台kafka和spark数据服务平台实现对运行日志数据即时性存储，能够实现对票务数据的即时性处理、提高数据处理效率。
39.本技术实施例还提供了与上述方法相对应的装置，具有与上述方法相同的有益效果。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
41.图1为本技术实施例提供的一种票务数据的处理方法的流程示意图；
42.图2为本技术实施例提供的一种票务数据的处理方法对应的系统架构示意图；
43.图3为本技术实施例提供的一种票务数据的处理装置的结构示意图。
具体实施方式
44.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.现有的票务数据处理手段需要通过脚本或程序等方式，使用定时任务，获取已经归档的日志文件，并将处理后的数据储存为文件或者存储到数据库中，再对数据进行分析和处理，而在实际处理过程中，由于数据处理业务分布繁多，各种针对性的脚本部署及脚本维护难度大，通过定时抓取日志数据导致数据处理的即时性差，当故障出现时，无法及时维护导致经济利益受损。
46.为了实现对票务数据的即时性存储，实现对票务数据的即时性处理、提高票务数据处理效率。本技术实施例提供了一种票务数据的处理方法，图1示出了该方法的流程示意图，图2示出了该方法对应的系统部署框架示意图，需要说明的是，该系统部署框架是基于领达(ibe+)提供的应用部署框架进行设置的，但不够成本技术实施例提供的票务数据的处理方法的应用限制。
47.下面结合图1与图2，对本技术实施例提供的一种票务数据的处理方法进行说明，该方法可以包括：
48.步骤s100：通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据。
49.日志收集系统flume是一个高可用的、高可靠的分布式的海量日志采集、聚合和传输的系统，本实施例中可以通过日志收集系统flume获取网站服务器的域名请求日志数据，以及应用服务器的应用监控日志数据。
50.在一种可选的实施方式中，步骤s100可以包括如下步骤s101以及步骤s102：
51.步骤s101：通过日志收集系统flume获取网站服务器的域名请求日志数据。
52.具体的，网站服务器可以是apache服务器，域名请求日志数据可以包括域名访问频次信息以及域名访问时长信息，可以理解的是，网站服务器也可以是如iis服务器、nginx服务器等其他类型的网站服务器，本技术不对网站服务器的类型做出限定。
53.步骤s102：通过日志收集系统flume获取应用服务器的应用监控日志数据。
54.具体的，由于应用接口调用量较大，应用服务器采用的集群部署的方式，因为集群中每台应用服务器都存在有与应用相关的应用监控日志数据，应用监控日志数据可以包括
应用接口访问日志以及应用接口调用日志。
55.应用接口访问日志可以包括接口性能日志ota_perf.log，可以通过flume在应用服务器订单数据访问层orderdal中获取。
56.应用接口调用日志可以包括接口调用监控日志ota perftrace.log、http接口调用监控日志ota_http_rest_perftrace.log以及ibe接口调用监控日志ota_ibe_perftrace.log，可以通过flume在应用服务器收集获取。
57.步骤s200：将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费。
58.具体的，kafka是一种高吞吐量的基于zookeeper协调的分布式消息系统，可以处理网站中的动作流数据，flume将收集到的日志数据按照数据类别推送至kafka指定的topic类别中供后续消费，spark数据服务平台可以按照数据类别对各topic中的日志数据进行消费，例如：地址10.220.44.61的spark引擎负责消费与网站服务器相关的apacheperf类别的日志数据。
59.可以理解的是，本实施例中spark数据服务平台中各spark引擎是针对各个待消费数据类别单例部署的，一个单例部署的spark引擎仅负责同一数据类型的日志分析处理工作，对日志的分类消费处理便于后续进行问题排查。
60.在一种可选的实施方式中，由于后续需要对获取的各种日志数据进行数据分析，为了便于后续的数据处理，可以预先设置日志数据的格式，具体的，可以使用日志记录组件logback记录日志，各日志按照预设分类需求分别进行拼接，例如可以通过符号“|”进行拼接，并将日志按照预设大小、预设周期，对日志进行归档，例如按照200m大小，按天为周期对日志进行归档。
61.下面对日志数据的格式进行举例说明，
62.接口性能日志ota_perf.log示例格式：
[0063][0064]
接口调用监控日志ota perftrace.log示例格式：
[0065][0066]
http接口调用监控日志ota_http_rest_perftrace.log示例格式：
[0067][0068]
ibe接口调用监控日志ota_ibe_perftrace.log示例格式：
[0069][0070]
需要说明的是，上述提供的日志格式仅作为本实施例提供的一种示例，技术人员
可以根据实际需求对日志格式进行设置和要求。
[0071]
步骤s300：将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。
[0072]
具体的，将spark数据服务平台消费处理后的各数据类别的数据推送至预设的时序数据库influxdb中，完成对日志数据的存储。
[0073]
由上可知，本技术实施例基于flume实时收集运行日志数据，并基于分布式数据中转平台kafka和spark数据服务平台实现对运行日志数据即时性存储，提供了一种票务数据实时处理的方案，能够实现对票务数据的即时性处理、提高数据处理效率。
[0074]
在一种可选的实施方式中，本技术实施例提供的票务数据的处理方法还可以包括：
[0075]
步骤s400：通过代理程序telegraf获取性能指标数据，并将所述性能指标数据存储至所述时序数据库中。
[0076]
具体的，可以通过指标数据采集代理程序telegraf采集性能指标数据，获取如应用服务器的性能指标、tomcat性能指标、java虚拟机(java virtual machine，jvm)性能指标等性能指标数据，并推送保存至时序数据库influxdb中。可以理解的是，性能指标数据可以直接通过超文本传输协议(hyper text transfer protocol，http)直接发送至时序数据库中，即可用于对系统性能是否发生故障进行监控。
[0077]
在一种可选的实施方式中，本技术实施例提供的票务数据的处理方法还可以包括：
[0078]
步骤s500：通过预设的可视化工具展示所述运行日志数据以及所述性能指标数据。
[0079]
具体的，与票务相关的运行日志数据以及性能指标数据均存储在时序数据库中，则可以通过预设的可视化工具，对数据进行统计和展示，例如：展示今日各时间段内应用接口访问量数据图。作为一种示例，预设的可视化工具可以是grafana可视化工具。
[0080]
在一种可选的实施方式中，本技术实施例提供的票务数据的处理方法还可以获取商务日志数据，可以理解的是，商务日志数据是指与客票销售相关的数据信息，例如：平台日活数据、平台订单销售信息、代理平台分销数据、乘客画像数据等等。而商务数据一般对数据的实时性、即时性要求不高，可以按照非实时处理方案进行，避免占用实时存储资源，保证数据的处理效率，具体的，该方法还包括：
[0081]
步骤s600：通过预设的日志获取脚本获取应用服务器的商务日志数据，将商务日志数据及其对应的接口信息与日期信息按照预设时间周期进行聚合，并将聚合后的商务日志数据存储至预设的分布式文件系统。
[0082]
具体的，可以在应用服务器上通过定时任务，如按照每日执行预设的日志获取脚本，将商务日志数据统一推送至某一指定的商务日志服务器处，商务日志服务器通过预先配置的定时任务，将应用服务器推送过来的商务日志数据，按照接口、日期进行聚合，并将聚合好的商务日志数据存放在该接口对应的本月商务日志文件夹中，并将该接口对应的聚合后的当月商务日志数据存储至预设的分布式文件系统(hadoop distributed file system，hdfs)中，以便于后续进行商务日志数据分析获得商务报表等信息。需要说明的是，预设的日志获取脚本可以是shell脚本、python脚本或其他类型的数据采集脚本，此处不对
其进行限定。
[0083]
与运行数据相对应，商务日志数据同样需要对其格式进行预先设置，下面对商务日志数据的格式进行举例说明：
[0084][0085]
在一种可选的实施方式中，本技术实施例提供的票务数据的处理方法还可以包括：
[0086]
步骤s700：基于hql语言解析所述分布式文件系统，按照预设展示维度导出商务报表数据。
[0087]
具体的，可以通过hql查询语言解析分布式文件系统中的各个接口，每月的商务数据，并按照预设的展示维度导出商务报表数据。作为一种示例，预设的展示维度可以是yyyy年mm月出票量、航段量统计，yyyy年mm月海外用户调用量日报，yyyy年mm月用户日活信息、yyyy年mm月客票取消量数据报表等等，可以理解的是，展示维度可以根据平台的展示及分析需求进行设置，本技术实施例中不对展示维度做出限定。
[0088]
由上可知，本技术实施例将运行日志数据与商务日志数据进行区分处理，对于实时性要求高的运行日志数据按照实时处理方案进行存储，对于实时性要求不高的商务日志数据则按照非实时处理方案进行，避免占用实时存储资源，保证数据的处理效率。
[0089]
综上所述，本技术实施例提供了一种票务数据的处理方法，执行所述方式时，通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。由上，本技术实施例基于flume实时收集运行日志数据，并基于分布式数据中转平台kafka和spark数据服务平台实现对运行日志数据即时性存储，能够实现对票务数据的即时性处理、提高数据处理效率。并且，针对实时性要求不高的商务日志数据则按照非实时处理方案进行，避免占用实时存储资源，保证数据的处理效率。
[0090]
与上述方法相对应，本技术实施例还提供了一种票务数据的处理装置，请参阅图3，示出了该装置的结构示意图，该装置可以包括：
[0091]
运行日志获取模块301，用于通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；
[0092]
运行日志中转模块302，用于将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；
[0093]
数据存储模块303，用于将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。
[0094]
在一种可选的实施方式中，所述运行日志获取模块301，具体包括：
[0095]
请求日志获取子模块，用于通过所述日志收集系统flume获取网站服务器的域名请求日志数据，所述域名请求日志数据包括域名访问频次信息以及域名访问时长信息；
[0096]
监控日志获取子模块，用于通过所述日志收集系统flume获取应用服务器的应用监控日志数据，所述应用监控日志数据包括应用接口访问日志以及应用接口调用日志。
[0097]
在一种可选的实施方式中，所述装置还包括：
[0098]
性能指标数据存储模块，用于通过代理程序telegraf获取性能指标数据，并将所述性能指标数据存储至所述时序数据库中。
[0099]
在一种可选的实施方式中，所述装置还包括：
[0100]
商务日志获取模块，用于通过预设的日志获取脚本获取应用服务器的商务日志数据，所述商务日志数据包括客票销售数据；
[0101]
商务日志聚合模块，用于将所述商务日志数据、所述商务日志数据对应的接口信息与日期信息按照预设时间周期进行聚合，以得到聚合后的商务日志数据；
[0102]
商务日志存储模块，用于将所述聚合后的商务日志数据存储至预设的分布式文件系统。
[0103]
需要说明的是，本技术实施例提供的一种票务数据的处理装置中各模块执行的步骤以及相关技术特征与申请实施例所提供方法相对应，装置部分的描述可以参见前述方法部分的实施例，此处不赘述。
[0104]
综上所述，本技术实施例提供了一种票务数据的处理装置，所述装置包括：运行日志获取模块3，用于通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；运行日志中转模块，用于将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；数据存储模块，用于将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。由上，本技术实施例基于flume实时收集运行日志数据，并基于分布式数据中转平台kafka和spark数据服务平台实现对运行日志数据即时性存储，能够实现对票务数据的即时性处理、提高数据处理效率。并且，针对实时性要求不高的商务日志数据则按照非实时处理方案进行，避免占用实时存储资源，保证数据的处理效率。
[0105]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0106]
本领域技术人员可以理解，图所示的流程图仅是本技术的实施方式可以在其中得以实现的一个示例，本技术实施方式的适用范围不受到该流程图任何方面的限制。
[0107]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0108]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目
的。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0109]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0110]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种票务数据的处理方法，其特征在于，所述方法包括：通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。2.根据权利要求1所述的方法，其特征在于，所述通过日志收集系统flume获取运行日志数据，包括：通过所述日志收集系统flume获取网站服务器的域名请求日志数据，所述域名请求日志数据包括：域名访问频次信息以及域名访问时长信息；通过所述日志收集系统flume获取应用服务器的应用监控日志数据，所述应用监控日志数据包括：应用接口访问日志以及应用接口调用日志。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过代理程序telegraf获取性能指标数据，并将所述性能指标数据存储至所述时序数据库中。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：通过预设的可视化工具展示所述运行日志数据以及所述性能指标数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：通过预设的日志获取脚本获取应用服务器的商务日志数据，所述商务日志数据包括客票销售数据；将所述商务日志数据、所述商务日志数据对应的接口信息与日期信息按照预设时间周期进行聚合，以得到聚合后的商务日志数据；将所述聚合后的商务日志数据存储至预设的分布式文件系统。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：基于hql语言解析所述分布式文件系统，按照预设展示维度导出商务报表数据。7.一种票务数据的处理装置，其特征在于，所述装置包括：运行日志获取模块，用于通过日志收集系统flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；运行日志中转模块，用于将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台kafka，以使得spark数据服务平台对所述运行日志数据进行消费；数据存储模块，用于将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。8.根据权利要求7所述的装置，其特征在于，所述运行日志获取模块，具体包括：请求日志获取子模块，用于通过所述日志收集系统flume获取网站服务器的域名请求日志数据，所述域名请求日志数据包括域名访问频次信息以及域名访问时长信息；监控日志获取子模块，用于通过所述日志收集系统flume获取应用服务器的应用监控日志数据，所述应用监控日志数据包括应用接口访问日志以及应用接口调用日志。9.根据权利要求7所述的装置，其特征在于，所述装置还包括：性能指标数据存储模块，用于通过代理程序telegraf获取性能指标数据，并将所述性
能指标数据存储至所述时序数据库中。10.根据权利要求7所述的装置，其特征在于，所述装置还包括：商务日志获取模块，用于通过预设的日志获取脚本获取应用服务器的商务日志数据，所述商务日志数据包括客票销售数据；商务日志聚合模块，用于将所述商务日志数据、所述商务日志数据对应的接口信息与日期信息按照预设时间周期进行聚合，以得到聚合后的商务日志数据；商务日志存储模块，用于将所述聚合后的商务日志数据存储至预设的分布式文件系统。

技术总结
本申请提供了一种票务数据的处理方法及装置，其中，所述方法包括：通过日志收集系统Flume获取运行日志数据，所述运行日志数据包括：域名请求日志数据以及应用监控日志数据；将所述运行日志数据按照数据类别推送至预设的分布式数据中转平台Kafka，以使得Spark数据服务平台对所述运行日志数据进行消费；将消费完成的所述运行日志数据按照所述数据类别存储至预设的时序数据库。由上，本申请实施例基于Flume实时收集运行日志数据，并基于分布式数据中转平台Kafka和Spark数据服务平台实现对运行日志数据即时性存储，能够实现对票务数据的即时性处理、提高数据处理效率。提高数据处理效率。提高数据处理效率。


技术研发人员：高苑 孙洛 孙大成 李佳琦 杨毅 江德全 戴石渝 周舒扬 熊毅 邹贤洪
受保护的技术使用者：中国民航信息网络股份有限公司
技术研发日：2023.04.04
技术公布日：2023/7/13