轨道系统中设备日志的处理方法、装置、介质及电子设备与流程

1.本技术属于轨道交通技术领域，具体涉及一种轨道系统中设备日志的处理方法、装置、计算机可读存储介质及电子设备。


背景技术：

2.在轨道交通领域，设备(如地铁闸机、地铁读写器等)运行所产生的日志文件，记录在设备本地的存储空间(即硬盘)中。关于日志的维护工作，需要人工手动维护其存储数量或存储空间。当需要查看设备日志时，需要人为利用u盘或其他存储介质从设备上拷贝日志，或者通过网络的方式将设备日志发送至特定查看设备。由于设备产生的日志数据通常较多，在将日志数据拷贝至u盘或传输至其他设备时，需要传输大量的日志数据，进而导致数据传输效率较低。
3.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

4.本技术的目的在于提供一种轨道系统中设备日志的处理方法、装置、介质及电子设备，以优化相关技术中日志数据传输效率较低的问题。
5.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
6.根据本技术实施例的一个方面，提供一种轨道系统中设备日志的处理方法，包括：
7.获取轨道系统中设备生成的待处理日志数据；
8.对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；
9.根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；
10.将所述目标日志数据上传至服务端。
11.根据本技术实施例的一个方面，提供一种轨道系统中设备日志的处理装置，包括：
12.数据获取模块，用于获取轨道系统中设备生成的待处理日志数据；
13.关键词识别模块，用于对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；
14.数据过滤模块，用于根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；
15.日志上传模块，用于将所述目标日志数据上传至服务端。
16.在本技术的一个实施例中，数据过滤模块包括：
17.删除单元，用于若所述待处理关键词对应的关键词过滤方式为删除处理，则将所属地爱处理日志数据中的所述待处理关键词删除，得到目标日志数据；
18.保留单元，用于若所述待处理关键词对应的关键词过滤方式为保留处理，则将所属地爱处理日志数据中的所述待处理关键词作为目标日志数据；
19.替换单元，用于若所述待处理关键词对应的关键词过滤方式为替换处理，则将所属地爱处理日志数据中的所述待处理关键词替换为预设关键词数据，得到目标日志数据。
20.在本技术的一个实施例中，日志上传模块包括：
21.数据记录单元，用于将所述目标日志数据记录于日志文件；
22.待上传数据提取单元，用于根据日志上传频率周期性地提取所述日志文件中产生变化的待上传日志数据；
23.数据上传单元，用于将所述待上传日志数据上传至服务端。
24.在本技术的一个实施例中，所述待上传数据提取单元具体用于：
25.获取日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量；
26.若所述当前数据量大于所述历史数据量，则根据所述历史数据量确定所述日志文件中的历史数据；
27.从所述日志文件中提取除所述历史数据之外的日志数据作为待上传日志数据。
28.在本技术的一个实施例中，所述待上传数据提取单元具体用于：
29.获取上一次将目标日志数据写入所述日志文件的历史时间戳；
30.确定所述日志文件中是否存在与所述历史时间戳相同的目标时间戳；
31.若存在所述目标时间戳，则提取所述日志文件中在所述目标时间戳之后的日志数据作为待上传日志数据；
32.若不存在所述目标时间戳，则提取所述日志文件记录的日志数据作为待上传日志数据。
33.在本技术的一个实施例中，所述装置还包括：
34.异常提示模块，用于获取将目标日志数据写入所述日志文件的最新时间戳；若所述最新时间戳小于所述历史时间戳，则生成异常提示信息。
35.在本技术的一个实施例中，所述装置还包括：
36.内存容量判断模块，用于判断所述目标日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；所述目标日志内存区域是所述设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；
37.存储位置确定模块，用于若所述目标日志数据所占用的内存容量大于所述当前剩余内存容量，则根据预设策略确定所述目标日志数据在所述目标日志内存区域中的目标存储位置；
38.数据存储模块，用于将所述目标日志数据存储至所述目标存储位置。
39.根据本技术实施例的一个方面，提供一种计算机可读介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如以上技术方案中的地图数据的处理方法。
40.根据本技术实施例的一个方面，提供一种电子设备，该电子设备包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器执行所述可执行指令使得所述电子设备执行如以上技术方案中的地图数据的处理方法。
41.根据本技术实施例的一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。
计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如以上技术方案中的地图数据的处理方法。
42.在本技术实施例提供的技术方案中，通过对轨道系统中设备生成的待处理日志数据进行关键词识别得到待处理关键词，进而根据待处理关键词对应的关键词过滤处理，最后将过滤后的目标日志数据上传至服务端，可以减少设备日志所产生的大量噪声数据，减少日常数据上传至服务端所涉及的数据量，提高上传效率；同时，后续可以通过服务端随时获取和查看日志数据，极大地提高了日志数据的查询效率和灵活性。
43.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
44.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1示意性地示出了应用本技术技术方案的示例性系统架构框图。
46.图2示意性地示出了本技术一个实施例提供的轨道系统中设备日志的处理方法的流程图。
47.图3示意性地示出了应用本技术技术方案的示例性系统架构示意图。
48.图4示意性地示出了本技术一个实施例提供的轨道系统中设备日志的处理方法的流程图。
49.图5示意性地示出了本技术一个实施例提供的示例性系统架构的示意图。
50.图6示意性地示出了本技术一个实施例提供的轨道系统中设备日志的处理装置的结构框图。
51.图7示意性地示出了用于实现本技术实施例的电子设备的计算机系统结构框图。
具体实施方式
52.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
53.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
54.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
55.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也
不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
56.图1示意性地示出了应用本技术技术方案的示例性轨道系统架构框图。
57.如图1所示，轨道系统架构100可以包括设备110、网络120和服务器130。设备110可以包括轨道系统中的各类电子设备或各类电子设备的组合，例如各类传感器(如烟雾传感器、温度传感器等)、检票闸机、安检机器等等，又例如传感器与其他电子设备或终端设备所组成的装置(例如传感器采集数据发送至到终端设备，那么该终端设备与传感器构成设备110)，该轨道系统可以换是地铁系统、铁路系统等。服务器130可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器；服务器130可以本地化部署，也可以部署在云端。网络120可以是能够在设备110和服务器130之间提供通信链路的各种连接类型的通信介质，例如可以是有线通信链路或者无线通信链路。
58.根据实现需要，本技术实施例中的系统架构可以具有任意数目的电子设备、网络和服务器。例如，服务器130可以是由多个服务器设备组成的服务器群组。另外，本技术实施例提供的技术方案可以应用于设备110，也可以由设备110和服务器130共同实施，本技术对此不做特殊限定。
59.举例而言，本技术技术方案由设备110实施，该设备110即为轨道系统中的设备。首先，设备110获取待处理日志数据。然后，设备110对待处理日志数据进行关键词识别，以确定待处理日志数据中的待处理关键词。接下来，设备110根据待处理关键词对应的关键词过滤方式，对待处理日志数据进行关键词过滤处理，得到目标日志数据。最后，设备110将目标日志数据上传至服务端，该服务端可以是服务器130。
60.下面结合具体实施方式对本技术提供的轨道系统中设备日志的处理方法做出详细说明。
61.图2示意性地示出了本技术一个实施例提供的轨道系统中设备日志的处理方法的流程图，如图2所示，该方法包括步骤210至步骤240，具体如下：
62.步骤210、获取轨道系统中设备生成的待处理日志数据。
63.具体地，轨道系统指轨道交通系统，例如火车系统、地铁系统等。轨道系统中的设备在运行过程中会产生日志数据，日志数据是设备运行过程中所产生的各种操作行为和异常行为的记录信息。例如，烟雾传感器每秒进行一次烟雾检测，则每秒产生一次烟雾检测结果，一次烟雾检测动作和烟雾检测结果可以形成一条日志数据。通过日志数据可以定位设备运行过程中所出现的问题，因此，设备需要对日志数据进行存储，以便于后续调用和查看，待处理日志数据即为等待进行存储的日志数据。
64.需要说明的是，能够生成日志数据的设备可以是硬件设备，也可以是软件设备。例如，烟雾传感器是一种硬件设备，应用程序也可以产生日志数据，例如检测烟雾传感器是否能够正常进行工作的检测程序。软件设备所产生的日志数据也可以看成是集成该软件设备的硬件设备所产生的日志数据，例如，检测烟雾传感器工作的检查程序所产生的日志数据也可以看成是烟雾传感器所产生的日志数据。
65.在本技术的一个实施例中，日志数据也可以是由多个设备协同生成的。例如，烟雾传感器仅做烟雾检测，不具备数据记录功能，通常这样的烟雾传感器可以与控制设备协同
工作，控制设备向烟雾传感器发送检测指令，烟雾传感器返回检测结果，控制设备可以基于检测动作和检测结果生成日志数据。
66.步骤220、对待处理日志数据进行关键词识别，以确定待处理日志数据中的待处理关键词。
67.具体地，关键词识别是指根据预先设定的至少一个预设关键词，从待处理日志数据中识别出与该预设关键词相同的待处理关键词。需要说明的是，本技术中所涉及“关键词”含义并非狭义上的仅指一个词语，而是所设定的一种信息数据，其可以是一个字符、一个词语、一个字段、一条指令等其他符合要求的形式。
68.在本技术的一个实施例中，关键词识别可以通过字符串匹配的方式实施，即根据预设关键词所对应字符串在待处理日志数据中匹配，找到待处理日志数据中与预设关键词字符串完全一致的字符串数据作为待处理关键词。
69.步骤230、根据待处理关键词对应的关键词过滤方式，对待处理日志数据进行关键词过滤处理，得到目标日志数据。
70.具体地，关键词过滤方式是指对待处理日志数据中的待处理关键词进行过滤处理，以减少待处理日志数据的数据量。待处理日志数据可以包含多条记录信息，关键词过滤方式可以仅针对待处理关键词进行过滤处理，也可以针对待处理日志数据中包含待处理关键词的数据段或记录信息进行过滤处理。
71.在本技术的一个实施例中，关键词过滤方式可以包括但不限于关键词删除、关键词保留和关键词替换。对待处理日志数据进行删除处理，是指删除待处理日志数据中待处理关键词对应的数据。例如，待处理日志数据包括设备之间的心跳数据，而设备之间的心跳数据大多为重复且重要性较低的数据，心跳数据中包括关键词“"cmd":1020”，对应的关键词处理方式可以是将包含"cmd":1020的数据删除，则删除设备之间的心跳数据后的待处理日志数据为目标日志数据。
72.对待处理日志数据进行关键词保留处理，是指仅保留待处理日志数据中待处理关键词所对应的数据，删除其他数据。例如，待处理日志数据包括多种类型的日志数据，用户仅需要保留人脸验证数据，人脸验证数据包括关键词“face_check”，对应的关键词处理方式可以是仅保留包含face_check的数据，那么待处理日志数据中仅包含face_check的数据为目标日志数据。
73.对待处理日志数据进行关键词替换处理，是指将待处理日志数据待处理关键词对应的数据替换为另一段预设数据。例如，待处理日志数据包括设备之间的心跳数据，虽然心跳数据重要性较低，但是又不想删除该数据，则可以将包含心跳数据的数据替换为另一段较短的数据，例如，将包含"cmd":1020的数据替换为“device_heartbeat”，完成替换处理后的待处理日志数据即为目标日志数据。
74.步骤240、将目标日志数据上传至服务端。
75.具体地，对待处理日志数据进行关键词过滤处理后，将目标日志数据上传至服务端，后续可以通过服务端随时获取和查看轨道系统中设备生成的日志数据。
76.在本技术的一个实施例中，在将日志数据上传至服务端时，可以先对日志数据进行压缩处理，得到压缩数据；然后将压缩数据上传至服务端。服务端可以通过对应的解压处理得到原始日志数据。
77.在本技术实施例提供的技术方案中，通过对轨道系统中设备生成的待处理日志数据进行关键词识别得到待处理关键词，进而根据待处理关键词对应的关键词过滤处理，最后将过滤后的目标日志数据上传至服务端，可以减少设备日志所产生的大量噪声数据，减少日常数据上传至服务端所涉及的数据量，提高上传效率；同时，后续可以通过服务端随时获取和查看日志数据，极大地提高了日志数据的查询效率和灵活性。
78.示例性的，图3示意性地示出了应用本技术技术方案的示例性系统架构示意图。如图3所示，该系统架构包括文件提取器(fileextractor)、数据获取接口(api)和过滤器(filter)。文件提取器和数据获取接口用于获取轨道系统中设备生成的待处理日志数据。过滤器用于对待处理日志数据进行关键词识别以及关键词过滤，关键词过滤包括丢弃(即删除)、保存(即保留)和替换。
79.图4示意性地示出了本技术一个实施例提供的轨道系统中设备日志的处理方法的流程图，本实施例是对上述实施例的进一步优化。如图4所示，该方法包括步骤410至步骤460，具体如下：
80.步骤410、获取轨道系统中设备生成的待处理日志数据。
81.步骤420、对待处理日志数据进行关键词识别，以确定待处理日志数据中的待处理关键词。
82.步骤430、根据待处理关键词对应的关键词过滤方式，对待处理日志数据进行关键词过滤处理，得到目标日志数据。
83.上述步骤410-430与前述实施例中的步骤210-230相同，在此不再赘述。
84.步骤440、将目标日志数据记录于日志文件。
85.具体地，为了便于日志数据的管理，通常将日志数据记录于日志文件中，日志文件即是内容是日志数据的文件，例如log文件。
86.步骤450、根据日志上传频率周期性地提取日志文件中产生变化的待上传日志数据。
87.具体地，日志上传频率为日志上传周期的倒数，例如，日志上传频率为60hz，表示每秒上传一次日志数据，即日志上传周期为1s。
88.在本技术的一个实施例中，可以根据日志文件大小的变化来确定日志文件中的数据是否产生变化，具体包括：获取日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量；若当前数据量大于历史数据量，则根据历史数据量确定日志文件中的历史数据；从日志文件中提取除历史数据之外的日志数据作为待上传日志数据。
89.具体地，日志文件的数据量即表示日志文件的大小，通过相邻两个周期所对应的日志文件大小的变化，即可确定日志文件中的日志数据是否产生变化。相邻两个周期的日志文件大小，即为日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量。如果当前数据量大于历史数据量，则表明日志文件中新增加了日志数据，那么新增部分的日志数据即为待上传日志数据。而将日志文件中的日志数据减去历史日志数据，即为新增部分的日志数据。
90.在本技术的一个实施例中，如果当前数据量等于历史数据量，则表明日志文件内的数据无变化，此时可以选择不上传日志数据至服务端。如果当前数据量小于历史数据量，则表明日志文件内的数据丢失，属于异常情况，此时可以生成异常提示信息，以便于计时发
现该异常情况。
91.在本技术的一个实施例中，日志文件大小的变化可以根据日志文件中数据的时间戳是否产生变化来确定，具体包括：获取上一次将目标日志数据写入日志文件的历史时间戳；确定日志文件中是否存在与历史时间戳相同的目标时间戳；若存在目标时间戳，则提取日志文件中在目标时间戳之后的日志数据作为待上传日志数据；若不存在目标时间戳，则提取日志文件记录的日志数据作为待上传日志数据。
92.具体地，日志数据的开头通常是该日志数据的生成时间戳。上一次将目标日志数据写入日志文件的历史时间戳，是指上一次上传日志数据至服务端后，写入日志文件中的第一条目标日志数据的时间戳。将该历史时间戳在日志文件中匹配，当匹配到与该历史时间戳相同的目标时间戳时，说明找到了上一次进行日志数据上传的数据节点，该数据节点之后的数据均是未上传的数据，故而提取日志文件中在目标时间戳之后的日志数据作为待上传日志数据。当未匹配到与该历史时间戳相同的目标时间戳时，说明整个日志文件的文件均是新生成的日志数据，是未上传的数据，故而此时将日志文件中记录的全部日志数据作为待上传日志数据。
93.在本技术的一个实施例中，还可以通过时间戳判断日志文件是否存在异常，具体为：获取将目标日志数据写入日志文件的最新时间戳；若最新时间戳小于历史时间戳，则生成异常提示信息。
94.具体而言，将目标日志数据写入日志文件的最新时间戳是指最近一次向日志文件写入的第一条目标日志数据的时间戳。如果最新时间戳小于历史时间戳，则表明数据记录出现混乱或者时间戳混乱，也可能导致数据丢失，故而生成异常提示信息，以便于用户及时了解和解决异常情况。
95.在本技术的一个实施例中，日志上传周期(或频率)可以是预先设置的固定周期(或频率)，也可以根据设备当前的运行状况进行动态调整。例如，可以根据业务流量、设备维护状态、业务优先级、网络资源使用率、外部输入数据等动态调整该周期。例如，原周期为每5分钟向服务端上传一次日志数据，当业务流量增大时(例如地铁早晚高峰时段客流量增大)，将周期增大，调整为15分钟一次，以使得设备使用更多的资源应对增大的业务流量。当设备处于维护中时，可以停止日志数据的上传。业务优先级也表示日志数据的优先级，例如一氧化碳传感器优先级高于温度传感器优先级，则一氧化碳传感器的日志数据上传周期(如1分钟)应小于温度传感器优先级上传周期(如5分钟)。当网络资源使用率较高时，可以配置较大的周期；当网络资源利用率较小时，可以配置较小的周期；还可以结合网络带宽和网络资源使用率设置周期。外部输入数据表示人为调整周期，此时可以直接根据外部输入数据设置周期。
96.在本技术的一个实施例中，可以采集设备的运行状况数据作为训练数据对机器学习模型进行训练，然后将设备的实时运行状况输入训练好的机器学习模型，得到当前的数据上传周期。
97.步骤460、将待上传日志数据上传至服务端。
98.在本技术实施例提供的技术方案中，通过周期性地将目标日志数据上传至服务端，降低了日志数据上传的频率，有利于减少日志数据上传所占用的网络资源。同时，在周期性上传的过程中，提取日志文件中产生变化的待上传数据上传至服务端，进一步减少了
日志数据上传所涉及的数据量，也避免服务端所获取日志数据产生大量冗余，提高了数据上传效率和网络资源利用率。
99.在本技术的一个实施例中，在得到目标日志数据后，还可以将目标日志数据存储与设备的系统内存，具体步骤包括：判断目标日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；目标日志内存区域是设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；若目标日志数据所占用的内存容量大于当前剩余内存容量，则根据预设策略确定目标日志数据在目标日志内存区域中的目标存储位置；将目标日志数据存储至目标存储位置。
100.具体地，目标日志内存区域需要预先向系统内存申请，一次性向系统申请较大空间的内存，可能难以申请成功，本技术实施例采用多次申请较小目标子内存区域的方式来得到一个较大的目标日志内存区域，进而可以通过该目标日志内存区域存储目标日志数据。预设策略是预先配置的在日志数据所占用内存容量超出目标日志内区域的内存容量时的日志数据存储策略，相当于对目标日志内存区域中已存储的历史日志数据的处理策略。
101.通过对日志数据进行过滤处理后再存储日志数据，可以有效降低日志数据所占用的存储空间，提高内存利用率。
102.在本技术的与一个实施例中，在申请目标日志内存区域时，可以根据预设日志内存容量和内存申请颗粒度计算内存申请次数，然后根据内存申请次数和内存申请颗粒度向设备的系统内存进行多次内存申请，得到多个目标子内存区域，进而根据多个目标子内存区域确定目标日志内存区域。预设日志内存容量是预先设定的用于存储日志数据的目标日志内存区域的容量。内存申请颗粒度是指成功进行一次内存申请所得到的内存容量。例如，预设日志内存容量为10mb，内存申请颗粒度为1mb，则申请次数为10/1＝10次。
103.在本技术的一个实施例中，系统内存可能不会通过每一次的内存申请，即存在内存申请失败的情况，那么目标日志内存区域是内存申请成功所得到的多个目标子内存区域之和，可见，目标日志内存区域所包括的目标子内存区域的数量小于或等于内存申请次数。
104.在本技术的一个实施例中，内存申请颗粒度可以通过机器学习模型根据当前设备数据和预设日志内存容量预测得到。当前设备数据包括当前系统内存参数、当前操作系统参数和当前处理器参数。当前设备数据包括当前系统内存参数、当前操作系统参数和当前处理器参数。当前系统内存参数包括但不限于系统内存总容量和系统内存当前剩余容量。当前处理器参数包括但不限于当前处理器主频、当前处理器使用率和当前处理器架构。如此，机器学习模型可以根据当前设备数据确定内存申请颗粒度，可以使得内存申请匹配设备的当前运行状况，有效提高内存申请成功率。
105.在本技术的一个实施例中，预设策略包括循环存储和磁盘存储。循环存储是指循环使用目标日志内存区域进行数据存储，磁盘存储是指将日志数据存储至磁盘中。当采用循环存储方式时，将目标日志内存区域的当前起始位置作为接下来待处理日志数据的目标存储位置，当前起始位置是目标日志内存区域中存储的历史日志数据距离当前时刻最远的存储位置，也即，在目标日志内存区域中的数据存满时，再返回目标日志内存区域的起始位置继续按照地址顺序从前往后进行存储，如此实现循环存储。当采用磁盘存储方式时，将目标日志内存区域当前存储的历史日志数据转存至磁盘，然后从数据转存后的目标日志内存区域选择任意存储位置作为该待处理日志数据的目标存储位置。
106.通过不同的存储策略，提高了日志数据存储的灵活性；同时也实现了在内存中积累一定的日志数据后，将日志数据批量地写入磁盘的技术方案，避免内存数据频繁写入磁盘，降低磁盘读写频率，进而避免磁盘损坏，减少设备维护费用。
107.在本技术的一个实施例中，当系统内存响应内存申请时，优先为相邻两次的内存申请分配相邻的目标子内存区域，如此，使得目标日志内存区域是连续的内存区域，避免内存中日志数据的存储与其他数据的存储之间产生混淆。
108.在本技术的一个实施例中，在存储日志数据时，可以为日志数据设置优先级，当超出目标日志内存区域的容量时，可以将目标日志内存区域中存储的优先级最低的历史日志数据所在存储位置作为当前待处理日志数据的目标存储位置。如此，在实现循环存储的基础上，保证优先级高的日志数据保留的时间更长。
109.在本技术的一个实施例中，可以先将目标日志数据存储于系统内存中，然后从系统内存读取目标日志数据上传至服务端。当日志数据存储于磁盘时，内存先从磁盘中读取日志数据，然后再上传至服务端。
110.在本技术的一个实施例中，数据过滤可以在将多个日志数据形成日志文件后实施，即对日志文件进行数据过滤，如此可以集中、批量地进行数据过滤，提高数据过滤效率。
111.示例性的，图5示意性地示出了本技术一个实施例提供的示例性系统架构的示意图。如图5所示，该系统架构包括：文件提取器(fileextractor)、数据获取接口(api)、过滤器(filter)、消费者模块(consumer)和压缩模块(compress)。本技术技术方案由设备中的日志模块实施，相当于客户端(client)，服务端包括日志服务平台(sever)和其他服务端。
112.用户通过其他方式或调用本实施例系统架构中的日志模块创建日志文件，其他程序所产生的日志数据可以通过数据获取接口传入日志模块，通过消费者模块支持实时的、无延时的将日志数据通过网络(http、socket、websocket等)发送至服务端，或将日志数据存储至系统内存(ram)。在无过滤要求时，可以禁用过滤器，日志数据直接传入服务端。在有过滤需求时，用户可以配置过滤器所采用的关键词过滤方式，以对待处理日志数据进行过滤处理，得到目标日志数据。目标日志数据可以经过压缩模块的压缩处理后上传至服务端。
113.用户可以通过日志服务平台进行日志展示、日志配置、数据分析、ai决策、日志文件拉取和日志管理。
114.图6示意性地示出了本技术一个实施例提供的轨道系统中设备日志的处理装置的结构框图，该装置可以实施本技术任意实施例提供的轨道系统中设备日志的处理方法。如图6所示，本技术实施例提供的轨道系统中设备日志的处理装置包括：
115.数据获取模块610，用于获取轨道系统中设备生成的待处理日志数据；
116.关键词识别模块620，用于对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；
117.数据过滤模块630，用于根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；
118.日志上传模块640，用于将所述目标日志数据上传至服务端。
119.在本技术的一个实施例中，数据过滤模块630包括：
120.删除单元，用于若所述待处理关键词对应的关键词过滤方式为删除处理，则将所属地爱处理日志数据中的所述待处理关键词删除，得到目标日志数据；
121.保留单元，用于若所述待处理关键词对应的关键词过滤方式为保留处理，则将所属地爱处理日志数据中的所述待处理关键词作为目标日志数据；
122.替换单元，用于若所述待处理关键词对应的关键词过滤方式为替换处理，则将所属地爱处理日志数据中的所述待处理关键词替换为预设关键词数据，得到目标日志数据。
123.在本技术的一个实施例中，日志上传模块640包括：
124.数据记录单元，用于将所述目标日志数据记录于日志文件；
125.待上传数据提取单元，用于根据日志上传频率周期性地提取所述日志文件中产生变化的待上传日志数据；
126.数据上传单元，用于将所述待上传日志数据上传至服务端。
127.在本技术的一个实施例中，所述待上传数据提取单元具体用于：
128.获取日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量；
129.若所述当前数据量大于所述历史数据量，则根据所述历史数据量确定所述日志文件中的历史数据；
130.从所述日志文件中提取除所述历史数据之外的日志数据作为待上传日志数据。
131.在本技术的一个实施例中，所述待上传数据提取单元具体用于：
132.获取上一次将目标日志数据写入所述日志文件的历史时间戳；
133.确定所述日志文件中是否存在与所述历史时间戳相同的目标时间戳；
134.若存在所述目标时间戳，则提取所述日志文件中在所述目标时间戳之后的日志数据作为待上传日志数据；
135.若不存在所述目标时间戳，则提取所述日志文件记录的日志数据作为待上传日志数据。
136.在本技术的一个实施例中，所述装置还包括：
137.异常提示模块，用于获取将目标日志数据写入所述日志文件的最新时间戳；若所述最新时间戳小于所述历史时间戳，则生成异常提示信息。
138.在本技术的一个实施例中，所述装置还包括：
139.内存容量判断模块，用于判断所述目标日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；所述目标日志内存区域是所述设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；
140.存储位置确定模块，用于若所述目标日志数据所占用的内存容量大于所述当前剩余内存容量，则根据预设策略确定所述目标日志数据在所述目标日志内存区域中的目标存储位置；
141.数据存储模块，用于将所述目标日志数据存储至所述目标存储位置。
142.本技术各实施例中提供的轨道系统中设备日志的处理装置的具体细节已经在对应的实施例中进行了详细的描述，此处不再赘述。
143.图7示意性地示出了用于实现本技术实施例的电子设备的计算机系统结构框图。
144.需要说明的是，图7示出的电子设备的计算机系统700仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
145.如图7所示，计算机系统700包括中央处理器701(central processing unit，cpu)，其可以根据存储在只读存储器702(read-only memory，rom)中的程序或者从存储部
分708加载到随机访问存储器703(random access memory，ram)中的程序而执行各种适当的动作和处理。在随机访问存储器703中，还存储有系统操作所需的各种程序和数据。中央处理器701、在只读存储器702以及随机访问存储器703通过总线704彼此相连。输入/输出接口705(input/output接口，即i/o接口)也连接至总线704。
146.以下部件连接至输入/输出接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(cathode ray tube，crt)、液晶显示器(liquid crystal display，lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如局域网卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至输入/输出接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
147.特别地，根据本技术的实施例，各个方法流程图中所描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理器701执行时，执行本技术的系统中限定的各种功能。
148.需要说明的是，本技术实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
149.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要
注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
150.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
151.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
152.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
153.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。

技术特征：
1.一种轨道系统中设备日志的处理方法，其特征在于，包括：获取轨道系统中设备生成的待处理日志数据；对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；将所述目标日志数据上传至服务端。2.根据权利要求1所述的轨道系统中设备日志的处理方法，其特征在于，根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据，包括：若所述待处理关键词对应的关键词过滤方式为删除处理，则将所属地爱处理日志数据中的所述待处理关键词删除，得到目标日志数据；若所述待处理关键词对应的关键词过滤方式为保留处理，则将所属地爱处理日志数据中的所述待处理关键词作为目标日志数据；若所述待处理关键词对应的关键词过滤方式为替换处理，则将所属地爱处理日志数据中的所述待处理关键词替换为预设关键词数据，得到目标日志数据。3.根据权利要求1所述的轨道系统中设备日志的处理方法，其特征在于，将所述目标日志数据上传至服务端，包括：将所述目标日志数据记录于日志文件；根据日志上传频率周期性地提取所述日志文件中产生变化的待上传日志数据；将所述待上传日志数据上传至服务端。4.根据权利要求3所述的轨道系统中设备日志的处理方法，其特征在于，提取所述日志文件中产生变化的待上传日志数据，包括：获取日志文件在当前上传时间的当前数据量和在前一上传时间的历史数据量；若所述当前数据量大于所述历史数据量，则根据所述历史数据量确定所述日志文件中的历史数据；从所述日志文件中提取除所述历史数据之外的日志数据作为待上传日志数据。5.根据权利要求3所述的轨道系统中设备日志的处理方法，其特征在于，提取所述日志文件中产生变化的待上传日志数据，包括：获取上一次将目标日志数据写入所述日志文件的历史时间戳；确定所述日志文件中是否存在与所述历史时间戳相同的目标时间戳；若存在所述目标时间戳，则提取所述日志文件中在所述目标时间戳之后的日志数据作为待上传日志数据；若不存在所述目标时间戳，则提取所述日志文件记录的日志数据作为待上传日志数据。6.根据权利要求5所述的轨道系统中设备日志的处理方法，其特征在于，所述方法还包括：获取将目标日志数据写入所述日志文件的最新时间戳；若所述最新时间戳小于所述历史时间戳，则生成异常提示信息。
7.根据权利要求1-6任一项所述的轨道系统中设备日志的处理方法，其特征在于，在得到目标日志数据之后，所述方法还包括：判断所述目标日志数据所占用的内存容量是否大于目标日志内存区域的当前剩余内存容量；所述目标日志内存区域是所述设备的系统内存基于多次内存申请而分配的多个目标子内存区域的总和；若所述目标日志数据所占用的内存容量大于所述当前剩余内存容量，则根据预设策略确定所述目标日志数据在所述目标日志内存区域中的目标存储位置；将所述目标日志数据存储至所述目标存储位置。8.一种轨道系统中设备日志的处理装置，其特征在于，包括：数据获取模块，用于获取轨道系统中设备生成的待处理日志数据；关键词识别模块，用于对所述待处理日志数据进行关键词识别，以确定所述待处理日志数据中的待处理关键词；数据过滤模块，用于根据所述待处理关键词对应的关键词过滤方式，对所述待处理日志数据进行关键词过滤处理，得到目标日志数据；日志上传模块，用于将所述目标日志数据上传至服务端。9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至7中任意一项所述的轨道系统中设备日志的处理方法。10.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器执行所述可执行指令使得所述电子设备执行权利要求1至7中任意一项所述的轨道系统中设备日志的处理方法。

技术总结
本申请公开了一种轨道系统中设备日志的处理方法、装置、介质及电子设备，该方法可以应用于轨道系统中设备中，构建智能硬件设备。该方法通过关键词过滤方式以剔除设备日志中产生的大量噪声数据，减少日志数据存储与上传的数据量，提高数据上传效率，降低带宽流量，降低数据存储所占用内存空间。同时，还可以通过日志文件大小分析或日志记录时间增长分析提取新增日志数据上传至服务端，不仅实现了日志数据的智能分析与比对，还进一步减少上传数据量，提高上传效率。提高上传效率。提高上传效率。


技术研发人员：籍天亮 方超 伊尚丰 魏力
受保护的技术使用者：八维通科技有限公司
技术研发日：2023.05.31
技术公布日：2023/9/9