日志处理方法、设备和存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种日志处理方法、设备和存储介质。


背景技术：

2.日志是网络设备、系统或服务程序等在运作时产生的事件记录，日志可以被收集和分析，通过查阅日志，可以了解到系统在某个时刻所处的状态等，为服务系统的优化和网络安全问题预防等提供依据。
3.在大数据时代，每个系统或者业务产生的日志数据呈现爆发式的增长，且会因系统或者设备配置或者网络延迟等原因连续产生重复的日志，在日志存在大量重复的情况下，不利于相关人员查阅日志信息(例如存在某些错误日志，但因为其他大量重复的日志，导致没有及时查阅到错误日志)，进而不利于对系统进行监控。
4.因此，如何准确地判断重复日志，进而根据判重结果准确地处理日志，成为目前亟待解决的技术问题。


技术实现要素：

5.本技术主要解决的技术问题是提供一种日志处理方法、设备和存储介质，能够提高日志判重结果的准确性，进而能够根据判重结果准确地处理日志。
6.为解决上述技术问题，本技术采用的一个技术方案是：提供一种日志处理方法，该方法包括：获取目标待处理日志；从预设规则库中确定目标待处理日志匹配的目标判重规则；基于目标判重规则对目标待处理日志进行判重处理，确定第一判重结果；其中，第一判重结果表征已存储日志中是否存在与目标待处理日志重复的第一日志；基于第一判重结果，处理目标待处理日志。
7.其中，已存储日志和目标待处理日志中均包含若干目标关注字段；目标判重规则包含预设时间范围、以及关于若干目标关注字段的字段限定规则；基于目标判重规则对目标待处理日志进行判重处理，确定第一判重结果，包括：基于字段限定规则对目标待处理日志进行判重处理，确定第二判重结果；基于第二判重结果和预设时间范围，确定第一判重结果。
8.其中，对于各已存储日志，已存储日志中包含若干目标关注字段的第一键值对，目标待处理日志中包含若干目标关注字段的第二键值对；基于字段限定规则对目标待处理日志进行判重处理，确定第二判重结果，包括：基于第一键值对与第二键值对进行比对，得到第二判重结果；其中，第二判重结果表征是否存在与第二键值对相同的第一键值对；基于第二判重结果和预设时间范围，确定第一判重结果，包括：响应于第二判重结果为存在，获取第一时间点和第二时间点的时间差，其中，第一时间点为第二日志存储至数据库的存储时间，第二日志为与第二键值对相同的第一键值对对应的已存储日志，第二时间点为当前时间点；基于时间差是否满足预设时间范围，得到第一判重结果。
9.其中，基于第二判重结果和预设时间范围，确定第一判重结果，还包括：响应于第
二判重结果为不存在，确定第一判重结果为不存在第一日志；和/或，基于时间差是否满足预设时间范围，得到第一判重结果，包括：响应于时间差满足预设时间范围，确定第一判重结果为存在第一日志；响应于时间差不满足预设时间范围，确定第一判重结果为不存在第一日志。
10.其中，基于第一判重结果，处理目标待处理日志，包括以下至少一者：响应于第一判重结果为存在第一日志，删除目标待处理日志；响应于第一判重结果为不存在第一日志，将目标待处理日志存储至数据库。
11.其中，在响应于第一判重结果为存在，删除目标待处理日志后，方法还包括：更新第一日志的统计数据，统计数据表征与第一日志为重复日志的日志条数；和/或，在响应于第一判重结果为不存在，将目标待处理日志存储至数据库后，该方法还包括：记录目标待处理日志存储至数据库的存储时间。
12.其中，在从预设规则库中确定目标待处理日志匹配的目标判重规则之前，该方法还包括：确定目标待处理日志的目标来源；从预设规则库中确定目标待处理日志匹配的目标判重规则，包括：从预设规则库中确定目标来源匹配的目标判重规则。
13.其中，在获取目标待处理日志之前，该方法还包括：获取原始待处理日志；对原始待处理日志进行标准化处理，得到标准化后的目标待处理日志；其中，目标待处理日志包含目标来源对应的第三键值对；确定目标待处理日志的目标来源，包括：基于第三键值对，确定目标来源。
14.为解决上述技术问题，本技术采用的再一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述方法。
15.为解决上述技术问题，本技术采用的又一个技术方案是：提供一种计算机可读存储介质，用于存储程序指令，该程序指令能够被执行以实现上述方法。
16.上述方案，在获取目标待处理日志后，从预设规则库中确定目标待处理日志匹配的目标判重规则，然后利用目标判重规则对目标待处理日志进行判重处理，确定第一判重结果，即确定已存储的日志中是否存在与目标待处理日志重复的日志，然后根据第一判重结果处理目标待处理日志。相较于统一采用单一规则对所有日志进行判重而言，由于本技术方案利用的是与目标待处理日志匹配的目标判重规则进行判重处理，确定的第一判重结果，故能够对待处理日志采用针对性更强的规则进行判重，从而有助于提高日志判重结果的准确性，进而能够准确地处理日志。
附图说明
17.图1是本技术提供的日志处理方法一实施例的流程示意图；
18.图2是图1所示步骤s13一实施方式的流程示意图；
19.图3是本技术提供的日志处理方法另一实施方式的流程示意图；
20.图4是本技术提供的电子设备一实施例的框架示意图；
21.图5是本技术提供的计算机可读存储介质的框架示意图。
具体实施方式
22.为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。
23.另外，若本技术实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
24.需要说明的是，本技术下文中提到的已存储日志是已存储至数据库且用于相关人员查阅的日志，本技术方案的主要目的是确定是否存在和已存储日志重复的日志，若存在重复日志，则删除该重复的日志，若不存在，则将该日志进行存储，以便于后续相关人员查阅日志信息。
25.请参阅图1，图1是本技术提供的日志处理方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
26.s11：获取目标待处理日志。
27.本实施例用于利用与目标待处理日志匹配的目标判重规则进行判重处理，确定第一判重结果，进而便于基于第一判重结果，处理目标待处理日志。
28.目标待处理日志为日志系统当前时间点获取，且待日志系统进行判重处理的日志。其中，日志系统可以只接收一个系统发送的日志，当然，也可以接收多个不同系统发送的日志。也就是说，本技术的实施方式能够处理一个日志源(系统)发送的日志，也可以处理多个日志源发送的日志。其中，目标待处理日志可以是接收到的日志源直接发送的原始的待处理日志，也可以是原始的待处理日志经标准化处理后的标准格式的日志。
29.在一实施方式中，为了便于后续处理，无论日志系统获取到的是任何日志源发送的原始的待处理日志，可先对该原始待处理日志进行标准化处理，得到标准化后的目标待处理日志。示例性的，将接收到的原始待处理日志按照预设格式进行标准化处理，以使得到的来自各日志源的目标待处理日志均为相同的预设格式的日志，例如对于告警日志，均是按照ip字段、攻击类型字段的顺序将日志记录的各内容进行排列等，具体的预设格式需根据实际需求进行确定，此处不做具体限定。
30.在另一实施方式中，日志源可将原始的待处理日志发送到专门的日志标准化系统，以通过日志标准化系统对原始待处理日志进行标准化处理，得到标准化后的目标待处理日志，然后由日志标准化系统将目标待处理日志发送到日志系统。也就是说，本实施方式中，日志系统获取的目标待处理日志为接收到的日志标准化系统发送的经标准化处理的日志。
31.s12：从预设规则库中确定目标待处理日志匹配的目标判重规则。
32.需要说明的是，不同的日志源可以接触到的日志数据不同，例如基于主机型入侵检测系统(hids，host-based intrusion detection system)可以接触到主机上的进程、文件、系统调用；而网站应用级入侵防御系统(waf，web application firewall)则只能获取
到流量中的请求来源、目的地。因此，本实施例中，为了能对不同日志源的日志进行判重处理，可预先在预设规则库中存储不同日志源(目标来源)的日志匹配的目标判重规则。以在获取目标待处理日志后，能够从预设规则库中确定目标待处理日志匹配的目标判重规则，并利用匹配的目标判重规则对目标待处理日志进行判重处理。例如目标待处理日志为waf来源的日志，则需从预设数据库中找到处理waf来源的日志所匹配的目标判重规则；再如目标待处理日志为hids来源的日志，则需从预设数据库中找到处理hids来源的日志所匹配的目标判重规则。
33.在一实施方式中，在步骤s12从预设规则库中确定目标待处理日志匹配的目标判重规则之前，可先确定目标待处理日志的目标来源，即先确定目标待处理日志为哪个日志源的日志，然后，从预设规则库中确定该目标来源匹配的目标判重规则，其中，各目标来源(日志源)匹配的目标判重规则可根据实际需要进行配置。
34.需要说明的是，若当前的预设数据库中存在该目标来源匹配的目标判重规则，则在确定目标待处理日志的目标来源后，直接执行步骤s13；若当前的预设数据库中不存在该目标来源匹配的目标判重规则，则响应于相关的日志处理人员输入的配置信息，配置该目标待处理日志对应日志源匹配的目标判重规则，并将该配置的目标判重规则存储至预设数据库中，以在存储后，能够从预设规则库中确定目标待处理日志匹配的目标判重规则。在一具体实施例中，日志系统包括存储各目标来源匹配的目标判重规则的预设数据库、以及存储各目标来源名称(或键值对)的日志源数据库，且预设数据库存在一个外键关联至日志源数据库，能够使相关人员对不同的日志源配置对应匹配的目标判重规则，若日志系统检测到当前的预设数据库中不存在该目标来源(例如目标来源b)匹配的目标判重规则，日志系统则将目标来源b对应的名称(或键值对)存储至日志源数据库，并提醒相关人员配置目标来源b对应的判重规则。
35.在一些实施例中，获取的目标待处理日志中包含日志目标来源的表征信息，可选地，目标待处理日志中包含目标来源对应的第三键值对，因此，日志系统在获取目标待处理日志后，可根据第三键值对，确定目标待处理日志的目标来源(日志源)。当然，在其他实施方式中，也可根据目标待处理日志其他的表征信息(例如标识不同日志源的标识信息)确定其目标来源。
36.s13：基于目标判重规则对目标待处理日志进行判重处理，确定第一判重结果。
37.本实施例中，第一判重结果能够表征已存储日志中是否存在与目标待处理日志重复的第一日志。其中，已存储日志表示已经过判重处理，不与数据库中的日志存在重复的第一日志的日志，且已存储至数据库，用于相关人员查阅的日志，其中，已存储日志和目标待处理日志中均包含若干目标关注字段。
38.考虑到因系统配置或者网络延迟等原因导致的，在预设时间范围内连续产生重复的日志的情况，在一实施方式中，目标判重规则包含预设时间范围、以及关于上述若干目标关注字段的字段限定规则，且是基于字段限定规则和预设时间范围，确定的第一判重结果。
39.具体地，请参阅图2，图2是图1所示步骤s13一实施方式的流程示意图。其中，步骤s13进一步包括：
40.s21：基于字段限定规则对目标待处理日志进行判重处理，确定第二判重结果。
41.本实施例中，在进行判重处理时，在预设时间范围内存在满足上述字段限制规则
的两个重复比对日志为重复日志，其中，两个重复比对日志中的一个为当前的目标待处理日志，另一个为数据库中的已存储日志。也就是说，本技术是将当前的目标待处理日志和已存储的日志进行的判重处理。
42.其中，任何已存储的日志中均包含有上述若干目标关注字段的第一键值对，目标待处理日志中包含若干目标关注字段的第二键值对，上述字段限制规则包括关于任何两个重复比对日志中若干目标关注字段对应的键值对的限制规则。
43.具体地，将各已存储日志中的第一键值对与目标待处理日志的第二键值对进行比对，得到第二判重结果，其中，得到的第二判重结果能够表征是否存在与目标待处理日志第二键值对相同的第一键值对，简言之，第二判重结果为是否存在键值对相同的两个重复比对日志。
44.s22：基于第二判重结果和预设时间范围，确定第一判重结果。
45.其中，若得到的第二判重结果为不存在与目标待处理日志第二键值对相同的第一键值对(不存在键值对相同的两个重复比对日志)，则确定第一判重结果为已存储日志中不存在与目标待处理日志重复的第一日志，即该目标待处理日志不为任何已存储日志的重复日志。
46.若得到的第二判重结果为存在与第二键值对相同的第一键值对(存在键值对相同的两个重复比对日志)，则获取第一时间点和第二时间点的时间差，并基于该时间差是否满足预设时间范围，得到第一判重结果。其中，第一时间点为第二日志存储至数据库的存储时间，第二日志为与目标待处理日志第二键值对相同的第一键值对对应的已存储日志，第二时间点为当前时间点。当然在其他实施方式中，第二时间点还可为获取目标待处理日志的时间点。
47.具体地，若得到的第二判重结果为存在与第二键值对相同的第一键值对(存在键值对相同的两个重复比对日志)，且时间差满足预设时间范围，则确定第一判重结果为存在与目标待处理日志重复的第一日志，即目标待处理日志为已存储日志的重复日志。
48.需要说明的是，即使目标待处理日志和某个已存储日志的日志内容相同，但由于两个重复比对日志的时间差大于预设时间范围，可能并非是因系统配置或网络延时而导致的重复日志，而是系统实际运行新产生的日志，因此，在一实施方式中，若得到的第二判重结果为存在与第二键值对相同的第一键值对(存在键值对相同的两个重复比对日志)，且时间差不满足预设时间范围(时间差大于预设时间范围)，则确定第一判重结果为不存在与目标待处理日志重复的第一日志。
49.当然，在其他实施方式中，目标判重规则还可以只包含若干目标关注字段的字段限定规则，且只基于字段限定规则，确定第一判重结果。换句话说，本实施例中的第一判重结果为上一实施方式中的第二判重结果。
50.s14：基于第一判重结果，处理目标待处理日志。
51.若根据步骤s13，确定的第一判重结果为存在与目标待处理日志重复的第一日志，则删除该目标待处理日志；若第一判重结果为不存在第一日志，则将目标待处理日志存储至数据库，并记录目标待处理日志存储至数据库的存储时间。在一实施方式中，可以将目标待处理日志的日志内容和当前时间点存储至数据库，在另一实施方式中，还可只将目标待处理日志的当前时间点存储至数据库，具体地，将目标待处理日志的当前时间点和第一日
志进行关联，即第一日志包含有存储至数据库时的存储时间、以及当前时间点。
52.示例性的，已存储的日志包括日志a，在日志系统获取目标待处理日志b后，若执行上述步骤得到关于目标待处理日志b的第一判重结果为目标待处理日志b和日志a为预设时间范围内的重复日志，因为已将日志a存储至数据库，因此，在目标待处理日志b和日志a为重复日志的情况下，将目标待处理日志b删除；若执行上述步骤得到关于目标待处理日志b的第一判重结果为目标待处理日志b和日志a不为重复日志，则将目标待处理日志存储至数据库，以使数据库中存储的日志中均为不重复的日志，便于相关人员查阅日志。
53.在一些实施例中，在删除该目标待处理日志后，还可更新与该目标待处理日志存在重复的第一日志的统计数据，其中，统计数据表征与第一日志为重复日志的日志条数。示例性的，已存储的日志包括日志a，若先后获取到目标待处理日志b和目标待处理日志c，若经判重处理，确定目标待处理日志b和日志a重复，则删除目标待处理日志b并更新第一日志的统计数据为1，若确定目标待处理日志c和日志a也重复，则删除目标待处理日志c并更新第一日志的统计数据为2。可以理解的是，通过这种方式，能够统计与各已存储日志存在预设时间范围内的重复的日志统计数量，进而便于相关人员根据该统计数量对日志进行深入的分析。
54.上述方案，在获取目标待处理日志后，从预设规则库中确定目标待处理日志匹配的目标判重规则，然后利用目标判重规则对目标待处理日志进行判重处理，确定第一判重结果，即确定已存储的日志中是否存在与目标待处理日志重复的日志，然后根据第一判重结果处理目标待处理日志。相较于统一采用单一规则对所有日志进行判重而言，由于本技术方案利用的是与目标待处理日志匹配的目标判重规则进行判重处理，确定的第一判重结果，故能够对待处理日志采用针对性更强的规则进行判重，从而有助于提高日志判重结果的准确性，进而能够准确地处理日志。
55.需要说明的是，在一具体实施例中，若得到的第二判重结果为存在与第二键值对相同的第一键值对(存在键值对相同的两个重复比对日志)，且时间差不满足预设时间范围(时间差大于预设时间范围)，则确定第一判重结果为不存在与目标待处理日志重复的第一日志。但由于存在键值对相同的两个重复比对日志的内容是相同的，因此，在一实施方式中，在存储至数据库中时，可不存储该目标待处理日志的内容(因为数据库中已有)，直接将当前时间点存储至数据库以和第一日志进行关联。示例性的，第一日志a和当前的目标待处理日志b虽然日志的内容重复，但由于时间差大于预设时间范围，很大概率为系统运行实际产生的日志，此时，可不将该目标待处理日志b的内容进行再次存储，而是将当前时间点存储至数据库以和第一日志进行关联，例如，第一日志的原存储时间为a，当前时间点为b，则第一日志的日志内容不变，记录时间为a和b，通过这种方式，相当于是将目标待处理日志b进行了存储。可以理解的是，这种方式相当于是将第一日志a和当前的目标待处理日志b合并为一条数据，能够减少数据库中已存储数据的存储量，便于相关人员查阅日志，且合并的日志的条数可通过记录时间的数量进行确定，也便于后续对日志进行分析。
56.在一具体实施例中，日志系统可处理多个不同日志源的日志，请参阅图3，图3是本技术提供的日志处理方法另一实施方式的流程示意图。如图3所示，先获取目标待处理日志，其中，目标待处理日志可为任何日志源(例如第一日志源或第二日志源等)产生的日志经日志标准化系统处理得到，然后确定目标待处理日志的目标来源(即该目标待处理日志
为哪个日志源产生的日志)，在确定其目标来源后，从预设规则库中确定目标来源匹配的目标判重规则，之后基于目标判重规则对目标待处理日志进行判重处理，确定第一判重结果，第一判重结果表征已存储日志中是否存在与目标待处理日志重复的第一日志，其中，若存在，则删除该目标待处理日志，若不存在，则将该目标待处理日志存储至数据库。
57.请参阅图4，图4是本技术提供的电子设备一实施例的框架示意图。本实施方式中，电子设备40包括相互耦接的存储器41和处理器42。
58.存储器41存储有程序指令，处理器42用于执行存储器41中存储的程序指令，以实现上述任一方法实施方式的步骤。在一个具体的实施场景中，电子设备40可以包括但不限于：微型计算机、服务器，此外，电子设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
59.具体而言，处理器42用于控制其自身以及存储器41以实现上述任一实施方式的步骤。处理器42还可以称为cpu(central processing unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。
60.请参阅图5，图5是本技术提供的计算机可读存储介质的框架示意图。本技术实施例的计算机可读存储介质50存储有程序指令51，该程序指令51被执行时实现上述方法中任一实施例以及任意不冲突的组合所提供的方法。其中，该程序指令51可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质50中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质50包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
61.上述方案，在获取目标待处理日志后，从预设规则库中确定目标待处理日志匹配的目标判重规则，然后利用目标判重规则对目标待处理日志进行判重处理，确定第一判重结果，即确定已存储的日志中是否存在与目标待处理日志重复的日志，然后根据第一判重结果处理目标待处理日志。相较于统一采用单一规则对所有日志进行判重而言，由于本技术方案利用的是与目标待处理日志匹配的目标判重规则进行判重处理，确定的第一判重结果，故能够对待处理日志采用针对性更强的规则进行判重，从而有助于提高日志判重结果的准确性，进而能够准确地处理日志。
62.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种日志处理方法，其特征在于，所述方法包括：获取目标待处理日志；从预设规则库中确定所述目标待处理日志匹配的目标判重规则；基于所述目标判重规则对所述目标待处理日志进行判重处理，确定第一判重结果；其中，所述第一判重结果表征已存储日志中是否存在与所述目标待处理日志重复的第一日志；基于所述第一判重结果，处理所述目标待处理日志。2.根据权利要求1所述的方法，其特征在于，所述已存储日志和所述目标待处理日志中均包含若干目标关注字段；所述目标判重规则包含预设时间范围、以及关于所述若干目标关注字段的字段限定规则；所述基于所述目标判重规则对所述目标待处理日志进行判重处理，确定第一判重结果，包括：基于所述字段限定规则对所述目标待处理日志进行判重处理，确定第二判重结果；基于所述第二判重结果和所述预设时间范围，确定所述第一判重结果。3.根据权利要求2所述的方法，其特征在于，对于各所述已存储日志，所述已存储日志中包含所述若干目标关注字段的第一键值对，所述目标待处理日志中包含所述若干目标关注字段的第二键值对；所述基于所述字段限定规则对所述目标待处理日志进行判重处理，确定第二判重结果，包括：基于所述第一键值对与第二键值对进行比对，得到第二判重结果；其中，所述第二判重结果表征是否存在与所述第二键值对相同的第一键值对；所述基于所述第二判重结果和所述预设时间范围，确定所述第一判重结果，包括：响应于所述第二判重结果为存在，获取第一时间点和第二时间点的时间差，其中，所述第一时间点为第二日志存储至数据库的存储时间，所述第二日志为与所述第二键值对相同的第一键值对对应的已存储日志，所述第二时间点为当前时间点；基于所述时间差是否满足所述预设时间范围，得到所述第一判重结果。4.根据权利要求3所述的方法，其特征在于，所述基于所述第二判重结果和所述预设时间范围，确定第一判重结果，还包括：响应于所述第二判重结果为不存在，确定所述第一判重结果为不存在所述第一日志；和/或，所述基于所述时间差是否满足所述预设时间范围，得到所述第一判重结果，包括：响应于所述时间差满足所述预设时间范围，确定所述第一判重结果为存在所述第一日志；响应于所述时间差不满足所述预设时间范围，确定所述第一判重结果为不存在所述第一日志。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一判重结果，处理所述目标待处理日志，包括以下至少一者：响应于所述第一判重结果为存在所述第一日志，删除所述目标待处理日志；响应于所述第一判重结果为不存在所述第一日志，将所述目标待处理日志存储至数据
库。6.根据权利要求5所述的方法，其特征在于，在所述响应于所述第一判重结果为存在，删除所述目标待处理日志后，所述方法还包括：更新所述第一日志的统计数据，所述统计数据表征与所述第一日志为重复日志的日志条数；和/或，在所述响应于所述第一判重结果为不存在，将所述目标待处理日志存储至所述数据库后，所述方法还包括：记录所述目标待处理日志存储至所述数据库的存储时间。7.根据权利要求1所述的方法，其特征在于，在所述从预设规则库中确定所述目标待处理日志匹配的目标判重规则之前，所述方法还包括：确定所述目标待处理日志的目标来源；所述从预设规则库中确定所述目标待处理日志匹配的目标判重规则，包括：从预设规则库中确定所述目标来源匹配的目标判重规则。8.根据权利要求7所述的方法，其特征在于，在所述获取目标待处理日志之前，所述方法还包括：获取原始待处理日志；对所述原始待处理日志进行标准化处理，得到标准化后的目标待处理日志；其中，所述目标待处理日志包含所述目标来源对应的第三键值对；所述确定所述目标待处理日志的目标来源，包括：基于所述第三键值对，确定所述目标来源。9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述存储器存储有程序指令；所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1-8任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1-8任一项所述的方法。

技术总结
本申请公开了一种日志处理方法、设备和存储介质，该方法包括：获取目标待处理日志；从预设规则库中确定目标待处理日志匹配的目标判重规则；基于目标判重规则对目标待处理日志进行判重处理，确定第一判重结果；其中，第一判重结果表征已存储日志中是否存在与目标待处理日志重复的第一日志；基于第一判重结果，处理目标待处理日志。通过上述方式，本申请能够提高日志判重结果的准确性，进而能够根据判重结果准确地处理日志。果准确地处理日志。果准确地处理日志。


技术研发人员：姚轶麒
受保护的技术使用者：浙江零跑科技股份有限公司
技术研发日：2023.05.19
技术公布日：2023/10/7