一种基于大数据的日志优化模型与方法与流程

1.本技术涉及日志管理技术领域，具体而言，涉及一种基于大数据的日志优化方法。


背景技术：

2.应用程序在运行的过程中会对自身的运行进行监控，并记录下实时运行状况下的各种事件。一方面便于利用日志对当时发生的状况进行数据的追溯，了解程序运行的具体情况，另一方面也能够形成应用程序的运行分析数据，便于对运行程序的优化和开发提供数据支持。
3.但当下对运行程序的日志记录主要还是直接进行程序事件的描述，其所产生的日志数据并没有进行整理和简化，致使随着日志记录越来越多，日志记录所占用的存储空间越来越大，反而成为应用程序运行的负担，大大降低程序运行的效率，也极大的浪费了存储空间。
4.因此，设计一种基于大数据的日志优化模型与方法能够对日志数据进行合理的优化，以使其降低对存储空间的占有率，同时能够使日志数据记录更加高效，是目前亟待解决的问题。


技术实现要素：

5.本技术的目的在于提供一种基于大数据的日志优化方法，通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
6.本技术的目的还在于提供一种基于大数据的日志优化模型，通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。
7.第一方面，本技术提供一种基于大数据的日志优化方法，包括获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库；获取历史参考日志数据
中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库；获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录。
8.在本技术中，该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
9.作为一种可能的实现方式，获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库，包括：获取历史日志内容信息，并对历史日志内容信息中的每条日志内容进行碎片化以及变量与非变量的划分，形成初始单元日志内容组；对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，结合所有结果单元日志内容组，形成结果单元日志内容组集；提取结果单元日志内容组集中所有结果单元日志内容组中的非变量，对非变量进行数量占比分析，并根据数量占比结果分析对非变量进行顺序排列，形成历史日志内容库；根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表。
10.在本技术中，在进行日志内容的优化时，考虑通常日志内容较为冗杂，为了更加简洁的反应所记录事件的情况，首先对日志内容进行碎片化，去除冗杂的记录描述，诸如分隔不同对象的分隔符号、不同代码之间的区分字符等。这样可以一定程度上降低后续所形成日志内容库的存储量。对于碎片化后的日志内容进行基于事件对象的分组，形成初始的单元日志内容组。再对初始单元日志内容组进行非变量的同类合并，进而将合并后形成结果单元日志内容组进行整理归纳形成历史日志内容库。这里，对非变量进行编号进而形成日志标号检索表主要考虑非变量为事件记录中最基础的固定参量，能够准确的表达具体的事件情况，而对于变量来说只是对非变量的程度描述，因而将非变量作为编号化的基础参量能够保留对事件具体情况的记录。另外，对于初始单元日志内容组的确定是根据每条日志记录内容中不同的记录对象来进行的。可以知道，在某一记录时间点上，可能会针对不同的对象进行同时记录，并一起存储形成这个记录时间点上的日志记录内容。而由于记录对象的不同所反映出的非变量和变量也完全不同，并且这些非变量和变量之间并不存在绝对的关联性，因此基于记录对象进行划分形成初始单元日志内容可以将具有高度关联性的参数
进行合理的归类，为后续的数据分析和编号检索提供便利。
11.作为一种可能的实现方式，对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，包括：对初始单元日志内容组进行以下逻辑分析，并将同时满足以下逻辑分析条件的不同初始单元日志内容组进行合并：不同初始单元日志内容组中非变量的记录对象相同；不同初始单元日志内容组中非变量记录的事件相同；不同初始单元日志内容组中非变量对应的变量反应相同的事件状态；将合并后形成的单元日志内容组以及不需要进行合并的初始单元日志内容组确定为结果单元日志内容组。
12.在本技术中，为了保证所形成的历史日志内容记录库中不会出现相同的记录内容，在获取初始单元日志内容组后基于对象进行逻辑进行的判断分析，将初始单元日志内容组中描述相同对象的相同时间情况进行合并，一方面可能进一步的优化历史日志内容记录库中的数据，另一方面也进一步的降低了历史日志内容记录库的存储占比量。当然，对于基于对象的逻辑分析主要考虑三个方面，即确定对象是否相同，确定所记录的事件是否相同，对于反应非变量程度的具体情况的变量是否可以认为是相同的情况。尤其对于变量的相同性判断，所考虑的方面着重于变量可以在数值上表现不同，但反应的特征以及对应进行处理的信息是相同的。这样也有利于后续在进行日志处理内容的对应时能够得到很好的匹配，降低日志内容与日志处理信息之间匹配的复杂性。
13.作为一种可能的实现方式，根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表，包括：遍历历史日志内容库中非变量的总数，根据总数确定编号位数，并对非变量按顺序进行编号，且编号为非连续编号；对于进行合并形成的结果单元日志内容组，将合并前的多个初始单元日志内容组中的变量确定为结果单元日志内容组中非变量对应的变量的选择项；结合非变量、非变量对应的变量以及非变量对应的编号，形成日志编号检索表。
14.在本技术中，对于日志编号检索表的排序，本技术通过根据非变量在总数下的占比大小来进行排序。排序后进行编号时考虑后续的数据可能会有新的日志内容加入，所以编号为非连续编号，这样也能起到对不同日志内容在编号上的区分辨识。当然，为了进一步提高日志编号检索表的数据合理性，还可以针对记录对象进行序号分段的编号，即分别确定不同的编号段作为不同对象上产生的日志内容的编号，并将对应的对象上不同的现有日志内容赋予编号段上的编号，这样基于对象进行编号，能够简单快速的根据编号确定日志内容所记录的对象，使日志编号检索表得到进一步的数据优化，同时也为数据分析提供良好的编号引导。
15.作为一种可能的实现方式，结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库，包括：获取历史日志时间信息，确定每个日志记录时间点上包含的结果单元日志内容组，并结合日志编号检索表按照时间顺序确定每个日志记录时间点上的编号组合信息：，其中，t为按照时间顺序所确定的日志记录时间点的顺序号，t为非零自然数，an表示在日志记录时间点上记录的第n个非变量编号，bn表示日志记录时间点上第n个非变量对应的变量取值；按照时间顺序将所有编号组合信息进行排列，形成历史日志内容记录库。
16.在本技术中，日志编号检索表和历史日志内容库是基于历史日志数据所形成的针对日志内容的基础编号数据库，所记录的历史日志都能够在历史日志内容库中找到，并根据日志编号检索表确定对应的编号。这样就形成了日志记录的数据基础。基于历史日志时间信息，将每个日志记录时间点上的日志记录内容根据历史日志内容库和日志编号检索表进行编号话后表达，形成时间维度上的日志记录数据，即形成历史日志内容记录库。由于每个日志记录时间点上非变量对应的变量可能有变化，所以对于变量则利用数值化的数据进行表达，即形成了完整的优化数据记录。相比于原始的内容记录，一方面大大降低了相同内容重复性记录对存储空间的过度占用，同时也简化了记录的方式，进一步降低日志记录的存储占有空间，另一方面也对日志记录进行了合理的优化，将日志内容进行基于对象的合并和划分，有利于对日志内容的数据分析，同时也完整保留了初始的日志数据信息。
17.作为一种可能的实现方式，获取历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库，包括：获取历史日志处理信息，并对历史日志处理信息进行单元处理操作的识别，形成初始单元处理日志条；对所有初始单元处理日志条进行基于处理效果的分析，形成结果单元处理日志条，结合所有结果单元处理日志条，形成结果单元处理日志条集；对结果单元处理日志条集中所有的结果单元处理日志条进行数量占比的分析，并根据数量占比分析结果对结果单元处理日志条进行排列，形成历史日志处理内容库；根据历史日志处理内容库中结果单元处理日志条的顺序进行编号，形成日志处理检索表。
18.在本技术中，针对进行问题记录的日志内容，同样会记录对应的处理信息。所以为了保证对这类日志内容进行完整且合理的优化，本技术通过将历史日志处理信息同样进行合理的编号化并同历史日志内容记录库中的日志内容进行对应匹配形成完整的日志内容与对应日志处理信息编号列。对历史日志处理信息的编号化同样进行同类合并以减少历史日志处理信息的存储占用量。当然，这里对于历史日志处理信息所划分出的单元日志处理条由于是同日志内容进行匹配，所以对单元日志处理条的划分是基于日志内容组的划分来确定的，能够为后续进行单元日志处理条同日志内容组的匹配提供方便。在形成结果单元日志处理条后，对结果单元日志处理条进行整理便形成对应于历史日志处理信息的历史日志处理内容库和日志处理检索表。为进行处理信息与日志内容的编号匹配提供数据基础。
19.作为一种可能的实现方式，结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库，包括：根据历史日志处理时间信息，确定每个日志记录时间点上采用的结果单元处理日志条，并结合日志处理检索表和历史日志内容记录库中每个日志记录时间点对应的编号组合信息，对每个编号组合信息进行丰富，形成日志记录编号信息：，其中，表示日志记录时间点上第n个非变量和变量对应的结果单元处理日志条的编号；按照时间顺序将日志记录编号信息进行排列，形成历史日志记录及处理库。
20.在本技术中，单元日志处理条编号化后通过与对应的日志内容建立编号对应关系进而完成对历史日志内容记录库的丰富，形成日志数据完整的历史日志记录及处理库。
21.作为一种可能的实现方式，获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录，包括：获取实时日志数据中的实时日志内容信息，并将实时日志
内容信息在历史日志内容库中进行对比确认，若历史日志内容库中存在与实时日志内容相同的非变量和变量，则：根据历史日志内容库中相同的非变量和变量在日志编号检索表上确定实时日志内容信息的编号信息；根据实时日志内容信息的编号信息，在历史日志记录及处理库中按照实时日志时间信息进行记录。
22.在本技术中，对于实时获取的日志数据，在基于大数据进行日志记录的优化后，就需要将其按照同样的优化方式进行记录，保证日志记录形式的统一性。这里考虑实时获取的日志数据的日志内容为大数据中现有的，则通过在历史日志内容库中进行对比确认即可确定实时日志数据的日志内容的相应编号，进而按照时间维度将实时日志数据库记录在历史日志记录及处理库中。
23.作为一种可能的实现方式，获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录，包括：获取实时日志数据中的实时日志内容信息，并将实时日志内容信息在历史日志内容库中进行对比确认，若历史日志内容库中不存在与实时日志内容相同的非变量和变量，则：将实时日志内容信息中新的非变量和变量加入到历史日志内容库中，并在日志编号检索表中加入新的非变量和变量，获取实时日志内容信息的编号信息；获取实时日志数据中的实时日志处理信息，将实时日志处理信息纳入历史日志处理内容库并在日志处理检索表中新增实时日志处理信息的编号；结合实时日志内容信息的编号和对应的实时日志处理信息的编号，在历史日志记录及处理库中按照实时日志时间信息进行记录。
24.在本技术中，当然，实时日志数据也会存在日志内容是全新的事件情况，这样就需要将实时日志的内容加入到历史日志内容库中，同时为日志内容提供新的编号，并将编号记录在日志编号检索表中。根据实时日志内容的新编号以时间维度为记录顺序将新编号加入到历史日志内容记录库中。可以理解的是，新的日志内容往往对应的日志处理信息也是全新的，因此对日志处理信息也是将其新加入到历史日志处理内容库中形成日志处理检索表。并且使用实时日志处理信息对应的编号丰富历史日志记录及处理库。
25.第二方面，本技术提供一种基于大数据的日志优化模型，采用第一方面的基于大数据的日志优化方法，包括数据采集单元，用于获取同类型存储数据库的历史日志数据，形成历史参考日志数据；日志优化单元，用于将数据采集单元中的历史参考日志进行优化分析，分别形成日志编号检索表、历史日志内容库、历史日志内容记录库、日志处理检索表、历史日志处理内容库以及历史日志记录及处理库；实时采集单元，用于采集实时日志数据，并将实时日志数据提供给日志优化单元进行日志优化的存储分析。
26.在本技术中，通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。
27.本发明提供的一种基于大数据的日志优化模型与方法的有益效果有：该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加
合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
28.该模型通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。
附图说明
29.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
30.图1为本技术实施例提供的基于大数据的日志优化方法的步骤图。
具体实施方式
31.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
32.应用程序在运行的过程中会对自身的运行进行监控，并记录下实时运行状况下的各种事件。一方面便于利用日志对当时发生的状况进行数据的追溯，了解程序运行的具体情况，另一方面也能够形成应用程序的运行分析数据，便于对运行程序的优化和开发提供数据支持。
33.但当下对运行程序的日志记录主要还是直接进行程序事件的描述，其所产生的日志数据并没有进行整理和简化，致使随着日志记录越来越多，日志记录所占用的存储空间越来越大，反而成为应用程序运行的负担，大大降低程序运行的效率，也极大的浪费了存储空间。
34.参考图1，本技术实施例提供一种基于大数据的日志优化方法。该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
35.基于大数据的日志优化方法包括以下主要步骤：s1：获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于
日志内容的编号简化模型，对历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库。
36.该步骤包括：获取历史日志内容信息，并对历史日志内容信息中的每条日志内容进行碎片化以及变量与非变量的划分，形成初始单元日志内容组；对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，结合所有结果单元日志内容组，形成结果单元日志内容组集；提取结果单元日志内容组集中所有结果单元日志内容组中的非变量，对非变量进行数量占比分析，并根据数量占比结果分析对非变量进行顺序排列，形成历史日志内容库；根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表。
37.在进行日志内容的优化时，考虑通常日志内容较为冗杂，为了更加简洁的反应所记录事件的情况，首先对日志内容进行碎片化，去除冗杂的记录描述，诸如分隔不同对象的分隔符号、不同代码之间的区分字符等。这样可以一定程度上降低后续所形成日志内容库的存储量。对于碎片化后的日志内容进行基于事件对象的分组，形成初始的单元日志内容组。再对初始单元日志内容组进行非变量的同类合并，进而将合并后形成结果单元日志内容组进行整理归纳形成历史日志内容库。这里，对非变量进行编号进而形成日志标号检索表主要考虑非变量为事件记录中最基础的固定参量，能够准确的表达具体的事件情况，而对于变量来说只是对非变量的程度描述，因而将非变量作为编号化的基础参量能够保留对事件具体情况的记录。另外，对于初始单元日志内容组的确定是根据每条日志记录内容中不同的记录对象来进行的。可以知道，在某一记录时间点上，可能会针对不同的对象进行同时记录，并一起存储形成这个记录时间点上的日志记录内容。而由于记录对象的不同所反映出的非变量和变量也完全不同，并且这些非变量和变量之间并不存在绝对的关联性，因此基于记录对象进行划分形成初始单元日志内容可以将具有高度关联性的参数进行合理的归类，为后续的数据分析和编号检索提供便利。
38.其中，对所有初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，包括：对初始单元日志内容组进行以下逻辑分析，并将同时满足以下逻辑分析条件的不同初始单元日志内容组进行合并：不同初始单元日志内容组中非变量的记录对象相同；不同初始单元日志内容组中非变量记录的事件相同；不同初始单元日志内容组中非变量对应的变量反应相同的事件状态；将合并后形成的单元日志内容组以及不需要进行合并的初始单元日志内容组确定为结果单元日志内容组。
39.为了保证所形成的历史日志内容记录库中不会出现相同的记录内容，在获取初始单元日志内容组后基于对象进行逻辑进行的判断分析，将初始单元日志内容组中描述相同对象的相同时间情况进行合并，一方面可能进一步的优化历史日志内容记录库中的数据，另一方面也进一步的降低了历史日志内容记录库的存储占比量。当然，对于基于对象的逻辑分析主要考虑三个方面，即确定对象是否相同，确定所记录的事件是否相同，对于反应非变量程度的具体情况的变量是否可以认为是相同的情况。尤其对于变量的相同性判断，所考虑的方面着重于变量可以在数值上表现不同，但反应的特征以及对应进行处理的信息是相同的。这样也有利于后续在进行日志处理内容的对应时能够得到很好的匹配，降低日志内容与日志处理信息之间匹配的复杂性。
40.根据历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成日志编号检索表，包括：遍历历史日志内容库中非变量的总数，根据总数确定编号位数，并对非变量按顺序进行编号，且编号为非连续编号；对于进行合并形成的结果单元日志内容组，将合并前的多个初始单元日志内容组中的变量确定为结果单元日志内容组中非变量对应的变量的选择项；结合非变量、非变量对应的变量以及非变量对应的编号，形成日志编号检索表。
41.对于日志编号检索表的排序，本技术通过根据非变量在总数下的占比大小来进行排序。排序后进行编号时考虑后续的数据可能会有新的日志内容加入，所以编号为非连续编号，这样也能起到对不同日志内容在编号上的区分辨识。当然，为了进一步提高日志编号检索表的数据合理性，还可以针对记录对象进行序号分段的编号，即分别确定不同的编号段作为不同对象上产生的日志内容的编号，并将对应的对象上不同的现有日志内容赋予编号段上的编号，这样基于对象进行编号，能够简单快速的根据编号确定日志内容所记录的对象，使日志编号检索表得到进一步的数据优化，同时也为数据分析提供良好的编号引导。
42.s2：结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库。
43.结合日志编号检索表，将历史日志内容信息根据历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库，包括：获取历史日志时间信息，确定每个日志记录时间点上包含的结果单元日志内容组，并结合日志编号检索表按照时间顺序确定每个日志记录时间点上的编号组合信息：，其中，t为按照时间顺序所确定的日志记录时间点的顺序号，t为非零自然数，an表示在日志记录时间点上记录的第n个非变量编号，bn表示日志记录时间点上第n个非变量对应的变量取值；按照时间顺序将所有编号组合信息进行排列，形成历史日志内容记录库。
44.日志编号检索表和历史日志内容库是基于历史日志数据所形成的针对日志内容的基础编号数据库，所记录的历史日志都能够在历史日志内容库中找到，并根据日志编号检索表确定对应的编号。这样就形成了日志记录的数据基础。基于历史日志时间信息，将每个日志记录时间点上的日志记录内容根据历史日志内容库和日志编号检索表进行编号话后表达，形成时间维度上的日志记录数据，即形成历史日志内容记录库。由于每个日志记录时间点上非变量对应的变量可能有变化，所以对于变量则利用数值化的数据进行表达，即形成了完整的优化数据记录。相比于原始的内容记录，一方面大大降低了相同内容重复性记录对存储空间的过度占用，同时也简化了记录的方式，进一步降低日志记录的存储占有空间，另一方面也对日志记录进行了合理的优化，将日志内容进行基于对象的合并和划分，有利于对日志内容的数据分析，同时也完整保留了初始的日志数据信息。
45.s3：获取历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库。
46.获取历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库，包括：获取历史日志处理信息，并对历史日志处理信息进行单元处理操作的识别，形成初始单
元处理日志条；对所有初始单元处理日志条进行基于处理效果的分析，形成结果单元处理日志条，结合所有结果单元处理日志条，形成结果单元处理日志条集；对结果单元处理日志条集中所有的结果单元处理日志条进行数量占比的分析，并根据数量占比分析结果对结果单元处理日志条进行排列，形成历史日志处理内容库；根据历史日志处理内容库中结果单元处理日志条的顺序进行编号，形成日志处理检索表。
47.针对进行问题记录的日志内容，同样会记录对应的处理信息。所以为了保证对这类日志内容进行完整且合理的优化，本技术通过将历史日志处理信息同样进行合理的编号化并同历史日志内容记录库中的日志内容进行对应匹配形成完整的日志内容与对应日志处理信息编号列。对历史日志处理信息的编号化同样进行同类合并以减少历史日志处理信息的存储占用量。当然，这里对于历史日志处理信息所划分出的单元日志处理条由于是同日志内容进行匹配，所以对单元日志处理条的划分是基于日志内容组的划分来确定的，能够为后续进行单元日志处理条同日志内容组的匹配提供方便。在形成结果单元日志处理条后，对结果单元日志处理条进行整理便形成对应于历史日志处理信息的历史日志处理内容库和日志处理检索表。为进行处理信息与日志内容的编号匹配提供数据基础。
48.s4：结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库。
49.结合日志处理检索表，并根据历史参考日志数据中的历史日志处理时间信息，对历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库，包括：根据历史日志处理时间信息，确定每个日志记录时间点上采用的结果单元处理日志条，并结合日志处理检索表和历史日志内容记录库中每个日志记录时间点对应的编号组合信息，对每个编号组合信息进行丰富，形成日志记录编号信息：，其中，表示日志记录时间点上第n个非变量和变量对应的结果单元处理日志条的编号；按照时间顺序将日志记录编号信息进行排列，形成历史日志记录及处理库。
50.单元日志处理条编号化后通过与对应的日志内容建立编号对应关系进而完成对历史日志内容记录库的丰富，形成日志数据完整的历史日志记录及处理库。
51.需要说明的是，对于历史日志记录及处理库来说，可能存在单个非变量和变量所对应的结果单元处理日志条中存在并列的不同处理方案信息。那么在对这些并列的处理方案信息进行顺序编号时就需要考虑对非变量和变量组合所造成的影响了。这里，提供一种确定并列处理方案信息的编号顺序的方式：首先基于历史日志内容记录库获取非变量对应的变量范围，形成变量范围集d；对变量范围集d中的范围进行重合性分析，将重合度最高的范围确定为非变量对应的直接变量范围e=[e1，e2]，e1表示重合度最高的范围的下边界值，e2表示重合度最高的范围的上边界值；对于变量范围完全处于所述直接变量范围e对应的非变量，根据以下公式的值由大到小的排列编号顺序：，其中，e
x
和ey为非变量对应的变量范围，t为在获取非变量对应的变量后持续进行该非变量对应的变量的观察，直至不再记录该非变量对应的变量或者该非变量
对应的变量恢复正常所花费的时间。即变量范围相对所述直接变量范围e的占比越大，t越小，处理方案的处理效果越好。
[0052]
对于变量范围不完全处于所述直接变量范围e对应的非变量，根据以下公式的值由大到小的排列编号顺序：，其中，ez为非变量对应的变量范围落在所述直接变量范围的重合范围值。即变量范围落在所述直接变量范围e的占比越大，t越小，处理方案的处理效果越好。
[0053]
对于变量范围完全不处于所述直接变量范围e对应的非变量，根据以下公式的值由大到小的排列编号顺序：，其中，为非变量对应的变量范围的范围值。即变量范围越宽，t越小，处理方案的处理效果越好。
[0054]
当然，在对不同情况的变量范围确定编号顺序后，按照变量范围在所述直接变量范围e的编号优先，变量范围完全不在所述直接变量范围e的编号最后的顺序整体上进行顺序编号。这样顺序编号也为后续进行变量对应的处理方案的顺序选择提供了合理的参考。
[0055]
s5：获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录。
[0056]
对实时日志数据的处理方式有两种：第一种：获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录，包括：获取实时日志数据中的实时日志内容信息，并将实时日志内容信息在历史日志内容库中进行对比确认，若历史日志内容库中存在与实时日志内容相同的非变量和变量，则：根据历史日志内容库中相同的非变量和变量在日志编号检索表上确定实时日志内容信息的编号信息；根据实时日志内容信息的编号信息，在历史日志记录及处理库中按照实时日志时间信息进行记录。
[0057]
对于实时获取的日志数据，在基于大数据进行日志记录的优化后，就需要将其按照同样的优化方式进行记录，保证日志记录形式的统一性。这里考虑实时获取的日志数据的日志内容为大数据中现有的，则通过在历史日志内容库中进行对比确认即可确定实时日志数据的日志内容的相应编号，进而按照时间维度将实时日志数据库记录在历史日志记录及处理库中。
[0058]
第二种：获取实时日志数据，并根据实时日志数据在历史日志记录及处理库中进行记录，包括：获取实时日志数据中的实时日志内容信息，并将实时日志内容信息在历史日志内容库中进行对比确认，若历史日志内容库中不存在与实时日志内容相同的非变量和变量，则：将实时日志内容信息中新的非变量和变量加入到历史日志内容库中，并在日志编号检索表中加入新的非变量和变量，获取实时日志内容信息的编号信息；获取实时日志数据中的实时日志处理信息，将实时日志处理信息纳入历史日志处理内容库并在日志处理检索表中新增实时日志处理信息的编号；结合实时日志内容信息的编号和对应的实时日志处理信息的编号，在历史日志记录及处理库中按照实时日志时间信息进行记录。
[0059]
当然，实时日志数据也会存在日志内容是全新的事件情况，这样就需要将实时日志的内容加入到历史日志内容库中，同时为日志内容提供新的编号，并将编号记录在日志
编号检索表中。根据实时日志内容的新编号以时间维度为记录顺序将新编号加入到历史日志内容记录库中。可以理解的是，新的日志内容往往对应的日志处理信息也是全新的，因此对日志处理信息也是将其新加入到历史日志处理内容库中形成日志处理检索表。并且使用实时日志处理信息对应的编号丰富历史日志记录及处理库。
[0060]
本技术还提供一种基于大数据的日志优化模型，采用本技术提供的基于大数据的日志优化方法，包括数据采集单元，用于获取同类型存储数据库的历史日志数据，形成历史参考日志数据；日志优化单元，用于将数据采集单元中的历史参考日志进行优化分析，分别形成日志编号检索表、历史日志内容库、历史日志内容记录库、日志处理检索表、历史日志处理内容库以及历史日志记录及处理库；实时采集单元，用于采集实时日志数据，并将实时日志数据提供给日志优化单元进行日志优化的存储分析。
[0061]
该方法通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。
[0062]
综上所述，本技术实施例提供的基于大数据的日志优化模型及方法的有益效果有：该方法通过获取同类型存储数据库的日志数据，对日志数据的日志内容进行合理的编号化，进而简化日志记录的数据量，大大降低日志记录的存储量，有效节约数据存储的空间。对于日志内容一方面在基于记录时间的基础上形成时间维度上的内容记录库，另一方面也将编号对应的日志内容进行合理的统计整理后形成用于检索的编号索引表和内容库，这样就能够完整的保存日志内容的记录信息，在为日志记录提供简单有效的记录形式的前提下，也为记录内容进行了合理的整理归纳，便于进行对日志内容的分析时提供更加合理且有效的基础数据。另外，将日志处理信息也基于时间维度进行编号，并与内容记录库中日志内容的编号进行对应，形成完整的日志记录数据。对于后续实时获取的日志记录，则基于新建立的编号模型进行编号记录，保证日志记录能够实时进行优化。由于日志优化是基于大数据进行的，实时获取的日志记录基本上都是重复性的对比确认编号工作，所以也能够大大提高日志记录的效率。
[0063]
该模型通过不同的功能单元完成对日志的编号优化和对实时日志数据的高效记录，使日志记录得到合理的优化提升，同时保证了日志记录数据的完整性。
[0064]
本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a,b,或c中的至少一项（个），可以表示：a, b, c, a-b, a-c, b-c, 或a-b-c，其中a,b,c可以是单个，也可以是多个。
[0065]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0066]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0067]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0068]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0069]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0070]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0071]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。
[0072]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0073]
以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于大数据的日志优化方法，其特征在于，包括：获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对所述历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合所述日志编号检索表，将所述历史日志内容信息根据所述历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库；获取所述历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对所述历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合所述日志处理检索表，并根据所述历史参考日志数据中的历史日志处理时间信息，对所述历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库；获取实时日志数据，并根据所述实时日志数据在所述历史日志记录及处理库中进行记录。2.根据权利要求1所述的基于大数据的日志优化方法，其特征在于，所述获取同类型存储数据库的历史日志数据形成历史参考日志数据，并建立基于日志内容的编号简化模型，对所述历史参考日志数据中的历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库，包括：获取所述历史日志内容信息，并对所述历史日志内容信息中的每条日志内容进行碎片化以及变量与非变量的划分，形成初始单元日志内容组；对所有所述初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，结合所有所述结果单元日志内容组，形成结果单元日志内容组集；提取所述结果单元日志内容组集中所有所述结果单元日志内容组中的非变量，对非变量进行数量占比分析，并根据数量占比结果分析对非变量进行顺序排列，形成所述历史日志内容库；根据所述历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成所述日志编号检索表。3.根据权利要求2所述的基于大数据的日志优化方法，其特征在于，所述对所有所述初始单元日志内容组进行基于记录对象的逻辑分析，形成结果单元日志内容组，包括：对所述初始单元日志内容组进行以下逻辑分析，并将同时满足以下逻辑分析条件的不同所述初始单元日志内容组进行合并：不同所述初始单元日志内容组中所述非变量的记录对象相同；不同所述初始单元日志内容组中所述非变量记录的事件相同；不同所述初始单元日志内容组中所述非变量对应的变量反应相同的事件状态；将合并后形成的单元日志内容组以及不需要进行合并的所述初始单元日志内容组确定为所述结果单元日志内容组。4.根据权利要求3所述的基于大数据的日志优化方法，其特征在于，所述根据所述历史日志内容库中非变量的排列顺序进行编号，并根据所进行的基于记录对象的逻辑分析结果，确定不同编号的非变量下对应的变量取值，形成所述日志编号检索表，包括：遍历所述历史日志内容库中非变量的总数，根据总数确定编号位数，并对非变量按顺
序进行编号，且编号为非连续编号；对于进行合并形成的所述结果单元日志内容组，将合并前的多个所述初始单元日志内容组中的变量确定为所述结果单元日志内容组中非变量对应的变量的选择项；结合非变量、非变量对应的变量以及非变量对应的编号，形成所述日志编号检索表。5.根据权利要求4所述的基于大数据的日志优化方法，其特征在于，所述结合所述日志编号检索表，将所述历史日志内容信息根据所述历史参考日志数据中的历史日志时间信息进行基于时间维度的编号组合，形成历史日志内容记录库，包括：获取所述历史日志时间信息，确定每个日志记录时间点上包含的所述结果单元日志内容组，并结合所述日志编号检索表按照时间顺序确定每个所述日志记录时间点上的编号组合信息：，其中，t为按照时间顺序所确定的所述日志记录时间点的顺序号，t为非零自然数，a
n
表示在所述日志记录时间点上记录的第n个非变量编号，b
n
表示所述日志记录时间点上第n个非变量对应的变量取值；按照时间顺序将所有所述编号组合信息进行排列，形成所述历史日志内容记录库。6.根据权利要求5所述的基于大数据的日志优化方法，其特征在于，所述获取所述历史参考日志数据中的历史日志处理信息，并建立基于处理信息的编号简化模型，对所述历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库，包括：获取所述历史日志处理信息，并对所述历史日志处理信息进行单元处理操作的识别，形成初始单元处理日志条；对所有所述初始单元处理日志条进行基于处理效果的分析，形成结果单元处理日志条，结合所有所述结果单元处理日志条，形成结果单元处理日志条集；对所述结果单元处理日志条集中所有的所述结果单元处理日志条进行数量占比的分析，并根据数量占比分析结果对所述结果单元处理日志条进行排列，形成所述历史日志处理内容库；根据所述历史日志处理内容库中所述结果单元处理日志条的顺序进行编号，形成所述日志处理检索表。7.根据权利要求6所述的基于大数据的日志优化方法，其特征在于，所述结合所述日志处理检索表，并根据所述历史参考日志数据中的历史日志处理时间信息，对所述历史日志内容记录库进行处理信息的丰富，形成历史日志记录及处理库，包括：根据所述历史日志处理时间信息，确定每个所述日志记录时间点上采用的所述结果单元处理日志条，并结合所述日志处理检索表和所述历史日志内容记录库中每个所述日志记录时间点对应的编号组合信息，对每个所述编号组合信息进行丰富，形成日志记录编号信息：，其中，表示所述日志记录时间点上第n个非变量和变量对应的所述结果单元处理日志条的编号；按照时间顺序将所述日志记录编号信息进行排列，形成所述历史日志记录及处理库。8.根据权利要求7所述的基于大数据的日志优化方法，其特征在于，所述获取实时日志数据，并根据所述实时日志数据在所述历史日志记录及处理库中进行记录，包括：
获取所述实时日志数据中的实时日志内容信息，并将所述实时日志内容信息在所述历史日志内容库中进行对比确认，若所述历史日志内容库中存在与所述实时日志内容相同的非变量和变量，则：根据所述历史日志内容库中相同的非变量和变量在所述日志编号检索表上确定所述实时日志内容信息的编号信息；根据所述实时日志内容信息的编号信息，在所述历史日志记录及处理库中按照实时日志时间信息进行记录。9.根据权利要求8所述的基于大数据的日志优化方法，其特征在于，所述获取实时日志数据，并根据所述实时日志数据在所述历史日志记录及处理库中进行记录，包括：获取所述实时日志数据中的实时日志内容信息，并将所述实时日志内容信息在所述历史日志内容库中进行对比确认，若所述历史日志内容库中不存在与所述实时日志内容相同的非变量和变量，则：将所述实时日志内容信息中新的非变量和变量加入到所述历史日志内容库中，并在所述日志编号检索表中加入新的非变量和变量，获取所述实时日志内容信息的编号信息；获取所述实时日志数据中的实时日志处理信息，将所述实时日志处理信息纳入所述历史日志处理内容库并在所述日志处理检索表中新增所述实时日志处理信息的编号；结合所述实时日志内容信息的编号和对应的实时日志处理信息的编号，在所述历史日志记录及处理库中按照实时日志时间信息进行记录。10.一种基于大数据的日志优化模型，采用权利要求1-9任意一项所述基于大数据的日志优化方法，其特征在于，包括：数据采集单元，用于获取同类型存储数据库的历史日志数据，形成历史参考日志数据；日志优化单元，用于将所述数据采集单元中的所述历史参考日志进行优化分析，分别形成日志编号检索表、历史日志内容库、历史日志内容记录库、日志处理检索表、历史日志处理内容库以及历史日志记录及处理库；实时采集单元，用于采集实时日志数据，并将所述实时日志数据提供给所述日志优化单元进行日志优化的存储分析。

技术总结
本申请提供一种基于大数据的日志优化模型与方法，涉及日志管理技术领域。该方法包括获取同类型存储数据库的历史参考日志数据，对历史日志内容信息进行简化编号，形成日志编号检索表和历史日志内容库；结合日志编号检索表，将历史日志内容信息进行编号组合，形成历史日志内容记录库；获取历史日志处理信息，并对历史日志处理信息进行简化编号，形成日志处理检索表和历史日志处理内容库；结合日志处理检索表，形成历史日志记录及处理库；获取实时日志数据，并在历史日志记录及处理库中进行记录。该方法能够对日志数据进行合理的优化，以使其降低对存储空间的占有率，同时能够使日志数据记录更加高效。数据记录更加高效。数据记录更加高效。


技术研发人员：陈丽园
受保护的技术使用者：汇链通产业供应链数字科技（厦门）有限公司
技术研发日：2023.07.18
技术公布日：2023/9/13