基于大数据的数据分析处理方法与流程

1.本发明涉及用于数据保护的数据处理领域，具体涉及基于大数据的数据分析处理方法。


背景技术：

2.随着互联网大数据时代的到来，大数据已经成为了我国基础性战略资源的重要组成部分，其能够通过各种渠道收集到大量的资料，信息和数据；对于想要获取的目标数据实现精准识别和提取；因此对于大数据的分析处理非常重要，其可以有效地进行组织和管理大规模的数据，使其发挥最大的效益。
3.而由于大数据的信息体量庞大；加之应用领域遍及各行各业；存在巨大的信息交叉性，导致大量的数据信息冗余；海量的数据势必会带来大量的数据冗余，因此需要对数据采用有效的数据压缩方法最大程度的避免信息冗余，减少存储内存提高数据压缩效率。
4.传统对于数据的压缩方法常常使用游程编码进行压缩，但该方式针对于存在连续多个重复的数值数据集压缩效果较佳，而对于存在连续多个重复数值数据集较小的数据集压缩效果并不佳甚至可能会出现数据膨胀的现象。


技术实现要素：

5.本发明提供基于大数据的数据分析处理方法，以解决现有的问题。
6.本发明的基于大数据的数据分析处理方法采用如下技术方案：本发明一个实施例提供了基于大数据的数据分析处理方法，该方法包括以下步骤：采集大数据的数据集信息；根据数据集信息获取一维十进制序列；根据一维十进制序列获取二维十进制矩阵；根据二维十进制矩阵获取每个扫描路径下的扫描序列；将扫描序列中相邻且相同的元素记为特征元素，根据特征元素的数量获取扫描路径的第一特征评估标准；根据扫描序列中各种元素在扫描序列中连续出现的最大长度，获取扫描路径的第二特征评估标准；将扫描序列中所有元素转化成二进制数据得到扫描序列的二进制数据；根据扫描序列的二进制数据之间各进制位的相似程度，获取扫描序列的二进制数据之间的相似程度参数，根据扫描序列的二进制数据之间的相似程度参数获取目标数据；根据目标数据的数量获取扫描路径的第三特征评估标准；根据扫描路径的第一、第二以及第三特征评估标准，获取每个扫描路径的最终扫描路径评估标准；根据所有扫描路径的最终扫描路径评估标准获取选择最优扫描序列对数据进行游程编码压缩。
7.优选的，所述获取一维十进制序列，包括的具体方法为：按照表将大数据数据集信息中的数据全部转换成十进制，得到一维十进制
序列。
8.优选的，所述获取二维十进制矩阵，包括的具体方法为：将一维十进制序列中第1个数据到第个数据作为二维十进制矩阵的第一行数据；将一维十进制序列中第个数据到第个数据作为二维十进制矩阵的第二行数据；将一维十进制序列中第个数据到第个数据作为二维十进制矩阵的第三行数据；以此类推，直至一维十进制序列中的最后一个数据，最终得到二维十进制矩阵，为预设数据。
9.优选的，所述获取扫描路径的第一特征评估标准，包括的具体方法为：对于扫描序列中第个元素，若扫描序列中第个元素与第以及第个元素相同时，则记扫描序列中第个元素为特征元素，统计扫描序列中特征元素的数量，并将特征元素的数量，最后以特征元素的数量与扫描序列中元素的数量的比值作为扫描路径的第一特征评估标准。
10.优选的，所述获取扫描路径的第二特征评估标准，包括的具体方法为：将扫描序列中数据值大小相同的元素归为同一种元素，统计扫描序列中第种元素连续出现的最大长度，根据扫描序列中所有元素在扫描序列中连续出现的最大长度，计算扫描路径的第二特征评估标准。
11.优选的，所述计算扫描路径的第二特征评估标准，包括的具体计算公式为：式中，表示扫描路径的第二特征评估标准；表示扫描序列中元素的数量；表示扫描序列中第种元素连续出现的最大长度；表示扫描序列中元素种类的数量。
12.优选的，所述获取目标数据，包括的具体方法为：将扫描序列中第1位数据与第2位数据转化为二进制数据，以扫描序列中第1位与第2位数据的二进制数据中各个进制位之间的差的绝对值之和作为，扫描序列中第1位数据与第2位数据之间的相似程度参数；将扫描序列中第2位数据与第3位数据转化为二进制数据，以扫描序列中第2位与第3位数据的二进制数据中各个进制位之间的差的绝对值之和作为，扫描序列中第2位数据与第3位数据之间的相似程度参数；将扫描序列中第3位数据与第4位数据转化为二进制数据，以扫描序列中第3位与第4位数据的二进制数据中各个进制位之间的差的绝对值之和作为，扫描序列中第3位数据与第4位数据之间的相似程度参数；以此类推，获取扫描序列中所有相邻数据之间的相似程度，预设一个相似程度参数阈值；当扫描序列中第个数据与第个数据相邻的两个数据间的相似程度参数小于等于时，则扫描序列中第个数据与第个数据相邻的两个数据相似，并将第个数据记为目标数据。
13.优选的，所述获取扫描路径的第三特征评估标准，包括的具体计算公式为：式中，表示扫描路径的第三特征评估标准，表示扫描序列中目标数据的数量，表示扫描序列中元素的数量。
14.优选的，所述获取最终扫描路径评估标准，包括的具体计算公式为：式中，表示扫描路径的最终扫描路径评估标准；表示扫描路径的第一特征评估标准；表示扫描路径的第二特征评估标准；表示扫描路径的第三特征评估标准；表示预设的扫描路径的第一特征评估标准的权值；表示预设的扫描路径的第二特征评估标准的权值；表示预设的扫描路径的第三特征评估标准的权值。
15.优选的，所述选择最优的扫描方式对数据进行游程编码压缩，包括的具体方法为：通过计算各种扫描路径的最终扫描路径评估标准，选择最终扫描路径评估标准结果最大的扫描路径作为最优扫描路径，使用最优扫描路径对二维十进制矩阵进行扫描得到最优扫描序列，利用游程编码技术对最优扫描序列进行压缩，达到提高数据压缩效果的目的。
16.本发明的技术方案的有益效果是：传统对于数据的压缩方法常常使用游程编码进行压缩，但该方式针对于存在连续多个重复的数值数据集压缩效果较佳，而对于存在连续多个重复数值数据集较小的数据集压缩效果并不佳甚至可能会出现数据膨胀的现象。
17.而本发明通过对大数据的数据集进行预处理，并对数据集进行增维空间的构建，结合数据特点自适应得到最优压缩规则；增加连续数据之间的冗余程度，使得游程编码的压缩效果达到最佳，实现对大数据数据集的科学处理。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明基于大数据的数据分析处理方法的步骤流程图。
具体实施方式
20.为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于大数据的数据分析处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
21.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的
技术人员通常理解的含义相同。
22.下面结合附图具体的说明本发明所提供的基于大数据的数据分析处理方法的具体方案。
23.请参阅图1，其示出了本发明一个实施例提供的基于大数据的数据分析处理方法的步骤流程图，该方法包括以下步骤：步骤s001：采集大数据数据集信息并对大数据数据集信息进行预处理，获取大数据数据集信息的二进制编码。
24.需要说明的是，对于社交平台、网购平台以及视频平台等平台，都需要对大数据进行分析处理，例如基于大数据的个性化推荐，这些大数据构成的数据集中包含有数字、文本字符、以及特殊字符等，其中特殊字符包括：&、*、￥、#等诸多符号；为能够更加高效的对大数据数据集信息进行处理，因此对于大数据的数据集信息需要进行转换操作。
25.具体的，按照表将大数据数据集信息中的文本字符、以及特殊字符等全部转换成十进制，得到大数据数据集中所有数据构成的一维十进制序列。需要说明的是，由于一维十进制序列中各数值之间的关联性较弱，不易对其相互之间的数值特征进行分析和处理；因此将得到的一维十进制序列进行存储空间增维操作，即转换为二维十进制矩阵存储结构；增加各数据之间的关联性。
26.具体的，将一维十进制序列中第1个数据到第个数据作为二维十进制矩阵的第一行数据；将一维十进制序列中第个数据到第个数据作为二维十进制矩阵的第二行数据；将一维十进制序列中第个数据到第个数据作为二维十进制矩阵的第三行数据；以此类推，直至一维十进制序列中的最后一个数据，最终得到二维十进制矩阵；其中为本实施例所预设的二维十进制矩阵的规格，的具体取值可根据具体情况进行设置，本实施例不做硬性要求，在本实施例中以进行叙述。
27.需要注意的是，若一维十进制序列不足以补足二维十进制矩阵中的最后一行，则对二维十进制矩阵中的最后一行进行补码处理；具体的，对二维十进制矩阵最后一行中空白的位置补零，并记录补码的数量。
28.至此，通过上述方法得到一组二维十进制矩阵。
29.步骤s002：对二维十进制矩阵进行路径扫描得到扫描序列；根据扫描序列获取扫描路径的第一特征评估标准、扫描路径的第二特征评估标准以及扫描路径的第三特征评估标准。
30.1.获取扫描路径的第一特征评估标准。
31.需要说明的是，二维十进制矩阵存储结构中对于数据的压缩扫描方式除过逐行扫描方式之外还存在多种不同的扫描方式即不同的扫描路径蛇形扫描，希尔伯特扫描等；而由于不同的扫描路径得到的序列不同，导致游程编码对于不同的序列所产生的压缩效果也各不相同；对于序列中连续索引位置上数值相同频次多的序列而言，由于造成的数据冗余更多，重复程度更高，因此对于该类序列游程编码的压缩效果最佳，由此对各压缩路径效果进行评估和分析，最终得到针对于当前大数据集下最优的压缩路径和规则。
32.需要进一步说明的是，连续相同的数据的冗余性高，而压缩算法能够利用冗余性
来减小数据的存储或传输量，所以当扫描序列中连续相同的数据越多，扫描序列的冗余性就越高，故可以根据扫描序列中连续相同的数据数量，获取扫描路径的第一特征评估标准。
33.具体的，利用任意一种扫描路径对二维十进制矩阵进行扫描得到一个扫描序列。对于扫描序列中第个元素，若扫描序列中第个元素与第以及第个元素相同时，则记扫描序列中第个元素为特征元素，统计扫描序列中特征元素的数量，并将特征元素的数量记为；需要注意的是，当扫描序列中第个元素只有一个相邻的元素时，只需判断第个元素与第或第个元素是否相同即可，如果相同第个元素为特征元素。
34.最后以特征元素的数量与扫描序列中元素的数量的比值作为第一特征评估标准，其具体的计算公式为：式中，表示扫描路径的第二特征评估标准；表示特征元素的数量；表示扫描序列中元素的数量。
35.需要说明的是，计算得到的扫描路径的第一特征评估标准越大，则说明在扫描序列中相邻数据之间相同的数据越多，即扫描序列的冗余性越大，扫描序列的压缩效果越好。
36.至此，得到扫描路径的第一特征评估标准。
37.2.获取扫描路径的第二特征评估标准。
38.需要说明的是，在扫描序列中连续相同的数据越长，则表示扫描序列中的冗余性就越高，故可以根据扫描序列中连续相同的数据长度，获取扫描路径的第二特征评估标准。
39.具体的，将扫描序列中数据值大小相同的元素归为同一种元素，统计扫描序列中第种元素连续出现的最大长度记为，根据扫描序列中各种元素在扫描序列中连续出现的最大长度，获取扫描路径的第二特征评估标准，其具体的计算公式为：式中，表示扫描路径的第二特征评估标准；表示扫描序列中元素的数量；表示扫描序列中第种元素连续出现的最大长度；表示扫描序列中元素种类的数量。
40.需要进一步说明的是，计算得到的扫描路径的第二特征评估标准越大，则说明在扫描序列中相邻数据之间相同的数据越多，即扫描序列的冗余性越大，扫描序列的压缩效果越好。
41.至此，得到扫描路径的第二特征评估标准。
42.3.获取扫描路径的第三特征评估标准。
43.需要说明的是，即使数据不同，数据之间也存在一定的冗余性，且数据之间越是相似，则数据之间的冗余性越大；故通过统计扫描序列中相似的相邻数据数量，获取扫描路径
的第三特征评估标准。
44.具体的，将扫描序列中第1位数据与第2位数据转化为二进制数据，以扫描序列中第1位与第2位数据的二进制数据中各个进制位之间的差的绝对值之和作为：扫描序列中第1位数据与第2位数据之间的相似程度参数；将扫描序列中第2位数据与第3位数据转化为二进制数据，以扫描序列中第2位与第3位数据的二进制数据中各个进制位之间的差的绝对值之和作为：扫描序列中第2位数据与第3位数据之间的相似程度参数；将扫描序列中第3位数据与第4位数据转化为二进制数据，以扫描序列中第3位与第4位数据的二进制数据中各个进制位之间的差的绝对值之和作为：扫描序列中第3位数据与第4位数据之间的相似程度参数；以此类推，获取扫描序列中所有相邻数据之间的相似程度。
45.例如：31与37这两个数据之间的相似程度参数的具体计算过程为：31与37这两个数据之间的相似程度参数的具体计算过程为：31与37这两个数据之间的相似程度参数的具体计算过程为：31与37这两个数据之间的相似程度参数为4。
46.需要进一步说明的是，当数据之间的相似程度参数越大时，数据的相似程度越低，反之数据之间的相似程度参数越小时，数据的相似程度越高，故可以根据数据之间的相似程度参数，获取扫描序列中相似的相邻数据数量。
47.具体的，预设一个相似程度参数阈值，其中的取值可根据具体情况自行设置，本实施例不做硬性要求，在本实施例中设置4进行描述；当扫描序列中第个数据与第个数据相邻的两个数据间的相似程度参数均小于等于时，扫描序列中第个数据与第个数据相邻的两个数据相似，并将第个数据记为目标数据，反之扫描序列中第个数据与第个数据相邻的两个数据间的相似程度参数存在大于的情况时，扫描序列中第个数据与第个数据相邻的两个数据不相似，即第个数据不是目标数据；统计扫描序列中目标数据的数量记为，根据扫描序列中目标数据的数量，获取扫描路径的第三特征评估标准，其具体的计算公式如下：式中，表示扫描路径的第三特征评估标准，表示扫描序列中目标数据的数量，表示扫描序列中元素的数量。
48.需要注意的是，当扫描序列中第个元素只有一个相邻的元素时，只需判断第个元素与第或第个元素是否相似即可，如果相同第个元素为目标元素。
49.需要进一步说明的是，计算得到的扫描路径的第三特征评估标准越大，则说明在扫描序列中相邻数据之间相似的数据越多，即扫描序列的冗余性越大，扫描序列的压缩效果越好。
50.至此，得到扫描路径的第三特征评估标准。
51.步骤s003：根据扫描序列获取扫描路径的第一特征评估标准、扫描路径的第二特征评估标准以及扫描路径的第三特征评估标准，获取最终扫描路径评估标准。
52.需要说明的是，最终扫描路径评估标准是根据扫描路径的第一特征评估标准、扫描路径的第二特征评估标准以及扫描路径的第三特征评估标准。
53.具体的，通过根据扫描路径的第一特征评估标准、扫描路径的第二特征评估标准以及扫描路径的第三特征评估标准，获取最终扫描路径评估标准的具体计算公式如下：其中，表示扫描路径的最终扫描路径评估标准；表示扫描路径的第一特征评估标准；表示扫描路径的第二特征评估标准；表示扫描路径的第三特征评估标准；表示扫描路径的第一特征评估标准的权值；表示扫描路径的第二特征评估标准的权值；表示扫描路径的第三特征评估标准的权值。
54.需要进一步说明的是，根据游程编码压缩原理可知，在数据压缩的过程中完全相同的数据之间的冗余性最大，即在扫描序列中连续相同的数据的数量越多，利用游程编码进行压缩的压缩效果越好，所以扫描路径的第一特征评估标准的权值最大，而第三特征评估标准是通过扫描序列中相邻的数据之间的相似性获得的，而相似数据之间的冗余性是低于相同数据之间的冗余性的，所以扫描路径的第三特征评估标准的权值最小；即。
55.具体的，在本实施例中所预设的第一特征评估标准的权值、第二特征评估标准的权值、第三特征评估标准的权值，其中第一特征评估标准的权值、第二特征评估标准的权值以及第三特征评估标准的权值可根据具体情况设置，本实施例不做硬性要求。
56.需要注意的是，为了使最终扫描路径评估标准的结果在[0,1]区间，所以。
[0057]
需要说明的是，最终扫描路径评估标准的结果越大，则说明由扫描路径得到的扫描序列里的数据冗余性就越高，对扫描序列的压缩效果就越好。
[0058]
至此，通过上述方法得到最终扫描路径评估标准。
[0059]
步骤s004：根据最终扫描路径评估标准选择最优的扫描方式对数据进行游程编码压缩。
[0060]
通过计算各种扫描路径的最终扫描路径评估标准，选择最终扫描路径评估标准结果最大的扫描路径作为最优扫描路径，使用最优扫描路径对二维十进制矩阵进行扫描得到最优扫描序列，利用游程编码技术对最优扫描序列进行压缩，达到提高数据压缩效果的目的。
[0061]
数据解压缩的方法为：首先使用游程编码解压缩方法将压缩后的数据解压缩成最优扫描序列，根据最优扫描路径将扫描序列还原成二维十进制矩阵，将补码的数据去除然后再重新还原成大数据数据集。
[0062]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于大数据的数据分析处理方法，其特征在于，该方法包括以下步骤：采集大数据的数据集信息；根据数据集信息获取一维十进制序列；根据一维十进制序列获取二维十进制矩阵；根据二维十进制矩阵获取每个扫描路径下的扫描序列；将扫描序列中相邻且相同的元素记为特征元素，根据特征元素的数量获取扫描路径的第一特征评估标准；根据扫描序列中各种元素在扫描序列中连续出现的最大长度，获取扫描路径的第二特征评估标准；将扫描序列中所有元素转化成二进制数据得到扫描序列的二进制数据；根据扫描序列的二进制数据之间各进制位的相似程度，获取扫描序列的二进制数据之间的相似程度参数，根据扫描序列的二进制数据之间的相似程度参数获取目标数据；根据目标数据的数量获取扫描路径的第三特征评估标准；根据扫描路径的第一、第二以及第三特征评估标准，获取每个扫描路径的最终扫描路径评估标准；根据所有扫描路径的最终扫描路径评估标准获取选择最优扫描序列对数据进行游程编码压缩。2.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取一维十进制序列，包括的具体方法为：按照表将大数据数据集信息中的数据全部转换成十进制，得到一维十进制序列。3.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取二维十进制矩阵，包括的具体方法为：将一维十进制序列中第1个数据到第个数据作为二维十进制矩阵的第一行数据；将一维十进制序列中第个数据到第个数据作为二维十进制矩阵的第二行数据；将一维十进制序列中第个数据到第个数据作为二维十进制矩阵的第三行数据；以此类推，直至一维十进制序列中的最后一个数据，最终得到二维十进制矩阵，为预设数据。4.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取扫描路径的第一特征评估标准，包括的具体方法为：对于扫描序列中第个元素，若扫描序列中第个元素与第以及第个元素相同时，则记扫描序列中第个元素为特征元素，统计扫描序列中特征元素的数量，并将特征元素的数量，最后以特征元素的数量与扫描序列中元素的数量的比值作为扫描路径的第一特征评估标准。5.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取扫描路径的第二特征评估标准，包括的具体方法为：将扫描序列中数据值大小相同的元素归为同一种元素，统计扫描序列中第种元素连续出现的最大长度，根据扫描序列中所有元素在扫描序列中连续出现的最大长度，计算扫描路径的第二特征评估标准。6.根据权利要求5所述基于大数据的数据分析处理方法，其特征在于，所述计算扫描路径的第二特征评估标准，包括的具体计算公式为：
式中，表示扫描路径的第二特征评估标准；表示扫描序列中元素的数量；表示扫描序列中第种元素连续出现的最大长度；表示扫描序列中元素种类的数量。7.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取目标数据，包括的具体方法为：将扫描序列中第1位数据与第2位数据转化为二进制数据，以扫描序列中第1位与第2位数据的二进制数据中各个进制位之间的差的绝对值之和作为，扫描序列中第1位数据与第2位数据之间的相似程度参数；将扫描序列中第2位数据与第3位数据转化为二进制数据，以扫描序列中第2位与第3位数据的二进制数据中各个进制位之间的差的绝对值之和作为，扫描序列中第2位数据与第3位数据之间的相似程度参数；将扫描序列中第3位数据与第4位数据转化为二进制数据，以扫描序列中第3位与第4位数据的二进制数据中各个进制位之间的差的绝对值之和作为，扫描序列中第3位数据与第4位数据之间的相似程度参数；以此类推，获取扫描序列中所有相邻数据之间的相似程度，预设一个相似程度参数阈值；当扫描序列中第个数据与第个数据相邻的两个数据间的相似程度参数小于等于时，则扫描序列中第个数据与第个数据相邻的两个数据相似，并将第个数据记为目标数据。8.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取扫描路径的第三特征评估标准，包括的具体计算公式为：式中，表示扫描路径的第三特征评估标准，表示扫描序列中目标数据的数量，表示扫描序列中元素的数量。9.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述获取最终扫描路径评估标准，包括的具体计算公式为：式中，表示扫描路径的最终扫描路径评估标准；表示扫描路径的第一特征评估标准；表示扫描路径的第二特征评估标准；表示扫描路径的第三特征评估标准；表示预设的扫描路径的第一特征评估标准的权值；表示预设的扫描路径的第二特征评估标准的权值；表示预设的扫描路径的第三特征评估标准的权值。10.根据权利要求1所述基于大数据的数据分析处理方法，其特征在于，所述选择最优的扫描方式对数据进行游程编码压缩，包括的具体方法为：
通过计算各种扫描路径的最终扫描路径评估标准，选择最终扫描路径评估标准结果最大的扫描路径作为最优扫描路径，使用最优扫描路径对二维十进制矩阵进行扫描得到最优扫描序列，利用游程编码技术对最优扫描序列进行压缩，达到提高数据压缩效果的目的。

技术总结
本发明涉及用于数据保护的数据处理领域，具体涉及基于大数据的数据分析处理方法，包括：采集大数据的数据集信息并获取大数据数据集信息的二进制编码；根据大数据数据集信息的二进制编码获取一维十进制序列；根据一维十进制序列获取二维十进制矩阵；根据二维十进制矩阵获取扫描序列；根据扫描序列获取扫描路径的第一、第二以及第三特征评估标准，获取最终扫描路径评估标准根据最终扫描路径评估标准获取选择最优的扫描方式对数据进行游程编码压缩。本发明首先通过对大数据的数据集进行增维，然后根据增维数据得到最优扫描路径，使得游程编码的压缩效果达到最佳。游程编码的压缩效果达到最佳。游程编码的压缩效果达到最佳。


技术研发人员：田艳艳 孙凤菊 吴丹丹 刘腾 陈倩 单珂 赵帅帅 杨奉娟 王忠贵 张令艳
受保护的技术使用者：智联信通科技股份有限公司
技术研发日：2023.09.05
技术公布日：2023/10/11