一种高维数据智能化处理系统

1.本发明涉及计算机大数据分析技术领域，尤其涉及一种高维数据智能化处理系统。


背景技术：

2.现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。随着云时代的来临，大数据也吸引了越来越多的关注。大数据通常用来形容一个公司创造的大量非结构化和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据是如此重要，以至于其获取、储存、搜索、共享、分析，乃至可视化地呈现，都成为了当前重要的研究课题。
3.现有的大数据可视化分析工具，大多是对大数据进行系统的分析处理并展示时展示效果不好，使用者不容易找到自己需要的信息，同时在对数据处理时可能会出现很多冗余信息，增加了处理的工作量，因此提出的一种高维数据智能化处理系统。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在对大数据进行系统的分析处理并展示时展示效果不好，使用者不容易找到自己需要的信息，同时在对数据处理时可能会出现很多冗余信息，增加了处理的工作量的缺点，而提出的一种高维数据智能化处理系统。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种高维数据智能化处理系统，包括注册模块、权限管理模块和图表拖拽整理模块，所述注册模块将数据传输到登录模块，所述登录模块将数据传输到展示平台，所述注册模块和登录模块将信息存储在数据库中，所述权限管理模块控制数据库管理模块，所述数据库管理模块对数据库进行管理，所述数据库将数据传输到数据收集模块；
7.所述数据收集模块将数据传输到数据处理模块，所述数据处理模块将数据传输到数据分析模块，所述数据分析模块将数据传输到数据库，所述数据库将数据传输到可视化模块，所述可视化模块将数据传输到分析结果展示模块，所述分析结果展示模块将数据传输到展示平台，所述图表拖拽整理模块对分析结果展示模块进行控制；
8.所述注册模块用于注册使用工具系统的账号，所述登录模块用于登录账号从而使用工具系统，所述展示平台用于对可视化结果进行展示，所述数据库用于对系统所需要的信息进行存储与调用，所述权限管理模块用于对系统权限进行管理，所述控制部分用户获得对数据库进行管理的权限，所述数据库管理模块用于对使用的数据库存储的信息进行管理更新；
9.所述数据收集模块用于从数据库中调取信息，所述数据处理模块用于对收集到的数据进行一系列预处理，所述数据分析模块用于对处理后的数据进行分析，将大数据获取的信息进行分析整理，所述可视化模块用于对获取的数据进行可视化处理，分析结果展示
模块用于对分析结果的可视化进行展示，所述图表拖拽整理模块用于对分析结果展示的图表进行拖拽整理。
10.本发明的技术方案中，数据处理模块在进行数据处理的时候将原始数据经过一连串收集、提取、清洗、整理等预处理，将数据处理成高质量的数据，便于后续对数据进行图表可视化。
11.上述技术方案进一步包括：
12.所述数据收集模块将数据传输到数据源接收模块，所述数据源接收模块将数据传输到数据处理模块，所述数据源接收模块用于对收集到的数据进行分类获取接收并进行数据传输。
13.所述数据分析模块将数据传输到基于拖拽式数据建模模块和基于sql数据建模模块，所述基于拖拽式数据建模模块和基于sql数据建模模块将数据传输到数据库中，所述基于拖拽式数据建模模块用于通过拖拽的方式将数据导入进行数据分析，所述基于sql数据建模模块用于对sql数据库进行数据建模，直接将sql数据库中的信息进行导出分析。
14.所述数据源接收模块包括数据接口和数据传输单元，所述数据收集模块将数据传输到数据接口，所述数据接口将数据传输到数据传输单元，所述数据传输单元将数据传输到数据处理模块，所述数据接口用于对收集到的数据进行分类收集，根据不同的接口获取不同信息，所述数据传输单元用于将接收到的数据进行传输。
15.所述数据库将数据传输到美化模块，所述美化模块将数据传输到可视化模块，所述美化模块用于将建立的数据模型进行分析后得出的图表进行可视化的美化，可视化所呈现的图像经过美化模块得到优化。
16.所述权限管理模块在进行权限管理时，一般用户只可以使用工具系统进行大数据分析，管理员则拥有对系统数据库管理的权限，对大数据库进行管理，在调取信息时进行数据库管理。
17.所述数据接口根据数据的不同需求设置有若干个，数据类型的不同获得的数据分析也就不同，按照需要对数据贴标签分类或者预测，如果要从大量复杂的数据中提取有价值且不易发现的信息还要数据建模。
18.所述可视化模块应用有主成分分析降维方法进行特征提取，将监测获得的数据设置为m个样本{x1,x2,...,xm,},每个样本有n维特征,},每个样本有n维特征每一个特征xj都有各自的特征值；
19.首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵c，其中对角线上分别是特征x1和x2的方差，非对角线上是协方差，cov(x1,x1)的计算公式为由此得出m个样本在这n
维特征下的协方差矩阵c；
20.得到协方差矩阵后，根据特征方程cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息,且至少保留了原来85％以上的信息。
21.本发明的技术方案中，基于拖拽式数据建模模块对数据进行拖拽，一般拖拽的数据大多为图表信息，其中包含有数据库信息，每次拖拽后，前端需要给出正确的排序传给后端保存起来，保证下次进来是按照顺序来加载的，也就是从上到下一个个去加载图表数据。
22.本发明具备以下有益效果：
23.1、本发明中，设置有基于拖拽式数据建模模块便于用户进行数据导入分析，数据可以直接进行拖拽导入，简单易上手，同时还设置有美化模块，在进行可视化的时候对需要进行展示的可视化图表进行美化，使展示出来的效果很好，用户可以直观获取分析结果。
24.2、本发明中，设置有注册模块和登录模块，需要进行账号登录才能使用，确保了数据的安全性，同时还设置有权限管理模块和数据库管理模块使管理员对数据库进行管理，内部数据库是需要更新的，因此需要管理员对数据库进行更新管理，保证数据的时效性，大数据分析效果更好。
附图说明
25.图1为本发明提出的一种高维数据智能化处理系统的系统框图；
26.图2为本发明提出的一种高维数据智能化处理系统的流程框图。
具体实施方式
27.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.如图1-2所示，本发明提出的一种高维数据智能化处理系统，包括注册模块、权限管理模块和图表拖拽整理模块，注册模块将数据传输到登录模块，登录模块将数据传输到展示平台，注册模块和登录模块将信息存储在数据库中，权限管理模块控制数据库管理模块，数据库管理模块对数据库进行管理，数据库将数据传输到数据收集模块。
29.数据收集模块将数据传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块将数据传输到数据库，数据库将数据传输到可视化模块，可视化模块将数据传输到分析结果展示模块，分析结果展示模块将数据传输到展示平台，图表拖拽整理模块对分析结果展示模块进行控制。
30.注册模块用于注册使用工具系统的账号，登录模块用于登录账号从而使用工具系统，展示平台用于对可视化结果进行展示，数据库用于对系统所需要的信息进行存储与调用，权限管理模块用于对系统权限进行管理，控制部分用户获得对数据库进行管理的权限，数据库管理模块用于对使用的数据库存储的信息进行管理更新。
31.数据收集模块用于从数据库中调取信息，数据处理模块用于对收集到的数据进行
一系列预处理，数据分析模块用于对处理后的数据进行分析，将大数据获取的信息进行分析整理，可视化模块用于对获取的数据进行可视化处理，分析结果展示模块用于对分析结果的可视化进行展示，图表拖拽整理模块用于对分析结果展示的图表进行拖拽整理。
32.数据收集模块将数据传输到数据源接收模块，数据源接收模块将数据传输到数据处理模块，数据源接收模块用于对收集到的数据进行分类获取接收并进行数据传输。
33.数据分析模块将数据传输到基于拖拽式数据建模模块和基于sql数据建模模块，基于拖拽式数据建模模块和基于sql数据建模模块将数据传输到数据库中，基于拖拽式数据建模模块用于通过拖拽的方式将数据导入进行数据分析，基于sql数据建模模块用于对sql数据库进行数据建模，直接将sql数据库中的信息进行导出分析。
34.数据源接收模块包括数据接口和数据传输单元，数据收集模块将数据传输到数据接口，数据接口将数据传输到数据传输单元，数据传输单元将数据传输到数据处理模块，数据接口用于对收集到的数据进行分类收集，根据不同的接口获取不同信息，数据传输单元用于将接收到的数据进行传输。
35.数据库将数据传输到美化模块，美化模块将数据传输到可视化模块，美化模块用于将建立的数据模型进行分析后得出的图表进行可视化的美化，可视化所呈现的图像经过美化模块得到优化。
36.数据接口根据数据的不同需求设置有若干个，数据类型的不同获得的数据分析也就不同，按照需要对数据贴标签分类或者预测，如果要从大量复杂的数据中提取有价值且不易发现的信息还要数据建模。
37.本发明的实施例中，用户进入系统进行大数据分析，首先需要通过注册模块完成账号的注册，注册的账号信息保存在数据库中，然后通过登录模块输入账号进行登录，登录的时候从数据库中调取注册的账号信息，与之对比识别账号是否正确，匹配成功即登录成功。
38.一般用户执行大数据分析时，系统从数据库中获取信息，用户可以将数据库信息进行导入也可通过手动进行拖拽数据进行大数据分析，系统中数据收集模块获取数据将信息传输到数据源接收模块的数据接口中，数据接口将数据进行分类接收，模块自动处理，无需人工干预，通过不同接口经过数据传输单元传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块对处理的信息进行整合统计，数据分析模块将数据传输到基于拖拽式数据建模模块和基于sql数据建模模块，根据用户选择导入数据的方式的不同进行数据建模，获取更多的信息，该数据建模为模块自动处理，无需人工干预，这些数据都会保存在数据库中，防止数据丢失，得出分析结果后将数据传输到可视化模块，可视化模块自动将数据可视化，无需人工干涉，即可获得可视化结果，如果选择对可视化展示图表进行优化，则通过美化模块进行优化后将数据传输到分析结果展示模块。
39.大数据分析结果展示在展示平台中，展示的数据很多很乱，用户可根据需求通过图表拖拽整理模块对图表进行拖拽，在拖拽后图表会自动对齐，将需要的大数据分析进行可视化展示，用户从展示平台获取信息。
40.如图1所示，本发明的实施例中，权限管理模块在进行权限管理时，一般用户只可以使用工具系统进行大数据分析，管理员则拥有对系统数据库管理的权限，对大数据库进行管理，在调取信息时进行数据库管理。
41.用户在登陆成功后，权限管理模块会对用户进行权限判断，并赋予用户权限，一般用户获得使用权限，对数据进行导入或者获取大数据分析信息。
42.管理员获得对数据库管理的权限，通过数据库管理模块对数据库进行管理，保证数据具有时效性，安全可靠。
43.如图2所示，本发明的实施例中，可视化模块应用有主成分分析降维方法进行特征提取，将监测获得的数据设置为m个样本{x1,x2,...,xm,},每个样本有n维特征每一个特征xj都有各自的特征值。
44.首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵c，其中对角线上分别是特征x1和x2的方差，非对角线上是协方差，cov(x1,x1)的计算公式为由此得出m个样本在这n维特征下的协方差矩阵c。
45.得到协方差矩阵后，根据特征方程cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。
46.可视化模块在对数据进行可视化时，可能展示的结果会很多，其中包括一些冗余信息，需要进行处理然后再进行可视化，因此在可视化模块中应用有主成分分析的方法对信息进行降维处理；先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，在去中心化后再求协方差矩阵，得到协方差矩阵后，求出其特征值及其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息。
47.本发明的使用方法，用户进入系统进行大数据分析，首先需要通过注册模块完成账号的注册，注册的账号信息保存在数据库中，然后通过登录模块输入账号进行登录，登录的时候从数据库中调取注册的账号信息，与之对比识别账号是否正确，匹配成功即登录成功。
48.登陆成功后，权限管理模块会对用户进行权限判断，并赋予用户权限，一般用户获得使用权限，对数据进行导入或者获取大数据分析信息。
49.管理员获得对数据库管理的权限，通过数据库管理模块对数据库进行管理，保证数据具有时效性，安全可靠；一般用户执行大数据分析时，系统从数据库中获取信息，用户可以将数据库信息进行导入也可通过手动进行拖拽数据进行大数据分析，系统中数据收集模块获取数据将信息传输到数据源接收模块的数据接口中，数据接口将数据进行分类接
收，该分类为模块自动处理，无需人工干预，通过不同接口经过数据传输单元传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块对处理的信息自动进行整合统计，数据分析模块将数据传输到基于拖拽式数据建模模块和基于sql数据建模模块，根据用户选择导入数据的方式的不同自动进行数据建模，获取更多的信息，这些数据都会保存在数据库中，防止数据丢失，得出分析结果后将数据传输到可视化模块，自动将数据可视化，如果选择对可视化展示图表进行优化，则通过美化模块进行优化后将数据传输到分析结果展示模块。
50.大数据分析结果展示在展示平台中，展示的数据很多很乱，用户可根据需求通过图表拖拽整理模块对图表进行拖拽，在拖拽后图表会自动对齐，将需要的大数据分析进行可视化展示，用户从展示平台获取信息。
51.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种高维数据智能化处理系统，其特征在于，包括注册模块、权限管理模块和图表拖拽整理模块，所述注册模块将数据传输到登录模块，所述登录模块将数据传输到展示平台，所述注册模块和登录模块将信息存储在数据库中，所述权限管理模块控制数据库管理模块，所述数据库管理模块对数据库进行管理，所述数据库将数据传输到数据收集模块；所述数据收集模块将数据传输到数据处理模块，所述数据处理模块将数据传输到数据分析模块，所述数据分析模块将数据传输到数据库，所述数据库将数据传输到可视化模块，所述可视化模块将数据传输到分析结果展示模块，所述分析结果展示模块将数据传输到展示平台，所述图表拖拽整理模块对分析结果展示模块进行控制；所述注册模块用于注册使用工具系统的账号，所述登录模块用于登录账号从而使用工具系统，所述展示平台用于对可视化结果进行展示，所述数据库用于对系统所需要的信息进行存储与调用，所述权限管理模块用于对系统权限进行管理，控制部分用户获得对数据库进行管理的权限，所述数据库管理模块用于对使用的数据库存储的信息进行管理更新；所述数据收集模块用于从数据库中调取信息，所述数据处理模块用于对收集到的数据进行一系列预处理，所述数据分析模块用于对处理后的数据进行分析，将大数据获取的信息进行分析整理，所述可视化模块用于对获取的数据进行可视化处理，所述分析结果展示模块用于对分析结果的可视化进行展示，所述图表拖拽整理模块用于对分析结果展示的图表进行拖拽整理。2.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述数据收集模块将数据传输到数据源接收模块，所述数据源接收模块将数据传输到数据处理模块，所述数据源接收模块用于对收集到的数据进行分类获取接收并进行数据传输。3.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述数据分析模块将数据传输到基于拖拽式数据建模模块和基于sql数据建模模块，所述基于拖拽式数据建模模块和基于sql数据建模模块将数据传输到数据库中，所述基于拖拽式数据建模模块用于通过拖拽的方式将数据导入进行数据分析，所述基于sql数据建模模块用于对sql数据库进行数据建模，直接将sql数据库中的信息进行导出分析。4.根据权利要求2所述的一种高维数据智能化处理系统，其特征在于，所述数据源接收模块包括数据接口和数据传输单元，所述数据收集模块将数据传输到数据接口，所述数据接口将数据传输到数据传输单元，所述数据传输单元将数据传输到数据处理模块，所述数据接口用于对收集到的数据进行分类收集，根据不同的接口获取不同信息，所述数据传输单元用于将接收到的数据进行传输。5.根据权利要求3所述的一种高维数据智能化处理系统，其特征在于，所述数据库将数据传输到美化模块，所述美化模块将数据传输到可视化模块，所述美化模块用于将建立的数据模型进行分析后得出的图表进行可视化的美化，可视化所呈现的图像经过美化模块得到优化。6.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述权限管理模块在进行权限管理时，一般用户只可以使用工具系统进行大数据分析，管理员则拥有对系统数据库管理的权限，对大数据库进行管理，在调取信息时进行数据库管理。7.根据权利要求4所述的一种高维数据智能化处理系统，其特征在于，所述数据接口根据数据的不同需求设置有若干个，数据类型的不同获得的数据分析也就不同，按照需要对
数据贴标签分类或者预测，如果要从大量复杂的数据中提取有价值且不易发现的信息还要数据建模。8.根据权利要求1所述的一种高维数据智能化处理系统，其特征在于，所述可视化模块应用有主成分分析降维方法进行特征提取，将监测获得的数据设置为m个样本{x1,x2,...,x
m
,},每个样本有n维特征每一个特征x
j
都有各自的特征值；首先对所有特征进行去中心化，即去均值，求出每个特征的平均值，然后对于所有的样本，每一个特征都减去自身的均值，其中各自的均值分别为在去中心化后再求协方差矩阵c，其中对角线上分别是特征x1和x2的方差，非对角线上是协方差，cov(x1,x1)的计算公式为由此得出m个样本在这n维特征下的协方差矩阵c；得到协方差矩阵后，根据特征方程cμ＝λμ求出其特征值及其对应的特征向量，其中λ为特征值，μ为其对应的特征向量，选择最大的前k个特征值和相对应的特征向量进行投影，投影即为降维的过程，将原始特征从高维度降低到低维度，降维后除去了大量的冗余信息，且至少保留了原来85％以上的信息。

技术总结
本发明公开了一种高维数据智能化处理系统，包括注册模块、权限管理模块和图表拖拽整理模块，注册模块将数据传输到登录模块，数据收集模块将数据传输到数据处理模块，数据处理模块将数据传输到数据分析模块，数据分析模块将数据传输到数据库，数据库将数据传输到可视化模块，可视化模块将数据传输到分析结果展示模块，图表拖拽整理模块对分析结果展示模块进行控制。本发明中，设置有基于拖拽式数据建模模块便于用户进行数据导入分析，简单易上手，同时还设置有美化模块，在进行可视化的时候对需要进行展示的可视化图表进行美化，使展示出来的效果很好，用户可以直观获取分析结果，通过权限管理，安全可靠。安全可靠。安全可靠。


技术研发人员：陆朝阳 杜跃平 张慧文 李英
受保护的技术使用者：西安外事学院
技术研发日：2023.06.09
技术公布日：2023/9/12