数据可视化方法、系统、电子设备和计算机可读存储介质与流程

1.本公开涉及大数据技术领域，尤其涉及一种数据可视化方法、系统、电子设备和计算机可读存储介质。


背景技术：

2.随着数据技术的不断发展和数据来源的不断增加，人们处理数据的方式也在不断地改变。传统的基于表格的数据呈现方式已经无法满足用户对于数据的需求，数据可视化技术应运而生。
3.然而，当前大部分的数据可视化方法依旧是针对单一数据源的，对于来自不同来源、不同类型的数据进行可视化时，往往需要先将数据进行预处理和清洗，然后再对数据进行合并和可视化。这不仅增加了数据处理的难度和工作量，也容易导致数据丢失和精度降低。
4.因此，本专利提供了一种基于异构数据的数据可视化方法，能够将来自不同数据源的数据进行自动识别和融合，克服了传统数据可视化方法中数据预处理和清洗环节的问题，并提高了数据可视化的效率和准确度。


技术实现要素：

5.本公开实施例提供一种数据可视化方法、系统、电子设备和计算机可读存储介质，能够至少解决现有技术中的部分问题。
6.本公开实施例的第一方面，
7.提供一种数据可视化方法，所述方法包括：
8.将来自不同数据源的异构数据进行识别和自动融合；
9.对融合后的数据进行数据预处理和数据清洗；
10.采用趋势发现算法对处理后的数据进行趋势分析和关联发现；
11.将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。
12.在一种可选的实施方式中，还包括：
13.在进行所述数据预处理和所述数据清洗时，采用数据清洗工具对数据质量进行评估，以确保数据可靠性和精度。
14.在一种可选的实施方式中，所述趋势发现算法包括聚类分析、主成分分析、时间序列分析和关联规则挖掘，所述采用趋势发现算法对处理后的数据进行趋势分析和关联发现，包括：
15.采用聚类分析、主成分分析、时间序列分析和关联规则挖掘对处理后的数据进行趋势分析和关联发现。
16.在一种可选的实施方式中，所述数据源可以包括文本、图像和视频，所述将来自不同数据源的异构数据进行识别和自动融合，包括：
17.将来自文本、图像和视频的异构数据进行识别和自动融合。
18.在一种可选的实施方式中，还包括：
19.所述方法可以通过计算机实现，所述计算机包括硬件和软件，其中软件包括实现所述方法的计算机程序。
20.本公开实施例的第二方面，
21.提供一种基于异构数据的数据可视化系统，所述系统包括：
22.融合模块，用于将来自不同数据源的异构数据进行识别和自动融合；
23.数据预处理和数据清洗模块，用于对融合后的数据进行数据预处理和数据清洗；
24.趋势发现模块，用于采用趋势发现算法对处理后的数据进行趋势分析和关联发现；
25.可视化模块，用于将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。
26.在一种可选的实施方式中，所述数据源可以包括文本、图像和视频，所述融合模块具体配置为：
27.将来自文本、图像和视频的异构数据进行识别和自动融合。
28.在一种可选的实施方式中，所述趋势发现算法包括聚类分析、主成分分析、时间序列分析和关联规则挖掘，所述趋势发现模块具体配置为：
29.采用聚类分析、主成分分析、时间序列分析和关联规则挖掘对处理后的数据进行趋势分析和关联发现。
30.在一种可选的实施方式中，还包括实现模块；
31.所述实现模块，用于将所述系统通过计算机实现，所述计算机包括硬件和软件，其中软件包括实现所述系统的计算机程序。
32.本公开实施例的第三方面，
33.提供一种电子设备，包括：
34.处理器；
35.用于存储处理器可执行指令的存储器；
36.其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
37.本公开实施例的第四方面，
38.提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
39.本技术提供了一种数据可视化方法、系统、电子设备和计算机可读存储介质，方法包括将来自不同数据源的异构数据进行识别和自动融合；对融合后的数据进行数据预处理和数据清洗；采用趋势发现算法对数据进行趋势分析和关联发现；将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。所述方法能够将来自不同数据源的数据进行自动识别和融合，克服了传统数据可视化方法中数据预处理和清洗环节的问题，并提高了数据可视化的效率和准确度。
附图说明
40.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据
提供的附图获得其他的附图。
41.图1为本公开实施例数据可视化方法的流程示意图。
具体实施方式
42.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
43.下面以具体地实施例对本公开的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
44.图1为本公开实施例数据可视化方法的流程示意图，如图1所示，该方法可以包括：
45.s101、将来自不同数据源的异构数据进行识别和自动融合；
46.s102、对融合后的数据进行数据预处理和数据清洗；
47.s103、采用趋势发现算法对处理后的数据进行趋势分析和关联发现；
48.s104、将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。
49.在一种可选的实施方式中，还可以包括：
50.在进行数据预处理和数据清洗时，采用数据清洗工具对数据质量进行评估，以确保数据可靠性和精度。
51.在一种可选的实施方式中，趋势发现算法包括聚类分析、主成分分析、时间序列分析和关联规则挖掘，图1所示步骤s103具体可以包括：
52.采用聚类分析、主成分分析、时间序列分析和关联规则挖掘对处理后的数据进行趋势分析和关联发现。
53.其中，当然，也可以使用其他的趋势发现算法对本实施方式中处理后的数据进行趋势分析和关联发现。
54.在一种可选的实施方式中，数据源可以包括文本、图像和视频，图1所示步骤s101具体可以包括：
55.将来自文本、图像和视频的异构数据进行识别和自动融合。
56.其中，除了文本、图像和视频三个数据源之外，还可以有其他的数据源，可选的，数据源还可以是音频。
57.在一种可选的实施方式中，还可以包括：
58.该方法可以通过计算机实现，计算机包括硬件和软件，其中软件包括实现方法的计算机程序。
59.本公开实施例的第二方面，
60.融合模块，用于将来自不同数据源的异构数据进行识别和自动融合；
61.数据预处理和数据清洗模块，用于对融合后的数据进行数据预处理和数据清洗；
62.趋势发现模块，用于采用趋势发现算法对处理后的数据进行趋势分析和关联发现；
63.可视化模块，用于将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。
64.在一种可选的实施方式中，数据源可以包括文本、图像和视频，融合模块可以具体
配置为：
65.将来自文本、图像和视频的异构数据进行识别和自动融合。
66.在一种可选的实施方式中，趋势发现算法包括聚类分析、主成分分析、时间序列分析和关联规则挖掘，趋势发现模块可以具体配置为：
67.采用聚类分析、主成分分析、时间序列分析和关联规则挖掘对处理后的数据进行趋势分析和关联发现。
68.在一种可选的实施方式中，还可以包括实现模块；
69.实现模块，用于将系统通过计算机实现，计算机包括硬件和软件，其中软件包括实现系统的计算机程序。
70.本公开实施例的第三方面，
71.提供一种电子设备，包括：
72.处理器；
73.用于存储处理器可执行指令的存储器；
74.其中，所述处理器被配置为调用所述存储器存储的指令，以执行前述所述的方法。
75.本公开实施例的第四方面，
76.提供一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前述所述的方法。
77.实施例：基于高速公路数据的交通流量分析
78.本例涉及如何利用本发明的数据可视化方法，展现高速公路的交通流量数据。
79.步骤一：数据识别和融合模块
80.首先，使用爬虫技术从各地交通管理部门的公开数据网站获取高速公路交通流量数据。这些数据来源不同，格式不一，因此需要对这些数据进行自动识别和融合。本发明的数据识别和融合模块能够自动从不同数据源中提取数据，并将数据转换为相同的格式，以便于后续的数据处理和可视化。
81.步骤二：数据预处理和清洗模块
82.对于获得的数据，需要进行数据预处理和清洗操作，以提高数据的质量和准确性。比如，需要进行缺失值填充、异常值处理，以消除数据中的噪声和异常值。同时，考虑到数据分析的需要，还需要将不同数据源中的数据进行规范化和编码转换，以保证数据的一致性。
83.步骤三：可视化展示和趋势发现模块
84.对于处理好的数据，使用图表、图像和其他可视化措施，对数据进行展示和分析。比如，可以使用时间轴、折线图和热力图等图表，以呈现不同时间、不同区域的交通流量分布情况。同时，可以使用词云和图像处理等技术，以展示不同区域的交通状况和趋势。
85.经过数据处理和可视化，可以发现交通流量随着时间的推移呈现出逐渐增大的趋势，同时还可以发现交通流量集中在某些地区，这有利于交通管理部门优化路况和交通调度。
86.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产
生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
87.在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
88.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
89.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
90.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
91.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
92.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
93.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种数据可视化方法，其特征在于，所述方法包括：将来自不同数据源的异构数据进行识别和自动融合；对融合后的数据进行数据预处理和数据清洗；采用趋势发现算法对处理后的数据进行趋势分析和关联发现；将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。2.根据权利要求1所述的数据可视化方法，其特征在于，还包括：在进行所述数据预处理和所述数据清洗时，采用数据清洗工具对数据质量进行评估，以确保数据可靠性和精度。3.根据权利要求1或2所述的数据可视化方法，其特征在于，所述趋势发现算法包括聚类分析、主成分分析、时间序列分析和关联规则挖掘，所述采用趋势发现算法对处理后的数据进行趋势分析和关联发现，包括：采用聚类分析、主成分分析、时间序列分析和关联规则挖掘对处理后的数据进行趋势分析和关联发现。4.根据权利要求1所述的数据可视化方法，其特征在于，所述数据源可以包括文本、图像和视频，所述将来自不同数据源的异构数据进行识别和自动融合，包括：将来自文本、图像和视频的异构数据进行识别和自动融合。5.根据权利要求1中任意一项所述的数据可视化方法，其特征在于，所述方法可以通过计算机实现，所述计算机包括硬件和软件，其中软件包括实现所述方法的计算机程序。6.一种基于异构数据的数据可视化系统，其特征在于，所述系统包括：融合模块，用于将来自不同数据源的异构数据进行识别和自动融合；数据预处理和数据清洗模块，用于对融合后的数据进行数据预处理和数据清洗；趋势发现模块，用于采用趋势发现算法对处理后的数据进行趋势分析和关联发现；可视化模块，用于将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。7.根据权利要求6所述的系统，其特征在于，所述数据源可以包括文本、图像和视频，所述融合模块具体配置为：将来自文本、图像和视频的异构数据进行识别和自动融合。8.根据权利要求6或7所述的系统，其特征在于，所述趋势发现算法包括聚类分析、主成分分析、时间序列分析和关联规则挖掘，所述趋势发现模块具体配置为：采用聚类分析、主成分分析、时间序列分析和关联规则挖掘对处理后的数据进行趋势分析和关联发现。9.一种电子设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至5中任意一项所述的数据可视化方法。10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至5中任意一项所述的数据可视化方法。

技术总结
本申请公开提供一种数据可视化方法、系统、电子设备和计算机可读存储介质，该方法包括将来自不同数据源的异构数据进行识别和自动融合；对融合后的数据进行数据预处理和数据清洗；采用趋势发现算法对数据进行趋势分析和关联发现；将分析结果进行可视化展示，以呈现数据相互关系和趋势变化。所述方法能够将来自不同数据源的数据进行自动识别和融合，克服了传统数据可视化方法中数据预处理和清洗环节的问题，并提高了数据可视化的效率和准确度。并提高了数据可视化的效率和准确度。并提高了数据可视化的效率和准确度。


技术研发人员：毛磊 孙伟 吴涛
受保护的技术使用者：国网智联电商有限公司
技术研发日：2023.04.21
技术公布日：2023/8/4