多源异构数据协同方法和装置与流程

1.本技术一般地涉及计算机技术领域，尤其涉及一种多源异构数据协同方法和装置。


背景技术：

2.当前，各级政府和行业开展了广泛的信息化工作，但各行业管理系统和数据烟囱效应明显，重复建设和数据不一致的情况非常普遍。其关键问题在于各业务系统的数据协同的关键技术问题没有解决。数据协同涉及多个部门，而各部门都建设有各自的业务系统，这些系统产生的数据主要是运行于各种网络中的纵向系统；还有一部分系统综合了部门内部科室数据，但这些系统多单一数据的简单应用，缺乏数据协同空间化并与其他公共资源的共享集成，难以支撑深度应用。另外，在遥感测绘领域，由于专业程度较高、保密安全等原因，导致各业务系统的数据库协同非常困难，而面对海量数据，采用人工录入、物理拷贝、手动上传、数据库直连方式会耗费大量的人力，效率也非常低，并且数据的准确性和及时性又无法保证。
3.因此，现有技术存在协同机制单一、协同能力弱的缺点，无法满足多源异构、存储分散、变化速率不一致的数据的协同需求。


技术实现要素：

4.为了解决现有技术的上述技术问题，本技术提供了一种多源异构数据协同方法和装置，以实现灵活可变的数据协同机制，增强数据协同能力。
5.根据本技术的第一方面，提供了一种多源异构数据协同方法，包括：从目标数据源获取目标数据；分析所述目标数据源的相关信息，其中所述相关信息包括所述目标数据源的架构、网络环境、通信协议、开发技术、认证授权、请求流程或响应结果，以获得所述目标数据源的分析结果；根据所述目标数据源的分析结果，使用一个或多个预制算子，编排所述目标数据的数据协同流程，其中所述预制算子包括控制算子和数据处理算子，所述控制算子包括请求算子、变量算子、循环算子、函数算子、输出算子、文件算子、sql算子和子流程算子，所述数据处理算子包括图像识别算子、地址匹配算子、区划匹配算子、ip匹配算子、图像配准算子、坐标转换算子、格式转换算子和数据清洗算子；基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据。
6.在一个实施例中，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据包括：解析所述目标数据；根据所述解析结果，确定所述目标数据是否包含空间数据；响应于所述目标数据包含空间数据，确定所述空间数据是否需要坐标系转换；响应于所述空间数据需要坐标系转换，使用坐标转换算子执行坐标系转换，以获得处理后目标数据。
7.在一个实施例中，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：根据所述解析结果，确定所述目标数据是否包含图像数据；响应于所述
目标数据包含图像数据，使用所述图像识别算子确定所述图像数据是否包含地物特征；响应于所述空间数据包含地物特征，使用所述图像配准算子执行图像配准，以获得处理后目标数据。
8.在一个实施例中，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：根据所述解析结果，确定所述目标数据是否包含地址描述信息；响应于所述目标数据包含地址描述信息，使用所述地址匹配算子执行地址匹配，以获得处理后目标数据。
9.在一个实施例中，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：根据所述解析结果，确定所述目标数据是否包含区划信息；响应于所述目标数据包含区划信息，使用区划匹配算子执行区划匹配，以获得处理后目标数据。
10.在一个实施例中，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：确定所述处理后目标数据是否需要清洗；响应于所述处理后目标数据需要清洗，使用数据清洗算子清洗所述处理后数据，以获得所述标准化数据。
11.在一个实施例中，所述方法还包括：根据所述目标数据源的更新频率和机制，确定数据更新触发条件；根据所述数据更新触发条件，更新所述标准化数据。
12.在一个实施例中，所述从目标数据源获取目标数据包括：判断所述目标数据源是否要求登录；响应于所述目标数据源要求登录，执行模拟登录，以获取所述目标数据。
13.在一个实施例中，所述方法还包括：基于所述标准化数据，提供数据分析服务，其中所述数据分析服务包括数据接口服务、大数据空间分析服务、地图服务、报表服务和可视化服务中的至少一种。
14.根据本技术的第二方面，提供了一种多源异构数据协同装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，其特征在于，所述计算机可执行指令在被所述处理器执行时，实现根据本技术第一方面所述的多源异构数据协同方法。
15.本技术的技术方案具有以下有益技术效果：根据本技术的技术方案，面对错综复杂的数据来源，对请求、变量、循环、函数、输出、文件、sql等控制节点和图像识别、地址匹配、区划匹配、ip匹配、图像配准、坐标转换、格式转换等数据处理节点进行封装以生成独立的算子，并根据数据源的类型等相关信息，编排和调度不同算子，从而实现灵活可变的数据协同，增强数据协同能力。
附图说明
16.通过参考附图阅读下文的详细描述，本技术示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本技术的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：图1是根据本技术实施例的多源异构数据协同方法的流程图；图2是根据本技术实施例的数据协同流程编排的示意图；图3是根据本技术实施例的数据协同流程的示意图；图4是根据本技术实施例的多源异构数据协同装置的结构示意图。
具体实施方式
17.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
18.应当理解，当本技术的权利要求、说明书及附图使用术语“第一”、“第二”等时，其仅是用于区别不同对象，而不是用于描述特定顺序。本技术的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
19.根据本技术的第一方面，本技术提供了一种多源异构数据协同方法，应用于具有多源异构、存储分散、变化速率不一致等特点的数据的协同场景。
20.图1是根据本技术实施例的多源异构数据协同方法的流程图。如图1所示，所述方法包括步骤s101至s104，具体说明如下：s101，从目标数据源获取目标数据。
21.作为示例，所述目标数据源是互联网、政务网和业务网等泛在网络存在的各垂管系统、专业系统、封闭管理系统；所述目标数据是网页数据、文档数据、会议记录、测绘数据等，本技术对此不作限定。
22.有些数据可能需要登录其所在服务器才能获取，在这种情况下，从目标数据源获取目标数据包括：判断所述目标数据源是否要求登录；响应于所述目标数据源要求登录，执行模拟登录，以获取所述目标数据。
23.s102，分析所述目标数据源的相关信息，其中所述相关信息包括所述目标数据源的架构、网络环境、通信协议、开发技术、认证授权、请求流程或响应结果，以获得所述目标数据源的分析结果。
24.具体而言，在处理目标数据之前，需要先了解目标数据源的相关信息，包括其架构、网络环境、通信协议、开发技术、认证授权、请求流程或响应结果等方面。这些信息可以帮助我们更好地了解目标数据源的结构和运作方式，从而后续更好地处理目标数据。
25.例如，了解目标数据源的架构可以帮助我们确定数据源的组成部分和它们之间的关系，了解网络环境可以帮助我们确定数据源的可用性和稳定性，了解通信协议可以帮助我们了解数据的传输方式和数据的格式，了解开发技术可以帮助我们了解数据源的开发过程和技术实现，了解认证授权可以帮助我们了解访问数据源的权限和安全性，了解请求流程或响应结果可以帮助我们了解数据源的操作流程和数据的返回结果。
26.s103，根据所述目标数据源的分析结果，使用一个或多个预制算子，构建所述目标数据的数据协同流程。其中，所述预制算子包括控制算子和数据处理算子，所述控制算子包括请求算子、变量算子、循环算子、函数算子、输出算子、文件算子、sql算子和子流程算子，所述数据处理算子包括图像识别算子、地址匹配算子、区划匹配算子、ip匹配算子、图像配准算子、坐标转换算子、格式转换算子和数据清洗算子。
27.具体而言，根据之前分析目标数据源得到的结果，可以使用预制算子来构建数据协同流程，以实现对目标数据的处理和转换。图2是根据本技术实施例的数据协同流程编排的示意图。预制算子是已经定义好的算子，包括控制算子和数据处理算子。控制算子用于控
制数据流程的执行顺序和流程控制，例如请求算子用于发出请求，变量算子用于定义变量，循环算子用于循环执行某些操作，函数算子用于定义函数，输出算子用于输出结果，文件算子用于读写文件，sql算子用于执行sql查询，子流程算子用于调用其他流程。数据处理算子用于对数据进行处理和转换，例如图像识别算子用于对图像进行处理和识别，地址匹配算子用于进行地址匹配，区划匹配算子用于进行区划匹配，ip匹配算子用于进行ip地址匹配，图像配准算子用于进行图像配准，坐标转换算子用于进行坐标转换，格式转换算子用于进行格式转换，数据清洗算子用于进行数据清洗。
28.根据目标数据源的分析结果，可以选择合适的预制算子来构建数据协同流程，以实现数据的有效处理和转换。例如，如果目标数据源包含大量的图像数据，可以使用图像识别算子来对图像进行处理和识别。如果需要将数据转换为不同的格式，可以使用格式转换算子来进行转换。如果需要清洗数据并去除重复项，可以使用数据清洗算子来进行处理。
29.上述算子是根据具体的应用场景和需求进行分界和封装的。在算子的分界过程中，需要考虑到算子之间的依赖关系，将算子划分为相互独立的模块，使得每个模块的输入和输出都能够被明确地定义和描述。在算子的封装过程中，需要将每个模块封装成一个可重用的组件，使得这个组件可以被其他的应用程序或系统所使用。同时，为了提高算子的可维护性和可扩展性，需要对算子进行良好的文档和测试。
30.s104，基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据。
31.在数据协同流程编排完成之后，可以基于所述数据协同流程，解析和处理所述目标数据。图3是根据本技术实施例的数据协同流程的示意图。如图3所示，在获得目标数据之后，所述方法包括：解析所述目标数据；根据所述解析结果，确定所述目标数据是否包含空间数据；响应于所述目标数据包含空间数据，确定所述空间数据是否需要坐标系转换；响应于所述空间数据需要坐标系转换，使用坐标转换算子执行坐标系转换，以获得处理后目标数据。
32.具体地，空间数据中常见的坐标系有很多种，比如wgs84坐标系、gcj-02坐标系、bd-09坐标系等。2000坐标系是指的是国家测绘局发布的2000年大地坐标系，也称为“国家2000坐标系”，是我国国家测绘局于2000年发布的新版大地坐标系，用于国土资源调查、地理信息系统、地理空间信息服务等领域。本技术中将其他坐标系下的空间数据自动转换成2000坐标系以方便后续数据处理。
33.如图3所示，上述数据协同流程还包括：根据所述解析结果，确定所述目标数据是否包含图像数据；响应于所述目标数据包含图像数据，使用所述图像识别算子确定所述图像数据是否包含地物特征；响应于所述空间数据包含地物特征，使用所述图像配准算子执行图像配准，以获得处理后目标数据。
34.具体地，地物特征是指地球表面的各种自然和人工物体的形态、大小、位置、分布等特征。地物特征包括山脉、河流、湖泊、海洋、建筑物、道路、桥梁、森林、草原等等。通过对地物特征的观察和分析，可以帮助我们更好地了解地球表面的自然和人文环境，为地理研究、资源开发和城市规划等提供基础数据。
35.图像配准是指将两幅或多幅图像进行几何变换，使它们在空间上尽可能地重合。图像配准的目的是将不同来源、不同时间或不同传感器获取的图像进行比较和分析。在遥感、地质勘探等领域中，图像配准是非常重要的技术手段。常用的图像配准方法包括基于特
征的配准、基于区域的配准、基于相位相关的配准等。图像配准可以帮助我们更好地理解和分析图像数据，为科学研究和实际应用提供支持。在本技术中通过图像配准算子执行图像配准。
36.如图3所示，上述数据协同流程还包括：根据所述解析结果，确定所述目标数据是否包含地址描述信息；响应于所述目标数据包含地址描述信息，使用所述地址匹配算子执行地址匹配，以获得处理后目标数据。
37.地址匹配是指将一个输入的地址与一个已知的地址库进行比对，找到最匹配的地址。通常，地址匹配是基于字符串匹配的方法，通过比对地址中的关键词来确定匹配度。地址匹配常用于地理信息系统等场景中，可以帮助快速准确地定位和匹配地址信息。在地址匹配过程中，需要考虑到地址的规范化、标准化和统一化等问题，以提高匹配的准确性和稳定性。在本技术中通过地址匹配算子执行地址匹配。
38.如图3所示，上述数据协同流程还包括：根据所述解析结果，确定所述目标数据是否包含区划信息；响应于所述目标数据包含区划信息，使用区划匹配算子执行区划匹配，以获得处理后目标数据。
39.具体地，区划匹配是指将一个输入的地理位置信息与一个已知的区划库进行比对，找到最匹配的区划信息。通常，区划匹配是基于空间位置的方法，通过比对输入地理位置所在的经纬度坐标或行政区划等信息，来确定匹配度。区划匹配常用于地理信息系统等场景中，可以帮助快速准确地定位和匹配地理位置信息。在本技术中通过区划匹配算子执行区划匹配。
40.如图3所示，在执行完毕上述算子操作之后，数据协同流程还包括：确定所述处理后目标数据是否需要清洗；响应于所述处理后目标数据需要清洗，使用数据清洗算子清洗所述处理后数据，以获得所述标准化数据。
41.数据清洗是指对数据进行预处理，使其符合分析需求和标准的过程。在实际应用中，原始数据往往存在一些不规则、不完整、不准确、重复或无用的数据，这些数据可能会影响到后续分析的结果。因此，数据清洗是数据分析的重要步骤之一。
42.数据清洗的主要目的是去除数据中的噪声、异常值和重复值，填补缺失值，以及对数据进行格式转换和标准化。具体来说，数据清洗的步骤包括以下几个方面：去除重复值：对数据进行去重，以避免重复数据对后续分析造成影响；处理缺失值：对缺失值进行填充或删除，以保证数据的完整性；处理异常值：对异常值进行检测和处理，以避免异常值对后续分析造成影响；格式转换：将数据转换成符合分析需求的格式，如将日期格式转换成标准格式；标准化：对数据进行单位换算或标准化处理，以保证数据的一致性和可比性。本技术中通过数据清洗算子对目标数据进行清洗，以生成标准化数据供后续处理。
43.在生成所述标准化数据之后，所述方法还包括：基于所述标准化数据，提供数据分析服务，其中所述数据分析服务包括数据接口服务、大数据空间分析服务、地图服务、报表服务和可视化服务中的至少一种。
44.具体地，数据接口服务是指提供数据接口的服务，可以让用户通过api接口获取数据。这些数据可以是公共数据、企业内部数据或第三方数据，用户可以通过数据接口服务获取数据并进行二次开发和分析。
45.大数据空间分析服务是指提供大数据存储和分析服务的服务，可以让用户将海量
数据存储到云端，并通过数据分析工具进行分析和挖掘。这些服务通常包括数据存储、数据处理、数据分析、数据挖掘等功能。
46.地图服务是指提供地图服务的服务，可以让用户在地图上展示和分析数据。这些服务通常包括地图数据的采集、地图数据的处理、地图数据的展示等功能。
47.报表服务是指提供报表服务的服务，可以让用户通过报表工具制作和展示数据报表。这些服务通常包括报表设计、数据导入、报表展示等功能。
48.可视化服务是指提供数据可视化服务的服务，可以让用户通过可视化工具将数据进行可视化展示。这些服务通常包括数据可视化工具的设计、数据导入、可视化展示等功能。
49.上述服务可通过服务引擎来提供。这些服务可以帮助用户更好地处理和分析数据，提高数据分析的效率和精度。
50.进一步，在目标数据被更新时，所述方法还包括：根据所述目标数据源的更新频率和机制，确定数据更新触发条件；根据所述数据更新触发条件，更新所述标准化数据。通过数据更新，可以保证数据的新鲜性和实时性，从而为后续数据分析提供可靠的数据基础。
51.以上通过具体实施例介绍了本技术的多源异构数据协同方法的技术原理和实施细节。根据本技术的技术方案，面对错综复杂的数据来源，对请求、变量、循环、函数、输出、文件、sql等控制节点和图像识别、地址匹配、区划匹配、ip匹配、图像配准、坐标转换、格式转换等数据处理节点进行封装以生成独立的算子，并根据数据源的类型等相关信息，编排和调度不同算子，从而实现灵活可变的数据协同，增强数据协同能力。
52.根据本技术的第二方面，本技术还提供了一种多源异构数据协同装置。图4是根据本技术实施例的在协同办公系统中集成电子白板的装置40的结构示意图。所述装置包括处理器和存储器，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行时实现根据本技术第一方面所述的多源异构数据协同方法。所述装置还包括通信总线和通信接口等本领域技术人员熟知的其他组件，其设置和功能为本领域中已知，因此在此不再赘述。
53.在本技术中，前述的存储器可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram（resistive random access memory）、动态随机存取存储器dram（dynamic random access memory）、静态随机存取存储器sram（static random-access memory）、增强动态随机存取存储器edram（enhanced dynamic random access memory）、高带宽内存hbm（high-bandwidth memory）、混合存储立方hmc（hybrid memory cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本技术描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
54.根据本说明书的上述描述，本领域技术人员还可以理解如下使用的术语，例如“上”、“下”等指示方位或位置关系的术语是基于本说明书的附图所示的方位或位置关系的，其仅是为了便于阐述本技术的方案和简化描述的目的，而不是明示或暗示所涉及的装置或元件必须要具有所述特定的方位、以特定的方位来构造和进行操作，因此上述的方位
或位置关系术语不能被理解或解释为对本技术方案的限制。
55.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
56.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种多源异构数据协同方法，其特征在于，包括：从目标数据源获取目标数据；分析所述目标数据源的相关信息，其中所述相关信息包括所述目标数据源的架构、网络环境、通信协议、开发技术、认证授权、请求流程或响应结果，以获得所述目标数据源的分析结果；根据所述目标数据源的分析结果，使用一个或多个预制算子，编排所述目标数据的数据协同流程，其中所述预制算子包括控制算子和数据处理算子，所述控制算子包括请求算子、变量算子、循环算子、函数算子、输出算子、文件算子、sql算子和子流程算子，所述数据处理算子包括图像识别算子、地址匹配算子、区划匹配算子、ip匹配算子、图像配准算子、坐标转换算子、格式转换算子和数据清洗算子；基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据。2.根据权利要求1所述的多源异构数据协同方法，其特征在于，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据包括：解析所述目标数据；根据所述解析结果，确定所述目标数据是否包含空间数据；响应于所述目标数据包含空间数据，确定所述空间数据是否需要坐标系转换；响应于所述空间数据需要坐标系转换，使用坐标转换算子执行坐标系转换，以获得处理后目标数据。3.根据权利要求2所述的多源异构数据协同方法，其特征在于，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：根据所述解析结果，确定所述目标数据是否包含图像数据；响应于所述目标数据包含图像数据，使用所述图像识别算子确定所述图像数据是否包含地物特征；响应于所述空间数据包含地物特征，使用所述图像配准算子执行图像配准，以获得处理后目标数据。4.根据权利要求3所述的多源异构数据协同方法，其特征在于，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：根据所述解析结果，确定所述目标数据是否包含地址描述信息；响应于所述目标数据包含地址描述信息，使用所述地址匹配算子执行地址匹配，以获得处理后目标数据。5.根据权利要求4所述的多源异构数据协同方法，其特征在于，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：根据所述解析结果，确定所述目标数据是否包含区划信息；响应于所述目标数据包含区划信息，使用区划匹配算子执行区划匹配，以获得处理后目标数据。6.根据权利要求2至5中任一项所述的多源异构数据协同方法，其特征在于，所述基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据还包括：确定所述处理后目标数据是否需要清洗；响应于所述处理后目标数据需要清洗，使用数据清洗算子清洗所述处理后数据，以获
得所述标准化数据。7.根据权利要求1所述的多源异构数据协同方法，其特征在于，所述方法还包括：根据所述目标数据源的更新频率和机制，确定数据更新触发条件；根据所述数据更新触发条件，更新所述标准化数据。8.根据权利要求1所述的多源异构数据协同方法，其特征在于，所述从目标数据源获取目标数据包括：判断所述目标数据源是否要求登录；响应于所述目标数据源要求登录，执行模拟登录，以获取所述目标数据。9.根据权利要求8所述的多源异构数据协同方法，其特征在于，所述方法还包括：基于所述标准化数据，提供数据分析服务，其中所述数据分析服务包括数据接口服务、大数据空间分析服务、地图服务、报表服务和可视化服务中的至少一种。10.一种多源异构数据协同装置，包括存储器和处理器，所述存储器上存储有计算机可执行指令，其特征在于，所述计算机可执行指令在被所述处理器执行时，实现根据权利要求1至9中任一项所述的多源异构数据协同方法。

技术总结
本申请涉及一种多源异构数据协同方法，包括：从目标数据源获取目标数据；分析所述目标数据源的相关信息；根据所述目标数据源的分析结果，使用一个或多个预制算子，编排所述目标数据的数据协同流程；基于所述数据协同流程，解析和处理所述目标数据，以生成标准化数据。通过本申请的技术方案，能够实现灵活可变的数据协同机制，增强数据协同能力。增强数据协同能力。增强数据协同能力。


技术研发人员：禹小伟 秦岭 李奕文 杨进 王淼 刘杰 李鹏 朱康 李静 尚国伟 吴梦迪 秦双 刘思远 李艳娇
受保护的技术使用者：河南省遥感院
技术研发日：2023.05.30
技术公布日：2023/8/14