基于地图映射的卫星导航数据分布式实时处理方法和系统

1.本发明涉及卫星导航数据处理技术领域，特别涉及一种基于地图映射的卫星导航数据分布式实时处理方法和系统。


背景技术：

2.随着北斗三号卫星导航系统的正式开通以及我国信息化建设的进一步深入，基于北斗卫星导航系统的位置服务产业已经迎来了创新发展的新时期，各行各业对位置服务的需求越来越旺盛。近年来，高精度定位技术俨然成为了位置服务领域的研究热点，众多学者致力于研究高精度定位算法来提高定位精度。同时，由于高精度定位的实现依赖于高精度的差分产品，而精密产品需要通过大量跟踪站的海量实时数据解算得到，所以在高精度定位中对海量全球卫星导航系统（global navigation satellite system，gnss）实时数据的处理也越来越关键。
3.gnss实时数据总量呈指数级递增趋势，特别是随着连续运行基准站（continuous operating reference system , cors）的大量建立，相应的处理运算量更是迅速增加。gnss数据处理中基线解算是影响定位精度的关键一步，也是计算量最大、处理时长最长的过程之一。gnss载波观测量做双差是最常用的gnss基线解算方法，但是如果参与解算的测站数量大大增加，载波双差解算的时间复杂度将会呈几何级数增长（），普通单机难以支撑短时间内完成大数据量的基线解算的需求。
4.传统的gnss数据的处理方法多采用单机集中式处理。由于海量gnss数据处理过程中需要极大的计算和存储资源，所以传统的单机集中式处理方法在处理海量的gnss数据时面临计算和存储资源不足问题，通常通过增加单机计算机性能和通过增加计算机节点数的方法来进行系统扩展，但是这两种扩展方式仅可以满足在短时间内达到提高系统性能的需要，从系统的长远发展来看，当计算机节点增加到一定程度后，继续增加节点数量系统性能不再具有明显的提升。


技术实现要素：

5.为克服现有技术中存在的问题，本发明针对传统的单机集中式处理方法在处理海量gnss数据时计算和存储资源不能满足需求的问题，提出了一种基于地图映射的卫星导航数据分布式实时处理方法和系统。分布式处理能够实现地域上的分布以及计算资源、存储资源软硬件部署上的分布。将主计算问题划分为多个子计算问题，通过并行解决子计算问题来提高计算性能，同时能够有效利用整个分布式系统的硬件资源，实现资源的高效利用。另外，通过地域上的分布能够减少网络传输距离，降低网络时延，解决集中式处理中所面临的时效性差的问题。
6.本发明由下述技术方案实现：本发明的第一方面提供了一种基于地图映射的卫星导航数据分布式实时处理方法，包括如下步骤：
步骤s100，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；步骤s200，根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的小数据块；步骤s300，将分解后的子基线解算分配到分布式网络的各个节点上；步骤s400，将每个小数据块上的数据格式化为键值对形式的数据；步骤s500，每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；步骤s600，将步骤s500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；步骤s700，对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；步骤s800，完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复步骤s700与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复步骤s600-s800直至合并成一个最终的结果文件。
7.进一步的，步骤s200中，所述信息包括：节点的数量、网络带宽、节点单机性能。
8.进一步的，步骤s300中，将拆分后的数据分片按照最快响应法分配到分布式网络的m个节点上，主控机记录自身到每一个节点的网络响应时间，并逐个将子基线解算的连接请求分配给响应时间最短的节点。
9.进一步的，步骤s400中，每个节点分别对分片中的数据按行进行读取，并将每一行的数据分别解析成键值对形式。
10.进一步的，步骤s500中，对每个节点对格化后的数据分片求解待定的未知参数；以未知参数中的每一个整周未知数为中心，以与中心误差的若干倍为搜索半径确定出每一个整周未知数的一组备选整数值，分别从中随机选取一个组成整周未知数的备选组，并将其作为已知值带入原基线解算方程求解出所有的基线向量，选择产生单位权中误差最小的基线向量结果作为基线向量的整数解；将求解得到的整周未知数作为已知值，待定的测站坐标分量作为未知数，重复步骤s500求解出基线向量的最终解即子解算结果；最终将求解的子解算结果作为“值”，对应的接收原始数据的接收机id作为“键”形成键值对形式的结果数据。
11.进一步的，步骤s600中，具体的，根据步骤s500中生成的结果数据的“键”利用哈希函数映射到主控机不同的存储桶中。
12.进一步的，步骤s700中，对当前第一个存储桶的子基线解算结果与已有的结果文件进行合并，同时通过快速排序手段进行二次字典序排序保证形成结果文件的有序性。
13.本发明还涉及一种基于地图映射的卫星导航数据分布式实时处理系统，包括：独立基线生成模块，用于通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；数据块划分模块，用于根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；
分配模块，用于将分解后的子基线解算分配到分布式网络的各个节点上；格式化模块，用于将每个数据块上的数据格式化为键值对形式的数据；子基线解算模块，用于每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；子解算结果处理模块，用于将步骤s500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；子基线解算结果合并与排序模块，用于对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；最终结果生成模块，用于完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复子基线解算结果合并与排序模块中执行的步骤与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复子基线解算模块、子解算结果处理模块和子基线解算结果合并与排序模块中执行的步骤直至合并成一个最终的结果文件。
14.本发明还涉及一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
15.本发明还涉及一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行所述的方法。
16.基于地图映射的卫星导航数据分布式实时处理方法从提高计算效率和提高实时性两个方面对基线解算过程进行了优化。与传统的单机集中式gnss数据处理方法相比，本发明的技术方案能实现如下有益的技术效果：本发明所提出的基于地图映射的卫星导航数据分布式实时处理方法通过mapreduce自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在分布式网络节点上自动分配和执行任务以及收集计算结果，能够实现海量gnss数据的高效处理。
17.本发明针对当gnss数据量较大，且需要快速、高效处理海量gnss数据这一需求，提出一种支持自动划分计算数据和计算任务，并能够进行计算任务并行化处理的gnss数据处理方法，该方法基于mapreduce实现基线分布式解算，能够缩短大规模数据处理的处理时长，提高整体的计算性能。该技术具有较高的计算效率和较高的可扩展性，提高了传统的单机集中式gnss数据处理方法的计算能力，节约了使用成本，提高了使用灵活性。
18.本发明通过mapreduce实现了自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在分布式网络节点上自动分配和执行任务以及收集计算结果，同时通过hash函数将中间结果进行递归分割，使得reduce阶段完全在内存中处理中间结果数据，降低i/o开销，从而实现对海量gnss数据的快速、实时处理。
19.通过分布式网络节点减轻了单机解算压力，同时充分利用各节点的计算资源和存储资源，提高了整体的计算效率和资源利用率。通过引入mapreduce实现计算任务的自动分解及并行化处理，避免了对并行计算中所涉及的容错、通信等复杂细节的处理。同时，在mapreduce中通过对中间结果的优化避免了二次排序过程所造成的cpu开销，通过将中间结
果映射到主控机不同的存储桶中保证主计算阶段所处理的中间结果数据完全在内存中，能够有效地加快处理速度、提高该方法的灵活性，最终实现大规模gnss数据的快速、实时处理。
附图说明
20.图1为本发明的卫星导航数据分布式实时处理流程图；图2为本发明的基于哈希映射的中间结果递归分割方法示意图。
具体实施方式
21.为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
22.下面结合附图及实施例对本发明进行详细说明。
23.具体的，如图1和图2所示，本发明的第一方面提供了一种基于地图映射的卫星导航数据分布式实时处理方法，包括如下步骤：其中，设用于进行gnss数据处理的分布式网络有m个节点，同步观测的接收机n台，各个节点的网络带宽及单机性能相同。
24.步骤s100，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成n-1条独立基线；具体的，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，提取一个观测时段中n台接收机的同步观测数据生成基线。数学模型如下：假设接收机,观测到卫星,则在历元时刻的相位观测方程可表示为如下形式：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)其中，，是接收机对卫星的载波相位原始观测量；表示接收机与卫星之间的几何距离；表示接收机的钟差；表示卫星的钟差；表示接收机接收到卫星的信号所对应的电离层延迟量；表示接收机接收到卫星的信号所对应的的对流层延迟量；表示在初识历元时刻接收机观测到卫星时的整周模糊度；、分别表示载波波长和光速。
25.对上述相位观测方程在接收机和卫星间求差建立多基线模式的双差观测方程（把接收机作为基站，卫星作为基星）：
ꢀꢀꢀꢀꢀꢀꢀ
(2)式中: , , 为双差分算子（在接收机1，和
卫星1，间求差），具体的，，，，。
26.将公式（2）线性化并表示成误差方程形式：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中，是双差观测值的残差；是基线向量参数；是双差模糊度参数；是常数项。
27.步骤s200，根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的小数据块；具体的，所述信息包括：节点的数量、网络带宽、节点单机性能等。
28.具体的，假设m个节点的网络带宽及节点单机性能相同，将生成的基线数据划分成大小相等且独立的m个小数据块（分片），每一个数据分片共有条基线，其中；主控制机对每一个数据分片上的接收机id进行筛选，剔除重复的接收机使得每个数据分片上有个接收机数据，其中。同时，每个数据分片上组成误差方程：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)式中为权阵，第个数据分片的误差方程为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，、、、为向量，和为矩阵。通过最小二乘法求得法方程：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中，，，, ,
ꢀꢀ
, 为各个数据分片的权矩阵。
29.步骤s300，将分解后的子基线解算分配到分布式网络的各个节点上；
具体的，将拆分后的数据分片按照最快响应法分配到分布式网络的m个节点上，主控机记录自身到每一个节点的网络响应时间，并逐个将子基线解算的连接请求分配给响应时间最短的节点；步骤s400，将每个小数据块上的数据格式化为键值对形式的数据；具体的，每个节点分别对分片中的数据按行进行读取，并将每一行的数据分别解析成键值对形式，解析规则是将偏移量作为“键”，将每一行具体的数据内容作为“值”。
30.步骤s500，每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据。
31.具体的，每个节点对格式化后的数据分片根据步骤s200中的法方程求解待定的未知参数；以未知参数中的每一个整周未知数为中心，以与中心误差的若干倍为搜索半径确定出每一个整周未知数的一组备选整数值，分别从中随机选取一个组成整周未知数的备选组，并将其作为已知值带入原基线解算方程求解出所有的基线向量，选择产生单位权中误差最小的基线向量结果作为基线向量的整数解；将求解得到的整周未知数作为已知值，待定的测站坐标分量作为未知数，重复步骤s500求解出基线向量的最终解即子解算结果；最终将求解的子解算结果作为“值”，对应的接收原始数据的接收机id作为“键”形成键值对形式的结果数据。
32.步骤s600，将步骤s500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写。
33.具体的，根据步骤s500中生成的结果数据的“键”利用哈希函数映射到主控机不同的存储桶中，存储桶所存储的子解算结果个数为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)式中，为接收机数量，为存储桶总数，为向上取整。依据“键”值将所有的子解算结果映射到各个存储桶中，映射规则为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)式中，为公式(7)的取值，即符合式(8)的子解算结果映射到存储桶中。经过上述步骤完成子解算结果的分区，并将第一个存储桶完全存储在内存中；对第一个存储桶中的结果数据通过快速排序手段进行第一次字典序排序，依次从磁盘读取其他存储桶的子基线解算结果，若该存储桶数据能够完全放入内存，则对其进行第一次排序，若无法完全放入内存则重复步骤s700对存储桶的结果数据进行进一步散列，直至在内存中完成每一个存储桶的第一次排序，保证每一个存储桶里的结果数据都是有序的。子解算结果映射到存储桶的同时，判断子基线解算输出的结果所对应的存储桶是否达到阈值100m，当达到阈值时，将该分区的结果数据溢写到本地磁盘的临时文件中；步骤s700，对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；
具体的，对当前第一个存储桶的子基线解算结果与已有的结果文件进行合并，同时通过快速排序手段进行二次字典序排序保证形成结果文件的有序性。
34.步骤s800，完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复步骤s700与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复步骤s600-s800直至合并成一个最终的结果文件。
35.本发明还涉及一种基于地图映射的卫星导航数据分布式实时处理系统，包括：独立基线生成模块，用于通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；数据块划分模块，用于根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；分配模块，用于将分解后的子基线解算分配到分布式网络的各个节点上；格式化模块，用于将每个小数据块上的数据格式化为键值对形式的数据；子基线解算模块，用于每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；子解算结果处理模块，用于将步骤s500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；子基线解算结果合并与排序模块，用于对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；最终结果生成模块，用于完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复子基线解算结果合并与排序模块中执行的步骤与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复子基线解算模块、子解算结果处理模块和子基线解算结果合并与排序模块中执行的步骤直至合并成一个最终的结果文件。
36.本发明还涉及一种电子设备，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的方法。
37.本发明还涉及一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行所述的方法。
38.综上所述，本发明提供了一种基于地图映射的卫星导航数据分布式实时处理方法和系统，本发明针对传统的单机集中式处理方法在处理海量gnss数据时计算和存储资源不能满足需求的问题，分布式处理能够实现地域上的分布以及计算资源、存储资源软硬件部署上的分布。将主计算问题划分为多个子计算问题，通过并行解决子计算问题来提高计算性能，同时能够有效利用整个分布式系统的硬件资源，实现资源的高效利用。另外，通过地域上的分布能够减少网络传输距离，降低网络时延，解决集中式处理中所面临的时效性差的问题。
39.应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的
原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。

技术特征：
1.一种基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，包括如下步骤：步骤s100，通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；步骤s200，根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；步骤s300，将分解后的子基线解算分配到分布式网络的各个节点上；步骤s400，将每个数据块上的数据格式化为键值对形式的数据；步骤s500，每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；步骤s600，将步骤s500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；步骤s700，对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；步骤s800，完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复步骤s700与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复步骤s600-s800直至合并成一个最终的结果文件。2.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤s200中，所述信息包括：节点的数量、网络带宽、节点单机性能。3.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤s300中，将拆分后的数据分片按照最快响应法分配到分布式网络的多个节点上，主控机记录自身到每一个节点的网络响应时间，并逐个将子基线解算的连接请求分配给响应时间最短的节点。4.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤s400中，每个节点分别对分片中的数据按行进行读取，并将每一行的数据分别解析成键值对形式。5.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤s500中，对每个节点对格化后的数据分片求解待定的未知参数；以未知参数中的每一个整周未知数为中心，以与中心误差的若干倍为搜索半径确定出每一个整周未知数的一组备选整数值，分别从中随机选取一个组成整周未知数的备选组，并将其作为已知值带入原基线解算方程求解出所有的基线向量，选择产生单位权中误差最小的基线向量结果作为基线向量的整数解；将求解得到的整周未知数作为已知值，待定的测站坐标分量作为未知数，重复步骤s500求解出基线向量的最终解即子解算结果；最终将求解的子解算结果作为“值”，对应的接收原始数据的接收机id作为“键”形成键值对形式的结果数据。6.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤s600中，根据步骤s500中生成的结果数据的“键”利用哈希函数映射到主控机不同的存储桶中。7.根据权利要求1所述的基于地图映射的卫星导航数据分布式实时处理方法，其特征在于，步骤s700中，对当前第一个存储桶的子基线解算结果与已有的结果文件进行合并，同
时通过快速排序手段进行二次字典序排序保证形成结果文件的有序性。8.一种基于地图映射的卫星导航数据分布式实时处理系统，其特征在于，包括：独立基线生成模块，用于通过主控制机获取观测网络的原始观测数据和分布式网络节点的相关信息，并通过观测网络的原始观测数据计算生成多个独立基线；数据块划分模块，用于根据分布式网络节点的信息将生成的基线数据划分成大小相等且独立的数据块；分配模块，用于将分解后的子基线解算分配到分布式网络的各个节点上；格式化模块，用于将每个数据块上的数据格式化为键值对形式的数据；子基线解算模块，用于每个节点对格式化后的基线数据分别进行子基线解算，进一步生成键值对形式的结果数据；子解算结果处理模块，用于将步骤s500中生成的子解算结果映射到主控机不同的存储桶中，同时对每个节点初步的子解算结果进行分区、排序和溢写；子基线解算结果合并与排序模块，用于对第一个存储桶的子基线解算结果进行合并、二次排序形成一个结果文件；最终结果生成模块，用于完成第一个存储桶的合并之后，依次从磁盘读取其他存储桶的子基线解算结果，当该存储桶数据能够完全放入内存，则重复子基线解算结果合并与排序模块中执行的步骤与其他存储桶的结果数据进行合并形成一个最终结果文件，如果无法完全放入内存则重复子基线解算模块、子解算结果处理模块和子基线解算结果合并与排序模块中执行的步骤直至合并成一个最终的结果文件。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述权利要求1至7中任一项所述的方法。10.一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机指令，该计算机指令用于使该计算机执行前述权利要求1至7中任一项所述的方法。

技术总结
一种基于地图映射的卫星导航数据分布式实时处理方法和系统，本发明针对传统的单机集中式处理方法在处理海量GNSS数据时计算和存储资源不能满足需求的问题，分布式处理能够实现地域上的分布以及计算资源、存储资源软硬件部署上的分布。将主计算问题划分为多个子计算问题，通过并行解决子计算问题来提高计算性能，同时能够有效利用整个分布式系统的硬件资源，实现资源的高效利用。另外，通过地域上的分布能够减少网络传输距离，降低网络时延，解决集中式处理中所面临的时效性差的问题。集中式处理中所面临的时效性差的问题。集中式处理中所面临的时效性差的问题。


技术研发人员：王亮亮 李艳红 李子申 刘炳成 刘振耀 王宁波 汪亮 常坤
受保护的技术使用者：中国科学院空天信息创新研究院
技术研发日：2023.07.25
技术公布日：2023/8/28