一种遥感影像道路边缘检测方法及系统与流程

1.本发明涉及众包高精度地图制作领域，更具体地，涉及一种遥感影像道路边缘检测方法及系统。


背景技术：

2.道路外侧线在众包高精度地图中有着十分重要的作用，该数据可以为道路规划、交通安全提供关键信息。目前通过航空影像进行此类线性物体的检测主要依靠图像分割及后处理的方法。这一类方法的总体检测性能通常受到分割性能的限制，同时受建筑物、树木阴影遮挡的影响较大，且后处理操作较为繁琐。


技术实现要素：

3.本发明针对现有技术中存在的技术问题，提供一种遥感影像道路边缘检测方法及系统。
4.根据本发明的第一方面，提供了一种遥感影像道路边缘检测方法，包括：
5.从道路影像中提取特征图f，基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q；
6.从所述预测候选顶点集q中选出一个候选顶点作为预测起始顶点vi*，基于所述特征图f和当前生成的道路边缘图g
t
，生成预测起始顶点vi*的局部特征，i为大于1的正整数；
7.将预测起始顶点vi*的局部特征输入代理模型中，输出下一个预测顶点v
i+1
*，并基于下一个预测顶点v
i+1
*更新道路边缘图g
t
，不断进行预测，直到道路边缘图g
t
停止生长；
8.遍历所述预测候选顶点集q中的每一个候选顶点作为预测起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
；
9.所有的道路边缘图g
t
构成所述道路影像的道路边缘检测结果。
10.根据本发明的第二方面，提供一种遥感影像道路边缘检测系统，包括：
11.提取模块，用于从道路影像中提取特征图f，基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q；
12.生成模块，用于从所述预测候选顶点集q中选出一个候选顶点作为预测起始顶点vi*，基于所述特征图f和当前生成的道路边缘图g
t
，生成预测起始顶点vi*的局部特征，i为大于1的正整数；
13.预测模块，用于将预测起始顶点vi*的局部特征输入代理模型中，输出下一个预测顶点v
i+1
*，并基于下一个预测顶点v
i+1
*更新道路边缘图g
t
，不断进行预测，直到道路边缘图g
t
停止生长；遍历所述预测候选顶点集q中的每一个候选顶点作为预测起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
；所有的道路边缘图g
t
构成所述道路影像的道路边缘检测结果。
14.本发明提供的一种遥感影像道路边缘检测方法及系统，主要采用了端到端的迭代图生成方法，可以直接得到线性对象信息，该方法受分割性能的影响较小，能够解决部分遮
挡带来的影响，且无需繁琐的后处理操作，即可得到道路边缘的矢量数据。
附图说明
15.图1为本发明提供的一种遥感影像道路边缘检测方法流程图；
16.图2为遥感影像道路边缘检测方法的整体示意图；
17.图3为真值顶点与预测顶点的示意图；
18.图4为本发明提供的一种遥感影像道路边缘检测系统的结构示意图。
具体实施方式
19.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，本发明提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
20.基于背景技术中的缺陷，本发明提供了一种遥感影像道路边缘检测方法，该方法将需要解决的问题拆分为两个子问题：(1)从遥感影像中找到道路边缘的初始顶点以开始迭代图生长；(2)从初始顶点开始迭代生成道路边缘实例。针对问题(1)，设计了一种基于道路边缘分割结果和初始顶点热力图生成初始顶点候选集的算法。针对问题(2)提出了一种新的模仿学习算法，该算法根据道路边缘的地面真值动态地生成待标签的训练数据(即专家演示)，为解决在出现异常时学习者由于没有学习如何恢复而导致学习失败，该算法同时使用了一种称为数据集合的原算法(dagger)将学习中的行为收集到数据集中以覆盖更大的数据空间来处理异常。基于该算法的输出是表示道路边缘的图g＝(v,e)，顶点集v由迭代生成的顶点vt＝{x
t
，s
t
}组成，其中x
t
表示二维坐标，s
t
是控制停止动作的变量，当s
t
变为1，迭代图在当前顶点处停止增长，e由在图增长过程中的相邻顶点连接生成。
21.参见图1和图2，本发明提供的遥感影像道路边缘检测方法主要包括：
22.s1，从道路影像中提取特征图f，基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q。
23.可理解的是，可以采用卫星拍摄道路遥感影像，使用特征金字塔(fpn)从输入的道路遥感影像中提取特征图f。
24.使用两个分割头从特征图f中来定位初始候选顶点，其中，基于第一分割头从特征图f获得道路边线的二进制分割结果s，二进制分割结果s包括分割出来的多条道路边线。对多条道路边线进行骨架化并过滤较短骨架线，从剩余的每一条骨架线中的两个端点中选择任意一个端点作为骨架线的初始候选顶点，所有的初始候选顶点构成第一初始候选顶点集。基于第二分割头从特征图f中预测初始候选顶点的热力图h值，热力图h值表示初始候选顶点的概率分布，筛选出热力图h值大于设定阈值的初始候选顶点构成第二初始候选顶点集；以及预测第一初始候选顶点集中的每一个第一初始候选顶点的热力图h值，剔除其中热
力图h值小于设定阈值的第一初始候选顶点。合并第一初始候选顶点集和第二初始候选顶点集，得到预测候选顶点集q。
25.s2，从所述预测候选顶点集q中选出一个候选顶点作为起始顶点vi，基于所述特征图f和当前生成的道路边缘图g
t
，生成起始顶点vi的局部特征，i为大于1的正整数。
26.可理解的是，对于预测候选顶点集q中的每一个候选顶点，均可作为一个起始顶点，基于起始顶点生成一条对应的道路边缘图g
t
。具体的，从预测候选顶点集q选取一个候选顶点作为预测起始顶点vi*，将特征图f和当前已生成的道路边缘图g
t
连接到新的多通道特征图f
t
中，这里f
t
可视为模仿学习中的环境，以vi*为中心，可使用一定大小的方形矩阵块对多通道特征图f
t
进行裁剪，得到中心位于vi*的特征图表示vi*的局部特征crop。
27.s3，将预测起始顶点vi*的局部特征输入代理模型中，输出下一个预测顶点v
i+1
*，并基于下一个预测顶点v
i+1
*更新道路边缘图g
t
，不断进行预测，直到道路边缘图g
t
停止生长。
28.可理解的是，从地面真实道路获取的有序真值顶点只是组成道路边缘线的一些形点，通过这些点并不能绘制出道路边缘轮廓线，道路边缘轮廓线为矢量图。
29.初始候选顶点集q中确定的初始候选顶点只是道路边缘线上的一些形点，并不全面，因此，以初始候选顶点集q中的候选顶点作为起始顶点，基于代理模型生成对应的道路边缘图。
30.本发明可根据预测起始顶点vi的局部特征，基于代理模型对下一个顶点进行预测。其中，代理模型的训练过程包括：获取地面真实道路边缘的有序实际顶点序列[v1，v2，...，vi...，vn]；获取对应的道路影像中的预测候选顶点集，从预测候选顶点集中选取vi*作为预测起始顶点，生成预测起始顶点vi*的局部特征；将预测起始顶点vi*的局部特征输入代理模型中，输出预测起点顶点vi*的下一个预测顶点v
i+1
*；从地面真实道路边缘的有序实际顶点序列[v1，v2，...，vn]中确定与预测顶点v
i+1
*对应的实际顶点v
i+1
，并基于实际顶点v
i+1
和预测顶点v
i+1
*之间的关系确定预测顶点v
i+1
*是否加入所述道路边缘图g
t
中，以对道路边缘图g
t
进行更新；基于更新后的道路边缘图g
t
生成预测顶点v
i+1
*的局部特征，输入代理模型中，输出下一个预测顶点v
i+2
*，....，因此类推，直到道路边缘图g
t
不再生长；遍历预测候选顶点集中的每一个预测顶点，生成所有的预测顶点和对应的道路边缘图g
t
。其中，道路上的各个真值顶点vi和对应的预测顶点vi*的示意图可参见图3。
[0031]
其中，所述从地面真实道路边缘的有序真值顶点序列[v1，v2，...，vn]中确定与预测顶点v
i+1
*对应的真值顶点v
i+1
，包括：从地面真实道路边缘的有序真值顶点序列[v1，v2，...，vn]中的位于真值顶点vi之后的所有真值顶点中，查找与真值顶点vi的距离大于第一设定距离阈值且距离最小的真值顶点为与预测顶点v
i+1
*对应的真值顶点v
i+1
，其中，真值顶点vi为与预测顶点vi*对应的真值顶点。其中，vi为真值顶点v
i+1
的上一个真值顶点，v
i+1
*为预测顶点vi*的上一个预测顶点。
[0032]
所述查找与真值顶点vi的距离大于第一设定距离阈值且距离最小的真值顶点为与预测顶点v
i+1
*对应的真值顶点v
i+1
，包括：计算真值顶点v
i-1
与真值顶点vi之间的方向向量，将其转换为弧度值ri，获取地面真实道路边缘的有序真值顶点序列[v1，v2，...，vn]中的位于真值顶点vi之后的所有真值顶点，计算所有真值顶点中每相邻两个真值顶点的方向向量的弧度值，将所有弧度值中与弧度值ri的差值大于设定弧度阈值且最小弧度值对应的起
点真值顶点作为与预测顶点v
i+1
*对应的真值顶点v
i+1
。
[0033]
其中，所述基于真值顶点v
i+1
和预测顶点v
i+1
*之间的关系确定预测顶点v
i+1
*是否加入所述道路边缘图g
t
中，以对道路边缘图g
t
进行更新，包括：当预测顶点v
i+1
*与对应的真值顶点v
i+1
之间的距离小于第二设定距离阈值时，则基于预测顶点v
i+1
*对已生成的道路边缘图g
t
进行更新；以及基于所有的预测顶点v
i+1
*对已生成的道路边缘图g
t
进行更新。
[0034]
可理解的是，如果通过代理模型输出的预测顶点v
i+1
*与对应的真值顶点v
i+1
之间的距离较大，说明代理模型输出的预测值不够准确，此时，丢弃该预测顶点v
i+1
*，并对代理模型的参数进行调整，基于参数调整后的代理模型对下一个顶点进行预测。如果预测顶点v
i+1
*与对应的真值顶点v
i+1
之间的距离比较小，则表明代理模型输出的该预测顶点v
i+1
*比较准确，那么将该预测顶点v
i+1
*进入已生成的道路边缘图g
t
中，对已生成的道路边缘图g
t
进行更新。基于更新后的道路边缘图g
t
，计算下一个预测顶点的局部特征。
[0035]
需要说明的是，为了保证代理模型训练和测试阶段的数据分布一致，还需要基于自由探索来弥补受限探索的不足，也就是直接由预测顶点v
i+1
*更新道路边缘图g
t
，不作阈值条件的判断。
[0036]
基于上述方法对代理模型进行训练，获取训练后的代理模型。基于训练后的代理模型，向其中输入预测起始顶点，则可以输出后续的预测顶点，进而生成对应的道路边缘图。
[0037]
s4，遍历所述预测候选顶点集q中的每一个候选顶点作为起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
；所有的道路边缘图g
t
构成所述道路影像的道路边缘检测结果。
[0038]
可理解的是，对于预测候选顶点集q中的每一个候选起始顶点，基于代理模型均可生成对应的道路边缘图，但是这些生成的道路边缘图中会存在重复的边缘图。因此，在遍历预测候选顶点集q中的每一个候选顶点时，判断预测候选顶点集q中的候选顶点，在已生成的道路边缘图gt中是否存在，若存在，不处理该候选顶点；若不存在，则基于代理模型输出该候选顶点的下一个预测顶点和生成道路边缘图。遍历完预测候选顶点集q中的所有初始候选顶点，最终生成多条道路边缘图，即为遥感影像道路边缘的检测结果。
[0039]
其中，需要说明的是，在根据预测候选顶点集q中的初始候选顶点预测道路边缘图的过程中，预测顶点v
i+1
*包括坐标头和停止头来预测下一个顶点的x
t+1
和s
t+1
，x
t+1
表示预测顶点v
i+1
*的坐标，s
t+1
表示预测顶点v
i+1
*的停止头，表示预测到该顶点是否停止，即预测到该顶点，道路边缘图是否停止生长，如果停止生长，则停止继续预测，如果没有停止生长，则继续对下一个顶点进行预测。
[0040]
参见图4，为本发明提供的一种遥感影像道路边缘检测系统，该系统包括提取模块401、生成模块402和预测模块403，其中：
[0041]
提取模块401，从道路影像中提取特征图f，基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q；
[0042]
生成模块402，用于从所述预测候选顶点集q中选出一个候选顶点作为预测起始顶点vi*，基于所述特征图f和当前生成的道路边缘图g
t
，生成预测起始顶点vi*的局部特征，i为大于1的正整数；
[0043]
预测模块403，用于将预测起始顶点vi*的局部特征输入代理模型中，输出下一个
预测顶点v
i+1
*，并基于下一个预测顶点v
i+1
*更新道路边缘图g
t
，不断进行预测，直到道路边缘图g
t
停止生长；遍历所述预测候选顶点集q中的每一个候选顶点作为预测起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
；所有的道路边缘图g
t
构成所述道路影像的道路边缘检测结果。
[0044]
可以理解的是，本发明提供的一种遥感影像道路边缘检测系统与前述各实施例提供的遥感影像道路边缘检测方法相对应，遥感影像道路边缘检测系统的相关技术特征可参考遥感影像道路边缘检测方法的相关技术特征，在此不再赘述。
[0045]
本发明实施例提供的一种遥感影像道路边缘检测方法及系统，方法主要采用了端到端的迭代图生成方法，可以直接得到线性对象信息，该方法受分割性能的影响较小，能够解决部分遮挡带来的影响，且无需繁琐的后处理操作，即可得到道路边缘的矢量数据。
[0046]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0047]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0048]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0049]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0050]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0051]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0052]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

技术特征：
1.一种遥感影像道路边缘检测方法，其特征在于，包括：从道路影像中提取特征图f，基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q；从所述预测候选顶点集q中选出一个候选顶点作为预测起始顶点v
i
*，基于所述特征图f和当前生成的道路边缘图g
t
，生成预测起始顶点v
i
*的局部特征，i为大于1的正整数；将预测起始顶点v
i
*的局部特征输入代理模型中，输出下一个预测顶点v
i+1
*，并基于下一个预测顶点v
i+1
*更新道路边缘图g
t
，不断进行预测，直到道路边缘图g
t
停止生长；遍历所述预测候选顶点集q中的每一个候选顶点作为预测起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
；所有的道路边缘图g
t
构成所述道路影像的道路边缘检测结果。2.根据权利要求1所述的道路边缘检测方法，其特征在于，所述基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q，包括：基于第一分割头从所述特征图f获得道路边线的二进制分割结果s，对道路边线的二进制分割结果s进行骨架化并过滤较短骨架线，从剩余的每一条骨架线中的两个端点中选择任意一个端点作为骨架线的初始候选顶点，所有的初始候选顶点构成第一初始候选顶点集；基于第二分割头从所述特征图f中预测初始候选顶点的热力图h值，所述热力图h值表示初始候选顶点的概率分布，删选出热力图h值大于设定阈值的初始候选顶点构成第二初始候选顶点集；以及预测所述第一初始候选顶点集中的每一个第一初始候选顶点的热力图h值，剔除其中热力图h值小于设定阈值的第一初始候选顶点；合并所述第一初始候选顶点集和所述第二初始候选顶点集，得到预测候选顶点集q。3.根据权利要求1所述的道路边缘检测方法，其特征在于，所述基于所述特征图f和当前生成的道路边缘图g
t
，生成预测起始顶点v
i
*的局部特征，包括：将所述特征图f和当前生成的道路边缘图g
t
连接到多通道特征图f
t
中，对于当前预测起始顶点v
i
*，基于设定大小的方形矩阵块对多通道特征图f
t
进行裁剪，得到中心位于v
i
*的特征图表v
i
*的局部特征crop。4.根据权利要求1所述的道路边缘检测方法，其特征在于，还包括训练代理模型，包括：获取地面真实道路边缘的有序真值顶点序列[v1，v2，...，v
i
...，v
n
]；获取对应的道路影像中的预测候选顶点集，从所述预测候选顶点集中选取v
i
*作为预测起始顶点，生成预测起始顶点v
i
*的局部特征；将所述预测起始顶点v
i
*的局部特征输入代理模型中，输出预测起点顶点v
i
*的下一个预测顶点v
i+1
*；从地面真实道路边缘的有序真值顶点序列[v1，v2，...，v
n
]中确定与预测顶点v
i+1
*对应的真值顶点v
i+1
，并基于真值顶点v
i+1
和预测顶点v
i+1
*之间的关系确定预测顶点v
i+1
*是否加入所述道路边缘图g
t
中，以对道路边缘图g
t
进行更新；基于更新后的道路边缘图g
t
生成预测顶点v
i+1
*的局部特征，输入代理模型中，输出下一个预测顶点v
i+2
*，....，因此类推，直到道路边缘图g
t
不再生长；遍历预测候选顶点集中的每一个预测顶点，生成所有的预测顶点和对应的道路边缘图g
t
。
5.根据权利要求4所述的道路边缘检测方法，其特征在于，所述从地面真实道路边缘的有序真值顶点序列[v1，v2，...，v
n
]中确定与预测顶点v
i+1
*对应的真值顶点v
i+1
，包括：从地面真实道路边缘的有序真值顶点序列[v1，v2，...，v
n
]中的位于真值顶点v
i
之后的所有真值顶点中，查找与真值顶点v
i
的距离大于第一设定距离阈值且距离最小的真值顶点为与预测顶点v
i+1
*对应的真值顶点v
i+1
，其中，真值顶点v
i
为与预测顶点v
i
*对应的真值顶点。6.根据权利要求5所述的道路边缘检测方法，其特征在于，所述查找与真值顶点v
i
的距离大于第一设定距离阈值且距离最小的真值顶点为与预测顶点v
i+1
*对应的真值顶点v
i+1
，包括：计算真值顶点v
i-1
与真值顶点v
i
之间的方向向量，将其转换为弧度值r
i
，获取地面真实道路边缘的有序真值顶点序列[v1，v2，...，v
n
]中的位于真值顶点v
i
之后的所有真值顶点，计算所有真值顶点中每相邻两个真值顶点的方向向量的弧度值，将所有弧度值中与弧度值r
i
的差值大于设定弧度阈值且最小弧度值对应的起点真值顶点作为与预测顶点v
i+1
*对应的真值顶点v
i+1
。7.根据权利要求4所述的道路边缘检测方法，其特征在于，所述基于真值顶点v
i+1
和预测顶点v
i+1
*之间的关系确定预测顶点v
i+1
*是否加入所述道路边缘图g
t
中，以对道路边缘图g
t
进行更新，包括：当预测顶点v
i+1
*与对应的真值顶点v
i+1
之间的距离小于第二设定距离阈值时，则基于预测顶点v
i+1
*对已生成的道路边缘图g
t
进行更新；以及基于所有的预测顶点v
i+1
*对已生成的道路边缘图g
t
进行更新。8.根据权利要求1所述的道路边缘检测方法，其特征在于，所述遍历所述预测候选顶点集q中的每一个候选顶点作为起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
，包括：遍历所述预测候选顶点集q中的任一个候选顶点，判断所述任一个候选顶点在已生成的道路边缘图g
t
中是否存在，若存在，不处理所述任一个候选顶点；若不存在，则基于代理模型输出所述任一个候选顶点的下一个预测顶点和生成道路边缘图。9.一种遥感影像道路边缘检测系统，其特征在于，包括：提取模块，用于从道路影像中提取特征图f，基于两个分割头从所述特征图f中提取预测候选顶点，构成预测候选顶点集q；生产模块，用于从所述预测候选顶点集q中选出一个候选顶点作为预测起始顶点v
i
*，基于所述特征图f和当前生成的道路边缘图g
t
，生成预测起始顶点v
i
*的局部特征，i为大于1的正整数；预测模块，用于将预测起始顶点v
i
*的局部特征输入代理模型中，输出下一个预测顶点v
i+1
*，并基于下一个预测顶点v
i+1
*更新道路边缘图g
t
，不断进行预测，直到道路边缘图g
t
停止生长；遍历所述预测候选顶点集q中的每一个候选顶点作为预测起始顶点，基于代理模型进行预测，得到对应的道路边缘图g
t
；所有的道路边缘图g
t
构成所述道路影像的道路边缘检测结果。

技术总结
本发明提供一种遥感影像道路边缘检测方法及系统，方法包括：从道路影像中提取预测候选顶点集Q；从预测候选顶点集Q中选出一个候选顶点作为预测起始顶点v


技术研发人员：蔡晨 石涤文 尹玉成 覃飞杨 胡丹丹 姚琼杰 丁豪 刘博瀚 刘奋
受保护的技术使用者：武汉中海庭数据技术有限公司
技术研发日：2023.04.29
技术公布日：2023/8/4