车辆导航图像合成系统、方法、装置及存储介质与流程
未命名
09-21
阅读:70
评论:0

1.本技术涉及通信技术领域,尤其涉及一种车辆导航图像合成系统、方法、装置及存储介质。
背景技术:
2.为了提高车辆驾驶的安全性或者降低驾驶员驾驶车辆的难度,在车辆行进的过程中,车辆中的电子设备可以根据路口的图像信息为驾驶员提供驾驶辅助。目前,主要依靠导航地图数据或者车载摄像头采集到的整个路口的图像信息对驾驶员提供行车辅助。
3.但是,在不具备导航地图数据,或者前车遮挡了车载摄像头的部分采集范围,导致车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,车载系统无法对驾驶员提供驾驶辅助。因此,在不具备导航地图数据,或者车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,如何确定整个路口的图像信息是本领域技术人员亟待解决的问题。
技术实现要素:
4.本技术提供一种车辆导航图像合成系统、方法、装置及存储介质,能够在不具备导航地图数据,或车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,确定整个路口的图像信息。
5.为达到上述目的,本技术采用如下技术方案:
6.第一方面,本技术提供一种车辆导航图像合成系统,该系统包括:
7.获取模块,用于采集m个采样图像;m个采样图像包括用于建立基准坐标系的预设采样图像;m为正整数;存储模块,用于存储n个采样图像;n为小于等于m的正整数;n的值根据目标车辆的速度、目标车辆的位置、以及跟车距离确定;计算模块,用于确定n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标;第一坐标包括第一y坐标和第一x坐标,第一y坐标根据获取模块的参数和每个采样点在采样图像中的位置确定;第一x坐标根据采样图像的边界在中间坐标系中的投影确定;中间坐标系为根据目标车辆的当前位置和目标车辆的当前行驶方向建立的坐标系;合成模块,用于将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
8.上述技术方案至少带来以下有益效果:本技术提供的车辆导航图像合成系统,先通过计算模块将n个采样图像中每个采样图像的多个采样点在采样图像中的坐标映射到每个采样图像对应的真实世界的坐标系(即中间坐标系)中,确定上述多个采样点的第一坐标,再通过合成模块将上述n个采样图像中每个采样图像的多个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,这样使得多个采样图像可以转化至同一坐标系(即基准坐标系)中。在同一坐标系中的多个采样图像可以直接叠加得到整个路口的图像(即目标图像)。由上述可知,本技术提供的车辆导航图像合成系统可以将n个残缺的图像
(即被前车遮挡的图像)合成,确定整个路口的图像,因此,即使在不具备导航地图数据,或车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,车辆导航图像合成系统也可以确定整个路口的图像信息,使得车载系统可以基于该整个路口的图像信息,为用户提供可靠的驾驶辅助。
9.在一种可能的实现方式中,计算模块,具体用于:确定目标采样点,以及目标采样点所在的目标采样图像;目标采样点是目标采样图像的多个采样点中的任一个采样点;目标采样图像为多个采样图像中的任一个采样图像;建立目标采样图像的图像坐标系,并确定目标采样点在图像坐标系中的第三坐标;图像坐标系的原点为目标采样图像的中心点;图像坐标系的x轴垂直于采样图像的左边界线或右边界线;图像坐标系的y轴垂直于采样图像的上边界线或下边界线;目标采样点在图像坐标系中的第三坐标包括:第三y坐标和第三x坐标;第三x坐标为目标采样点在图像坐标系的x轴上的坐标;第三y坐标为目标采样点在图像坐标系的y轴上的坐标;根据获取模块的参数,以及第三y坐标,确定第一y坐标;获取模块的参数包括:获取模块与地面的垂直距离、获取模块的采样角度、以及获取模块的焦距;获取模块的采样角度为获取模块的采集方向与垂直于地面的方向的夹角。
10.在一种可能的实现方式中,计算模块,具体用于:建立中间坐标系;中间坐标系的原点为当前位置,中间坐标系的y轴的正方向为当前行驶方向,中间坐标系的x轴与地面平行;确定第一直线的斜率、第二直线的斜率、以及目标数量;第一直线为目标采样图像的左边界线投影在中间坐标系中得到的直线;第二直线为目标采样图像的右边界线投影在中间坐标系中得到的直线;目标数量为目标采样图像在图像坐标系的x轴上的采样点的数量;根据第一直线的斜率,第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标。
11.在一种可能的实现方式中,合成模块,具体用于:将每个采样点的第一坐标映射到角度还原坐标系中,确定每个采样点的第四坐标;角度还原坐标系为将中间坐标系旋转预设角度后得到的坐标系;将每个采样点的第三坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
12.在一种可能的实现方式中,车辆导航图像合成系统还包括:传感器模块;传感器模块,用于获取目标车辆的偏离角度;目标车辆的偏离角度为目标车辆的实际行驶方向与目标车辆的直线行驶方向的夹角;合成模块,具体用于:确定目标采样图像的预设角度;目标采样图像的预设角度根据在目标采样图像的采样周期内的目标车辆的偏离角度确定;将目标采样图像和中间坐标系顺时针旋转预设角度,确定角度还原后的目标采样图像和角度还原坐标系;确定角度还原后的目标采样图像中的目标采样点在还原坐标系的坐标为第四坐标。
13.在一种可能的实现方式中,合成模块,具体用于:建立基准坐标系;基准坐标系的原点为在预设采样图像的采样周期内,目标车辆的位置;基准坐标系的y轴的正方向为在预设采样图像的采样周期内,目标车辆的行驶方向;基准坐标系的x轴与地面平行;确定第一距离差和第二距离差;第一距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的x轴方向的距离差;第二距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的y轴方向的距离差;确定第二x坐标和第二y坐标;第二x坐标为第四坐标的第四x坐标与第一距离差之差;第二y坐标为第四坐标的第四y坐标与第二距
离差之差。
14.在一种可能的实现方式中,计算模块,还用于:将目标区域划分为p个采样点,并确定p个采样点中每个采样点在基准坐标系的第五坐标;目标区域为像素值低于预设像素阈值的区域;p为正整数;根据第一采样点的第五坐标,从多个采样点中确定满足预设条件的采样点;根据满足预设条件的采样点的图像信息,确定第一采样点的图像信息;合成模块,还用于根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中。
15.在一种可能的实现方式中,获取模块,还用于采集m个采样周期内的跟车距离;一个采样周期与一个采样图像对应;存储模块,具体用于:根据m个采样周期内的跟车距离,确定l个采样图像;l为小于或等于m正整数;从l个采样图像中确定n个采样图像,并存储n个采样图像;n个采样图像中的每个采样图像对应的目标车辆的位置不同;其中,l个采样图像满足:若第a至b个采样周期内的跟车距离均大于预设距离阈值,则l个采样图像包括:第1至b个采样周期内的采样图像;其中,a为正整数,b为大于a的正整数;a与b的差值大于或等于第一预设数量阈值;若第1至c个采样周期内的跟车距离中,大于预设距离阈值的跟车距离的数量大于第二预设数量阈值,则l个采样图像包括:第1至c个采样周期内的采样图像;c的值根据最大处理时间或者当前位置确定;c为大于1的正整数;若强制合成开关为开启状态,则l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像;d的值根据处理失效时间或者当前位置确定;d为大于c的正整数。
16.在一种可能的实现方式中,车辆导航图像合成系统还包括:引导模块;引导模块,用于:根据目标图像以及行车信息,确定行驶辅助线;将行驶辅助线添加至目标图像中。
17.在一种可能的实现方式中,第一y坐标满足以下公式:
18.y1=tan((arctan(y3/ob))+β))
×h19.y1为第一y坐标;y3为第三y坐标;ob为获取模块的焦距;β为获取模块的采样角度;h为获取模块与地面的垂直距离。
20.在一种可能的实现方式中,第一x坐标满足以下公式:
21.x1=x3×
(((y
1-f)/k)/j)
22.x1为第一x坐标;x3为第三x坐标;f为第一直线的斜率;k为第二直线的斜率;j为目标数量。
23.第二方面,本技术提供一种车辆导航图像合成方法,该方法包括:采集m个采样图像;m个采样图像包括用于建立基准坐标系的预设采样图像;m为正整数;存储n个采样图像;n为小于等于m的正整数;n的值根据目标车辆的速度、目标车辆的位置、以及跟车距离确定;确定n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标;第一坐标包括第一y坐标和第一x坐标,第一y坐标根据获取模块的参数和每个采样点在采样图像中的位置确定;第一x坐标根据采样图像的边界在中间坐标系中的投影确定;中间坐标系为根据目标车辆的当前位置和目标车辆的当前行驶方向建立的坐标系;将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
24.在一种可能的实现方式中,确定每个采样点的第一y坐标,包括:确定目标采样点,以及目标采样点所在的目标采样图像;目标采样点是目标采样图像的多个采样点中的任一个采样点;目标采样图像为多个采样图像中的任一个采样图像;建立目标采样图像的图像
坐标系,并确定目标采样点在图像坐标系中的第三坐标;图像坐标系的原点为目标采样图像的中心点;图像坐标系的x轴垂直于采样图像的左边界线或右边界线;图像坐标系的y轴垂直于采样图像的上边界线或下边界线;目标采样点在图像坐标系中的第三坐标包括:第三y坐标和第三x坐标;第三x坐标为目标采样点在图像坐标系的x轴上的坐标;第三y坐标为目标采样点在图像坐标系的y轴上的坐标;根据获取模块的参数,以及第三y坐标,确定第一y坐标;获取模块的参数包括:获取模块与地面的垂直距离、获取模块的采样角度、以及获取模块的焦距;获取模块的采样角度为获取模块的采集方向与垂直于地面的方向的夹角。
25.在一种可能的实现方式中,确定每个采样点的第一x坐标,包括:建立中间坐标系;中间坐标系的原点为当前位置,中间坐标系的y轴的正方向为当前行驶方向,中间坐标系的x轴与地面平行;确定第一直线的斜率、第二直线的斜率、以及目标数量;第一直线为目标采样图像的左边界线投影在中间坐标系中得到的直线;第二直线为目标采样图像的右边界线投影在中间坐标系中得到的直线;目标数量为目标采样图像在图像坐标系的x轴上的采样点的数量;根据第一直线的斜率,第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标。
26.在一种可能的实现方式中,将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像,包括:将每个采样点的第一坐标映射到角度还原坐标系中,确定每个采样点的第四坐标;角度还原坐标系为将中间坐标系旋转预设角度后得到的坐标系;将每个采样点的第三坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
27.在一种可能的实现方式中,将每个采样点的第一坐标映射到角度还原坐标系中,确定每个采样点的第四坐标,包括:获取目标车辆的偏离角度;目标车辆的偏离角度为目标车辆的实际行驶方向与目标车辆的直线行驶方向的夹角;确定目标采样图像的预设角度;目标采样图像的预设角度根据在目标采样图像的采样周期内的目标车辆的偏离角度确定;将目标采样图像和中间坐标系顺时针旋转预设角度,确定角度还原后的目标采样图像和角度还原坐标系;确定角度还原后的目标采样图像中的目标采样点在还原坐标系的坐标为第四坐标。
28.在一种可能的实现方式中,将每个采样点的第三坐标映射到基准坐标系中,确定每个采样点的第二坐标,包括:建立基准坐标系;基准坐标系的原点为在预设采样图像的采样周期内,目标车辆的位置;基准坐标系的y轴的正方向为在预设采样图像的采样周期内,目标车辆的行驶方向;基准坐标系的x轴与地面平行;确定第一距离差和第二距离差;第一距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的x轴方向的距离差;第二距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的y轴方向的距离差;确定第二x坐标和第二y坐标;第二x坐标为第四坐标的第四x坐标与第一距离差之差;第二y坐标为第四坐标的第四y坐标与第二距离差之差。
29.在一种可能的实现方式中,在根据每个采样点的第二坐标合成多个采样点,确定目标图像之后,方法还包括:将目标区域划分为p个采样点,并确定p个采样点中每个采样点在基准坐标系的第五坐标;目标区域为像素值低于预设像素阈值的区域;p为正整数;根据第一采样点的第五坐标,从多个采样点中确定满足预设条件的采样点;根据满足预设条件
的采样点的图像信息,确定第一采样点的图像信息;根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中。
30.在一种可能的实现方式中,存储n个采样图像,包括:采集m个采样周期内的跟车距离;一个采样周期与一个采样图像对应;根据m个采样周期内的跟车距离,确定l个采样图像;l为小于或等于m正整数;从l个采样图像中确定n个采样图像,并存储n个采样图像;n个采样图像中的每个采样图像对应的目标车辆的位置不同;其中,l个采样图像满足:若第a至b个采样周期内的跟车距离均大于预设距离阈值,则l个采样图像包括:第1至b个采样周期内的采样图像;其中,a为正整数,b为大于a的正整数;a与b的差值大于或等于第一预设数量阈值;若第1至c个采样周期内的跟车距离中,大于预设距离阈值的跟车距离的数量大于第二预设数量阈值,则l个采样图像包括:第1至c个采样周期内的采样图像;c的值根据最大处理时间或者当前位置确定;c为大于1的正整数;若强制合成开关为开启状态,则l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像;d的值根据处理失效时间或者当前位置确定;d为大于c的正整数。
31.在一种可能的实现方式中,在根据每个采样点的第二坐标合成多个采样点,确定目标图像之后,方法还包括:根据目标图像以及行车信息,确定行驶辅助线;将行驶辅助线添加至目标图像中。
32.在一种可能的实现方式中,第一y坐标满足以下公式:
33.y1=tan((arctan(y3/ob))+β)
×h34.y1为第一y坐标;y3为第三y坐标;ob为获取模块的焦距;β为获取模块的采样角度;h为获取模块与地面的垂直距离。
35.在一种可能的实现方式中,第一x坐标满足以下公式:
36.x1=x3×
(((y
1-f)/k)/j)
37.x1为第一x坐标;x3为第三x坐标;f为第一直线的斜率;k为第二直线的斜率;j为目标数量。
38.第三方面,本技术提供了一种车辆导航图像合成装置,该装置包括:处理器和通信接口;通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如第一方面和第一方面的任一种可能的实现方式中所描述的车辆导航图像合成方法。
39.第四方面,本技术提供了一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在终端上运行时,使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的车辆导航图像合成方法。
40.第五方面,本技术提供一种包含指令的计算机程序产品,当计算机程序产品在车辆导航图像合成装置上运行时,使得车辆导航图像合成装置执行如第一方面和第一方面的任一种可能的实现方式中所描述的车辆导航图像合成方法。
41.第六方面,本技术提供一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如第一方面和第一方面的任一种可能的实现方式中所描述的车辆导航图像合成方法。
42.具体的,本技术中提供的芯片还包括存储器,用于存储计算机程序或指令。
附图说明
43.图1为本技术实施例提供的一种车辆导航图像合成系统的结构图;
44.图2为本技术实施例提供的一种目标图像的示例图;
45.图3为本技术实施例提供的一种采样图像的示例图;
46.图4为本技术实施例提供的一种用于确定第一y坐标的多个参数的示意图;
47.图5为本技术实施例提供的一种第一直线和第二直线的示例图;
48.图6为本技术实施例提供的一种多个采样图像叠加起来得到的目标图像的示例图;
49.图7为本技术实施例提供的另一种车辆导航图像合成系统的结构图;
50.图8(a)为本技术实施例提供的一种采样图像的省略图;
51.图8(b)为本技术实施例提供的另一种采样图像的省略图;
52.图9为本技术实施例提供的一种中间坐标系的原点位置的示意图;
53.图10为本技术实施例提供的一种满足预设条件的采样点的位置示意图;
54.图11为本技术实施例提供的一种如何确定l个采样图像的示意图;
55.图12(a)为本技术实施例提供的一种目标车辆与前车的位置示意图;
56.图12(b)为本技术实施例提供的另一种目标车辆与前车的位置示意图;
57.图12(c)为本技术实施例提供的另一种目标车辆与前车的位置示意图;
58.图13为本技术实施例提供的一种拉链的示意图;
59.图14为本技术实施例提供的另一种车辆导航图像合成系统的结构图;
60.图15(a)为本技术实施例提供的一种行驶辅助线的示意图;
61.图15(b)为本技术实施例提供的另一种行驶辅助线的示意图;
62.图16为本技术实施例提供的一种车辆导航图像合成方法的流程图;
63.图17为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
64.图18为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
65.图19为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
66.图20为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
67.图21为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
68.图22为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
69.图23为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
70.图24为本技术实施例提供的另一种车辆导航图像合成方法的流程图;
71.图25为本技术实施例提供的一种车辆导航图像合成装置的结构图;
72.图26为本技术实施例提供的另一种车辆导航图像合成装置的结构图。
具体实施方式
73.下面结合附图对本技术实施例提供的车辆导航图像合成系统、方法、装置及存储介质进行详细地描述。
74.本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。
75.本技术的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象,或
者用于区别对同一对象的不同处理,而不是用于描述对象的特定顺序。
76.此外,本技术的描述中所提到的术语“包括”和“具有”以及它们的任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括其他没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
77.需要说明的是,本技术实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
78.在本技术的描述中,除非另有说明,“多个”的含义是指两个或两个以上。
79.为了提高车辆驾驶的安全性或者降低驾驶员驾驶车辆的难度,在车辆行进的过程中,车辆中的电子设备可以根据路口的图像信息为驾驶员提供驾驶辅助。目前,主要依靠导航地图数据或者车载摄像头采集到的整个路口的图像信息对驾驶员提供行车辅助。
80.但是,在不具备导航地图数据,或者前车遮挡了车载摄像头的部分采集范围,导致车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,车载系统无法对驾驶员提供驾驶辅助。因此,在不具备导航地图数据,或者车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,如何确定整个路口的图像信息是本领域技术人员亟待解决的问题。
81.为了实现本技术实施例提供的车辆导航图像合成方法,本技术实施例提供了一种车辆导航图像合成系统,用于执行本技术实施例提供的车辆导航图像合成方法,如图1所示,图1示出了本技术实施例提供的一种车辆导航图像合成系统的结构示意图。该车辆导航图像合成系统100包括:获取模块101、存储模块102、计算模块103、以及合成模块104。
82.获取模块101,用于采集m个采样图像。
83.其中,m个采样图像包括用于建立基准坐标系的采样图像。m为正整数。
84.存储模块102,用于存储n个采样图像。
85.其中,n为小于等于m的正整数。n的值根据目标车辆的速度、目标车辆的位置、以及跟车距离确定。
86.计算模块103,用于确定n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标。
87.其中,第一坐标包括第一y坐标和第一x坐标,第一y坐标根据获取模块的参数和每个采样点在采样图像中的位置确定。第一x坐标根据采样图像的边界在中间坐标系中的投影确定。中间坐标系为根据目标车辆的当前位置和行驶方向建立的坐标系。
88.合成模块104,用于将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点第二坐标合成多个采样点,确定目标图像。
89.需要说明的是,获取模块101可以周期性的采集图像。示例性的,以采样周期为10ms为例,获取模块101可以每隔10ms进行一次图像采集。
90.需要指出的是,用于建立基准坐标系的预设采样图像可以为第一次采集到停止标线的采样图像,或者用于建立基准坐标系的采样图像可以为第一次采集到斑马线的采样图像。
91.上述预设采样图像还可以为其他采样图像,本技术对此不作任何限制。
92.可以理解的是,存储模块102在存储采样图像的过程中,可以对获取模块101采集的m个采样图像中重复的采样图像进行去重。若上述m个采样图像中存在重复的多个采样图像,则存储模块102只保留上述多个采样图像中最新采样的一个采样图像。
93.一种可能的实现方式中,计算模块103可以将采样图像划分为r
×
s个网格,并根据上述r
×
s个网格确定采样图像的多个采样点。上述r
×
s个网格中的每个网格用于表征一个采样点。
94.需要说明的是,由于中间坐标系是根据目标车辆的当前位置和当前行驶方向确定的,因此,若上述n个采样图像对应的目标车辆的当前位置和/或行驶方向不同的情况下,上述n个采样图像对应的中间坐标系不同。
95.可选的,存储模块102或者合成模块104可以将n个采样图像中每个采样图像中的无效信息剔除。上述无线信息可以包括以下至少一项:其他车辆的图像信息、以及行人的图像信息。
96.示例性的,如图2所示,图2可以为目标图像的一种示例。图2中的
①
、
③
、以及
⑤
所标示的位置是道路旁的马路沿子,图2中的
②
、
④
、
⑥
、以及
⑧
所标示的位置是中间隔离带,图2中的p是目标车辆的位置,图2中的a是通过图2中的
⑦
和
⑧
表示的车辆顺行行驶的范围的极限点。
97.需要说明的是,合成模块104根据每个采样点第二坐标合成多个采样点的过程中需要参考近大远小的原则,对多个采样点中的图像信息进行处理。在合成模块104对上述多个采样点中的图像信息进行处理之后,确定目标图像。
98.一种示例,获取模块101为摄像头。
99.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,先通过计算模块103将n个采样图像中每个采样图像的多个采样点在采样图像中的坐标映射到每个采样图像对应的真实世界的坐标系(即中间坐标系)中,确定上述多个采样点的第一坐标,再通过合成模块104将上述n个采样图像中每个采样图像的多个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,这样使得多个采样图像可以转化至同一坐标系(即基准坐标系)中。在同一坐标系中的多个采样图像可以直接叠加得到整个路口的图像(即目标图像)。由上述可知,本技术提供的车辆导航图像合成系统100可以将n个残缺的图像(即被前车遮挡的图像)合成为完整的图像,从而根据该完整的图像确定整个路口的图像。因此,即使在不具备导航地图数据,或车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,车辆导航图像合成系统也可以确定整个路口的图像信息,使得车载系统可以基于该整个路口的图像信息,为用户提供可靠的驾驶辅助。
100.一种可能的实现方式中,计算模块103,具体用于:
101.确定目标采样点,以及目标采样点所在的目标采样图像。
102.其中,目标采样点是目标采样图像的多个采样点中的任一个采样点。目标采样图像为多个采样图像中的任一个采样图像。上述采样图像的一种示例可以如图3所示。
103.建立目标采样图像的图像坐标系,并确定目标采样点在图像坐标系中的第三坐标。
104.其中,图像坐标系的原点为目标采样图像的中心点。图像坐标系的x轴垂直于采样
图像的左边界线或左边界线。图像坐标系的y轴垂直于采样图像的上边界线或下边界线。目标采样点在图像坐标系中的第三坐标包括:第三y坐标和第三x坐标。第三x坐标为目标采样点在图像坐标系的x轴上的坐标。第三y坐标为目标采样点在图像坐标系的y轴上的坐标。
105.根据获取模块101的参数,以及第三y坐标,确定第一y坐标。
106.其中,获取模块101的参数包括:获取模块101与地面的垂直距离、获取模块101的采样角度、以及获取模块101的焦距。获取模块101的采样角度为获取模块101的采集方向与垂直于地面的方向的夹角。
107.一种可能的实现方式中,第一y坐标满足以下公式1:
108.y1=tan((arctan(y3/ob))+β))
×hꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1
109.其中,y1为第一y坐标。y3为第三y坐标。ob为获取模块的焦距。β为获取模块的采样角度。h为获取模块与地面的垂直距离。
110.为了便于理解,本技术提供了用于确定第一y坐标的多个参数的示意图。如图4所示,ou4为获取模块101与地面的垂直距离(即h)。∠u2ou4为获取模块的采样角度(β)。ou6是获取模块101的焦距。
111.关于图4中其他参数的解释:o点为获取模块101的位置。u1u3为获取模块101采集图像的范围。u3u4为获取模块101的采集盲区。u6点为获取模块101的感光器件的中点。q1点为目标采样点在地面上的位置点。q1点为目标采样点在感光器件上的位置点。∠u1ou3为获取模块101的可视角。∠u2ou3为可视角与安装角度的重叠部分。u5u7为获取模块101的感光器件。
112.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,计算模块103在采样图像上确定图像坐标系,并确定目标采样点在该图像坐标系中的第三坐标,再根据第三坐标和获取模块的参数确定出目标采样点在中间坐标系的y坐标(即第一y坐标),这样可以将采样图像中的采样点的第三坐标转化为现实路口中的采样点的第一坐标,便于后续根据现实路口中的采样点的坐标将采样图像中的图像信息添加至为现实路口中的图像信息中。
113.一种可能的实现方式中,计算模块103,具体用于:
114.建立中间坐标系。
115.其中,中间坐标系的原点为目标车辆的当前位置。中间坐标系的y轴的正方向为目标车辆的当前行驶方向。中间坐标系的x轴与地面平行。
116.确定第一直线的斜率、第二直线的斜率、以及目标数量。
117.其中,第一直线为目标采样图像的左边界线投影在中间坐标系中得到的直线。第二直线为目标采样图像的右边界线投影在中间坐标系中得到的直线。目标数量为目标采样图像在图像坐标系的x轴上的采样点的数量。
118.根据第一直线的斜率、第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标。
119.一种可能的实现方式中,第一x坐标满足以下公式2:
120.x1=x3×
(((y
1-f)/k)/j)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2
121.其中,x1为第一x坐标。x3为第三x坐标。f为第一直线的斜率。k为第二直线的斜率。j为目标数量。
122.示例性的,如图5所示,图5中所示的坐标系可以为中间坐标系的一种示例。图5中的l1可以为第一直线的一种示例。图5中的l2可以为第二直线的一种示例。图5中的q1可以为目标采样点的一种示例。
123.需要说明的是,计算模块103确定第一直线的斜率的具体实现过程可以为:计算模块103确定第一直线中任意两个点在中间坐标系的坐标,再根据上述第一直线中任意两个点在中间坐标系的坐标确定第一直线的斜率。
124.示例性的,以上述第一直线中任意两个点为v1点和v2点为例,第一直线的斜率满足以下公式3:
125.l1=(y
4-y5)/(x
4-x5)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式3
126.其中,l1为第一直线的斜率。v1点的坐标为(x4,y4)。v2点的坐标为(x5,y5)。
127.若第一直线与第二直线是关于中间坐标系的y轴对称的,则第二直线的斜率可以满足以下公式4:
128.l2=y
4-(y
4-y5)/(x
4-x5)
×
x4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
129.若第一直线与第二直线不是关于中间坐标系的y轴对称的,则第二直线的斜率的确定过程可以参考上述第一直线的斜率的确定过程理解,此处不再赘述。
130.需要说明的是,由于获取模块101的采样范围是一定的,因此,在目标车辆的位置确定的情况下,获取模块101的采样边界(例如,左边界、左边界)是根据目标车辆的位置和获取模块101的采样范围确定的。
131.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,计算模块103确定获取模块101的采样边界线在中间坐标系的斜率和采样图像在图像坐标系的x轴上的采样点的数量,并根据第一直线的斜率、第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标,这样可以将采样图像中的采样点的第三坐标转化为现实路口中的采样点的第一坐标,便于后续根据现实路口中的采样点的坐标将采样图像中的图像信息添加至为现实路口中的图像信息中。
132.一种可能的实现方式中,合成模块104,具体用于:
133.将每个采样点的第一坐标映射到角度还原坐标系中,确定每个采样点的第四坐标。
134.其中,角度还原坐标系为将中间坐标系旋转预设角度后得到的坐标系。
135.将每个采样点的第三坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
136.可选的,在合成模块104根据每个采样点的第二坐标合成多个采样点,确定目标图像之前,若上述多个采样点中存在多次重复的采样点,合成模块104可以对上述多个采样点进行滤波处理,这样可以将上述多个采样点中的重复采样点剔除。在该情况下,合成模块104根据滤波处理后剩下的采样点的第二坐标合成多个采样点,确定目标图像。
137.需要指出的是,上述多次重复的采样点可以包括以下至少一项:马路沿子的同一特征的采样点、以及防护栏的同一特征的采样点。上述仅为多次重复的采样点的一种示例性的说明,多次重复的采样点还可以包括其他采样点,本技术对比不做任何限制。
138.需要说明的是,预设角度可以根据目标车辆的当前行驶方向与目标车辆的直线方向确定。
139.需要指出的是,第四坐标可以包括:第四x坐标和第四y坐标。第四x坐标为采样点在还原坐标系的x轴上的坐标。第四y坐标为采样点在还原坐标系的y轴上的坐标。
140.一种可能的实现方式中,合成模块104可以先根据每个采样图像的多个采样点的第二坐标合成多个采样点构成的图像,确定在中间坐标系的多个采样图像,再将在中间坐标系的多个采样图像叠加起来,得到目标图像。
141.示例性的,如图6所示,图6示出了将多个采样图像叠加起来得到的目标图像的一种示例。
142.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,合成模块104先将每个采样点的坐标均还原至其对应的中间坐标系中,确定每个采样点的第四坐标,再将每个采样点的第四坐标映射到基准坐标系中,确定每个采样点的第二坐标,这样得到每个采样点的第二坐标是统一在一个坐标系中的,在该情况下,合成模块104可以根据每个采样点的第二坐标合成多个采样点,确定目标图像,这样确定的目标图像是不混乱的,更加接近真实的路口图像。
143.一种可能的实现方式中,如图7所示,车辆导航图像合成系统100还包括:传感器模块105。
144.传感器模块105,用于获取目标车辆的偏离角度。
145.其中,目标车辆的偏离角度为目标车辆的实际行驶方向与目标车辆的直线行驶方向的夹角。
146.合成模块104,具体用于:
147.确定目标采样图像的预设角度。
148.其中,目标采样图像的预设角度根据在目标采样图像的采样周期内的目标车辆的偏离角度确定。
149.将目标采样图像和中间坐标系顺时针旋转预设角度,确定角度还原后的目标采样图像和角度还原坐标系。
150.确定角度还原后的目标采样图像中的目标采样点在还原坐标系的坐标为第四坐标。
151.示例性的,图8(a)所示的采样图像是目标车辆在当前行驶方向(即目标车辆左拐弯)时,获取模块101采集的采样图像的省略图。图8(b)所示的采样图像是目标车辆在直线方向上行驶时,获取模块101采集的图像的省略图。
152.需要说明的是,若将图8(a)所示的采样图像和图8(b)所示的采样图像直接合成的话,则会造成同一个位置的采样点无法在同一个位置上合成,进而造成图像合成混乱。因此,合成模块104需要将图8(a)所示的采样图像和图8(b)所示的采样图像旋转至相同的角度。
153.一种示例,传感器模块105为陀螺仪传感器。
154.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,合成模块104将目标采样图像和中间坐标系顺时针旋转预设角度,并确定角度还原后的目标采样图像的目标采样点在还原坐标系的坐标为第四坐标,这样避免了将不同角度的采样图像合成导致的目标图像的混乱。
155.一种可能的实现方式中,合成模块104,具体用于:
156.建立基准坐标系。
157.其中,基准坐标系的原点为在预设采样图像的采样周期内,目标车辆的位置。基准坐标系的y轴的正方向为在预设采样图像的采样周期内,目标车辆的行驶方向。基准坐标系的x轴与地面平行。
158.确定第一距离差和第二距离差。
159.其中,第一距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的x轴方向的距离差。第二距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的y轴方向的距离差。
160.确定第二x坐标和第二y坐标。第二x坐标为第四坐标的第四x坐标与第一距离差之差。第二y坐标为第四坐标的第四y坐标与第二距离差之差。
161.需要说明的是,在目标车辆的行驶过程中,目标车辆的位置会不停的发生变化,这样导致在不同位置采集得到的n个采样图像中每个采样图像对应的中间坐标系的原点是不在同一位置的。如图9所示,图9中的4个点用于表征不同位置上采集得到的4个采样图像中每个采样图像对应的中间坐标系的原点。在该情况下,合成模块104需要每个采样点的坐标都转化为同一坐标系(即基准坐标系)的坐标。
162.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,合成模块104需要在每个采样点的第四坐标的基础上减去位移量,使得每个采样点的坐标都在同一坐标系(即基准坐标系)中,这样避免了将同一位置的采样点确定为不同的采样点进行合成导致的目标图像的混乱。
163.一种可能的实现方式中,计算模块103,还用于:
164.将目标区域划分为p个采样点,并确定p个采样点中每个采样点在基准坐标系的第五坐标。目标区域为像素值低于预设像素阈值的区域。p为正整数。
165.根据第一采样点的第五坐标,从多个采样点中确定满足预设条件的采样点。
166.根据满足预设条件的采样点的图像信息,确定第一采样点的图像信息。
167.合成模块104,还用于根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中。
168.一种可能的实现方式中,如图10所示,满足预设条件的采样点可以包括:第二采样点、第三采样点、以及第四采样点。
169.其中,第一采样点为p个采样点中的任一个采样点。第二采样点和第四采样点为第三直线的两个端点。第一采样点和第三采样点为第四直线的两个端点。第三直线与第四直线的长度相同,且第三直线与第四直线的交点位于第三直线的中点和第四直线的中点。
170.又一种可能的实现方式中,满足预设条件的采样点可以包括:第五采样点、第六采样点、以及第七采样点。
171.其中,第五采样点的x坐标与第六采样点的x坐标之间的差值为第一预设差值,且第五采样点的y坐标与第六采样点的y坐标之间的差值为0。第一采样点的x坐标与第七采样点的x坐标之间的差值为第二预设差值,且第一采样点的y坐标与第七采样点的y坐标之间的差值为0。第一采样点的y坐标与第五采样点的y坐标相同。第六采样点的y坐标与第七采样点的y坐标相同。
172.需要说明的是,第一预设差值和第二预设差值可以由计算模块103根据实际情况
设置,本技术对此不作任何限制。
173.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,计算模块103确定目标区域的采样点的第五坐标和预设条件,确定满足预设条件的采样点,再根据上述满足预设条件的采样点的图像信息确定上述目标区域的采样点的图像信息。合成模块104将根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中,这样进一步优化了目标图像,使得确定的目标图像能够更加接近实际路口图像。
174.一种可能的实现方式中,获取模块101,还用于采集m个采样周期内的跟车距离。
175.其中,一个采样周期与一个采样图像对应。
176.存储模块102,具体用于:
177.根据m个采样周期内的跟车距离,确定l个采样图像。
178.其中,l为小于或等于m正整数。
179.从l个采样图像中确定n个采样图像,并存储n个采样图像。
180.其中,n个采样图像中的每个采样图像对应的目标车辆的位置不同。
181.其中,如图11所示,l个采样图像满足:
182.若第a至b个采样周期内的跟车距离均大于预设距离阈值,则l个采样图像包括:第1至b个采样周期内的采样图像。其中,a为正整数,b为大于a的正整数。a与b的差值大于或等于第一预设数量阈值。
183.若第1至c个采样周期内的跟车距离中,大于预设距离阈值的跟车距离的数量大于第二预设数量阈值,则l个采样图像包括:第1至c个采样周期内的采样图像。c的值根据最大处理时间或者目标车辆的当前位置确定。c为大于1的正整数。
184.若强制合成开关为开启状态,则l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像;d的值根据处理失效时间或者目标车辆的当前位置确定。d为大于c的正整数。
185.需要说明的是,在跟车距离不同的情况下,前车遮挡的获取模块的采样范围不同。
186.示例性的,图12(a)为跟车距离为5米时,目标车辆与前车的位置示意图。图12(b)为跟车距离为20米时,目标车辆与前车的位置示意图。图12(c)为跟车距离为80米时,目标车辆与前车的位置示意图。图12(a)、图12(b)、图12(c)中的三角区域用于表征前车遮挡的获取模块101的采集范围。对比图12(a)、图12(b)、图12(c)可知,随着跟车距离的不断增加,采集图像的角度、采集图像的亮度会不断变化,三角区域的范围(即前车遮挡的获取模块101的采集范围)也会不断缩小,形似一个拉链(例如,图13),在不断的向上拉动的过程中,三角区域的范围不断的缩小,这样获取模块101采集到的路口的图像信息更加全面。
187.需要说明的是,存储模块102可以获取目标车辆的获取模块不被前车遮挡的跟车距离的最小值,并将预设距离阈值设置为上述确定在目标车辆的获取模块不被前车遮挡的情况下的跟车距离的最小值。
188.示例性的,以预设距离阈值为100米,第一预设数量阈值为3为例:在第2至5个采样周期内的跟车距离均大于100米的情况下,上述l个采样图像包括:第1至第5个采样周期内的采样图像。在第2-5个采样周期内,目标车辆已经完全摆脱前车对其获取模块的采集范围的遮挡,这样获取模块采集的采样图像是整个路口的图像信息。
189.以预设距离阈值为100米,第二预设数量阈值为5,c的值为8为例:若第1至8个采样
周期内的跟车距离中,大于100米的跟车距离的数量为6,则上述l个采样图像包括:第1至第8个采样周期内的采样图像。在第1-8个采样周期内,目标车辆能够偶尔完全摆脱前车对其获取模块的采集范围的遮挡,这样根据上述第1-8个采样周期内的采样图像足以用于合成目标图像。
190.需要说明的是,存储模块102可以根据目标车辆的车速和路口的对角线距离确定最大可处理时间(t_max)。存储模块102确定最大可处理时间可以最多包括多少个采样周期,再根据最大可处理时间中包括的最大采样周期数量确定c的值。
191.最大可处理时间(t_max)可以满足以下公式5:
192.t_max=t_cross/2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式5
193.其中,t_cross为目标车辆通过路口所需的时间。
194.目标车辆通过路口所需的时间(t_cross)可以满足以下公式6:
195.t_cross(=k1
×
di/sp)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式6
196.其中,k1为系数。di为路口的对角线距离。sp为目标车辆的车速。
197.需要说明的是,存储模块102还可以通过确定强制合成开关的状态来判断是否强制合成。
198.若1至c个采样周期内的跟车距离中,大于预设距离阈值的跟车距离的数量小于或等于第二预设数量阈值,且强制合成开关为开启状态,则存储模块确定l个采样图像包括:第1至c个采样图像周期内的采样图像,以便于后续对第1至c个采样图像周期内的采样图像进行强制合成。
199.若当前时刻为处理失效时间,且强制合成开关为开启状态,则存储模块确定l个采样图像包括:第1至d个采样图像周期内的采样图像,以便于后续对第1至d个采样图像周期内的采样图像进行强制合成。
200.处理失效时间(t_fail)满足以下公式7:
201.t_fail=k2
×
t_cross
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式7
202.其中,k2为公式7的系数。
203.需要说明的是,k2可以由存储模块102根据实际情况设置,例如存储模块102将k2设置为1,本技术对此不作任何限制。
204.需要指出的是,若强制开关的关闭状态,则存储模块102不确定l个采样图像,也不合成图像。在目标车辆已经通过路口时,存储模块102可以将上述强制开关设置为关闭状态。
205.一种可能的实现方式中,存储模块102还可以通过目标车辆的位置确定c和d的值。在该情况下,当目标车辆位于第一目标范围内时,确定当前时刻所在的采样周期为第c个采样周期。当目标车辆位于第二目标范围内时,确定当前时刻所在的采样周期为第d个采样周期。上述第一目标范围可以为路口中心附近的范围。上述第二目标范围可以为即将通过路口的范围。
206.需要说明的是,在路口信息不全的情况下,存储模块102无法通过全球定位系统(global positioning system,gps)确定目标车辆的当前位置是否位于路口中心的位置或者路口末尾位置,只能通过最大处理时间和处理失效时间近似的确定c的值和d的值。
207.需要指出的是,通过gps确定的物体的位置信息不够精确,导致上述物体的位置信
息存在精确度上的误差。上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,存储模块102从m个采样周期内的采样图像中,剔除多余的采样图像,再根据跟车距离确定最终需要合成的n个采样图像,这样避免了部分多余的图像被合成,提高了图像合成的效率。
208.一种可能的实现方式中,如图14所示,车辆导航图像合成系统100还包括:引导模块106。引导模块106,用于:
209.根据目标图像以及行车信息,确定行驶辅助线。
210.将行驶辅助线添加至目标图像中。
211.需要说明的是,行驶辅助线可以包括以下至少一项:行驶边界线和行驶中心线。
212.一种可能的实现方式中,引导模块106可以根据目标图像中的行车规范线与目标车辆的行驶方向确定行车辅助线。
213.示例性的,图15(a)所示线#1的是目标车辆在直线方向上行驶时的行驶辅助线。图15(b)所示线#2的是目标车辆在当前行驶方向(即目标车辆左拐弯)时的行驶辅助线。
214.可选的,引导模块106还可以检测目标车辆的位置。当引导模块106检测到目标车辆的位置与行车辅助线之间的距离小于或等于边界阈值时,引导模块106还可以为驾驶员提供警告信息。上述警告信息可以包括以下至少一项:警报提示音、以及将行车辅助线标黑显示、以及将行车辅助线标记高亮闪烁后显示。如图15(b)所示,图15(b)中的一侧行车辅助线被标黑。
215.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,在目标图像合成之后,在目标图像中添加行车辅助线,这样可以为驾驶人员提供行车辅助,提高了用户的使用体验。
216.为了解决上述现有技术中存在的问题,本技术实施例提出了一种车辆导航图像合成方法,能够在不具备导航地图数据,或车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,确定整个路口的图像信息。
217.如图16所示,该方法包括:
218.s1601、车辆导航图像合成系统采集m个采样图像。
219.其中,m个采样图像包括用于建立基准坐标系的预设采样图像。m为正整数。
220.需要说明的是,关于预设采样图像可以参考上述相应位置的描述进行理解,此处不再赘述。
221.s1602、车辆导航图像合成系统存储n个采样图像。
222.其中,n为小于等于m的正整数。n的值根据目标车辆的速度、目标车辆的位置、以及跟车距离确定。
223.需要说明的是,车辆导航图像合成系统在采集到上述m个采样图像之后,需要对上述m个采样图像进行筛选,确定上述n个采样图像。
224.s1603、车辆导航图像合成系统确定n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标。
225.其中,第一坐标包括第一y坐标和第一x坐标,第一y坐标根据获取模块的参数和每个采样点在采样图像中的位置确定。第一x坐标根据采样图像的边界在中间坐标系中的投影确定。中间坐标系为根据目标车辆的当前位置和目标车辆的当前行驶方向建立的坐标
系。
226.需要说明的是,关于采样点的划分、中间坐标系可以参考上述相应位置的描述进行理解,此处不再赘述。
227.s1604、车辆导航图像合成系统将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
228.需要说明的是,关于目标图像的示例可以参考上述相应位置的描述进行理解,此处不再赘述。
229.上述技术方案至少带来以下有益效果:本技术提供的车辆导航图像合成方法,车辆导航图像合成系统先将n个采样图像中每个采样图像的多个采样点在采样图像中的坐标映射到每个采样图像对应的真实世界的坐标系(即中间坐标系)中,确定上述多个采样点的第一坐标,再将上述n个采样图像中每个采样图像的多个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,这样使得多个采样图像可以转化至同一坐标系(即基准坐标系)中。在同一坐标系中的多个采样图像可以直接叠加得到整个路口的图像(即目标图像)。由上述可知,本技术提供的车辆导航图像合成方法可以将n个残缺的图像(即被前车遮挡的图像)合成,确定整个路口的图像,因此,即使在不具备导航地图数据,或车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,车辆导航图像合成系统也可以确定整个路口的图像信息,使得车载系统可以基于该整个路口的图像信息,为用户提供可靠的驾驶辅助。
230.一种可能的实现方式中,结合图16,如图17所示,上述s1603中车辆导航图像合成系统确定采样点的第一y坐标的具体实现过程可以通过以下s1701至s1703确定。
231.s1701、车辆导航图像合成系统确定目标采样点,以及目标采样点所在的目标采样图像。
232.其中,目标采样点是目标采样图像的多个采样点中的任一个采样点。目标采样图像为多个采样图像中的任一个采样图像。
233.需要说明的是,关于采样图像的示例可以参考上述相应位置的描述进行理解,此处不再赘述。
234.s1702、车辆导航图像合成系统建立目标采样图像的图像坐标系,并确定目标采样点在图像坐标系中的第三坐标。
235.其中,图像坐标系的原点为目标采样图像的中心点。图像坐标系的x轴垂直于采样图像的左边界线或右边界线。图像坐标系的y轴垂直于采样图像的上边界线或下边界线。目标采样点在图像坐标系中的第三坐标包括:第三y坐标和第三x坐标。第三x坐标为目标采样点在图像坐标系的x轴上的坐标。第三y坐标为目标采样点在图像坐标系的y轴上的坐标。
236.需要说明的是,关于图像坐标系可以参考上述相应位置的描述进行理解,此处不再赘述。
237.s1703、车辆导航图像合成系统根据获取模块的参数,以及第三y坐标,确定第一y坐标。
238.其中,获取模块的参数包括:获取模块与地面的垂直距离、获取模块的采样角度、以及获取模块的焦距。获取模块的采样角度为获取模块的采集方向与垂直于地面的方向的夹角。
239.需要说明的是,第一y坐标满足上述公式1。关于公式1可以参考上述相应位置的描述进行理解,此处不再赘述。
240.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统在采样图像上确定图像坐标系,并确定目标采样点在该图像坐标系中的第三坐标,再根据第三坐标和获取模块的参数确定出目标采样点在中间坐标系的y坐标(即第一y坐标),这样可以将采样图像中的采样点的第三坐标转化为现实路口中的采样点的第一坐标,便于后续根据现实路口中的采样点的坐标将采样图像中的图像信息添加至为现实路口中的图像信息中。
241.一种可能的实现方式中,结合图16,如图18所示,上述s1603中车辆导航图像合成系统确定采样点的第一x坐标的具体实现过程可以通过以下s1801至s1803确定。
242.s1801、车辆导航图像合成系统建立中间坐标系。
243.其中,中间坐标系的原点为当前位置,中间坐标系的y轴的正方向为当前行驶方向,中间坐标系的x轴与地面平行。
244.s1802、车辆导航图像合成系统确定第一直线的斜率、第二直线的斜率、以及目标数量。
245.其中,第一直线为目标采样图像的左边界线投影在中间坐标系中得到的直线。第二直线为目标采样图像的右边界线投影在中间坐标系中得到的直线。目标数量为目标采样图像在图像坐标系的x轴上的采样点的数量。
246.s1803、车辆导航图像合成系统根据第一直线的斜率,第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标。
247.需要说明的是,关于s1801-s1803的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
248.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统确定车辆导航图像合成系统的采样边界线在中间坐标系的斜率和采样图像在图像坐标系的x轴上的采样点的数量,并根据第一直线的斜率、第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标,这样可以将采样图像中的采样点的第三坐标转化为现实路口中的采样点的第一坐标,便于后续根据现实路口中的采样点的坐标将采样图像中的图像信息添加至为现实路口中的图像信息中。
249.一种可能的实现方式中,结合图16,如图19所示,上述s1604的具体实现过程可以通过以下s1901至s1902确定。
250.s1901、车辆导航图像合成系统将每个采样点的第一坐标映射到角度还原坐标系中,确定每个采样点的第四坐标。
251.其中,角度还原坐标系为将中间坐标系旋转预设角度后得到的坐标系。
252.s1902、车辆导航图像合成系统将每个采样点的第三坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
253.需要说明的是,关于s1901-s1902的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
254.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统先将每个采样点的坐标均还原至其对应的中间坐标系中,确定
每个采样点的第四坐标,再将每个采样点的第四坐标映射到基准坐标系中,确定每个采样点的第二坐标,这样得到每个采样点的第二坐标是统一在一个坐标系中的,在该情况下,车辆导航图像合成系统可以根据每个采样点的第二坐标合成多个采样点,确定目标图像,这样确定的目标图像是不混乱的,更加接近真实的路口图像。
255.一种可能的实现方式中,结合图19,如图20所示,上述s1901的具体实现过程可以通过以下s2001至s2004确定。
256.s2001、车辆导航图像合成系统获取目标车辆的偏离角度。
257.其中,目标车辆的偏离角度为目标车辆的实际行驶方向与目标车辆的直线行驶方向的夹角。
258.s2002、车辆导航图像合成系统确定目标采样图像的预设角度。
259.其中,目标采样图像的预设角度根据在目标采样图像的采样周期内的目标车辆的偏离角度确定。
260.s2003、车辆导航图像合成系统将目标采样图像和中间坐标系顺时针旋转预设角度,确定角度还原后的目标采样图像和角度还原坐标系。
261.s2004、车辆导航图像合成系统确定角度还原后的目标采样图像中的目标采样点在还原坐标系的坐标为第四坐标。
262.需要说明的是,关于s2001-s2004的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
263.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统将目标采样图像和中间坐标系顺时针旋转预设角度,并确定角度还原后的目标采样图像的目标采样点在还原坐标系的坐标为第四坐标,这样避免了将不同角度的采样图像合成导致的目标图像的混乱。
264.一种可能的实现方式中,结合图20,如图21所示,上述s1902的具体实现过程可以通过以下s2101至s2103确定。
265.s2101、车辆导航图像合成系统建立基准坐标系。
266.其中,基准坐标系的原点为在预设采样图像的采样周期内,目标车辆的位置。基准坐标系的y轴的正方向为在预设采样图像的采样周期内,目标车辆的行驶方向。基准坐标系的x轴与地面平行。
267.s2102、车辆导航图像合成系统确定第一距离差和第二距离差。
268.其中,第一距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的x轴方向的距离差。第二距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的y轴方向的距离差。
269.s2103、车辆导航图像合成系统确定第二x坐标和第二y坐标。
270.其中,第二x坐标为第四坐标的第四x坐标与第一距离差之差。第二y坐标为第四坐标的第四y坐标与第二距离差之差。
271.需要说明的是,关于s2101-s2103的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
272.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统需要在每个采样点的第四坐标的基础上减去位移量,使得每个
采样点的坐标都在同一坐标系(即基准坐标系)中,这样避免了将同一位置的采样点确定为不同的采样点进行合成导致的目标图像的混乱。
273.需要说明的是,在车辆导航图像合成系统合成目标图像之后,可以确定上述目标图像中是否存在像素较低的区域。若上述目标图像中存在像素较低的区域,则车辆导航图像合成系统可以对上述目标图像进行优化。在s1604之后,车辆导航图像合成系统可以对上述目标图像进行优化的具体实现过程可以通过以下s2201至s2204确定。
274.s2201、车辆导航图像合成系统将目标区域划分为p个采样点,并确定p个采样点中每个采样点在基准坐标系的第五坐标。
275.其中,目标区域为像素值低于预设像素阈值的区域。p为正整数。
276.s2202、车辆导航图像合成系统根据第一采样点的第五坐标,从多个采样点中确定满足预设条件的采样点。
277.s2203、车辆导航图像合成系统根据满足预设条件的采样点的图像信息,确定第一采样点的图像信息。
278.s2204、车辆导航图像合成系统根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中。
279.需要说明的是,关于s2201-s2204的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
280.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统确定目标区域的采样点的第五坐标和预设条件,确定满足预设条件的采样点,再根据上述满足预设条件的采样点的图像信息确定上述目标区域的采样点的图像信息。车辆导航图像合成系统将根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中,这样进一步优化了目标图像,使得确定的目标图像能够更加接近实际路口图像。
281.一种可能的实现方式中,结合图16,如图23所示,上述s1602的具体实现过程可以通过以下s2301至s2303确定。
282.s2301、车辆导航图像合成系统采集m个采样周期内的跟车距离。
283.其中,一个采样周期与一个采样图像对应。
284.s2302、车辆导航图像合成系统根据m个采样周期内的跟车距离,确定l个采样图像。
285.其中,l为小于或等于m正整数。
286.s2303、车辆导航图像合成系统从l个采样图像中确定n个采样图像,并存储n个采样图像。
287.其中,n个采样图像中的每个采样图像对应的目标车辆的位置不同。
288.l个采样图像满足:
289.若第a至b个采样周期内的跟车距离均大于预设距离阈值,则l个采样图像包括:第1至b个采样周期内的采样图像。其中,a为正整数,b为大于a的正整数。a与b的差值大于或等于第一预设数量阈值。
290.若第1至c个采样周期内的跟车距离中,大于预设距离阈值的跟车距离的数量大于第二预设数量阈值,则l个采样图像包括:第1至c个采样周期内的采样图像。c的值根据最大
处理时间或者当前位置确定。c为大于1的正整数。
291.若强制合成开关为开启状态,则l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像。d的值根据处理失效时间或者当前位置确定。d为大于c的正整数。
292.需要说明的是,关于s2301-s2303的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
293.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成方法,车辆导航图像合成系统从m个采样周期内的采样图像中,剔除多余的采样图像,再根据跟车距离确定最终需要合成的n个采样图像,这样避免了部分多余的图像被合成,提高了图像合成的效率。
294.需要说明的是,在车辆导航图像合成系统确定了目标图像之后,车辆导航图像合成系统还可以在上述目标图像的基础上添加行车辅助线,以便于降低驾驶人员的行驶难度,提高了驾驶人员的驾驶体验。在s1604之后车辆导航图像合成系统在上述目标图像的基础上添加行车辅助线的具体实现过程可以通过以下s2401至s2402确定。
295.s2401、车辆导航图像合成系统根据目标图像以及行车信息,确定行驶辅助线。
296.s2402、车辆导航图像合成系统将行驶辅助线添加至目标图像中。
297.需要说明的是,关于s2401-s2402的描述可以参考上述相应位置的描述进行理解,此处不再赘述。
298.上述技术方案至少带来以下有益效果:本技术提供了一种车辆导航图像合成系统,在目标图像合成之后,在目标图像中添加行车辅助线,这样可以为驾驶人员提供行车辅助,提高了用户的使用体验。
299.可以理解的是,上述车辆导航图像合成方法可以由车辆导航图像合成装置实现。车辆导航图像合成装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本技术公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术公开实施例的范围。
300.本技术公开实施例可以根据上述方法示例生成的车辆导航图像合成装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本技术公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
301.图25为本发明实施例提供的一种车辆导航图像合成装置的结构示意图。如图25所示,车辆导航图像合成装置250可以用于执行图16-图24所示的车辆导航图像合成方法。该车辆导航图像合成装置250包括:通信单元2501和处理单元2502。
302.通信单元2501,用于采集m个采样图像;m个采样图像包括用于建立基准坐标系的预设采样图像;m为正整数。
303.处理单元2502,用于存储n个采样图像;n为小于等于m的正整数;n的值根据目标车
辆的速度、目标车辆的位置、以及跟车距离确定;确定n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标;第一坐标包括第一y坐标和第一x坐标,第一y坐标根据获取模块的参数和每个采样点在采样图像中的位置确定;第一x坐标根据采样图像的边界在中间坐标系中的投影确定;中间坐标系为根据目标车辆的当前位置和目标车辆的当前行驶方向建立的坐标系;将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
304.在一种可能的实现方式中,处理单元2502,具体用于:确定目标采样点,以及目标采样点所在的目标采样图像;目标采样点是目标采样图像的多个采样点中的任一个采样点;目标采样图像为多个采样图像中的任一个采样图像;建立目标采样图像的图像坐标系,并确定目标采样点在图像坐标系中的第三坐标;图像坐标系的原点为目标采样图像的中心点;图像坐标系的x轴垂直于采样图像的左边界线或右边界线;图像坐标系的y轴垂直于采样图像的上边界线或下边界线;目标采样点在图像坐标系中的第三坐标包括:第三y坐标和第三x坐标;第三x坐标为目标采样点在图像坐标系的x轴上的坐标;第三y坐标为目标采样点在图像坐标系的y轴上的坐标;根据获取模块的参数,以及第三y坐标,确定第一y坐标;获取模块的参数包括:获取模块与地面的垂直距离、获取模块的采样角度、以及获取模块的焦距;获取模块的采样角度为获取模块的采集方向与垂直于地面的方向的夹角。
305.在一种可能的实现方式中,处理单元2502,具体用于:建立中间坐标系;中间坐标系的原点为当前位置,中间坐标系的y轴的正方向为当前行驶方向,中间坐标系的x轴与地面平行;确定第一直线的斜率、第二直线的斜率、以及目标数量;第一直线为目标采样图像的左边界线投影在中间坐标系中得到的直线;第二直线为目标采样图像的右边界线投影在中间坐标系中得到的直线;目标数量为目标采样图像在图像坐标系的x轴上的采样点的数量;根据第一直线的斜率,第二直线的斜率,目标数量,第一y坐标,以及第三x坐标,确定第一x坐标。
306.在一种可能的实现方式中,处理单元2502,具体用于:将每个采样点的第一坐标映射到角度还原坐标系中,确定每个采样点的第四坐标;角度还原坐标系为将中间坐标系旋转预设角度后得到的坐标系;将每个采样点的第三坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。
307.在一种可能的实现方式中,处理单元2502,具体用于:获取目标车辆的偏离角度;目标车辆的偏离角度为目标车辆的实际行驶方向与目标车辆的直线行驶方向的夹角;确定目标采样图像的预设角度;目标采样图像的预设角度根据在目标采样图像的采样周期内的目标车辆的偏离角度确定;将目标采样图像和中间坐标系顺时针旋转预设角度,确定角度还原后的目标采样图像和角度还原坐标系;确定角度还原后的目标采样图像中的目标采样点在还原坐标系的坐标为第四坐标。
308.在一种可能的实现方式中,处理单元2502,具体用于:建立基准坐标系;基准坐标系的原点为在预设采样图像的采样周期内,目标车辆的位置;基准坐标系的y轴的正方向为在预设采样图像的采样周期内,目标车辆的行驶方向;基准坐标系的x轴与地面平行;确定第一距离差和第二距离差;第一距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的x轴方向的距离差;第二距离差为角度还原坐标系的原点与基准坐标系的原点之间在角度还原坐标系的y轴方向的距离差;确定第二x坐标和第二y坐标;第二x
坐标为第四坐标的第四x坐标与第一距离差之差;第二y坐标为第四坐标的第四y坐标与第二距离差之差。
309.在一种可能的实现方式中,处理单元2502,还用于:将目标区域划分为p个采样点,并确定p个采样点中每个采样点在基准坐标系的第五坐标;目标区域为像素值低于预设像素阈值的区域;p为正整数;根据第一采样点的第五坐标,从多个采样点中确定满足预设条件的采样点;根据满足预设条件的采样点的图像信息,确定第一采样点的图像信息;根据第一采样点的第五坐标将第一采样点的图像信息添加至目标图像中。
310.在一种可能的实现方式中,通信单元2501,还用于采集m个采样周期内的跟车距离;一个采样周期与一个采样图像对应;处理单元2502,还用于:根据m个采样周期内的跟车距离,确定l个采样图像;l为小于或等于m正整数;从l个采样图像中确定n个采样图像,并存储n个采样图像;n个采样图像中的每个采样图像对应的目标车辆的位置不同;其中,l个采样图像满足:若第a至b个采样周期内的跟车距离均大于预设距离阈值,则l个采样图像包括:第1至b个采样周期内的采样图像;其中,a为正整数,b为大于a的正整数;a与b的差值大于或等于第一预设数量阈值;若第1至c个采样周期内的跟车距离中,大于预设距离阈值的跟车距离的数量大于第二预设数量阈值,则l个采样图像包括:第1至c个采样周期内的采样图像;c的值根据最大处理时间或者当前位置确定;c为大于1的正整数;若强制合成开关为开启状态,则l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像;d的值根据处理失效时间或者当前位置确定;d为大于c的正整数。
311.在一种可能的实现方式中,处理单元2502,还用于:根据目标图像以及行车信息,确定行驶辅助线;将行驶辅助线添加至目标图像中。
312.在一种可能的实现方式中,第一y坐标满足以下公式:
313.y1=tan(arctan(y3/ob))+β)
×h314.y1为第一y坐标;y3为第三y坐标;ob为获取模块的焦距;β为获取模块的采样角度;h为获取模块与地面的垂直距离。
315.在一种可能的实现方式中,第一x坐标满足以下公式:
316.x1=x3×
(((y
1-f)/k)/j)
317.x1为第一x坐标;x3为第三x坐标;f为第一直线的斜率;k为第二直线的斜率;j为目标数量。
318.图26示出了上述实施例中所涉及的车辆导航图像合成装置的又一种可能的结构示意图。该车辆导航图像合成装置包括:通信接口2601和处理器2602。通信接口2601用于支持用户识别装置与其他网络实体的通信,例如,执行上述通信单元2501执行的步骤。处理器2602用于对用户识别装置的动作进行控制管理,例如,执行上述处理单元2502执行的步骤,和/或用于执行本文所描述的技术的其它过程。用户识别装置还可以包括存储器2603和总线2604,存储器2603用于存储用户识别装置的程序代码和数据。
319.其中,处理器2602可以是实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。该处理器可以是中央处理器,通用处理器,数字信号处理器,专用集成电路,现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微
处理器的组合等。
320.存储器2603可以是用户识别装置中的存储器等,该存储器可以包括易失性存储器,例如随机存取存储器;该存储器也可以包括非易失性存储器,例如只读存储器,快闪存储器,硬盘或固态硬盘;该存储器还可以包括上述种类的存储器的组合。
321.总线2604可以是扩展工业标准结构(extended industry standard architecture,eisa)总线等。总线2604可以分为地址总线、数据总线、控制总线等。为便于表示,图26中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
322.通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
323.本技术实施例提供一种包含指令的计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行上述方法实施例的车辆导航图像合成方法。
324.本技术实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当车辆导航图像合成系统执行该指令时,该车辆导航图像合成系统执行上述方法实施例所示的方法流程中计算设备执行的各个步骤。
325.其中,计算机可读存储介质,例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、可擦式可编程只读存储器(erasable programmable read only memory,eprom)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(compact disc read-only memory,cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(application specific integrated circuit,asic)中。在本技术实施例中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
326.以上,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何在本技术揭露的技术范围内的变化或替换,都应涵盖在本技术的保护范围之内。因此,本技术的保护范围应该以权利要求的保护范围为准。
技术特征:
1.一种车辆导航图像合成系统,其特征在于,包括:获取模块、存储模块、计算模块、以及合成模块;所述获取模块,用于采集m个采样图像;所述m个采样图像包括用于建立基准坐标系的预设采样图像;m为正整数;所述存储模块,用于存储n个采样图像;n为小于等于m的正整数;n的值根据目标车辆的速度、所述目标车辆的位置、以及跟车距离确定;所述计算模块,用于确定所述n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标;所述第一坐标包括第一y坐标和第一x坐标,所述第一y坐标根据所述获取模块的参数和所述每个采样点在采样图像中的位置确定;所述第一x坐标根据所述采样图像的边界在中间坐标系中的投影确定;所述中间坐标系为根据所述目标车辆的当前位置和所述目标车辆的当前行驶方向建立的坐标系;所述合成模块,用于将所述每个采样点的第一坐标映射到所述基准坐标系中,确定所述每个采样点的第二坐标,并根据所述每个采样点的第二坐标合成所述多个采样点,确定目标图像。2.根据权利要求1所述的系统,其特征在于,所述计算模块,具体用于:确定目标采样点,以及所述目标采样点所在的目标采样图像;所述目标采样点是所述目标采样图像的多个采样点中的任一个采样点;所述目标采样图像为所述多个采样图像中的任一个采样图像;建立所述目标采样图像的图像坐标系,并确定所述目标采样点在所述图像坐标系中的第三坐标;所述图像坐标系的原点为所述目标采样图像的中心点;所述图像坐标系的x轴垂直于所述采样图像的左边界线或右边界线;所述图像坐标系的y轴垂直于所述采样图像的上边界线或下边界线;所述目标采样点在所述图像坐标系中的第三坐标包括:第三y坐标和第三x坐标;第三x坐标为所述目标采样点在所述图像坐标系的x轴上的坐标;第三y坐标为所述目标采样点在所述图像坐标系的y轴上的坐标;根据所述获取模块的参数,以及所述第三y坐标,确定所述第一y坐标;所述获取模块的参数包括:所述获取模块与地面的垂直距离、所述获取模块的采样角度、以及所述获取模块的焦距;所述获取模块的采样角度为所述获取模块的采集方向与垂直于所述地面的方向的夹角。3.根据权利要求2所述的系统,其特征在于,所述计算模块,具体用于:建立所述中间坐标系;所述中间坐标系的原点为所述当前位置,所述中间坐标系的y轴的正方向为所述当前行驶方向,所述中间坐标系的x轴与所述地面平行;确定第一直线的斜率、第二直线的斜率、以及目标数量;所述第一直线为所述目标采样图像的左边界线投影在所述中间坐标系中得到的直线;所述第二直线为所述目标采样图像的右边界线投影在所述中间坐标系中得到的直线;所述目标数量为所述目标采样图像在所述图像坐标系的x轴上的采样点的数量;根据所述第一直线的斜率,所述第二直线的斜率,所述目标数量,所述第一y坐标,以及所述第三x坐标,确定所述第一x坐标。4.根据权利要求2或3所述的系统,其特征在于,所述合成模块,具体用于:将所述每个采样点的第一坐标映射到角度还原坐标系中,确定所述每个采样点的第四
坐标;所述角度还原坐标系为将所述中间坐标系旋转预设角度后得到的坐标系;将所述每个采样点的第三坐标映射到所述基准坐标系中,确定所述每个采样点的第二坐标,并根据所述每个采样点的第二坐标合成所述多个采样点,确定所述目标图像。5.根据权利要求4所述的系统,其特征在于,所述车辆导航图像合成系统还包括:传感器模块;所述传感器模块,用于获取目标车辆的偏离角度;所述目标车辆的偏离角度为所述目标车辆的实际行驶方向与所述目标车辆的直线行驶方向的夹角;所述合成模块,具体用于:确定所述目标采样图像的预设角度;所述目标采样图像的预设角度根据在所述目标采样图像的采样周期内的所述目标车辆的偏离角度确定;将所述目标采样图像和所述中间坐标系顺时针旋转所述预设角度,确定角度还原后的目标采样图像和所述角度还原坐标系;确定所述角度还原后的目标采样图像中的目标采样点在所述还原坐标系的坐标为所述第四坐标。6.根据权利要求5所述的系统,其特征在于,所述合成模块,具体用于:建立所述基准坐标系;所述基准坐标系的原点为在所述预设采样图像的采样周期内,所述目标车辆的位置;所述基准坐标系的y轴的正方向为在所述预设采样图像的采样周期内,所述目标车辆的行驶方向;所述基准坐标系的x轴与所述地面平行;确定第一距离差和第二距离差;所述第一距离差为所述角度还原坐标系的原点与所述基准坐标系的原点之间在所述角度还原坐标系的x轴方向的距离差;所述第二距离差为所述角度还原坐标系的原点与所述基准坐标系的原点之间在所述角度还原坐标系的y轴方向的距离差;确定所述第二x坐标和所述第二y坐标;所述第二x坐标为所述第四坐标的第四x坐标与所述第一距离差之差;所述第二y坐标为所述第四坐标的第四y坐标与所述第二距离差之差。7.根据权利要求4所述的系统,其特征在于,所述计算模块,还用于:将目标区域划分为p个采样点,并确定p个采样点中每个采样点在所述基准坐标系的第五坐标;所述目标区域为像素值低于预设像素阈值的区域;p为正整数;根据第一采样点的第五坐标,从所述多个采样点中确定满足预设条件的采样点;根据所述满足预设条件的采样点的图像信息,确定第一采样点的图像信息;所述合成模块,还用于根据所述第一采样点的第五坐标将所述第一采样点的图像信息添加至所述目标图像中。8.根据权利要求1-5任一项所述的系统,其特征在于,所述获取模块,还用于采集m个采样周期内的跟车距离;一个采样周期与一个采样图像对应;所述存储模块,具体用于:根据所述m个采样周期内的跟车距离,确定l个采样图像;l为小于或等于m正整数;从所述l个采样图像中确定所述n个采样图像,并存储所述n个采样图像;所述n个采样图像中的每个采样图像对应的目标车辆的位置不同;
其中,所述l个采样图像满足:若第a至b个采样周期内的跟车距离均大于预设距离阈值,则所述l个采样图像包括:第1至b个采样周期内的采样图像;其中,a为正整数,b为大于a的正整数;a与b的差值大于或等于第一预设数量阈值;若第1至c个采样周期内的跟车距离中,大于所述预设距离阈值的跟车距离的数量大于第二预设数量阈值,则所述l个采样图像包括:第1至c个采样周期内的采样图像;c的值根据最大处理时间或者所述当前位置确定;c为大于1的正整数;若强制合成开关为开启状态,则所述l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像;d的值根据处理失效时间或者所述当前位置确定;d为大于c的正整数。9.根据权利要求1所述的系统,其特征在于,所述车辆导航图像合成系统还包括:引导模块;所述引导模块,用于:根据所述目标图像以及行车信息,确定行驶辅助线;将所述行驶辅助线添加至所述目标图像中。10.根据权利要求2所述的系统,其特征在于,所述第一y坐标满足以下公式:y1=tan((arctan(y3/ob))+β))
×
hy1为所述第一y坐标;y3为所述第三y坐标;ob为所述获取模块的焦距;β为所述获取模块的采样角度;h为所述获取模块与所述地面的垂直距离。11.根据权利要求3所述的系统,其特征在于,所述第一x坐标满足以下公式:x1=x3×
(((y
1-f)/k)/j)x1为所述第一x坐标;x3为所述第三x坐标;f为所述第一直线的斜率;k为所述第二直线的斜率;j为所述目标数量。12.一种车辆导航图像合成方法,其特征在于,包括:采集m个采样图像;所述m个采样图像包括用于建立基准坐标系的预设采样图像;m为正整数;存储n个采样图像;n为小于等于m的正整数;n的值根据目标车辆的速度、所述目标车辆的位置、以及跟车距离确定;确定所述n个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标;所述第一坐标包括第一y坐标和第一x坐标,所述第一y坐标根据所述获取模块的参数和所述每个采样点在采样图像中的位置确定;所述第一x坐标根据所述采样图像的边界在中间坐标系中的投影确定;所述中间坐标系为根据所述目标车辆的当前位置和所述目标车辆的当前行驶方向建立的坐标系;将所述每个采样点的第一坐标映射到所述基准坐标系中,确定所述每个采样点的第二坐标,并根据所述每个采样点的第二坐标合成所述多个采样点,确定目标图像。13.根据权利要求12所述的方法,其特征在于,所述确定每个采样点的第一y坐标,包括:确定目标采样点,以及所述目标采样点所在的目标采样图像;所述目标采样点是所述目标采样图像的多个采样点中的任一个采样点;所述目标采样图像为所述多个采样图像中的任一个采样图像;
建立所述目标采样图像的图像坐标系,并确定所述目标采样点在所述图像坐标系中的第三坐标;所述图像坐标系的原点为所述目标采样图像的中心点;所述图像坐标系的x轴垂直于所述采样图像的左边界线或右边界线;所述图像坐标系的y轴垂直于所述采样图像的上边界线或下边界线;所述目标采样点在所述图像坐标系中的第三坐标包括:第三y坐标和第三x坐标;第三x坐标为所述目标采样点在所述图像坐标系的x轴上的坐标;第三y坐标为所述目标采样点在所述图像坐标系的y轴上的坐标;根据所述获取模块的参数,以及所述第三y坐标,确定所述第一y坐标;所述获取模块的参数包括:所述获取模块与地面的垂直距离、所述获取模块的采样角度、以及所述获取模块的焦距;所述获取模块的采样角度为所述获取模块的采集方向与垂直于所述地面的方向的夹角。14.根据权利要求13所述的方法,其特征在于,所述确定每个采样点的第一x坐标,包括:建立所述中间坐标系;所述中间坐标系的原点为所述当前位置,所述中间坐标系的y轴的正方向为所述当前行驶方向,所述中间坐标系的x轴与所述地面平行;确定第一直线的斜率、第二直线的斜率、以及目标数量;所述第一直线为所述目标采样图像的左边界线投影在所述中间坐标系中得到的直线;所述第二直线为所述目标采样图像的右边界线投影在所述中间坐标系中得到的直线;所述目标数量为所述目标采样图像在所述图像坐标系的x轴上的采样点的数量;根据所述第一直线的斜率,所述第二直线的斜率,所述目标数量,所述第一y坐标,以及所述第三x坐标,确定所述第一x坐标。15.根据权利要求13或14所述的方法,其特征在于,所述将所述每个采样点的第一坐标映射到所述基准坐标系中,确定所述每个采样点的第二坐标,并根据所述每个采样点的第二坐标合成所述多个采样点,确定目标图像,包括:将所述每个采样点的第一坐标映射到角度还原坐标系中,确定所述每个采样点的第四坐标;所述角度还原坐标系为将所述中间坐标系旋转预设角度后得到的坐标系;将所述每个采样点的第三坐标映射到所述基准坐标系中,确定所述每个采样点的第二坐标,并根据所述每个采样点的第二坐标合成所述多个采样点,确定所述目标图像。16.根据权利要求15所述的方法,其特征在于,所述将所述每个采样点的第一坐标映射到角度还原坐标系中,确定所述每个采样点的第四坐标,包括:获取目标车辆的偏离角度;所述目标车辆的偏离角度为所述目标车辆的实际行驶方向与所述目标车辆的直线行驶方向的夹角;确定所述目标采样图像的预设角度;所述目标采样图像的预设角度根据在所述目标采样图像的采样周期内的所述目标车辆的偏离角度确定;将所述目标采样图像和所述中间坐标系顺时针旋转所述预设角度,确定角度还原后的目标采样图像和所述角度还原坐标系;确定所述角度还原后的目标采样图像中的目标采样点在所述还原坐标系的坐标为所述第四坐标。17.根据权利要求16所述的方法,其特征在于,所述将所述每个采样点的第三坐标映射到所述基准坐标系中,确定所述每个采样点的第二坐标,包括:
建立所述基准坐标系;所述基准坐标系的原点为在所述预设采样图像的采样周期内,所述目标车辆的位置;所述基准坐标系的y轴的正方向为在所述预设采样图像的采样周期内,所述目标车辆的行驶方向;所述基准坐标系的x轴与所述地面平行;确定第一距离差和第二距离差;所述第一距离差为所述角度还原坐标系的原点与所述基准坐标系的原点之间在所述角度还原坐标系的x轴方向的距离差;所述第二距离差为所述角度还原坐标系的原点与所述基准坐标系的原点之间在所述角度还原坐标系的y轴方向的距离差;确定所述第二x坐标和所述第二y坐标;所述第二x坐标为所述第四坐标的第四x坐标与所述第一距离差之差;所述第二y坐标为所述第四坐标的第四y坐标与所述第二距离差之差。18.根据权利要求15所述的方法,其特征在于,在所述根据所述每个采样点的第二坐标合成所述多个采样点,确定所述目标图像之后,所述方法还包括:将目标区域划分为p个采样点,并确定p个采样点中每个采样点在所述基准坐标系的第五坐标;所述目标区域为像素值低于预设像素阈值的区域;p为正整数;根据第一采样点的第五坐标,从所述多个采样点中确定满足预设条件的采样点;根据所述满足预设条件的采样点的图像信息,确定第一采样点的图像信息;根据所述第一采样点的第五坐标将所述第一采样点的图像信息添加至所述目标图像中。19.根据权利要求12-16任一项所述的方法,其特征在于,所述存储n个采样图像,包括:采集m个采样周期内的跟车距离;一个采样周期与一个采样图像对应;根据所述m个采样周期内的跟车距离,确定l个采样图像;l为小于或等于m正整数;从所述l个采样图像中确定所述n个采样图像,并存储所述n个采样图像;所述n个采样图像中的每个采样图像对应的目标车辆的位置不同;其中,所述l个采样图像满足:若第a至b个采样周期内的跟车距离均大于预设距离阈值,则所述l个采样图像包括:第1至b个采样周期内的采样图像;其中,a为正整数,b为大于a的正整数;a与b的差值大于或等于第一预设数量阈值;若第1至c个采样周期内的跟车距离中,大于所述预设距离阈值的跟车距离的数量大于第二预设数量阈值,则所述l个采样图像包括:第1至c个采样周期内的采样图像;c的值根据最大处理时间或者所述当前位置确定;c为大于1的正整数;若强制合成开关为开启状态,则所述l个采样图像包括:第1至c个采样周期内的采样图像,或者第1至d个采样周期内的采样图像;d的值根据处理失效时间或者所述当前位置确定;d为大于c的正整数。20.根据权利要求12-16任一项所述的方法,其特征在于,在根据所述每个采样点的第二坐标合成所述多个采样点,确定目标图像之后,所述方法还包括:根据所述目标图像以及行车信息,确定行驶辅助线;将所述行驶辅助线添加至所述目标图像中。21.根据权利要求13所述的方法,其特征在于,所述第一y坐标满足以下公式:y1=tan(arctan(y3/ob))+β)
×
h
y1为所述第一y坐标;y3为所述第三y坐标;ob为所述获取模块的焦距;β为所述获取模块的采样角度;h为所述获取模块与所述地面的垂直距离。22.根据权利要求14所述的方法,其特征在于,所述第一x坐标满足以下公式:x1=x3×
(((y
1-f)/k)/j)x1为所述第一x坐标;x3为所述第三x坐标;f为所述第一直线的斜率;k为所述第二直线的斜率;j为所述目标数量。23.一种车辆导航图像合成装置,其特征在于,包括:处理器和通信接口;所述通信接口和所述处理器耦合,所述处理器用于运行计算机程序或指令,以实现如权利要求12-22任一项中所述的车载导航图像合成方法。24.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当计算机执行该指令时,该计算机执行上述权利要求12-22任一项中所述的车辆导航图像合成方法。
技术总结
本申请提供一种车辆导航图像合成系统、方法、装置及存储介质,涉及通信技术领域,能够在不具备导航地图数据,或车载摄像头无法一次性的采集到的整个路口的图像信息的情况下,确定整个路口的图像信息。该系统包括:获取模块,用于采集M个采样图像;存储模块,用于存储N个采样图像;N的值根据目标车辆的速度、目标车辆的位置、以及跟车距离确定;计算模块,用于确定N个采样图像中每个采样图像的多个采样点,并确定每个采样点的第一坐标;合成模块,用于将每个采样点的第一坐标映射到基准坐标系中,确定每个采样点的第二坐标,并根据每个采样点的第二坐标合成多个采样点,确定目标图像。本申请实施例用于车辆导航图像合成过程中。实施例用于车辆导航图像合成过程中。实施例用于车辆导航图像合成过程中。
技术研发人员:杨鹏飞 苏清扬 洪土堆
受保护的技术使用者:佛吉亚歌乐电子(厦门)有限公司
技术研发日:2022.03.11
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/