一种视觉导航避障系统及方法与流程

1.本发明涉及计算机视觉技术领域，具体为一种视觉导航避障系统及方法。


背景技术：

2.视觉导航避障系统是一种基于计算机视觉技术的机器人导航和避障的系统，能让机器人通过视觉图像对周围环境进行感知，实现位姿定位，障碍物点云数据获取。系统利用摄像头、imu等传感器数据进行位置和姿态融合。
3.视觉导航避障系统具有低成本、低重量、低功耗等优势，广泛应用于无人机、移动机器人、vr等领域，目前行业中视觉导航避障相关方案普遍采用国外芯片和器件，自主全国产化方案还是空白，而国产化自主可控在国防军工、航空航天具有重要意义。
4.由于系统对实时性要求较高，需要同时进行前端处理和后端优化算法，因此对处理器性能要求较高，也是国产化发展的一个瓶颈。目前市面上性能较好的国产arm处理器为rk3588,但无法满足系统实时性需求。


技术实现要素：

5.为解决上述问题，本发明提供一种视觉导航避障系统，包括调试板、核心板、功能底板、双目相机及惯性运动单元；其中，所述核心板上存在处理器a、处理器b两块处理器；所述调试板与核心板之间通过一个高密插件连接，核心板与功能底板之间通过两个高密插件连接；所述双目相机与惯性运动单元均通过数据接口与功能底板相连接。
6.进一步地，所述处理器a与处理器b之间存在两种板级互联：pcie3.0互联、phy互联。
7.进一步地，所述调试板上存在网络接口、串口接口、按键接口、led接口。
8.进一步地，所述功能底板上存在相机接口、惯性运动单元接口、电源接口、网络数据接口、串口数据接口、usb接口。
9.进一步地，所述处理器a用于视觉前端处理；所述处理器b用于进行定位导航后端优化。
10.进一步地，所述电源接口连接10v~17v的电源。
11.一种视觉导航避障方法，包括以下步骤：s1.系统在功能底板上接收到双目相机图像和惯性运动单元数据后传入核心板上的处理器a中，将视频帧和惯性运动单元数据帧打上时间戳；s2.双目相机图像数据进行时间戳同步后，通过前端算法生成深度点云数据和图像特征点数据；s3.将生成的深度点云数据和图像特征点数据传入处理器b的后端算法中，通过后端算法处理后生成视觉里程定位数据和占据栅格地图，并输出。
12.进一步地，所述s2步骤包括以下子步骤：s21.通过前端算法进行基线矫正与双目立体匹配；s22.通过三角测量生成深度点云数据；s23.根据双目相机图像进行特征点识别和帧间匹配。
13.进一步地，所述s3骤包括以下子步骤：s31.使用图像特征点数据和惯性运动单元
数据进行vi里程计算和非线性优化；s32.通过滑动窗口和边缘化算法输出视觉里程定位数据；s33.根据视觉里程定位数据和深度点云数据生成占据栅格地图。
14.本发明的有益效果包括：（1）本发明通过串行两块处理器进行算法计算，将视觉前端处理与后端算法分离，以满足系统实时性需求，并实现核心处理器件完全国产化。
15.（2）本发明两块处理器之间数据交互方式使用pcie3.0和phy两种互联方式并通过展频芯片进行pcie时钟同步。 pcie3.0方式用于保证数据的高速性和实时性传输，phy方式可用于实现性要求较低的数据传输，让出宝贵的总线资源。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
17.图1为本发明提供的一种视觉导航避障系统及方法的系统结构示意图；图2为本发明提供的一种视觉导航避障系统及方法的方法流程图。
具体实施方式
18.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.以下结合附图对本发明的实施方法进行详细说明，所描述的仅为部分实施例，并非全部实施例，为了清楚的目的，在附图及说明中省略了与本发明无关的表示及描述。
20.为了对本发明的技术特征、目的和有益效果有更加清楚的理解，现对本发明的技术方案精选以下详细说明。显然，所描述的实施案例是本发明一部分实施例，而不是全部实施例，不能理解为对本发明可实施范围的限定。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的其他所有实施例，都属于本发明的保护范围。
21.如图1所示，本发明提供一种视觉导航避障系统，包括调试板、核心板、功能底板、双目相机及惯性运动单元；其中，所述核心板上存在处理器a、处理器b两块处理器；所述调试板与核心板之间通过一个高密插件连接，核心板与功能底板之间通过两个高密插件连接；所述双目相机与惯性运动单元均通过数据接口与功能底板相连接。
22.其中，处理器a与处理器b之间存在两种板级互联：pcie3.0互联、phy互联。
23.pcie3.0互联：pci-express（简称pcie）是一种高速串行计算机拓展总线标准，属于高速串行点对点双通道高带宽传输，本发明采用pcie3.0规范的2个lane连接rk3588-a和rk3588-b，两片rk3588互为数据发送端和数据接收端，每个lane包含两组差分信号，共4根信号线组成。其中发送端的tx部件与接收端的rx部件使用一组差分信号连接，该链路也被称为发送端的发送链路，也是接收端的接收链路；而发送端的rx部件与接收端的tx部件使用另一组差分信号连接，该链路也被称为发送端的接收链路，也是接收端的发送链路。与单端信号相比，差分信号抗干扰的能力更强，能有效抑制电磁干扰，提高总线频率。pcie3.0总线规范的总线频率最高为4ghz，单lane的峰值带宽为8gt/s；x2的pcie链路可以提供16gt/s的链路带宽，可以大幅降低数据在传输过程造成的延迟。
24.pcie总线物理链路间的数据传送使用基于时钟的同步传送机制，本发明采用展频芯片实现两片rk3588的pcie接口的时钟为同源时钟。
25.phy互联：phy用于数据量大，实时性要求不高的数据传输，可让出宝贵的系统总线资源。rgmii是常见的以太网mac和phy之间的通信接口。rgmii可很大程度地减少引脚的使用，设计上物理层芯片采用rtl8211进行数据传输。
26.调试板上存在网络接口、串口接口、按键接口、led接口。核心板与调试板之间通过一个高密80pin接插件连接，通过调试板向核心板烧录软件并确认系统正常后，只需在设备上安装核心板、接口板及相关外设即可，调试板是无需安装在设备上的，这减轻了系统的重量，使得结构更为精简。
27.功能底板上存在相机接口、imu接口、电源接口、网络数据接口、串口数据接口、usb接口。核心板与功能底板之间通过两个高密80pin接插件连接，功能底板接收10v~17v电源，在功能底板上完成电源的防护、滤波、转化后给核心板供电。
28.核心板上采用2片rk3588处理器，分别为rk3588-a和rk3588-b。rk3588-a用于视觉前端处理，将两路视频数据和imu数据打上时间戳， 将两路视频图像进行双目立体匹配、点云输出、特征点生成、帧间匹配等算法。rk3588-b主要进行定位导航后端优化算法，在获取到rk3588-a前端输出结果后进行vi里程计算、非线性优化、边缘化、障碍物地图输出等。
29.一种视觉导航避障方法，如图2所示，包括以下步骤：s1.系统在功能底板上接收到双目相机图像和imu数据后传入核心板上的处理器a中，将视频帧和imu数据帧打上时间戳；s2.双目相机图像数据进行时间戳同步后，通过前端算法生成深度点云数据和图像特征点数据；s3.将生成的深度点云数据和图像特征点数据传入处理器b的后端算法中，通过后端算法处理后生成视觉里程定位数据和占据栅格地图，并输出。
30.其中， s2步骤包括以下子步骤：s21.通过前端算法进行基线矫正与双目立体匹配；s22.通过三角测量生成深度点云数据；s23.根据双目相机图像进行特征点识别和帧间匹配。
31.s3骤包括以下子步骤：s31.使用图像特征点数据和imu数据进行vi里程计算和非线性优化；s32.通过滑动窗口和边缘化算法输出视觉里程定位数据；s33.根据视觉里程定位数据和深度点云数据生成占据栅格地图。
32.本发明通过串行两块处理器进行算法计算，将视觉前端处理与后端算法分离，以满足系统实时性需求，并实现核心处理器件完全国产化。两块处理器之间数据交互方式使用pcie3.0和phy两种互联方式并通过展频芯片进行pcie时钟同步。 pcie3.0方式用于保证数据的高速性和实时性传输，phy方式可用于实现性要求较低的数据传输，让出宝贵的总线资源。
33.以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

技术特征：
1.一种视觉导航避障系统，其特征在于，包括调试板、核心板、功能底板、双目相机及惯性运动单元；其中，所述核心板上存在处理器a、处理器b两块处理器；所述调试板与核心板之间通过一个高密插件连接，核心板与功能底板之间通过两个高密插件连接；所述双目相机与惯性运动单元均通过数据接口与功能底板相连接。2.根据权利要求1所述的一种视觉导航避障系统，其特征在于，所述处理器a与处理器b之间存在两种板级互联：pcie3.0互联、phy互联。3.根据权利要求1所述的一种视觉导航避障系统，其特征在于，所述调试板上存在网络接口、串口接口、按键接口、led接口。4.根据权利要求1所述的一种视觉导航避障系统，其特征在于，所述功能底板上存在相机接口、惯性运动单元接口、电源接口、网络数据接口、串口数据接口、usb接口。5.根据权利要求1所述的一种视觉导航避障系统，其特征在于，所述处理器a用于视觉前端处理；所述处理器b用于进行定位导航后端优化。6.根据权利要求4所述的一种视觉导航避障系统，其特征在于，所述电源接口连接10v~17v的电源。7.一种视觉导航避障方法，基于权利要求1-6任一项所述的一种视觉导航避障系统，其特征在于，包括以下步骤：s1.系统在功能底板上接收到双目相机图像和惯性运动单元数据后传入核心板上的处理器a中，将视频帧和惯性运动单元数据帧打上时间戳；s2.双目相机图像数据进行时间戳同步后，通过前端算法生成深度点云数据和图像特征点数据；s3.将生成的深度点云数据和图像特征点数据传入处理器b的后端算法中，通过后端算法处理后生成视觉里程定位数据和占据栅格地图，并输出。8.根据权利要求7所述的一种视觉导航避障方法，其特征在于，所述s2步骤包括以下子步骤：s21.通过前端算法进行基线矫正与双目立体匹配；s22.通过三角测量生成深度点云数据；s23.根据双目相机图像进行特征点识别和帧间匹配。9.根据权利要求7所述的一种视觉导航避障方法，其特征在于，所述s3骤包括以下子步骤：s31.使用图像特征点数据和惯性运动单元数据进行vi里程计算和非线性优化；s32.通过滑动窗口和边缘化算法输出视觉里程定位数据；s33.根据视觉里程定位数据和深度点云数据生成占据栅格地图。

技术总结
本发明公开了一种视觉导航避障系统及方法。系统包括调试板、核心板、功能底板、双目相机及惯性运动单元；其中，核心板上存在处理器A、处理器B两块处理器。方法包括以下步骤：S1.接收到双目相机图像和惯性运动单元数据后传入核心板上的处理器A中，将视频帧和惯性运动单元数据帧打上时间戳；S2.进行时间戳同步后通过前端算法生成深度点云数据和图像特征点数据；S3.将生成的深度点云数据和图像特征点数据通过后端算法处理后生成视觉里程定位数据和占据栅格地图，并输出。本发明通过采用两块处理器进行流水线作业，同时保质数据和时钟同步，提升系统处理能力。提升系统处理能力。提升系统处理能力。


技术研发人员：杨文军 郭正华 汤厚弈 袁李 郭祥
受保护的技术使用者：成都国翼电子技术有限公司
技术研发日：2023.06.20
技术公布日：2023/9/7