汽车A柱盲区显示系统和方法

汽车a柱盲区显示系统和方法
技术领域
1.本发明涉及汽车技术领域，尤其涉及一种汽车a柱盲区显示系统和方法。


背景技术：

2.汽车a柱是指汽车左前方和右前方连接车顶和前舱的连接柱，在发动机舱和驾驶舱之间，左右后视镜的上方。在车辆行驶过程中，a柱会或多或少的遮挡驾驶员的视线，在转弯过程中a柱对视线的影响更大，从而造成视野盲区，a柱造成的盲区是造成交通事故的原因之一。
3.目前，为了避免汽车在弯道行驶时由于a柱盲区产生交通安全事故，主要通过v2x(vehicle to everything，车对外界的信息交换)来实现实时获取车外信息。然而，由于管理不便、技术有限等问题，v2x还无法普及。另外，现有的a柱盲区显示装置虽然能够显示车外的信息，但是无法将显示内容与外界景色完全融合。
4.因此，现有技术中消除汽车a柱盲区对汽车行驶过程中的干扰时，存在无法将显示内容与外界景色完全融合的问题。


技术实现要素：

5.有鉴于此，有必要提供一种汽车a柱盲区显示系统和方法，用以解决现有技术中在消除汽车a柱盲区对汽车行驶过程中的干扰时，存在的无法将显示内容与外界景色完全融合的问题。
6.为了解决上述问题，本发明提供一种汽车a柱盲区显示系统，包括：
7.车内双目相机，用于获取车内驾驶员正面图像；
8.车外摄像机，用于获取车外图像；
9.数据处理模块，分别与车内双目相机和车外摄像机信号连接；用于根据车内驾驶员正面图像确定驾驶员的人眼定位，并根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像；
10.a柱显示屏，与数据处理模块信号连接，用于显示车内a柱盲区图像。
11.为了解决上述问题，本发明提供一种汽车a柱盲区显示方法，包括：
12.基于车内双目相机，获取车内驾驶员正面图像；
13.基于车外摄像机，获取车外图像；
14.基于数据处理模块，根据车内驾驶员正面图像确定驾驶员的人眼定位，并根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像；
15.基于a柱显示屏，显示车内a柱盲区图像。
16.进一步地，基于车内双目相机，获取车内驾驶员正面图像，包括：
17.对车内双目相机进行标定，确定第一目相机和第二目相机的双目相对位置关系；
18.车内双目相机拍摄，得到车内驾驶员正面图像；
19.其中，车内驾驶员正面图像包括第一车内驾驶员正面图像和第二车内驾驶员正面
图像，第一车内驾驶员正面图像是基于第一目相机拍摄得到，第二车内驾驶员正面图像是基于第二目相机拍摄得到，且第一目相机和第二目相机的焦距相同。
20.进一步地，根据车内驾驶员正面图像确定驾驶员的人眼定位，包括：
21.根据双目相对位置关系，对车内双目相机进行校正变换，构建理想型双目测距模型；
22.基于理想型双目测距模型，根据颜色空间转换函数，对第一车内驾驶员正面图像和第二车内驾驶员正面图像进行立体匹配，确定第一人眼二维坐标和第二人眼二维坐标；
23.基于理想型双目测距模型，确定第一目相机和第二目相机的视差；
24.根据第一人眼二维坐标、第二人眼二维坐标和视差，通过物体距离双目相机的计算公式，确定人眼定位。
25.进一步地，物体距离双目相机的计算公式为：
[0026][0027]
其中，z为人眼到相机的距离，b为第一目相机和第二目相机的基线长度，xc为人眼在第一车内驾驶员正面图像的列坐标，xr为人眼在第二车内驾驶员正面图像的列坐标，f为第一目相机和第二目相机的焦距，d为视差。
[0028]
进一步地，根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像，包括：
[0029]
获取a柱显示屏的第一中心点坐标和边界点坐标，其中，边界点至少包括三个；
[0030]
根据人眼定位、第一中心点坐标和边界点坐标，分别确定人眼与第一中心点坐标的第一距离，人眼与边界点的第二距离，以及第一中心点坐标与边界点坐标的第三距离；
[0031]
根据第一距离、第二距离和第三距离，确定人眼与边界点的第一角度；
[0032]
根据第一角度和车外图像，通过广角透视变换技术，确定车外图像中的截取点，其中，截取点分别与边界点一一对应；
[0033]
根据截取点对车外图像进行截取，确定车内a柱盲区图像。
[0034]
进一步地，根据第一距离、第二距离和第三距离，确定人眼与边界点的第一角度，包括：
[0035]
根据第一距离、第二距离和第三距离，通过角度转换公式，确定人眼与边界点的第一角度；
[0036]
角度转换公式的计算公式为：
[0037][0038]
其中，θ为第一角度，d
eyes
为第一距离，d
hy
为第二距离，da为第三距离。
[0039]
进一步地，根据第一角度和车外图像，通过广角透视变换技术，确定车外图像中的截取点，包括：
[0040]
获取车外摄像机的拍摄广角和车外图像的第二中心点；
[0041]
根据拍摄广角、第一角度和第二中心点，通过角度与长度的比例的计算公式，确定边界点坐标在车外图像中对应的截取点。
[0042]
进一步地，角度与长度的比例的计算公式为：
[0043][0044]
其中，θ为第一角度，w为拍摄广角，d为视差，o为第二中心点，a’为截取点。
[0045]
进一步地，截取点至少包括三个；基于a柱显示屏，显示车内a柱盲区图像，包括：
[0046]
将截取点与边界点进行位置对应，在a柱显示屏上显示车内a柱盲区图像。
[0047]
采用上述实施例的有益效果是：本发明提供一种汽车a柱盲区显示系统和方法，通过车内双目相机实时获取车内驾驶员正面图像，并由数据处理模块对车内驾驶员正面图像进行人眼识别定位，从而实现实时获取人眼的位置；通过车外摄像机实时获取车外图像，并由数据处理模块结合广角透视变换技术，基于人眼定位对车外图像进行适应性截取和调整，能够获取到车外图像被a柱遮挡的车内a柱盲区图像，由a柱显示屏实时显示车内a柱盲区图像，能够实现车内a柱盲区图像与外界景色完全融合。
附图说明
[0048]
图1为本发明提供的汽车a柱盲区显示系统一实施例的结构框图；
[0049]
图2为本发明提供的汽车a柱盲区显示方法一实施例的流程示意图；
[0050]
图3为本发明提供的确定驾驶员的人眼定位一实施例的流程示意图；
[0051]
图4为本发明提供的非理想型双目测距模型一实施例的结果示意图；
[0052]
图5为本发明提供的理想型双目测距模型一实施例的结果示意图；
[0053]
图6为本发明提供的确定车内a柱盲区图像一实施例的流程示意图；
[0054]
图7为本发明提供的边界点a相关数据一实施例的结果示意图；
[0055]
图8为本发明提供的透视变换一实施例的结果示意图。
具体实施方式
[0056]
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
[0057]
在陈述实施例之前，先对a柱进行阐述：
[0058]
a柱(a-pillar，汽车a柱)是指汽车左前方和右前方连接车顶和前舱的连接柱，在发动机舱和驾驶舱之间，左右后视镜的上方。在车辆行驶过程中，a柱会或多或少的遮挡驾驶员的视线，在转弯过程中a柱对视线的影响更大，从而造成视野盲区，a柱造成的盲区是造成交通事故的原因之一。
[0059]
目前，为了避免汽车在弯道行驶时由于a柱盲区产生交通安全事故，主要通过v2x(vehicle to everything，车对外界的信息交换)来实现实时获取车外信息。然而，由于管理不便、技术有限等问题，v2x还无法普及。另外，现有的a柱盲区显示装置虽然能够显示车外的信息，但是无法将显示内容与外界景色完全融合。
[0060]
因此，现有技术中消除汽车a柱盲区对汽车行驶过程中的干扰时，存在无法将显示内容与外界景色完全融合的问题。
[0061]
为了解决上述问题，本发明提供了一种汽车a柱盲区显示系统和方法，以下分别进行详细说明。
[0062]
如图1所示，图1为本发明提供的汽车a柱盲区显示系统一实施例的结构框图，汽车
a柱盲区显示系统100包括：
[0063]
车内双目相机101，用于获取车内驾驶员正面图像；
[0064]
车外摄像机102，用于获取车外图像；
[0065]
数据处理模块103，分别与车内双目相机101和车外摄像机102信号连接；用于根据车内驾驶员正面图像确定驾驶员的人眼定位，并根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像；
[0066]
a柱显示屏104，与数据处理模块103信号连接，用于显示车内a柱盲区图像。
[0067]
本实施例中，首先，车内双目相机101获取车内驾驶员正面图像，车外摄像机102获取车外图像；然后，数据处理模块103分别与车内双目相机101和车外摄像机102信号连接，先根据车内驾驶员正面图像确定驾驶员的人眼定位，后根据车内驾驶员正面图像确定驾驶员的人眼定位，并根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像；最后，a柱显示屏104与数据处理模块103信号连接，实时显示车内a柱盲区图像。
[0068]
本实施例中，通过车内双目相机101实时获取车内驾驶员正面图像，并由数据处理模块103对车内驾驶员正面图像进行人眼识别定位，从而实现实时获取人眼的位置；通过车外摄像机102实时获取车外图像，并由数据处理模块103结合广角透视变换技术，基于人眼定位对车外图像进行适应性截取和调整，能够获取到车外图像被a柱遮挡的车内a柱盲区图像，由a柱显示屏104实时显示车内a柱盲区图像，能够实现车内a柱盲区图像与外界景色完全融合。
[0069]
作为优选的实施例，车内双目相机101设置在汽车座位的侧上方，且靠近方向盘的一侧，能够实时获取到车内驾驶员的正面图像，尤其是眼睛的部分。
[0070]
作为优选的实施例，车外摄像机102设置在汽车的前车窗玻璃的边缘，且靠近驾驶员座位的一侧。
[0071]
在其他实施例中，还可以将车外摄像机102设置在a柱的外侧；还可以根据实际需要将车外摄像机102设置在其他位置。
[0072]
作为优选的实施例，数据处理模块103还与外部信号连接，能将人眼定位实时地转化至世界坐标系中，即，能够实时地获取人眼在世界坐标系中唯一的位置，从而便于后续的数据处理。
[0073]
作为优选的实施例，a柱显示屏104设置于汽车内部的a柱上，且a柱显示屏104的顶点与a柱在汽车内部的顶点一一对应重合，实现a柱显示屏104完全覆盖汽车内部的a柱。
[0074]
为了解决上述问题，本发明还提供一种汽车a柱盲区显示方法，如图2所示，图2为本发明提供的汽车a柱盲区显示方法一实施例的流程示意图，包括：
[0075]
步骤s101：基于车内双目相机，获取车内驾驶员正面图像；
[0076]
步骤s102：基于车外摄像机，获取车外图像；
[0077]
步骤s103：基于数据处理模块，根据车内驾驶员正面图像确定驾驶员的人眼定位，并根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像；
[0078]
步骤s104：基于a柱显示屏，显示车内a柱盲区图像。
[0079]
本实施例中，首先，基于车内双目相机，获取车内驾驶员正面图像，基于车外摄像机，获取车外图像；然后，基于数据处理模块，根据车内驾驶员正面图像确定驾驶员的人眼定位，并根据人眼定位和车外图像，结合广角透视变换技术，确定车内a柱盲区图像；最后，
基于a柱显示屏，显示车内a柱盲区图像。
[0080]
本实施例中，通过车内双目相机实时获取车内驾驶员正面图像，并由数据处理模块对车内驾驶员正面图像进行人眼识别定位，从而实现实时获取人眼的位置；通过车外摄像机实时获取车外图像，并由数据处理模块结合广角透视变换技术，基于人眼定位对车外图像进行适应性截取和调整，能够获取到车外图像被a柱遮挡的车内a柱盲区图像，由a柱显示屏实时显示车内a柱盲区图像，能够实现车内a柱盲区图像与外界景色完全融合。
[0081]
作为优选的实施例，在步骤s101中，由于车内双目相机有两个摄像头，因此，车内驾驶员正面图像包括第一车内驾驶员正面图像和第二车内驾驶员正面图像，其中，第一目相机拍摄得到第一车内驾驶员正面图像，第二目相机拍摄得到第二车内驾驶员正面图像。
[0082]
为了提高获取到的第一车内驾驶员正面图像和第二车内驾驶员正面图像的可靠性，需要对车内双目相机进行标定，确定第一目相机和第二目相机的双目相对位置关系；然后，在根据标定后的车内双目相机获取车内驾驶员正面图像。
[0083]
需要说明的是，在对车内双目相机进行标定的过程中，还获取到了第一目相机和第二目相机的内参数、外参数和畸变系数。
[0084]
其中，内参数包括相机的fx、fy、cx、cy；外参数包括第一目相机相对于第二目相机的旋转矩阵和平移向量；畸变系数包括径向畸变系数(k1，k2，k3)和切向畸变系数(p1，p2)。
[0085]
作为优选的实施例，在步骤s102中，在获取到车外图像后，为了改善图像的质量，通过灰度变换法使图像能够显示更多的细节，提高图像的对比度。其中，灰度变化的方法包括线性灰度变换与非线性灰度变换。
[0086]
在一具体实施例中，选择灰度非线性变换中的对数变换与幂律变换，其中，对数变换的公式为
：
[0087]
f(x)＝c*log(1+g(x))
[0088]
其中，c是伸缩系数，f(x)为输入的图像，g(x)为经过对数变换的输出图像。
[0089]
幂律变换可以校正图像，对漂白的图片或过黑的图片进行修正，增强对比度。幂律变换的基本表达式为：
[0090]
y＝cxr+b
[0091]
其中c、r均为正数。
[0092]
与对数变换相同，幂律变换将部分灰度区域映射到更宽的区域中。
[0093]
进一步地，由于成像系统等的不完善，数字图像在其形成、传输记录过程中往往会受到多种噪声的污染，这些噪声在图像上常表现为孤立像素点，影响图片质量。因此，采用均值滤波法，对待处理的当前像素点(x，y)，选择一个由近邻的若干像素组成的模板，求模板中所有像素的均值，再把该均值赋予当前像素点(x，y)，作为处理后图像在该点上的灰度g(x,y)，即g(x,y)＝∑f(x,y)/mm为该模板中包含当前像素在内的像素总个数。
[0094]
通过对图像进行平滑处理，在尽量保留图像细节特征的条件下对目标图像的噪声进行抑制，使图像变得平滑、锐化、边界增强。使得图像轮廓更加清晰。
[0095]
作为优选的实施例，在步骤s103中，为了确定驾驶员的人眼定位，如图3所示，图3为本发明提供的确定驾驶员的人眼定位一实施例的流程示意图，包括：
[0096]
步骤s131：根据双目相对位置关系，对车内双目相机进行校正变换，构建理想型双目测距模型；
[0097]
步骤s132：基于理想型双目测距模型，根据颜色空间转换函数，对第一车内驾驶员正面图像和第二车内驾驶员正面图像进行立体匹配，确定第一人眼二维坐标和第二人眼二维坐标；
[0098]
步骤s133：基于理想型双目测距模型，确定第一目相机和第二目相机的视差；
[0099]
步骤s134：根据第一人眼二维坐标、第二人眼二维坐标和视差，通过物体距离双目相机的计算公式，确定人眼定位。
[0100]
本实施例中，首先，根据双目相对位置关系，对车内双目相机进行校正变换，得到理想型双目测距模型；其次，基于理想型双目测距模型，根据颜色空间转换函数，对第一车内驾驶员正面图像和第二车内驾驶员正面图像进行立体匹配，确定第一人眼二维坐标和第二人眼二维坐标；然后，基于理想型双目测距模型，确定第一目相机和第二目相机的视差；最后，根据第一人眼二维坐标、第二人眼二维坐标和视差，通过物体距离双目相机的计算公式，确定人眼定位。
[0101]
本实施例中，通过对第一车内驾驶员正面图像和第二车内驾驶员正面图像进行校正变换，使得两个成像平面平行于基线且同一个点在左右两幅图中位于同一行，实现构建理想型双目测距模型，以便于应用三角原理计算距离。
[0102]
需要说明的是，一般情况下，第一目相机和第二目相机的光心不在同一水平线上，这被称为非理想型双目测距模型，不利于后续的视差计算和距离计算，其中，非理想型双目测距模型如图4所示，图4为本发明提供的非理想型双目测距模型一实施例的结果示意图。
[0103]
作为优选的实施例，在步骤s131中，为了实现双目测距的精度，需要对双目相机进行校正变换，使两个成像平面平行于基线且同一个点在左右两幅图中位于同一行；在校正变换后，左右两个成像平面位于同一水平面，如图5所示，图5为本发明提供的理想型双目测距模型一实施例的结果示意图。
[0104]
其中，c1，c2为左右两相机的光心，p为目标物体，f为相机焦距，b为相机基线，x
l
为物体p在第一目相机成像平面上的点的列坐标，xr为物体p在第二目相机成像平面上的点的列坐标，d为两个对应点的视差，z为目标物体点p到双目相机的距离。
[0105]
作为优选的实施例，在步骤s132中，为了确定第一人眼二维坐标和第二人眼二维坐标，使用dlib库的get_frontal_face_detector()函数分别检测第一车内驾驶员正面图像和第二车内驾驶员正面图像中的人脸，进而确定第一目相机和第二目相机中人眼的二维坐标，即，第一人眼二维坐标和第二人眼二维坐标。
[0106]
作为优选的实施例，在步骤s133中，根据公式计算出第一目相机和第二目相机中的人眼坐标的视差：
[0107]
d＝disparity＝x
l-xr。
[0108]
视差是指当我们从两个不同的位置观察同一个物体时，物体在视野中的位置将会发生变化和差异，这种差异被称为视差。
[0109]
作为优选的实施例，在步骤s134中，为了确定人眼定位，需要通过物体距离双目相机的计算公式进行计算，物体距离双目相机的计算公式为：
[0110][0111]
其中，z为人眼到相机的距离，b为第一目相机和第二目相机的基线长度，xc为人眼
在第一车内驾驶员正面图像的列坐标，xr为人眼在第二车内驾驶员正面图像的列坐标，f为第一目相机和第二目相机的焦距，d为视差。
[0112]
在确定人眼定位后，为了提高精度并降低视差图噪声，我们采用wls(weighted least squares)方法对其进行滤波处理。视差图滤波可以将稀疏视差转换为稠密视差，从而改善视差图的视觉效果。然后，在对视差图进行滤波处理后，我们使用opencv库中的stereorectify()函数计算像素深度。该函数返回一个重投影矩阵q，它是一个4x4的视差图到深度图的映射矩阵。接着，我们再使用q矩阵和opencv库中的reprojectimageto3d()函数，将像素坐标转换为三维坐标。该函数将返回一个3通道的矩阵，其中分别存储了x、y、z坐标(以左摄像机坐标系为基准)。最后，我们通过简单的三维数学计算，得出左右眼距离双目相机的距离，从而获得了其精确的世界三维坐标。
[0113]
作为优选的实施例，在确定人眼定位后，还需要确定车内a柱盲区图像，如图6所示，图6为本发明提供的确定车内a柱盲区图像一实施例的流程示意图，包括：
[0114]
步骤s231：获取a柱显示屏的第一中心点坐标和边界点坐标，其中，边界点至少包括三个；
[0115]
步骤s232：根据人眼定位、第一中心点坐标和边界点坐标，分别确定人眼与第一中心点坐标的第一距离，人眼与边界点的第二距离，以及第一中心点坐标与边界点坐标的第三距离；
[0116]
步骤s233：根据第一距离、第二距离和第三距离，确定人眼与边界点的第一角度；
[0117]
步骤s234：根据第一角度和车外图像，通过广角透视变换技术，确定车外图像中的截取点，其中，截取点分别与边界点一一对应；
[0118]
步骤s235：根据截取点对车外图像进行截取，确定车内a柱盲区图像。
[0119]
本实施例中，首先，获取a柱显示屏的第一中心点坐标和边界点坐标，其中，边界点至少包括三个；其次，根据人眼定位、第一中心点坐标和边界点坐标，分别确定人眼与第一中心点坐标的第一距离，人眼与边界点的第二距离，以及第一中心点坐标与边界点坐标的第三距离，并根据第一距离、第二距离和第三距离，确定人眼与边界点的第一角度；然后，根据第一角度和车外图像，通过广角透视变换技术，确定车外图像中的截取点，其中，截取点分别与边界点一一对应；最后，根据截取点对车外图像进行截取，确定车内a柱盲区图像。
[0120]
本实施例中，通过对人眼定位和a柱显示屏上的点进行数据分析，实现人眼与a柱显示屏之间的视角，从而对应确定车外图像中需要的部分，通过角度转换和图像截取，确定车内a柱盲区图像，有效地将人眼与a柱显示屏和车外图像联系起来，以便于确定最终需要的车内a柱盲区图像。
[0121]
作为优选的实施例，在步骤s231中，为了在减少数据处理的复杂度，同时还能保证图像处理的精度，考虑到矩形是简单的几何形状，易于处理和计算，且能够有效地覆盖a柱盲区的区域，因此使用矩形进行裁剪变形，选取四个边界点。
[0122]
在一具体实施例中，a柱显示屏的长为18cm，宽为4cm。
[0123]
根据数据处理模块中的定位功能，实时获取a柱显示屏的第一中心点坐标和四个边界点的坐标。
[0124]
作为优选的实施例，在步骤s232中，在确定人眼定位的基础上，结合第一中心点坐标和四个边界点的坐标，通过距离测算，能够分别确定人眼与第一中心点坐标的第一距离，
人眼与边界点的第二距离，以及第一中心点坐标与边界点坐标的第三距离。
[0125]
进一步地，在步骤s233中，为了确定人眼与边界点的第一角度，通过角度转换公式进行确定，角度转换公式的计算公式为：
[0126][0127]
其中，θ为第一角度，d
eyes
为第一距离，d
hy
为第二距离，da为第三距离。
[0128]
在一具体实施例中，为了清楚地显示各个数据之间的关系，以边界点a为例，如图7所示，图7为本发明提供的边界点a相关数据一实施例的结果示意图。
[0129]
其中，点e为人眼，d
eyes
为第一距离，dh为第二距离，da为第三距离，o为a柱显示屏的中心点，o'为车外图像的中心点，a为a柱的边界点，a'为边界点a进行映射过后在车外图像上的对应点，θ为第一角度。
[0130]
根据上述方式，能够确定其他三个边界点在车外图像上的对应点。
[0131]
作为优选的实施例，在步骤s234中，为了确定车外图像中的截取点，首先，获取车外摄像机的拍摄广角和车外图像的第二中心点；然后，根据拍摄广角、第一角度和第二中心点，通过角度与长度的比例的计算公式，确定边界点坐标在车外图像中对应的截取点。
[0132]
其中，角度与长度的比例的计算公式为：
[0133][0134]
其中，θ为第一角度，w为拍摄广角，d为视差，o为第二中心点，a’为截取点。
[0135]
在一具体实施例中，调用opencv的getperspectivetransform()函数，传入四个对应点的坐标的数组和a柱显示屏的参数，进行透视变换，得到车内a柱盲区图像。如图8所示，图8为本发明提供的透视变换一实施例的结果示意图。
[0136]
其中，o是人眼位置，a'b'c'd'是a柱显示屏，abcd是车外图像中被a柱挡住的部分。
[0137]
作为优选的实施例，在步骤s105中，为了显示车内a柱盲区图像，将截取点与边界点进行位置对应，在a柱显示屏上显示车内a柱盲区图像。
[0138]
通过上述方式，通过车内双目相机实时获取车内驾驶员正面图像，并由数据处理模块对车内驾驶员正面图像进行人眼识别定位，从而实现实时获取人眼的位置；通过车外摄像机实时获取车外图像，并由数据处理模块结合广角透视变换技术，基于人眼定位对车外图像进行适应性截取和调整，能够获取到车外图像被a柱遮挡的车内a柱盲区图像，由a柱显示屏实时显示车内a柱盲区图像，能够实现车内a柱盲区图像与外界景色完全融合。
[0139]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直
接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0140]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种汽车a柱盲区显示系统，其特征在于，包括：车内双目相机，用于获取车内驾驶员正面图像；车外摄像机，用于获取车外图像；数据处理模块，分别与所述车内双目相机和所述车外摄像机信号连接；用于根据所述车内驾驶员正面图像确定驾驶员的人眼定位，并根据所述人眼定位和所述车外图像，结合广角透视变换技术，确定车内a柱盲区图像；a柱显示屏，与所述数据处理模块信号连接，用于显示所述车内a柱盲区图像。2.一种汽车a柱盲区显示方法，其特征在于，所述方法应用于权利要求1所述的汽车a柱盲区显示系统，所述方法包括：基于车内双目相机，获取车内驾驶员正面图像；基于车外摄像机，获取车外图像；基于数据处理模块，根据所述车内驾驶员正面图像确定驾驶员的人眼定位，并根据所述人眼定位和所述车外图像，结合广角透视变换技术，确定车内a柱盲区图像；基于a柱显示屏，显示所述车内a柱盲区图像。3.根据权利要求2所述的汽车a柱盲区显示方法，其特征在于，所述基于车内双目相机，获取车内驾驶员正面图像，包括：对所述车内双目相机进行标定，确定第一目相机和第二目相机的双目相对位置关系；所述车内双目相机拍摄，得到所述车内驾驶员正面图像；其中，所述车内驾驶员正面图像包括第一车内驾驶员正面图像和第二车内驾驶员正面图像，所述第一车内驾驶员正面图像是基于所述第一目相机拍摄得到，所述第二车内驾驶员正面图像是基于所述第二目相机拍摄得到，且所述第一目相机和所述第二目相机的焦距相同。4.根据权利要求3所述的汽车a柱盲区显示方法，其特征在于，所述根据所述车内驾驶员正面图像确定驾驶员的人眼定位，包括：根据所述双目相对位置关系，对所述车内双目相机进行校正变换，构建理想型双目测距模型；基于所述理想型双目测距模型，根据颜色空间转换函数，对所述第一车内驾驶员正面图像和所述第二车内驾驶员正面图像进行立体匹配，确定第一人眼二维坐标和第二人眼二维坐标；基于所述理想型双目测距模型，确定所述第一目相机和所述第二目相机的视差；根据所述第一人眼二维坐标、所述第二人眼二维坐标和所述视差，通过物体距离双目相机的计算公式，确定所述人眼定位。5.根据权利要求4所述的汽车a柱盲区显示方法，其特征在于，所述物体距离双目相机的计算公式为：其中，z为人眼到相机的距离，b为所述第一目相机和所述第二目相机的基线长度，x
c
为人眼在所述第一车内驾驶员正面图像的列坐标，x
r
为人眼在所述第二车内驾驶员正面图像的列坐标，f为所述第一目相机和所述第二目相机的焦距，d为所述视差。
6.根据权利要求2所述的汽车a柱盲区显示方法，其特征在于，所述根据所述人眼定位和所述车外图像，结合广角透视变换技术，确定车内a柱盲区图像，包括：获取所述a柱显示屏的第一中心点坐标和边界点坐标，其中，边界点至少包括三个；根据所述人眼定位、所述第一中心点坐标和所述边界点坐标，分别确定人眼与所述第一中心点坐标的第一距离，人眼与所述边界点的第二距离，以及所述第一中心点坐标与所述边界点坐标的第三距离；根据所述第一距离、所述第二距离和所述第三距离，确定人眼与所述边界点的第一角度；根据所述第一角度和所述车外图像，通过广角透视变换技术，确定所述车外图像中的截取点，其中，所述截取点分别与所述边界点一一对应；根据所述截取点对所述车外图像进行截取，确定车内a柱盲区图像。7.根据权利要求6所述的汽车a柱盲区显示方法，其特征在于，所述根据所述第一距离、所述第二距离和所述第三距离，确定人眼与所述边界点的第一角度，包括：根据所述第一距离、所述第二距离和所述第三距离，通过角度转换公式，确定人眼与所述边界点的第一角度；所述角度转换公式的计算公式为：其中，θ为所述第一角度，d
eyes
为所述第一距离，d
hy
为所述第二距离，d
a
为所述第三距离。8.根据权利要求6所述的汽车a柱盲区显示方法，其特征在于，所述根据所述第一角度和所述车外图像，通过广角透视变换技术，确定所述车外图像中的截取点，包括：获取所述车外摄像机的拍摄广角和所述车外图像的第二中心点；根据所述拍摄广角、所述第一角度和所述第二中心点，通过角度与长度的比例的计算公式，确定所述边界点坐标在所述车外图像中对应的截取点。9.根据权利要求8所述的汽车a柱盲区显示方法，其特征在于，所述角度与长度的比例的计算公式为：其中，θ为所述第一角度，w为所述拍摄广角，d为所述视差，o为所述第二中心点，a’为所述截取点。10.根据权利要求6所述的汽车a柱盲区显示方法，其特征在于，所述截取点至少包括三个；基于a柱显示屏，显示所述车内a柱盲区图像，包括：将所述截取点与所述边界点进行位置对应，在所述a柱显示屏上显示所述车内a柱盲区图像。

技术总结
本申请公开了一种汽车A柱盲区显示系统和方法，通过车内双目相机实时获取车内驾驶员正面图像，并由数据处理模块对车内驾驶员正面图像进行人眼识别定位，从而实现实时获取人眼的位置；通过车外摄像机实时获取车外图像，并由数据处理模块结合广角透视变换技术，基于人眼定位对车外图像进行适应性截取和调整，能够获取到车外图像被A柱遮挡的车内A柱盲区图像，由A柱显示屏实时显示车内A柱盲区图像，能够实现车内A柱盲区图像与外界景色完全融合。车内A柱盲区图像与外界景色完全融合。车内A柱盲区图像与外界景色完全融合。


技术研发人员：陈志军 刘梓仪 刘姗栩 卢睿仪 邵逸宾 郁梓涵 叶子璇 谢欣然 宁思琪 李英 胡军楠 王朝伟
受保护的技术使用者：武汉理工大学
技术研发日：2023.04.03
技术公布日：2023/6/28