一种基于深度学习目标检测算法的抬头显示方法及装置

1.本发明涉及图像处理技术领域，具体而言，涉及基于深度学习目标检测算法的抬头显示方法及装置。


背景技术：

2.抬头显示系统(head up display)在近些年被用到汽车上进行辅助驾驶。它主要是利用了光学反射的原理，将汽车的一些重要的参数信息(如速度、油箱油量、导航信息、胎压信息等)投射在汽车前挡风玻璃，由前挡风玻璃将这些信息反射到司机眼中，司机透过前挡风玻璃看到漂浮在汽车引擎盖上方的虚像，司机无需低头即可查看汽车运行时的一些重要的参数信息。抬头显示技术中的ar-hud利用了增强现实技术，将虚拟信息和现实路况实时信息进行叠加，更利于驾驶员读取参数信息。
3.传统目标检测算法的运算速度慢，计算结果错误率高等问题，因此，因此，现有技术还存在缺陷，而有待于改进和发展。


技术实现要素：

4.本发明实施例提供了一种基于深度学习目标检测算法的抬头显示方法及装置，以至少解决现有目标检测算法运算速度慢，计算结果错误率高的问题。
5.根据本发明的一实施例，提供了一种基于深度学习目标检测算法的抬头显示方法，包括以下步骤：
6.基于深度学习算法对采集的图像进行目标识别；
7.将图像中识别出的特征物进行标出；
8.将标出的特征物图像在车辆前挡风玻璃上进行显示。
9.进一步地，在基于深度学习算法对采集的图像进行目标识别之前还包括：
10.采集待识别的图像。
11.进一步地，基于深度学习算法对采集的图像进行目标识别具体包括：
12.判断采集的图像中是否存在特征物；
13.若存在特征物，则确定图像中特征物的位置。
14.进一步地，深度学习算法采用one-stage目标检测算法。
15.进一步地，one-stage目标检测算法中选择采用yolo算法。
16.进一步地，yolo算法包括：
17.卷积层，卷积层采用google inceptionv1网络，进行特征物提取；
18.目标检测层，目标检测层过四个卷积层和两个全连接层，然后生成并输出多个包围盒；
19.nms筛选层，筛选层对多个包围盒进行筛选，过滤掉分数低于阈值的包围盒，对剩下的包围盒进行nms非极大值抑制，去除掉重叠度比较高的包围盒，最终得到最合适的若干个包围盒。
20.一种基于深度学习目标检测算法的抬头显示装置，包括：
21.目标识别模块，用于基于深度学习算法对采集的图像进行目标识别；
22.标记模块，用于将图像中识别出的特征物进行标出；
23.显示模块，将标出的特征物图像进行显示。
24.进一步地，目标识别模块包括：
25.判断单元，用于判断采集的图像中是否存在特征物；
26.定位单元，若存在特征物，则确定图像中特征物的位置。
27.一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序可被一个或多个处理器执行，以实现如权利要求1-6任意一项的基于深度学习目标检测算法的抬头显示方法中的步骤。
28.一种终端设备，包括：处理器、存储器及通信总线；存储器上存储有可被处理器执行的计算机可读程序；
29.通信总线实现处理器和存储器之间的连接通信；
30.处理器执行计算机可读程序时实现权利要求1-6任意一项的基于深度学习目标检测算法的抬头显示方法中的步骤。
31.本发明实施例中的基于深度学习目标检测算法的抬头显示方法及装置，方法包括：基于深度学习算法对采集的图像进行目标识别；将图像中识别出的特征物进行标出；将标出的特征物图像进行显示。将基于深度学习算法的目标识别技术与抬头显示技术相结合，从而增强ar-hud在实际当中的应用，使得本技术提出的方法相对于传统的目标检测算法速度更快效果更好，更便于实现。
附图说明
32.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
33.图1为本发明基于深度学习目标检测算法的抬头显示方法的流程图；
34.图2为本发明基于深度学习目标检测算法的抬头显示装置的原理图；
35.图3为本发明基于深度学习目标检测算法的抬头显示方法的yolo的网络结构图；
36.图4为本发明基于深度学习目标检测算法的抬头显示方法的yolo算法示意图；
37.图5为本发明基于深度学习目标检测算法的抬头显示方法的yolo算法输入图；
38.图6为基于深度学习目标检测算法的抬头显示方法的yolo算法输出图；
39.图7为本发明提供的终端设备原理图。
具体实施方式
40.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
41.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第
二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
42.根据本发明一实施例，提供了一种基于深度学习目标检测算法的抬头显示方法，参见图1，包括以下步骤：
43.s101：基于深度学习算法对采集的图像进行目标识别；
44.s102：将图像中识别出的特征物进行标出；
45.s103：将标出的特征物图像在车辆前挡风玻璃上进行显示。
46.本发明实施例中的基于深度学习目标检测算法的抬头显示方法，方法包括：基于深度学习算法对采集的图像进行目标识别；将图像中识别出的特征物进行标出；将标出的特征物图像进行显示。将基于深度学习算法的目标识别技术与抬头显示技术相结合，从而增强ar-hud在实际当中的应用，使得本技术提出的方法相对于传统的目标检测算法速度更快效果更好，更便于实现。
47.具体地，本技术抬头显示与基于深度学习进行目标识别相结合的技术。具体来说，首先利用车载前视摄像头采集图像，利用基于深度学习算法进行目标识别，然后将所采集到的图像中的人或者车等物体用方框框出。最后，经抬头显示系统，将方框框出的图像显示到汽车前挡风玻璃上。
48.图像显示到汽车前挡风玻璃的参数信息包括速度、油箱油量、导航信息、胎压信息等信息，这些信息由前挡风玻璃将反射到司机眼中，司机透过前挡风玻璃看到漂浮在汽车引擎盖上方的虚像，司机无需低头即可查看汽车运行时的参数信息。
49.实施例中，在基于深度学习算法对采集的图像进行目标识别之前还包括：
50.采集待识别的图像。本技术利用车载前视摄像头采集图像。
51.实施例中，基于深度学习算法对采集的图像进行目标识别具体包括：
52.判断采集的图像中是否存在特征物；
53.若存在特征物，则确定图像中特征物的位置。
54.具体地，目标检测任务可分为两个关键的子任务：目标分类和目标定位。
55.目标分类任务负责判断输入图像或所选择图像区域中是否有感兴趣类别的物体出现，输出一系列带分数的标签表明感兴趣类别的物体出现在输入图像或所选择图像区域中的可能性。
56.目标定位任务负责确定输入图像或所选择图像区域中感兴趣类别的物体的位置和范围，输出物体的包围盒、或物体中心、或物体的闭合边界等，通常使用方形包围盒，即bounding box用来表示物体的位置信息。
57.实施例中，深度学习算法采用one-stage目标检测算法。
58.具体地，目前基于深度学习模型的目标检测算法主要大概可以分成两大类别：
59.(1)one-stage目标检测算法，这类检测算法可以通过一个stage直接产生物体的类别概率和位置坐标值，比较典型的算法有yolo；
60.(2)two-stage目标检测算法，这类检测算法将检测问题划分为两个阶段，第一个阶段首先产生候选区域，包含目标大概的位置信息，然后第二个阶段对候选区域进行分类和位置精修，这类算法的典型代表有r-cnn，fast r-cnn，faster r-cnn等。
61.目标检测模型的主要性能指标是检测准确度和速度，其中准确度主要考虑物体的定位以及分类准确度。一般情况下，two-stage算法在准确度上有优势，而one-stage算法在速度上有优势。
62.本技术采用one-stage算法，one-stage目标检测算法可以在一个stage直接产生物体的类别概率和位置坐标值，相比于two-stage的目标检测算法，整体流程较为简单。在测试的时候输入图片通过cnn网络产生输出，解码后处理生成对应检测框即可；在训练的时候则需要将编码成cnn输出对应的格式以便计算对应损失。
63.实施例中，one-stage目标检测算法中的代表为yolo(you only look once)，本技术选择采用yolo算法。针对于two-stage目标检测算法普遍存在的运算速度慢的缺点，yolo创造性的提出了one-stage。也就是将物体分类和物体定位在一个步骤中完成。yolo直接在输出层回归bounding box的位置和bounding box所属类别，从而实现one-stage。通过这种方式，yolo可实现45帧每秒的运算速度，完全能满足实时性要求。
64.实施例中，如图3至图6所示，yolo主要分为三个部分：卷积层，目标检测层，nms筛选层。
65.卷积层：采用google inceptionv1网络，对应到第一个阶段，共20层。这一层主要是进行特征提取，从而提高模型泛化能力，是用一个1x1的卷积，并联一个3x3的卷积。
66.目标检测层：先经过四个卷积层和两个全连接层，最后生成7x7x30的bounding box输出。先经过4个卷积层的目的是为了提高模型泛化能力。yolo将一副448x448的原图分割成了7x7个网格，每个网格要预测两个bounding box的坐标和box内包含物体的置信度，以及物体属于20类别中每一类的概率。所以一个网格对应的参数为(4x2+2+20)＝30。
67.nms筛选层：筛选层是为了在多个结果中(多个bounding box)筛选出最合适的几个，先过滤掉分数低于阈值的bounding box，对剩下的bounding box进行nms非极大值抑制，去除掉重叠度比较高的box。这样就得到了最终的最合适的几个bounding box和他们的类别。
68.yolo算法的优点：
69.(1)yolo很快，因为用回归的方法，并且不用复杂的框架。
70.(2)yolo会基于整张图片信息进行预测，而其他滑窗式的检测框架，只能基于局部图片信息进行推理。
71.(3)yolo学到的图片特征更为通用。
72.本技术对于ar-hud(head up display，平视显示系统)系统而言，目标检测是十分重要的，车辆在进行行驶时，有辅助的目标识别，可更有效的给与车辆以及驾驶者信息，避免一些事故的发生，而本技术提出的方法相对于传统的目标检测算法速度更快效果更好，更便于实现，克服了传统目标检测算法处理速度慢的缺点。
73.根据本发明一实施例，提供了一种基于深度学习目标检测算法的抬头显示装置，参见图2，包括：
74.目标识别模块100，用于基于深度学习算法对采集的图像进行目标识别；
75.标记模块200，用于将图像中识别出的特征物进行标出；
76.显示模块300，将标出的特征物图像进行显示。
77.本发明实施例中的基于深度学习目标检测算法的抬头显示装置，装置包括：目标识别模块100，用于基于深度学习算法对采集的图像进行目标识别；标记模块200，用于将图像中识别出的特征物进行标出；显示模块300，将标出的特征物图像进行显示。将基于深度学习算法的目标识别技术与抬头显示技术相结合，从而增强ar-hud在实际当中的应用，使得本技术提出的方法相对于传统的目标检测算法速度更快效果更好，更便于实现。
78.实施例中，目标识别模块包括：
79.判断单元，用于判断采集的图像中是否存在特征物；
80.定位单元，若存在特征物，则确定图像中特征物的位置。
81.具体地，目标检测任务可分为两个关键的子任务：目标分类和目标定位。特征物的判断和定位，在上述方法实施例中，已详细阐述，此处不再赘述。
82.基于上述基于深度学习目标检测算法的抬头显示方法，本实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例的自定义地图风格的制图方法中的步骤。
83.基于上述基于深度学习目标检测算法的抬头显示方法，本技术还提供一种终端设备，如图7所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的基于深度学习目标检测算法的抬头显示方法。
84.此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
85.存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
86.存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。
87.此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
88.此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
89.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种基于深度学习目标检测算法的抬头显示方法，其特征在于，包括以下步骤：基于所述深度学习算法对采集的图像进行目标识别；将所述图像中识别出的特征物进行标出；将标出的所述特征物图像在车辆前挡风玻璃上进行显示。2.根据权利要求1所述的基于深度学习目标检测算法的抬头显示方法，其特征在于，在所述基于所述深度学习算法对采集的图像进行目标识别之前还包括：采集待识别的图像。3.根据权利要求1所述的基于深度学习目标检测算法的抬头显示方法，其特征在于，所述基于所述深度学习算法对采集的图像进行目标识别具体包括：判断采集的所述图像中是否存在特征物；若存在所述特征物，则确定所述图像中特征物的位置。4.根据权利要求1所述的基于深度学习目标检测算法的抬头显示方法，其特征在于，所述深度学习算法采用one-stage目标检测算法。5.根据权利要求4所述的基于深度学习目标检测算法的抬头显示方法，其特征在于，所述one-stage目标检测算法中选择采用yolo算法。6.根据权利要求5所述的基于深度学习目标检测算法的抬头显示方法，其特征在于，所述yolo算法包括：卷积层，所述卷积层采用google inceptionv1网络，进行所述特征物提取；目标检测层，所述目标检测层过四个卷积层和两个全连接层，然后生成并输出多个包围盒；nms筛选层，所述筛选层对多个所述包围盒进行筛选，过滤掉分数低于阈值的包围盒，对剩下的包围盒进行nms非极大值抑制，去除掉重叠度比较高的包围盒，最终得到最合适的若干个包围盒。7.一种基于深度学习目标检测算法的抬头显示装置，其特征在于，包括：目标识别模块，用于基于所述深度学习算法对采集的图像进行目标识别；标记模块，用于将所述图像中识别出的特征物进行标出；显示模块，将标出的所述特征物图像进行显示。8.根据权利要求7所述的基于深度学习目标检测算法的抬头显示装置，其特征在于，所述目标识别模块包括：判断单元，用于判断采集的所述图像中是否存在特征物；定位单元，若存在所述特征物，则确定所述图像中特征物的位置。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序可被一个或多个处理器执行，以实现如权利要求1-6任意一项所述的基于深度学习目标检测算法的抬头显示方法中的步骤。10.一种终端设备，其特征在于，包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现权利要求1-6任意一项所述的基于深度学习目标检测算法的抬头显示方法中的步骤。

技术总结
本发明涉及图像处理技术领域，具体涉及一种基于深度学习目标检测算法的抬头显示方法及装置，方法包括：基于深度学习算法对采集的图像进行目标识别；将图像中识别出的特征物进行标出；将标出的特征物图像进行显示。将基于深度学习算法的目标识别技术与抬头显示技术相结合，从而增强AR-HUD在实际当中的应用，使得本申请提出的方法相对于传统的目标检测算法速度更快效果更好，更便于实现。更便于实现。更便于实现。


技术研发人员：孔令胜 张恩齐 吕宝林 郭俊达 刘虹良
受保护的技术使用者：中国科学院长春光学精密机械与物理研究所
技术研发日：2022.01.28
技术公布日：2023/8/9