车道保持方法、系统和电子设备与流程

1.本发明涉及自动驾驶技术领域，具体而言，涉及一种车道保持方法、系统和电子设备。


背景技术：

2.当前智能汽车的自动驾驶等级普遍达到l2级别，车道保持（车道保持辅助）作为l2级别的一个功能标杆，它利用前视摄像头探测车辆与车道边缘线相对距离与方位，通过控制电子助力转向（eps）系统为驾驶员提供转向控制并辅助驾驶员使车辆保持在自身车道内，减少车辆偏离车道的风险，提高驾驶安全性。
3.在实际的道路环境中，会出现无车道线或车道线不清楚的情况，为了应对上述情况，现有部分车道保持模块在无车道线的路面会生成虚拟车道线，以保持车道保持的流畅和稳定，但现有的虚拟车道线有系统自动生成，可能存在误识别或车道线不准确的情况，驾驶员无法参与过程纠正，只能选择退出或关闭车道保持，体验性差。


技术实现要素：

4.本发明的目的在于提供一种车道保持方法、系统和电子设备，以解决上述驾驶员无法参与虚拟车道的纠正，体验性差的问题。
5.本技术第一方面提供一种车道保持方法，包括：在车辆行驶状态下通过前视摄像头实时获取路面的车道线信息；若未检测到车道线，以车辆为中心在车辆的两侧生成虚拟车道线并控制车辆沿虚拟车道线行驶；显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，根据所述调节指令生成新的虚拟车道线；通过毫米波雷达通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。
6.优选的，所述通过毫米波雷达通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶，包括：实时检测虚拟车道线上的障碍物，若虚拟车道线上存在障碍物，识别所述障碍物的类型，得到目标信息；计算车辆与所述障碍物的距离及相对速度，得到计算结果；根据目标信息和计算结果动态调整虚拟车道线。
7.优选的，所述根据目标信息和计算结果动态调整虚拟车道线，包括：若障碍物移动且移动方向与车辆相同，保持当前的虚拟车道线并保持跟随所述障碍物。
8.优选的，所述方法还包括：若障碍物静止，判断车辆左侧是否安全；若左侧安全则在左侧生成新的虚拟车道线，并控制车辆向左侧车道变道；若左侧不安全则判断右侧是否安全，若右侧安全则在右侧生成新的虚拟车道线，并控制车辆向右侧车道变道；如果右侧不安全，则车辆进入紧急刹车状态。
9.优选的，实时检测虚拟车道线上的障碍物，若虚拟车道线上存在障碍物，识别所述障碍物的类型，得到目标信息，包括：对摄像头获取的图像进行压缩，并做灰度变换处理；将处理后的图像输入深度学习网络，并输出目标信息；对图像序列进行滤波跟踪，实时定位运动目标，输出目标信息。
10.优选的，计算车辆与所述障碍物的距离及相对速度，得到计算结果，包括：通过求差拍信号的频率得到障碍物的距离；根据多普勒效应判断障碍物与车辆的相对速度。
11.优选的，所述在车辆行驶状态下实时获取路面的车道线信息，包括：对采集到的图像进行前处理，去除噪声，提取图像的感兴趣区域并进行边缘检测；获取图像中车道线的消失点，得到车道线图像；对所述消失点进行霍夫变换，得到车道线函数。
12.优选的，所述若在车辆行驶状态下检测到车道线，则获取车道的车道中心线、以及车辆与所述车道中心线的横向位置偏差，控制车辆行驶方向以保证所述横向位置偏差小于预设值。
13.优选的，所述机器视觉包括前视摄像头和/或毫米波雷达。
14.本技术第二方面提供一种车道保持系统，包括：检测模块，在车辆行驶状态下通过机器视觉实时获取路面的车道线信息；车道保持模块，用于若未检测到车道线，以车辆为中心在车辆的两侧生成虚拟车道线并控制车辆沿虚拟车道线行驶；中控模块，用于显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，将所述调节指令发送至所述车道保持模块，所述车道保持模块根据所述调节指令生成新的虚拟车道线，通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。
15.本技术第三方面提供一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权上述的车道保持方法。
16.与现有技术相比，本发明的有益效果是：当汽车遇到无车道线的路面，驾驶员能够主动调节虚拟车道线的位置，从而生成更加合理的虚拟车道线，保障驾乘人员的人身安全。
17.当在虚拟车道状态下遇上障碍物，能够根据障碍物类型和行驶状态，自动调整虚拟车道，保证虚拟车道状态下的行驶安全。
附图说明
18.图1为本发明实施例的车道保持方法的第一流程示意图。
19.图2为本发明实施例的车道保持方法的第二流程示意图。
20.图3为本发明实施例的车道保持方法的第三流程示意图。
21.图4为本发明实施例的基于车道保持自定义虚拟车道线系统的结构图。
具体实施方式
22.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者
操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
24.图1为本发明实施例的基于车道保持（lka）自定义虚拟车道线方法的流程图。
25.请参考图1，本发明提供一种车道保持方法，该方法主要包括：s1、在车辆行驶状态下通过机器视觉实时获取路面的车道线信息。
26.其中，本步骤通过机器视觉实现路面车道线的检测，具体可以通过设于车辆的前视摄像头获取路面图像，将路面图像输入到车辆的车道保持模块，车道保持模块可通过车道线检测算法实时识别路面车道线，且在中控屏幕实时显示车道线画面。
27.参见图2，车道线检测算法具体为：s101、对采集到的图像进行前处理，去除噪声，提取图像的感兴趣区域并进行边缘检测。
28.在本步骤中，可以根据摄像头标定结果，将感兴趣区域设于图像的下半部分。边缘检测可采用canny边缘检测，其中canny边缘检测为现有技术，本技术在此不作赘述。
29.s102、获取图像中车道线的消失点，得到车道线图像。
30.其中，在具体实施时，可以通过gabor滤波的方式获取图像中车道线的消失点，即图像中两条车道线的交点位置，从而得到车道线图像。
31.s103、对所述消失点进行霍夫变换，得到车道线函数。
32.在具体实施时，车道保持模块可根据得到的车道线函数，在中控屏幕实时显示车道线画面。
33.s2、若未检测到车道线，以车辆为中心在车辆的两侧生成虚拟车道线并控制车辆沿虚拟车道线行驶。
34.在本步骤中，当汽车进入无车道线的区域，前视摄像头无法识别到车道线后，车道保持模块可基于can或者以太网的物理链路通知中控模块，中控模块通过声音方式提醒驾驶员，车道保持模块会根据汽车当前在道路的位置，以汽车为中心生成宽度为3米的默认虚拟车道线。
35.需要说明的是，在具体实施时，若在车辆行驶状态下检测到路面具有车道线，则控制车辆沿当前车道线行驶。具体方法为，若当前视摄像头检测到车道线图像，车道保持模块根据经车道线检测算法处理后的图像获取车道的车道中心线，获取车辆与车道中心线的横向位置偏差，控制车辆行驶方向以保证横向位置偏差小于预设值。
36.s3、显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，根据所述调节指令生成新的虚拟车道线。
37.在本步骤中，步骤s2生成默认虚拟车道线后，在中控屏幕弹出自定义车道线界面，自定义车道线界面将预设的虚拟车道线推荐给驾驶员，其中，自定义车道线界面可包括虚拟车道线、车辆、以及道路的相对位置的图像，驾驶员可以在中控模块调节虚拟车道线，中控模块将新车道线发给车道保持模块执行。
38.其中，调节指令可通过多种方式生成，例如中控屏幕可采用触摸屏，驾驶员可通过触摸屏幕的方式调节和拖拽虚拟车道线，从而改变虚拟车道线的位置，或通过方向盘或中控模块上的控制按键调节虚拟车道线的位置。
39.s4、通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。
40.在本步骤中，具体可通过前视摄像头和/或毫米波雷达通过机器视觉对车辆进行测距纠偏，车道保持模块控制车辆沿虚拟车道线行驶的方式可以与控制车辆沿实际车道线行驶的方式相同。在新的虚拟车道线下，车道保持模块通过毫米波雷达通过机器视觉对车辆进行测距纠偏，并结合高精地图或弱高精地图，实时判断前方是否需要转弯，从而实时更新虚拟车道线。
41.参见图3，在本实施例中，步骤s4具体包括：s401、实时检测虚拟车道线上的障碍物，若虚拟车道线上存在障碍物，识别所述障碍物的类型，得到目标信息。
42.本步骤具体包括：对摄像头获取的图像进行压缩，并做灰度变换处理。将处理后的图像输入深度学习网络，并输出目标信息，其中，深度学习网络可采用现有的，例如可以采用基于resnet-50搭建的深度学习网络。对图像序列进行滤波跟踪，实时定位运动目标，输出目标信息。
43.s402、计算车辆与所述障碍物的距离及相对速度，得到计算结果。
44.在本实施例中，可通过毫米波雷达进行定位和测速。具体的，通过求差拍信号的频率得到障碍物的距离，毫米波雷达通过发射天线发出相应波段的有指向性的毫米波，当毫米波遇到障碍目标后反射回来，通过接收天线接收反射回来的毫米波，根据毫米波的波段，通过公式计算毫米波在途中飞行的时间，可以知道毫米波雷达(本车)和目标之间的相对距离，同时得到目标的位置。
45.根据多普勒效应，毫米波雷达的频率变化、本车及跟踪目标的相对速度是紧密相关的，具体表现为，传感器发出安全距离报警时，若本车继续加速、或前监测目标减速、或前监测目标静止的情况下，毫米波反射回波的频率将会越来越高，反之则频率越来越低，根据反射回来的毫米波频率的变化，可以计算得出车辆与障碍物的相对速度。
46.s403、根据目标信息和计算结果动态调整虚拟车道线。
47.在本步骤中，调整虚拟车道线的具体步骤包括：若障碍物移动且移动方向与车辆相同，如前方是行驶的车辆，则车道保持模块保持当前的虚拟车道线并保持跟随障碍物。
48.若障碍物静止，例如雪糕筒、静止车辆等，判断车辆左侧是否安全，若左侧安全则在左侧生成新的虚拟车道线，并控制车辆向左侧车道变道；若左侧不安全则判断右侧是否安全，若右侧安全则在右侧生成新的虚拟车道线，并控制车辆向右侧车道变道；如果右侧不安全，则车辆进入紧急刹车状态。具体实施时，车辆可通过角雷达或后视摄像头，来判断左右两侧是否有来车、行人、障碍物等，若不存在来车、行人、障碍物等，则认为是该侧安全，可进行变道。
49.本技术还提供一种车道保持系统，参见图4，包括：检测模块1，用于在车辆行驶状态下通过机器视觉实时获取路面的车道线信息；车道保持模块2，用于若检测到车道线，则控制车辆沿当前车道线行驶；若未检测到车道线，则以车辆为中心在车辆的两侧生成虚拟
车道线；中控模块3，用于显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，将所述调节指令发送至所述车道保持模块，所述车道保持模块根据所述调节指令生成新的虚拟车道线，通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。
50.本技术还提供一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权上述的车道保持方法。
51.在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
52.另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
53.功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
54.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种车道保持方法，其特征在于，包括：在车辆行驶状态下通过机器视觉实时获取路面的车道线信息；若未检测到车道线，以车辆为中心在车辆的两侧生成虚拟车道线并控制车辆沿虚拟车道线行驶；显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，根据所述调节指令生成新的虚拟车道线；通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。2.根据权利要求1所述的车道保持方法，其特征在于，所述通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶，包括：实时检测虚拟车道线上的障碍物，若虚拟车道线上存在障碍物，识别所述障碍物的类型，得到目标信息；计算车辆与所述障碍物的距离及相对速度，得到计算结果；根据目标信息和计算结果动态调整虚拟车道线。3.根据权利要求2所述的车道保持方法，其特征在于，所述根据目标信息和计算结果动态调整虚拟车道线，包括：若障碍物移动且移动方向与车辆相同，保持当前的虚拟车道线并保持跟随所述障碍物。4.根据权利要求3所述的车道保持方法，其特征在于，所述方法还包括：若障碍物静止，判断车辆左侧是否安全；若左侧安全则在左侧生成新的虚拟车道线，并控制车辆向左侧车道变道；若左侧不安全则判断右侧是否安全，若右侧安全则在右侧生成新的虚拟车道线，并控制车辆向右侧车道变道；如果右侧不安全，则车辆进入紧急刹车状态。5.根据权利要求2所述的车道保持方法，其特征在于，所述实时检测所述虚拟车道线上的障碍物，识别所述障碍物的类型并输出目标信息，包括：对摄像头获取的图像进行压缩，并做灰度变换处理；将处理后的图像输入深度学习网络，并输出目标信息；对图像序列进行滤波跟踪，实时定位运动目标，输出目标信息。6.根据权利要求2所述的车道保持方法，其特征在于，所述计算车辆与所述障碍物的距离及相对速度，并输出计算结果，包括：通过求差拍信号的频率得到障碍物的距离；根据多普勒效应判断障碍物与车辆的相对速度。7.根据权利要求1所述的车道保持方法，其特征在于，所述在车辆行驶状态下实时获取路面的车道线信息，包括：对采集到的图像进行前处理，去除噪声，提取图像的感兴趣区域并进行边缘检测；获取图像中车道线的消失点，得到车道线图像；对所述消失点进行霍夫变换，得到车道线函数。8.根据权利要求1所述的车道保持方法，其特征在于，所述若在车辆行驶状态下检测到车道线，则获取车道的车道中心线、以及车辆与所述车道中心线的横向位置偏差，控制车辆
行驶方向以保证所述横向位置偏差小于预设值。9.根据权利要求1所述的车道保持方法，其特征在于，所述机器视觉包括前视摄像头和/或毫米波雷达。10.一种车道保持系统，其特征在于，包括：检测模块，在车辆行驶状态下通过机器视觉实时获取路面的车道线信息；车道保持模块，用于若未检测到车道线，以车辆为中心在车辆的两侧生成虚拟车道线并控制车辆沿虚拟车道线行驶；中控模块，用于显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，将所述调节指令发送至所述车道保持模块，所述车道保持模块根据所述调节指令生成新的虚拟车道线，通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。11.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9中任一项所述的车道保持方法。

技术总结
本发明涉及车道保持方法、系统和电子设备，其中方法包括：在车辆行驶状态下通过机器视觉实时获取路面的车道线信息；若未检测到车道线，以车辆为中心在车辆的两侧生成虚拟车道线并控制车辆沿虚拟车道线行驶；显示自定义虚拟车道线界面，实时获取驾驶员的调节指令，根据所述调节指令生成新的虚拟车道线；通过机器视觉对车辆进行测距纠偏，控制车辆沿所述新的虚拟车道线行驶。采用本申请的技术方案在汽车遇到无车道线的路面时，驾驶员能够主动调节虚拟车道线的位置，从而生成更加合理的虚拟车道线，保障驾乘人员的人身安全。保障驾乘人员的人身安全。保障驾乘人员的人身安全。


技术研发人员：林永彬
受保护的技术使用者：惠州市德赛西威智能交通技术研究院有限公司
技术研发日：2023.03.15
技术公布日：2023/6/26