一种4D毫米波雷达与视频传感器阵列的道路交通监测系统

一种4d毫米波雷达与视频传感器阵列的道路交通监测系统
技术领域
1.本发明属于道路监测，多传感器融合数据处理、多传感器布局等技术领域，涉及传感器数据处理和传感器阵列布局，特别涉及一种4d毫米波雷达与视频传感器阵列的道路交通监测系统。


背景技术：

2.近年来，智慧交通的发展一直是道路交通发展具有重大意义的部分，目前的道路交通监测传感器主要分为两种，一种是视觉传感器，主要测量车辆的速度，记录车牌号信息等，另一种是雷达传感器，用于测量车辆位置和速度。两种传感器往往单独工作，因此能够得到的车辆信息有限，不能给出全面的信息。除此之外，在车辆行驶的过程中，随时都有发生危险或违规行为的可能，传感器的安装位置多位于接近路口处，对于整个路面的车辆信息不能把控。另外，现有的传感器只能监测违规，不能给驾驶员提供前方路面的预警功能，没能为驾驶员提供有效的道路信息。以上的情况都不利于交通监管，更不利于智慧交通发展。
3.通过以上分析，现有技术存在的问题和缺陷如下：
4.1.基于单个视觉传感器或雷达传感器的交通目标识别方法难以获得较为完整的车辆信息。
5.2.现有的交通监测系统无法实现道路的全面覆盖。
6.3.现有交通监视系统数据无法服务于驾驶员，监测数据信息利用率低，道路安全程度低。
7.解决以上问题及缺陷的难度为：
8.1.同时采用雷达和视频传感器后，数据的匹配和融合设计难度大。算法复杂度大，时效性差，不利于环境复杂多变的道路监控。
9.2.合理进行传感器的布局布阵，使得交通监视系统可以覆盖所有路段。
10.3.设计算法提供全面的车辆驾驶信息(速度、位置、灯光、车牌)和道路环境信息(团雾浓度、雨雪强度)。


技术实现要素：

11.为了克服上述现有技术的缺点，本发明的目的在于提供一种4d毫米波雷达与视频传感器阵列的道路交通监测系统，以建立更为全面和精确的智慧交通系统。
12.为了实现上述目的，本发明采用的技术方案是：
13.一种4d毫米波雷达与视频传感器阵列的道路交通监测系统，包括：
14.若干雷达摄像头传感器单元，用于道路上的车辆位置、速度、高度、灯光和车牌以及道路环境感知，并传送至云端处理系统单元；每个所述雷达摄像头传感器单元包括4d毫米波雷达与视频传感器，所述雷达摄像头传感器单元采用多传感器阵列布局，将所述4d毫米波雷达与视频传感器安装在道路两侧，实现道路监测区域的全覆盖，同时通过雷达间融
合实现车辆的长程轨迹跟踪；
15.云端处理系统单元，依据监测区域的所有雷达摄像头传感器单元采集的4d毫米波雷达数据和视频数据，处理和分析道路车辆行驶状态和道路驾驶环境，提取异常信息，实施预警；
16.警报与预警单元，接收云端处理系统单元的信息，给来往车辆提供预警。
17.在一个实施例中，所述4d毫米波雷达包括天线模块、基带处理模块、信号处理模块和目标跟踪配置模块；通过发射电磁波和接受目标回波，探测视野范围内的车辆角度、距离和速度信息；
18.所述视频传感器为摄像头检测单元，内设有支架、防护罩和录像机，用于通过拍照和拍摄视频，对车辆的灯光、车牌和道路天气感知。
19.在一个实施例中，所述天线模块，方位维采用9发射9接收天线阵列布局实现1
°
方位分辨率，俯仰维采用4发射8接收天线阵列布局实现2
°
俯仰分辨率，具有测量车辆速度、位置和高度信息的功能。
20.在一个实施例中，所述多传感器阵列布局为：
21.雷达摄像头传感器单元以一定宽度为间隔，两传感器单元间距大于50m且不超过200m，对称或者交叉安装至路旁护栏上，其中4d毫米波雷达波束方向和视频传感器的摄像头安装方向使得4d毫米波雷达跟踪的目标轨迹通过通信系统实现相邻雷达间的匹配，在整个跟踪范围内，同一车辆始终使用同一个id编号。
22.在一个实施例中，所述4d毫米波雷达波束方向和视频传感器的摄像头安装方向采用如下两种方式之一：
23.方式一，与车道方向垂直；
24.方式二，以斜视方式正对车的来向或者去向。
25.在一个实施例中，所述4d毫米波雷达通过跟踪交通目标的轨迹，判断车辆是否存在变道、压线、占用应急车道的情况；根据当前路段的要求，实时判断是否存在违规行为，如果存在违规行为则4d毫米波雷达触发视频传感器的摄像头拍照取证，通过数据传输系统单元将4d毫米波雷达轨迹和拍照取证数据上传到云端处理系统单元，并提示预警。
26.在一个实施例中，所述云端处理系统单元，包括：
27.数据接收单元，用于接收监测路段区域内所雷达摄像头传感器单元采集的4d毫米波雷达数据和视频数据；
28.数据融合匹配单元，将4d毫米波雷达数据与视频数据匹配，实现4d毫米波雷达数据集和视频数据集在同一维度呈现；
29.航迹形成单元，采用最近领域法去除雷达摄像头传感器单元的冗余数据，实现道路目标唯一化，采用卡尔曼滤波算法实现道路车辆行驶状态跟踪和轨迹拟合；
30.道路信号感知判别单元，根据车辆行驶状态、车灯指示以及摄像头的车道环境数据进行感知，判别车辆违规信息以及需要给驾驶员预警的道路环境信息；
31.环境感知判别单元，实现道路环境情况感知，上报云端和交警系统，为驾驶员提供参考数据。
32.在一个实施例中，所述道路环境情况包括团雾、雨雪，对于团雾，通过视频分析团雾的能见度，给出能见度数值，将能见度数据实时发布到路况显示屏。
33.在一个实施例中，所述云端处理系统单元，将道路图像分为暗通道图像估计和车道线检测两部分处理，其中暗通道图像估计后生成透射率图像，然后将透射率图像细化，车道线检测后计算车道线坐标，根据计算出的车道线坐标估计车道线的距离，根据细化的透射率图像和估计的车道线距离得到车道线图像的透射率，然后计算大气消光系数得到能见度量化值。
34.在一个实施例中，所述警报与预警单元包括：
35.违规监测警报单元，将车辆违规信息发送至交通部门，实现违规监测；
36.道路状况预警单元，将道路环境能见度信息传送至路面警报装置，提醒驾驶员前方路段出现异常。
37.与现有技术相比，本发明的有益效果是：
38.1)本发明将4d毫米波雷达与视频传感器结合，实现探测范围全覆盖，探测信息包括道路车辆位置、速度、高度、灯光和车牌以及道路环境(如团雾、雨雪等)，从而能够提供更为完整的目标车辆信息以及环境感知。
39.2)本发明采用将传感器阵列安装在路面两端的护栏顶端的布局方式，能实现道路交通的全段监测，避免了4d毫米波雷达探测时因车辆重叠所产生的误差。
40.3)本发明增加了环境能见度感知，在监测的基础上增加了预警功能，及时提醒车辆发生的违规行为，更好地服务于驾驶员。
附图说明
41.图1是本发明的系统结构框图。
42.图2是本发明系统应用示意图。
43.图3是本发明的4d毫米波雷达天线阵列虚拟孔径示意图。
44.图4是本发明的传感器单元目标探测原理图。
45.图5是云端处理系统的车辆违规判别框图。
46.图6是云端处理系统的环境感知识别图。
47.图7是预警框图。
具体实施方式
48.下面结合附图和实施例详细说明本发明的实施方式。
49.如图1所示，本发明为一种4d毫米波雷达与视频传感器阵列的道路交通监测系统，主要包括雷达摄像头传感器单元、云端处理系统单元以及警报与预警单元，其中，雷达摄像头传感器单元有多个，警报与预警单元也可以有多个。
50.每个雷达摄像头传感器单元将其监视区域内道路上的车辆位置、速度、高度、灯光和车牌以及道路环境(如团雾、雨雪等)感知，并传送至云端处理系统单元。云端处理系统单元依据监测区域的所有雷达摄像头传感器采集的数据，进行数据的融合和匹配，形成车辆的轨迹信息，并处理和分析道路车辆行驶状态和道路驾驶环境，进行道路车辆信息和环境状况的感知，提取异常信息，实施预警。警报与预警单元则接收云端处理系统单元的预警信息，执行预警操作，即，将违规信息传送到交通管理系统，并依据道路状况对来往车辆提供预警。
51.本发明中，雷达摄像头传感器单元包括4d毫米波雷达与视频传感器，雷达摄像头传感器单元采用多传感器阵列布局，即，将4d毫米波雷达与视频传感器以特定方式安装在道路两侧，实现道路监测区域的全覆盖，同时通过雷达间融合实现车辆的长程轨迹跟踪，如图2所示。
52.具体地，由于处理毫米波信号所需的系统组件的尺寸很小，因此可以和摄像头组成雷达摄像头传感器系统单元安装在路旁护栏。4d毫米波雷达和视频传感器采用阵列布局，安装的位置位于路面两端护栏顶端的支架上，采用面对面安装方式。在同一条道路上，雷达摄像头传感器单元以一定宽度为间隔，两传感器单元间距大于50m且不超过200m，对称或者交叉安装至路旁护栏上。其具体安装方式，4d毫米波雷达波束方向和视频传感器的摄像头方向，与车道方向垂直，或以斜视方式正对车的来向或者去向。在这两种方式下，雷达跟踪的目标轨迹通过通信系统实现相邻雷达间的匹配，在整个跟踪范围内，同一辆车始终使用同一个id编号。值得说道的是，4d毫米波雷达和视频传感器的监测功能端需要向下倾斜一定角度使其对准道路中央，该传感阵列的布局可以实现道路全覆盖。
53.在各个雷达和视频传感器将感知到的信息传入到云端处理系统单元后，云端处理系统单元经过数据的整合和处理，给出道路状态判别和违规判别，将违规信息发送给交警部门，并将天气信息发送给预警装置，从而实现道路情况的分析、监控和预警。
54.本发明中，4d毫米波雷达通过跟踪交通目标的轨迹，判断车辆是否存在变道、压线、占用应急车道等的情况。并根据当前路段的要求，实时判断是否存在违规行为，如果存在违规行为则4d毫米波雷达触发摄像头拍照取证，通过通信系统将4d毫米波雷达轨迹和拍照取证数据上传到云端处理系统单元，并提示预警。
55.本发明中，为了实现数据传输，还可以包括数据传输系统单元，数据传输系统单元用于将雷达摄像头传感器单元采集的4d毫米波雷达数据和视频数据传输到云端处理系统单元。
56.在图1中，本发明的4d毫米波雷达具体为fmcw毫米波雷达路况探测系统单元，视频传感器具体为摄像头检测单元。4d毫米波雷达包含天线模块、基带处理模块、信号处理模块和目标跟踪配置模块；其通过发射电磁波和接受目标回波，能够探测视野范围内的车辆角度、距离和速度信息。
57.本发明中，天线模块的方位维采用9发射9接收天线阵列布局实现1
°
方位分辨率，俯仰维采用4发射8接收天线阵列布局实现2
°
俯仰分辨率，具有测量车辆速度、位置和高度信息的功能。
58.具体地，参照图3，4d毫米波雷达的天线模块的虚拟阵列均等效为半波长布阵。天线模块的发射阵元数为9个，接收阵元数为9个，方位维虚拟阵元个数为9
×
9＝81个，mimo模式下按照半波长布阵，波束宽度为50.8
×
/nd＝1.3
°
。在mimo模式下，俯仰维发射阵元数为4个，接收阵元数为8个，方位维虚拟阵元个数为4*8＝32个，考虑到俯仰维波束一侧波束打地，一侧波束打空，对其栅瓣要求较低，可大于半波长布阵。因此，按照0.8倍波长布阵，俯仰分辨率为5
°
。在经过俯仰维角度补偿后，将获得标准的l型阵列。
59.参照图4，4d毫米波雷达(工作频率为76
–
81ghz)接收目标的回波信号，可以获得目标相对于4d毫米波雷达的高度、速度和角度。结合雷达所在位置，通过4d毫米波雷达数据处理可获得目标车辆在道路上的绝对位置和速度：
60.汽车的速度和位置有如下计算公式
[0061][0062]
其中，x表示：车辆的x坐标；y表示：车辆的y坐标；v表示：车辆的速度；h表示：两个4d毫米波雷达之间的距离；r表示：4d毫米波雷达和车辆质心的直线距离；θ表示：4d毫米波雷达和车辆质心连线的夹角；v1表示：4d毫米波雷达探测到车辆的速度。
[0063]
本发明摄像头检测单元内设有支架、防护罩和录像机，其通过拍照和拍摄视频，能够感知车辆的灯光、车牌和道路天气。
[0064]
一个摄像头检测单元内的摄像头可以实现汽车的车牌号、车灯以及道路天气环境的感知，雷达获得目标相对于4d毫米波雷达的高度、速度、和角度，从而完成目标车辆的检测信息。布局在道路上的多组雷达摄像头传感器单元监测车辆在整条道路上的信息，并将转化后的目标信息发送至云端处理系统单元。
[0065]
本发明的云端处理系统单元，包括数据接收单元、数据融合匹配单元、航迹形成单元、道路信号感知判别单元和环境感知判别单元。其中，数据接收单元接收监测路段区域内所有雷达视频传感器数据；之后，数据融合匹配单元将4d毫米波雷达数据与视频数据匹配，实现雷达和视频数据集在同一维度呈现；接着，在航迹形成单元，去除多传感器冗余数据，实现道路目标唯一化，具体方法可采用最近领域法法，通过设置跟踪门，过滤参与识别的有限数量的目标，完成雷达和视频目标匹配；并采用卡尔曼滤波算法等算法，实现道路车辆行驶状态跟踪和航迹拟合；然后，完成航迹拟合后的数据送入道路信号感知判别单元，在道路信号感知判别单元，根据车辆行驶状态、车灯指示以及摄像头的车道环境数据进行感知，判别车辆违规信息以及需要给驾驶员预警的道路环境信息，例如，当车辆出现超速，超高或者车灯没有根据车辆行驶状态正常使用时，云端控制系统将违规信息发送至交通管理系统。最后，由环境感知判别单元实现道路环境情况(如团雾，雨雪等)的感知，特别是对于团雾，通过视频分析团雾的能见度，给出能见度数值，上报云端和交警系统，同时能见度数据实时发布到路况显示屏，为驾驶员提供参考数据。
[0066]
本发明中，航迹形成单元和数据融合匹配单元的顺序也可进行调换，即，先进行进行数据冗余处理，然后再进行空间坐标系转换，将数据集中到同一坐标系中。最终目的均是令雷达视频传感器得到的车辆位置、速度、高度和灯光信息以及环境状况信息在同一维度展现，并尽可能去除冗余。
[0067]
参照图6，本发明将道路图像分为暗通道图像估计和车道线检测两部分处理，其中进行暗通道图像估计后生成透射率图像，然后将透射率图像细化，车道线检测后进行车道线坐标的计算，根据计算出的车道线坐标估计车道线的距离。根据细化的透射率图像和估计的车道线距离可以得到车道线图像的透射率，然后计算大气消光系数得到能见度量化值。
[0068]
本发明的警报与预警单元主要包括违规监测警报单元和道路状况预警单元，其中违规监测警报单元将车辆违规信息发送至交通部门，实现违规监测；道路状况预警单元则将道路环境能见度信息传送至路面警报装置，采用警报灯闪烁等方式，提醒驾驶员前方路段出现异常。
[0069]
示例地，参照图7，警报与预警单元接收环境感知的结果和车辆高度的信息，当某一路段的能见度小于阈值时或当车辆超过前方道路限高，云端控制系统单元会发送信息至警报与预警单元，提醒驾驶员前方路段需要小心慢行或改道走其他道路。
[0070]
由此，本发明4d毫米波雷达与视频传感器阵列的道路交通监测系统，可用于智能交通管理系统，提高雷达探测距离和探测精度，并增加给驾驶员的预警功能，对于违规情况的判断更加全面智能。

技术特征：
1.一种4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，包括：若干雷达摄像头传感器单元，用于道路上的车辆位置、速度、高度、灯光和车牌以及道路环境感知，并传送至云端处理系统单元；每个所述雷达摄像头传感器单元包括4d毫米波雷达与视频传感器，所述雷达摄像头传感器单元采用多传感器阵列布局，将所述4d毫米波雷达与视频传感器安装在道路两侧，实现道路监测区域的全覆盖，同时通过雷达间融合实现车辆的长程轨迹跟踪；云端处理系统单元，依据监测区域的所有雷达摄像头传感器单元采集的数据，处理和分析道路车辆行驶状态和道路驾驶环境，提取异常信息，实施预警；警报与预警单元，接收云端处理系统单元的信息，给来往车辆提供预警。2.根据权利要求1所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述4d毫米波雷达包括天线模块、基带处理模块、信号处理模块和目标跟踪配置模块；通过发射电磁波和接受目标回波，探测视野范围内的车辆角度、距离和速度信息；所述视频传感器为摄像头检测单元，内设有支架、防护罩和录像机，用于通过拍照和拍摄视频，对车辆的灯光、车牌和道路天气感知。3.根据权利要求2所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述天线模块，方位维采用9发射9接收天线阵列布局实现1
°
方位分辨率，俯仰维采用4发射8接收天线阵列布局实现2
°
俯仰分辨率，具有测量车辆速度、位置和高度信息的功能。4.根据权利要求2所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述多传感器阵列布局为：雷达摄像头传感器单元以一定宽度为间隔，两传感器单元间距大于50m且不超过200m，对称或者交叉安装至路旁护栏上，其中4d毫米波雷达波束方向和视频传感器的摄像头安装方向使得4d毫米波雷达跟踪的目标轨迹通过通信系统实现相邻雷达间的匹配，在整个跟踪范围内，同一车辆始终使用同一个id编号。5.根据权利要求4所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述4d毫米波雷达波束方向和视频传感器的摄像头安装方向采用如下两种方式之一：方式一，与车道方向垂直；方式二，以斜视方式正对车的来向或者去向。6.根据权利要求4所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述4d毫米波雷达通过跟踪交通目标的轨迹，判断车辆是否存在变道、压线、占用应急车道的情况；根据当前路段的要求，实时判断是否存在违规行为，如果存在违规行为则4d毫米波雷达触发视频传感器的摄像头拍照取证，通过数据传输系统单元将4d毫米波雷达轨迹和拍照取证数据上传到云端处理系统单元，并提示预警。7.根据权利要求4所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述云端处理系统单元，包括：数据接收单元，用于接收监测路段区域内所雷达摄像头传感器单元采集的4d毫米波雷达数据和视频数据；数据融合匹配单元，将4d毫米波雷达数据与视频数据匹配，实现4d毫米波雷达数据集和视频数据集在同一维度呈现；
航迹形成单元，采用最近领域法去除雷达摄像头传感器单元的冗余数据，实现道路目标唯一化，采用卡尔曼滤波算法实现道路车辆行驶状态跟踪和轨迹拟合；道路信号感知判别单元，根据车辆行驶状态、车灯指示以及摄像头的车道环境数据进行感知，判别车辆违规信息以及需要给驾驶员预警的道路环境信息；环境感知判别单元，实现道路环境情况感知，上报云端和交警系统，为驾驶员提供参考数据。8.根据权利要求7所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述道路环境情况包括团雾、雨雪，对于团雾，通过视频分析团雾的能见度，给出能见度数值，将能见度数据实时发布到路况显示屏。9.根据权利要求1或8所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述云端处理系统单元，将道路图像分为暗通道图像估计和车道线检测两部分处理，其中暗通道图像估计后生成透射率图像，然后将透射率图像细化，车道线检测后计算车道线坐标，根据计算出的车道线坐标估计车道线的距离，根据细化的透射率图像和估计的车道线距离得到车道线图像的透射率，然后计算大气消光系数得到能见度量化值。10.根据权利要求1所述4d毫米波雷达与视频传感器阵列的道路交通监测系统，其特征在于，所述警报与预警单元包括：违规监测警报单元，将车辆违规信息发送至交通部门，实现违规监测；道路状况预警单元，将道路环境能见度信息传送至路面警报装置，提醒驾驶员前方路段出现异常。

技术总结
一种4D毫米波雷达与视频传感器阵列的道路交通监测系统，包括：若干雷达摄像头传感器单元，用于道路上的车辆位置、速度、高度、灯光和车牌以及道路环境感知，其采用多传感器阵列布局，将4D毫米波雷达与视频传感器安装在道路两侧，实现道路监测区域的全覆盖，同时通过雷达间融合实现车辆的长程轨迹跟踪；云端处理系统单元，依据监测区域的所有雷达摄像头传感器单元采集的4D毫米波雷达数据和视频数据，处理和分析道路车辆行驶状态和道路驾驶环境，提取异常信息，实施预警；警报与预警单元，接收云端处理系统单元的信息，给来往车辆提供预警。本发明能实现道路交通的全段监测，提供更完整的目标车辆信息以及环境感知，并提供预警。并提供预警。并提供预警。


技术研发人员：张华 刘姝妍 刘思奇 孙景荣 阎博 胡敏
受保护的技术使用者：西安电子科技大学
技术研发日：2022.12.23
技术公布日：2023/6/7