一种基于深度图的毫米波雷达点云仿真的方法和装置与流程

1.本发明涉及毫米波雷达雷达仿真领域，尤其涉及一种基于深度图的毫米波雷达点云仿真的方法和装置。


背景技术：

2.毫米波雷达自上世纪40年代被发明以来，早期主要应用于军事、专用、汽车，后来逐步转向智能家居，成为民用消费级电子产品。从军用到民用，从汽车领域再到智能家居领域，毫米波雷达飞入寻常百姓家。在无人驾驶领域，毫米波雷达应用非常广泛。毫米波雷达工作在毫米波段。通常毫米波是指30～300ghz频段(波长为1～10mm)。毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点。同厘米波导引头相比，毫米波导引头具有体积小、质量轻和空间分辨率高的特点。与红外、激光、电视等光学导引头相比，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。另外，毫米波导引头的抗干扰、反隐身能力也优于其他微波导引头。
3.感知模块是自动驾驶算法的核心模块，该模块需要海量的标注数据集作为训练输入。但是，真实毫米波雷达点云数据的噪点较多、采集成本相当高，点云真值的人工标注效率也很低下。因此，完全通过毫米波雷达点云真值作为输入来训练感知算法的成本非常高，并且采集到的真值数据也难以枚举出现实中的所有交通情况。仿真毫米波雷达点云的精度较低，与实际的毫米波雷达点云相比还有差距，实际应用中会综合真实毫米波雷达点云数据和仿真虚拟点云数据作为算法输入，这两种点云数据各有优势，但都有明显的缺点。已有的方法通常只是单一地使用一种点云数据或者混合使用两种点云数据，这会导致数据量不足或者数据一致性等问题。


技术实现要素：

4.本发明要解决现有技术的上述不足，实现更高质量仿真毫米波雷达点云数据的生成，提供一种基于深度图的毫米波雷达点云仿真的方法和装置。
5.本发明采用如下的技术方案：
6.一种基于深度图的毫米波雷达点云仿真的方法，包括以下步骤：
7.s1，预定义毫米波雷达模块和深度图相机模块的位置和姿态，毫米波雷达模块与深度图相机模块的视场应尽可能重合，预定义毫米波雷达模块探测范围内的所有被测目标的位置和姿态以及背景信息，通过深度图相机模块生成深度图，包含以下子步骤：
8.s1.1，预定义毫米波雷达模块和摄像头的位置和姿态信息，毫米波雷达模块与摄像头的视场尽量重合，保证毫米波雷达模块扫描范围内的点尽量多的可以在深度图相机模块的区域内找到，为毫米波雷达模块的点云计算提供信息；
9.s1.2，预定义所有被测目标的位置和姿态以及背景信息，计算获得被测目标和背景在深度图相机局部坐标系下的位置、速度信息；
10.s1.3，通过深度图相机模块的内参矩阵m和畸变系数d，结合s1.2中的位置、速度信
息，计算得到当前帧的深度图。
11.s2，读取深度图信息，将深度图中的像素点转化为三维点云集合，记其为q，并将点云集合q转换到毫米波雷达模块的局部坐标系中，记经过转换之后的点云集合为r，包含以下子步骤：
12.s2.1，对s1中得到的深度图中的背景进行随机下采样，再对深度图中的各被测目标分别进行分块，对每个被测目标的每个分块做下采样，最后综合背景和各被测目标得到下采样结果的点云集合q，通过深度图相机模块的内参矩阵m和畸变系数d，结合下采样结果的点云集合q，计算得到该点云集合在深度图相机模块局部坐标系下的三维坐标表示，记点云集合及其三维坐标表示为为s；
13.s2.2，对于深度图相机模块中的三维点云，通过毫米波雷达模块和深度图相机模块的位置和姿态转换计算得到其在世界坐标下的坐标，并将世界坐标转化为毫米波雷达模块局部坐标系中的坐标。
14.s3，采用先验的毫米波雷达模块与被测目标的相对位置信息对r进行过滤，包含根据预设的毫米波雷达模块最大探测距离s
max
、最大水平角范围h
max
以及最大俯仰角范围p
max
，划分出毫米波雷达模块的有效范围[0，s
max
]、[-h
max
，h
max
]以及[-p
max
，p
max
]，并针对点云集合r中的每一个点进行过滤，只保留毫米波雷达模块的有效测距、测角范围内的点云集合，记其为r。
[0015]
s4，利用概率函数f和分段函数：
[0016][0017]
围绕目标产生随机的点云，m为s3中点云集合r的个数，模拟实际的毫米波雷达回波点，当res值为1时，该点产生回波，当res值为0时，该点不产生回波，得到所有产生回波的点云集合，记为e；
[0018]
s5，采用毫米波雷达模块的参数对上述步骤中得到的点云中的每一个点分别进行回波模拟，并将所有点云的回波进行叠加，包含以下子步骤：
[0019]
s5.1，预定义毫米波雷达模块的天线数目n、天线位置、信号发射周期t、信号波长λ、信号起始频率以及调频斜率；
[0020]
s5.2，对s4中得到的点云集合e中的每个毫米波雷达回波点进行如下处理：
[0021]
s5.2.1，记回波点与雷达的距离为d，记光速为c，计算得到毫米波雷达模块发射信号与接收信号的时间间隔t，结合信号起始频率以及调频斜率模拟出接收信号与发射信号，并将接收信号与发射信号进行叠加获得中频信号；
[0022]
s5.2.2，记回波点和雷达的连线与雷达探测范围的中轴线的夹角为θ，根据θ和回波点的速度计算出回波点相对于毫米波雷达模块的径向速度v
′
，从而计算出因为多普勒效应而产生的相位差：
[0023][0024]
s5.2.3，记回波点和雷达的连线与雷达探测范围的中轴线的水平夹角为θh，相邻接收天线的水平距离为lh，计算得到相邻水平接收天线的相位差为：
[0025]
[0026]
s5.2.4，记回波点和雷达的连线与雷达探测范围的中轴线的俯仰夹角为θ
p
，相邻接收天线的俯仰距离为l
p
，计算得到相邻俯仰接收天线的相位差为：
[0027][0028]
s5.3，对所有回波点产生的信号进行相加，得到该帧毫米波雷达模块回波的数字信号。
[0029]
s6，对叠加之后的回波做快速傅里叶变换fft和恒虚警cfar，包含以下子步骤：
[0030]
s6.1，对毫米波雷达模块回波的数字信号的单个啁啾chirp做一维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的距离信息；对毫米波雷达模块回波的数字信号的多个chirp之间做二维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的速度信息；对毫米波雷达模块回波的数字信号的水平方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的水平角度信息；对毫米波雷达模块回波的数字信号的垂直方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的俯仰角度信息；
[0031]
s6.2，综合s6.1中的所有信息，可得该帧毫米波雷达模块的所有仿真点云的空间坐标信息和速度信息。
[0032]
s7，将仿真点云的空间坐标信息可视化，将速度信息记录在点云的数据结构中，供其他模块调用。
[0033]
本发明还涉及一种基于深度图的毫米波雷达仿真的装置，包括一个或者多个处理器，用于实现权利要求1-7中任一项所述的基于深度图的毫米波雷达仿真方法。
[0034]
本发明还涉及一种基于深度图的毫米波雷达仿真的系统，包括：
[0035]
毫米波雷达配置模块，用于配置毫米波雷达模块的频段、带宽、天线数、天线间距等参数；
[0036]
被测目标的相对位置与姿态估计模块，用于估计毫米波雷达模块与各个被测目标的相对位置与姿态；
[0037]
深度图生成模块，通过深度图相机模块的内参矩阵m和畸变系数d，计算得到当前帧的深度图；
[0038]
点云生成模块，用于读取深度图信息，从深度图中还原各被测目标和背景的3d点云信息，供下面模块使用；
[0039]
点云过滤模块，用于模拟实际的毫米波雷达因为范围不够、信号丢失的误差等原因造成的漏检；
[0040]
噪声添加模块，用于模拟实际的毫米波雷达因为虚警而产生的噪点；
[0041]
模拟回波模块，用于模拟点云中每个点的回波，并进行叠加获得最终的毫米波雷达模块的返回信号；
[0042]
fft和cfar模块，从毫米波雷达模块的返回信号中提取出各点云的信息，获得最终的仿真数据结果。
[0043]
点云显示模块，用于将前面流程中生成的点云在仿真系统中进行显示。
[0044]
本发明的有益效果如下：
[0045]
本发明方法预定义毫米波探测范围内的所有被测目标和背景以及其对应的位置和姿态，使用深度图相机模块生成深度图，结合深度图相机模块与毫米波雷达模块的相对位置生成毫米波雷达模块的回波信号，最后对回波信号做fft和cfar获得毫米波雷达模块点云数据。本发明既保留了真实毫米波雷达点云的真实性，又结合了虚拟仿真场景的可配置性和灵活性，并且能够自动生成数据标注信息，缓解了真实点云数据采集效率和人工标注效率低下的问题；本发明可以快速生成大量的毫米波雷达点云，为感知算法等深度学习算法提供了更多的训练数据。
附图说明
[0046]
图1是本发明的一个实施例中一种基于深度图的毫米波雷达点云仿真的方法的步骤图；
[0047]
图2是本发明的一个实施例中车辆和行人混合场景的毫米波雷达模块点云结果示意图；
[0048]
图3是本发明的一个实施例中车辆和行人混合场景的毫米波雷达模块点云结果示意图；
[0049]
图4是本发明的一个实施例中车辆和行人混合场景中车辆被行人遮挡信号的毫米波雷达模块点云结果示意图；
[0050]
图5是本发明的系统结构图。
具体实施方式
[0051]
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0052]
实施例1
[0053]
在一个实施例中，如图1所示，提出了一种基于深度图的毫米波雷达点云仿真的方法，该方法预定义毫米波探测范围内的所有被测目标和背景以及其对应的位置和姿态，使用深度图相机模块生成深度图，结合深度图相机模块与毫米波雷达模块的相对位置生成毫米波雷达模块的回波信号，最后对回波信号做fft和cfar获得毫米波雷达模块点云数据。
[0054]
该方法具体包括以下步骤：
[0055]
步骤1，本实施例配置的毫米波雷达模块频段为77ghz，带宽为2
×
109hz，水平天线个数为2，垂直天线个数也为2，信号发射周期为2
×
10-6
s，每帧发送的chirp个数为256，每个chirp的采样点数为1280。
[0056]
步骤2，预定义毫米波雷达模块和深度图相机模块的位置和姿态，毫米波雷达模块与深度图相机模块的视场应尽可能重合，预定义毫米波雷达模块探测范围内的所有被测目标的位置和姿态以及背景信息，通过深度图相机模块生成深度图，包含以下子步骤：
[0057]
步骤2.1，预定义毫米波雷达模块和摄像头的位置和姿态信息，毫米波雷达模块与
摄像头的视场尽量重合，保证毫米波雷达模块扫描范围内的点尽量多的可以在深度图相机模块的区域内找到，为毫米波雷达模块的点云计算提供信息；
[0058]
步骤2.2，预定义所有被测目标的位置和姿态以及背景信息，计算获得被测目标和背景在深度图相机模块局部坐标系下的位置、速度信息；
[0059]
步骤2.3，通过深度图相机模块的内参矩阵m和畸变系数d，结合步骤2.2中的位置、速度信息，计算得到当前帧的深度图。
[0060]
步骤3，读取深度图信息，将深度图中的像素点转化为三维点云集合，记其为q，并将点云集合q转换到毫米波雷达模块的局部坐标系中，记转换之后的点云集合为r，包含以下子步骤：
[0061]
步骤3.1，对步骤2中得到的深度图中的背景进行随机下采样，再对深度图中的各被测目标分别进行分块，对每个被测目标的每个分块做下采样，最后综合背景和各被测目标得到下采样结果的点云集合q，本实施例中为了计算速度，对数据进行了5倍的下采样，在实际的实施过程中可根据具体的速度要求和点云密集程度的要求，选择是否需要下采样，若需要下采样，再选择适合的下采样倍数；通过深度图相机模块的内参矩阵m和畸变系数d，结合下采样结果的点云集合q，计算得到该点云集合在深度图相机模块局部坐标系下的三维坐标表示，记点云集合及其三维坐标表示为s；
[0062]
步骤3.2，对于深度图相机模块中的三维点云，通过毫米波雷达模块和深度图相机模块的位置和姿态转换计算得到其在世界坐标下的坐标，并将世界坐标转化为毫米波雷达模块局部坐标系中的坐标。
[0063]
步骤4，采用先验的毫米波雷达模块与被测目标的相对位置信息对r进行过滤，包含根据预设的毫米波雷达模块最大探测距离s
max
、最大水平角范围h
max
以及最大俯仰角范围p
max
，划分出毫米波雷达模块的有效范围[0，s
max
]、[-h
max
，h
max
]以及[-p
max
，p
max
]，并针对点云集合r中的每一个点进行过滤，只保留毫米波雷达模块的有效测距、测角范围内的点云集合，记其为r。
[0064]
步骤5，利用概率函数f和分段函数：
[0065][0066]
围绕目标产生随机的点云，m为步骤4中点云集合r的个数，模拟实际的毫米波雷达回波点，当res值为1时，该点产生回波，当res值为0时，该点不产生回波，得到所有产生回波的点云集合，记为e；
[0067]
步骤6，采用毫米波雷达模块的参数对上述步骤中得到的点云中的每一个点分别进行回波模拟，并将所有点云的回波进行叠加，包含以下子步骤：
[0068]
步骤6.1，预定义毫米波雷达模块的天线数目n、天线位置、信号发射周期t、信号波长λ、信号起始频率以及调频斜率；
[0069]
步骤6.2，对步骤5中得到的点云集合e中的每个毫米波雷达回波点进行如下处理：
[0070]
步骤6.2.1，记回波点与雷达的距离为d，记光速为c，计算得到毫米波雷达模块发射信号与接收信号的时间间隔t，结合信号起始频率以及调频斜率模拟出接收信号与发射信号，并将接收信号与发射信号进行叠加获得中频信号；
[0071]
步骤6.2.2，记回波点和雷达的连线与雷达探测范围的中轴线的夹角为θ，根据θ和
回波点的速度计算出回波点相对于毫米波雷达模块的径向速度v
′
，从而计算出因为多普勒效应而产生的相位差：
[0072][0073]
步骤6.2.3，记回波点和雷达的连线与雷达探测范围的中轴线的水平夹角为θh，相邻接收天线的水平距离为lh，计算得到相邻水平接收天线的相位差为：
[0074][0075]
步骤6.2.4，记回波点和雷达的连线与雷达探测范围的中轴线的俯仰夹角为θ
p
，相邻接收天线的俯仰距离为l
p
，计算得到相邻俯仰接收天线的相位差为：
[0076][0077]
步骤6.3，对所有回波点产生的信号进行相加，得到该帧毫米波雷达模块回波的数字信号。
[0078]
步骤7，对叠加之后的回波做fft和cfar，包含以下子步骤：
[0079]
步骤7.1，对毫米波雷达模块回波的数字信号的单个chirp(啁啾)做一维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的距离信息；对毫米波雷达模块回波的数字信号的多个chirp之间做二维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的速度信息；对毫米波雷达模块回波的数字信号的水平方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的水平角度信息；对毫米波雷达模块回波的数字信号的垂直方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的俯仰角度信息；
[0080]
步骤7.2，综合步骤7.1的所有信息，可得该帧毫米波雷达模块的所有仿真点云的空间坐标信息和速度信息。
[0081]
步骤8，将仿真点云的空间坐标信息可视化，将速度信息记录在点云的数据结构中，供其他模块调用。
[0082]
实施例2
[0083]
与前述的实施例1相对应，本发明还提供了一种基于深度图的毫米波雷达点云仿真的装置的实施例，该装置包括一个或多个处理器，用于实现上述毫米波雷达点云生成方法。
[0084]
本发明一种基于深度图的毫米波雷达点云仿真的生成装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的
处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，除了处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0085]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0086]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0087]
实施例3
[0088]
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的基于深度图的毫米波雷达点云仿真的方法。
[0089]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smartmedia card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算仉程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储己经输出或者将要输出的数据。
[0090]
实施例4
[0091]
如图5，实现实施例1的方法的本发明还涉及一种基于深度图的毫米波雷达仿真的系统，包括：
[0092]
毫米波雷达配置模块，用于配置毫米波雷达模块的频段、带宽、天线数、天线间距等参数；
[0093]
被测目标的相对位置与姿态估计模块，用于估计毫米波雷达模块与各个被测目标的相对位置与姿态；
[0094]
深度图生成模块，通过深度图相机模块的内参矩阵m和畸变系数d，计算得到当前帧的深度图；
[0095]
点云生成模块，用于读取深度图信息，从深度图中还原各被测目标和背景的3d点云信息，供下面模块使用；
[0096]
点云过滤模块，用于模拟实际的毫米波雷达因为范围不够、信号丢失的误差等原因造成的漏检；
[0097]
噪声添加模块，用于模拟实际的毫米波雷达因为虚警而产生的噪点；
[0098]
模拟回波模块，用于模拟点云中每个点的回波，并进行叠加获得最终的毫米波雷达模块的返回信号；
[0099]
fft和cfar模块，从毫米波雷达模块的返回信号中提取出各点云的信息，获得最终
的仿真数据结果。
[0100]
点云显示模块，用于将前面流程中生成的点云在仿真系统中进行显示。
[0101]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

技术特征：
1.一种基于深度图的毫米波雷达仿真的方法，其特征在于，包括以下步骤：s1，预定义毫米波雷达模块和深度图相机模块的位置和姿态，毫米波雷达与深度图相机模块的视场应尽可能重合，预定义毫米波雷达探测范围内的所有被测目标的位置和姿态以及背景信息，通过深度图相机模块生成深度图；s2，读取深度图信息，将深度图中的像素点转化为三维点云集合，记其为q，并将点云集合q转换到毫米波雷达模块的局部坐标系中，记转换之后的点云集合为r；s3，采用先验的毫米波雷达模块与被测目标的相对位置信息对s2中的点云集合r进行过滤；s4，利用概率函数围绕目标产生随机的点云，模拟实际的毫米波雷达回波点；s5，采用毫米波雷达模块的参数对上述步骤中得到的点云中的每一个点分别进行回波模拟，并将所有点云的回波进行叠加；s6，对叠加之后的回波做快速傅里叶变换fft和恒虚警cfar。2.根据权利要求1所述的基于深度图的毫米波雷达仿真的方法，其特征在于，步骤s1中预定义毫米波雷达模块和深度图相机模块的位置和姿态，预定义毫米波雷达模块探测范围内的被测目标的位置和姿态以及背景信息，通过深度图相机模块生成深度图，包含以下子步骤：s1.1，预定义毫米波雷达模块和深度图相机模块的位置和姿态；s1.2，预定义所有被测目标的位置和姿态以及背景信息，计算获得被测目标和背景在深度图相机模块局部坐标系下的位置、速度信息；s1.3，通过深度图相机模块的内参矩阵m和畸变系数d，结合s1.2中的位置、速度信息，计算得到当前帧的深度图。3.根据权利要求1所述的基于深度图的毫米波雷达仿真的方法，其特征在于，步骤s2中读取深度图信息，将深度图中的像素点转化为三维点云集合，记其为q，并将点云集合q转换到毫米波雷达模块的局部坐标系中，记转换之后的点云集合为r，包含以下子步骤：s2.1，通过深度图相机模块的内参矩阵m和畸变系数d，结合深度图中的点云集合q，计算得到该点云集合在深度图相机模块局部坐标系下的三维坐标表示，记点云集合及其三维坐标表示为为s；s2.2，通过毫米波雷达模块和深度图相机模块的位置和姿态计算得到s2.1中的点云集合在毫米波雷达模块局部坐标系中的三维坐标。4.根据权利要求1所述的基于深度图的毫米波雷达仿真的方法，其特征在于，步骤s3中采用先验的毫米波雷达模块与被测目标的相对位置信息对r进行过滤，划分出毫米波雷达模块的有效范围，并针对点云集合r中的每一个点进行过滤，只保留毫米波雷达模块的有效范围内的点云集合，记其为r。5.根据权利要求1所述的基于深度图的毫米波雷达仿真的方法，其特征在于，步骤s4中利用概率函数f和分段函数围绕目标产生随机的点云，m为s3中点云集合r的个数，模拟实际的毫米波雷达回波点，记所有产生回波的点云集合为e。
6.根据权利要求1所述的基于深度图的毫米波雷达仿真的方法，其特征在于，步骤s5中采用毫米波雷达模块的参数对上述步骤中得到的点云中的每一个点分别进行回波模拟，并将所有点云的回波进行叠加，包含以下子步骤：s5.1，预定义毫米波雷达的天线数目n、天线位置、信号发射周期t、信号波长λ、信号起始频率h以及调频斜率k；s5.2，对步骤s4中得到的点云集合e中的每个毫米波雷达回波点，记回波点和雷达的连线与雷达探测范围的中轴线的夹角为θ，根据θ和回波点的速度计算出回波点相对于毫米波雷达模块的径向速度，同时计算回波点和雷达的连线与雷达探测范围的中轴线的水平夹角和俯仰夹角，根据径向速度、水平夹角和俯仰夹角计算出对应信号的相位差以及接收天线间的相位差；s5.3，对所有回波点产生的信号进行相加并除权，得到该帧毫米波雷达回波的数字信号。7.根据权利要求6所述的基于深度图的毫米波雷达仿真的方法，其特征在于，s5.2具体包括：s5.2.1，记回波点与雷达的距离为d，记光速为c，计算得到毫米波雷达模块发射信号与接收信号的时间间隔t，结合信号起始频率以及调频斜率模拟出接收信号与发射信号，并将接收信号与发射信号进行叠加获得中频信号；s5.2.2，记回波点和雷达的连线与雷达探测范围的中轴线的夹角为θ，根据θ和回波点的速度计算出回波点相对于毫米波雷达模块的径向速度v
′
，从而计算出因为多普勒效应而产生的相位差：s5.2.3，记回波点和雷达的连线与雷达探测范围的中轴线的水平夹角为θ
h
，相邻接收天线的水平距离为l
h
，计算得到相邻水平接收天线的相位差为：s5.2.4，记回波点和雷达的连线与雷达探测范围的中轴线的俯仰夹角为θ
p
，相邻接收天线的俯仰距离为l
p
，计算得到相邻俯仰接收天线的相位差为：8.根据权利要求1所述的基于深度图的毫米波雷达仿真的方法，其特征在于，所述s6中对叠加之后的回波做fft和cfar，包含对毫米波雷达回波的数字信号的单个chirp、多个chirp之间和不同天线间之间做fft和cfar，得到目标的距离、速度和角度信息。9.根据权利要求7所述的所述的基于深度图的毫米波雷达仿真的方法，其特征在于，步骤6具体包括：s6.1，对毫米波雷达模块回波的数字信号的单个啁啾chirp做一维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的距离信息；对毫米波雷达模块回波的数字信号的多个chirp之间做二维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目
标的速度信息；对毫米波雷达模块回波的数字信号的水平方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的水平角度信息；对毫米波雷达模块回波的数字信号的垂直方向的天线间的信号做三维fft，将时域信息转化为频域信息，对每个频率的幅值信息做cfar，若某个频率值的幅值大于其附近频率的幅值，即可视为该点有目标，将该点的频率值和毫米波雷达模块的采样数进行计算，可得目标的俯仰角度信息；s6.2，综合步骤s6.1中的所有的信息，得该帧毫米波雷达模块的所有仿真点云的空间坐标信息和速度信息。10.一种基于深度图的毫米波雷达仿真的装置，其特征在于，包括一个或者多个处理器，用于实现权利要求1-7中任一项所述的基于深度图的毫米波雷达仿真方法。

技术总结
本发明公开一种基于深度图的毫米波雷达点云仿真的方法和装置，该方法预定义毫米波探测范围内的所有被测目标和背景以及其对应的位置和姿态，使用深度图相机模块生成深度图，结合深度图相机模块与毫米波雷达模块的相对位置生成毫米波雷达模块的回波信号，最后对回波信号做FFT(快速傅里叶变换)和CFAR(恒虚警)获得毫米波雷达模块点云数据。该方法既保留了真实毫米波雷达点云的真实性，又结合了虚拟仿真场景的可配置性和灵活性，并且能够自动生成数据标注信息，缓解了真实点云数据采集效率和人工标注效率低下的问题；该方法可以快速生成大量的毫米波雷达点云，为感知算法等深度学习算法提供了更多的训练数据。算法提供了更多的训练数据。算法提供了更多的训练数据。


技术研发人员：明彬彬 高健健 华炜 卢阳
受保护的技术使用者：之江实验室
技术研发日：2023.03.22
技术公布日：2023/7/25