一种基于视频与三维模型融合的林地目标定位方法

1.本发明涉及林木定位技术领域，更具体地说，本发明涉及一种基于视频与三维模型融合的林地目标定位方法。


背景技术：

2.近些年，人们对生活质量的要求越来越高，由此产生对林业、林产品及林业衍生品的需求也将越来越大，现代林业的地位、作用及内涵也将越来越大，其重要性也与日俱增，数字化林地管理在国家大力推进绿色可持续发展建设的背景下，成为一项重要内容。
3.利用数字化技术，对传统林地管理进行改造，从而能够让林地从生产、管理等方面提升时效性和计划性，保证了林地的可持续发展，同时，林业管理需要对林地中的目标进行准确定位和识别，能够提高林业管理效率和精度，而传统的林地目标定位方法通常依赖于人工或使用传统摄影测量学的方法，存在目标定位精度不高、误识别率高、效率低下的问题，随着立体摄影测量学的发展以及三维模型的广泛应用，基于视频与三维模型融合的林地目标定位方法逐渐受到关注。


技术实现要素：

4.为了克服现有技术的上述缺陷，本发明的实施例提供一种基于视频与三维模型融合的林地目标定位方法，通过立体摄影测量学的照相装置获取林地中同一地区的视频与照片数据，根据匹配点对和相机标定参数，使用三维重建算法构建三维重建模型，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，再通过图像对比与目标定位，确定目标在照片中的位置，得到目标在林地中的准确定位信息。本发明能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于视频与三维模型融合的林地目标定位方法，包括如下步骤：步骤一，获取视频与照片数据：通过立体摄影测量学的照相装置，获取林地中同一地区的视频与照片数据，从视频中提取视频帧并及进行对齐，其中，立体摄影测量学的照相装置包括镜头、双目摄像头、图像传感器、同步控制模块、数据传输模块以及数据存储模块；步骤二，构建林地三维模型：通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，其中，相机标定采用张正友标定法进行内外参数的求解，其求解公式为：；式中：为相机坐标系到图像坐标系的尺度因子，为图像中的像素坐标，为相机内参矩阵，为相机的旋转矩阵，为相机的平移向量，为三维空间中的点坐标；步骤三，提取目标特征点：在构建的三维模型中，通过基于深度学习的目标检测与
定位算法提取用于目标定位的目标特征点与目标区域；步骤四，图像对比与目标定位：将待定位的照片与所构建的三维模型进行对比，通过匹配照片中的目标特征点与三维模型中的相应特征点、照片中的目标区域与三维模型中的相应目标区域，确定目标在照片中的位置，得到目标在林地中的准确定位信息；步骤五，定位精度优化：通过最小二乘法对目标定位的准确性进行优化。
6.作为本发明进一步的方案，立体摄影测量学的照相装置中，镜头与双目摄像头相连接，双目摄像头与图像传感器相连接，图像传感器与同步控制模块相连接，同步控制模块与数据传输模块相连接，数据传输模块与数据存储模块相连接。
7.作为本发明进一步的方案，通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，具体步骤为：步骤q1，数据预处理：通过对获取的视频帧与照片数据进行去噪、色彩校正以及图像配准操作；步骤q2，特征提取：通过尺度不变特征转换算法检测预处理后的视频帧与照片数据中的关键点，计算关键点中的特征描述子；步骤q3，特征匹配：通过特征描述子的相似度进行关键点匹配，找到视频帧与照片数据之间的匹配点对，使用特征描述子的相似度进行匹配的公式为：；式中：表示特征点和特征点之间的距离，和分别表示特征点和特征点的特征描述子；步骤q4，三维重建：通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，再使用最小二乘法对初始三维点云进行优化；步骤q5，三维模型构建：通过对优化后的初始三维点云及逆行滤波，利用表面重建算法生成具有连续表面的三维模型。
8.作为本发明进一步的方案，通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，其中，每对匹配点对为，利用三角测量计算三维坐标的具体步骤为：步骤w1，坐标归一化：将每个匹配点的像素坐标归一化为相机坐标系下的坐标，归一化后的坐标为；步骤w2，点的反投影：在相机坐标系下，通过反投影操作，计算归一化后的匹配点对应的射线；步骤w3，三角测量：通过反投影后的射线和匹配点的反投影射线，进行三角测量计算，得到三维坐标点，三角测量进行三维重建的公式为：；式中：为三维点的坐标，为相机标定矩阵，为匹配点对的齐次坐标。
9.作为本发明进一步的方案，在构建的三维模型中，提取用于目标定位的目标特征点与目标区域，提取目标特征点与目标区域的具体步骤为：步骤a1，目标特征点选择：选择具有显著性和区分度的目标特征点，包括林地中的树木、建筑物、道路交叉口以及河流；步骤a2，目标特征点提取：在三维模型中，根据目标特征点的选择，提取目标特征点；步骤a3，目标区域提取：通过yolo目标检测算法提取视频帧以及照片数据中的目标区域，yolo目标检测算法将林地中的目标特征点识别和框定为矩形边界框，根据特征点聚集程度动态调整矩形边界框的长和宽；步骤a4，目标特征点与目标区域存储：将提取的目标特征点与目标信息进行存储。
10.作为本发明进一步的方案，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，基于深度学习的目标检测与定位算法的具体步骤为：步骤d1，数据收集：通过收集林木的高分辨率航拍图像，获取包含目标特征点的图像数据集；步骤d2，目标检测与定位模型训练：通过深度学习方法，训练基于卷积神经网络的目标检测与定位模型；步骤d3，模型训练与优化：通过对图像数据集进行目标检测与定位模型的训练和优化，并调整模型参数迭代训练。
11.作为本发明进一步的方案，通过图像对比与目标定位确定目标在照片中的位置的具体步骤为：步骤m1，位姿估计：基于目标特征点与目标区域的匹配结果，通过pnp算法进行相机位姿的估计，pnp算法利用已知的三维坐标与其在图像中对应的投影点之间的对应关系，计算相机的旋转矩阵和平移向量；步骤m2，目标定位：通过位姿估计结果，将待定位照片中的目标特征点的图像坐标转换为三维模型坐标，通过相机投影模型和坐标变换公式计算待定位照片中对应特征点的三维坐标：；式中：为待定位照片中对应特征点的三维坐标，为三维模型中的特征点坐标；步骤m3，目标准确定位信息：通过目标在三维模型中的坐标，获得目标在林地中的准确定位信息，包括目标的地理坐标和海拔高度。
12.本发明一种基于视频与三维模型融合的林地目标定位方法的技术效果和优点：1.本发明结合立体摄影测量学的照相装置和三维模型，实现了对多个林地中同一地区的照片进行对比，大大提高了定位的准确性；2.本发明利用三维模型提取的目标特征点，能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差；3.本发明能够快速且准确地匹配照片中的目标特征点与三维模型中的相应特征点，提供高效的目标定位结果。
附图说明
13.图1为本发明一种基于视频与三维模型融合的林地目标定位方法的结构示意图；图2为本发明一种基于视频与三维模型融合的林地目标定位方法立体摄影测量学照相装置的结构示意图；图3为本发明一种基于视频与三维模型融合的林地目标定位方法的目标特征点与目标区域提取过程示意图。
具体实施方式
14.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
15.一种基于视频与三维模型融合的林地目标定位方法，包括如下步骤：步骤一，获取视频与照片数据：通过立体摄影测量学的照相装置，获取林地中同一地区的视频与照片数据，从视频中提取视频帧并及进行对齐，其中，立体摄影测量学的照相装置包括镜头、双目摄像头、图像传感器、同步控制模块、数据传输模块以及数据存储模块；实施例1当需要对林地进行目标定位时，选择需要进行目标定位的特定林地区域，并确定该区域内的目标对象，选择的林地区域为，目标对象为。将立体摄影测量学的照相装置设置在适当的位置，并确保摄像头的参数和位置满足实际应用的要求，立体摄影装置的位置为。使用照相装置进行视频和照片的采集。采集到的视频序列为，其中每帧图像为，采集到的照片序列为，其中每张照片为。再从视频序列中提取帧图像，设定提取的视频帧数为，提取到的视频帧集合为。对提取的视频帧进行对齐操作，以消除由于摄像头移动或振动引起的图像偏移，使用特征点匹配和图像配准技术，将所有视频帧对齐到参考帧，对齐后的视频帧集合为。
16.步骤二，构建林地三维模型：通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，其中，相机标定采用张正友标定法进行内外参数的求解，其求解公式为：；式中：为相机坐标系到图像坐标系的尺度因子，为图像中的像素坐标，为相机内参矩阵，为相机的旋转矩阵，为相机的平移向量，为三维空间中的点坐标。
17.步骤三，提取目标特征点：在构建的三维模型中，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域；步骤四，图像对比与目标定位：将待定位的照片与所构建的三维模型进行对比，通过匹配照片中的目标特征点与三维模型中的相应特征点、照片中的目标区域与三维模型中的相应目标区域，确定目标在照片中的位置，得到目标在林地中的准确定位信息；
步骤五，定位精度优化：通过最小二乘法对目标定位的准确性进行优化。
18.本实施例的立体摄影测量学的照相装置中，镜头与双目摄像头相连接，双目摄像头与图像传感器相连接，图像传感器与同步控制模块相连接，同步控制模块与数据传输模块相连接，数据传输模块与数据存储模块相连接。
19.其中，立体摄影测量学的照相装置中的镜头用于对场景进行成像，镜头的特性能够满足所需的视场角、焦距和畸变要求，以确保获取准确的图像数据；双目摄像头包括两个摄像头，分别用于左眼和右眼的图像采集，双目摄像头的间距和角度根据具体需求和应用场景进行设计；图像传感器用于将光学信号转换为数字图像，图像传感器的性能应能够提供高质量的图像捕获，具备较高的动态范围和低噪声水平；同步控制模块用于触发两个摄像头同时进行图像采集，确保左右摄像头的图像采集同步性，并确保图像间的时间一致性，以便进行后续的立体视觉处理；数据传输模块通过usb接口将数据传输到后续的处理设备或计算机系统；数据存储模块使用固态硬盘来存储大量的图像数据。
20.本实施例通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，具体步骤为：步骤q1，数据预处理：通过对获取的视频帧与照片数据进行去噪、色彩校正以及图像配准操作，以提高数据质量和准确性；步骤q2，特征提取：通过尺度不变特征转换算法检测预处理后的视频帧与照片数据中的关键点，计算关键点中的特征描述子；步骤q3，特征匹配：通过特征描述子的相似度进行关键点匹配，找到视频帧与照片数据之间的匹配点对，使用特征描述子的相似度进行匹配的公式为：；式中：表示特征点和特征点之间的距离，和分别表示特征点和特征点的特征描述子；步骤q4，三维重建：通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，再使用最小二乘法对初始三维点云进行优化；步骤q5，三维模型构建：通过对优化后的初始三维点云及逆行滤波，利用表面重建算法生成具有连续表面的三维模型。
21.本实施例通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，其中，每对匹配点对为，利用三角测量计算三维坐标的具体步骤为：步骤w1，坐标归一化：将每个匹配点的像素坐标归一化为相机坐标系下的坐标，归一化后的坐标为；步骤w2，点的反投影：在相机坐标系下，通过反投影操作，计算归一化后的匹配点对应的射线；步骤w3，三角测量：通过反投影后的射线和匹配点的反投影射线，进行三角测量计算，得到三维坐标点，三角测量进行三维重建的公式为：
；式中：为三维点的坐标，为相机标定矩阵，为匹配点对的齐次坐标。
22.本实施例在构建的三维模型中，提取用于目标定位的目标特征点与目标区域，提取目标特征点与目标区域的具体步骤为：步骤a1，目标特征点选择：选择具有显著性和区分度的目标特征点，包括林地中的树木、建筑物、道路交叉口以及河流；步骤a2，目标特征点提取：在三维模型中，根据目标特征点的选择，提取目标特征点，特征点应在林地中具有独特性，易于识别，并与其他地物有明显的区别；步骤a3，目标区域提取：通过yolo目标检测算法提取视频帧以及照片数据中的目标区域，yolo目标检测算法将林地中的目标特征点识别和框定为矩形边界框，根据特征点聚集程度动态调整矩形边界框的长和宽；根据特征点聚集程度动态调整矩形边界框，可以更准确地包围目标，确保目标区域被完整地捕捉到，有助于提高目标定位的精度，使得定位结果更加准确和精细化。矩形边界框根据目标特征点聚集程度进行动态调整，避免将背景或其他干扰物体误判为目标，有利于降低误识别率，提高目标识别的准确性。由于林地环境中可能存在光照变化、目标遮挡等因素，能够动态调整的矩形边界框可以在不同条件下适应目标的变化，增强了目标检测算法的鲁棒性，使其能够在各种复杂的林地场景中更可靠地工作，同时有助于提高林业管理的响应速度和操作效率。
23.步骤a4，目标特征点与目标区域存储：将提取的目标特征点与目标信息进行存储。
24.实施例2当在一个包含多种树木品种的大型林地中，以某种特定树木品种为目标特征点时，通过收集森林中的高分辨率航拍图像获取包含目标树木的图像数据集，在收集的图像数据集中，人工标注目标树木的位置和类别。为每个目标树木创建一个包围框标注。使用标注的图像数据集，进行目标检测与定位模型的训练和优化。通过迭代训练和调整模型参数，提高模型在目标树木检测和定位任务上的准确性和鲁棒性。对于新的图像数据，在经过训练和优化的目标检测与定位模型上进行预测，根据模型输出的目标树木包围框位置，得到目标树木的定位结果。
25.本实施例通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，基于深度学习的目标检测与定位算法的具体步骤为：步骤d1，数据收集：通过收集林木的高分辨率航拍图像，获取包含目标特征点的图像数据集；步骤d2，目标检测与定位模型训练：通过深度学习方法，训练基于卷积神经网络的目标检测与定位模型；步骤d3，模型训练与优化：通过对图像数据集进行目标检测与定位模型的训练和优化，并调整模型参数迭代训练。
26.本实施例通过图像对比与目标定位确定目标在照片中的位置的具体步骤为：步骤m1，位姿估计：基于目标特征点与目标区域的匹配结果，通过pnp算法进行相
机位姿的估计，pnp算法利用已知的三维坐标与其在图像中对应的投影点之间的对应关系，计算相机的旋转矩阵和平移向量；步骤m2，目标定位：通过位姿估计结果，将待定位照片中的目标特征点的图像坐标转换为三维模型坐标，通过相机投影模型和坐标变换公式计算待定位照片中对应特征点的三维坐标：；式中：为待定位照片中对应特征点的三维坐标，为三维模型中的特征点坐标；步骤m3，目标准确定位信息：通过目标在三维模型中的坐标，获得目标在林地中的准确定位信息，包括目标的地理坐标和海拔高度。
27.本实施例通过立体摄影测量学的照相装置获取林地中同一地区的视频与照片数据，根据匹配点对和相机标定参数，使用三维重建算法构建三维重建模型，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，再通过图像对比与目标定位，确定目标在照片中的位置，得到目标在林地中的准确定位信息。本实施例能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差，并且能够快速且准确地匹配照片中的目标特征点与三维模型中的相应特征点，提供高效的目标定位结果。
28.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
29.最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于视频与三维模型融合的林地目标定位方法，其特征在于，包括如下步骤：步骤一，获取视频与照片数据：通过立体摄影测量学的照相装置，获取林地中同一地区的视频与照片数据，从视频中提取视频帧并及进行对齐，其中，立体摄影测量学的照相装置包括镜头、双目摄像头、图像传感器、同步控制模块、数据传输模块以及数据存储模块；步骤二，构建林地三维模型：通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，其中，相机标定采用张正友标定法进行内外参数的求解，其求解公式为：；式中：为相机坐标系到图像坐标系的尺度因子，为图像中的像素坐标，为相机内参矩阵，为相机的旋转矩阵，为相机的平移向量，为三维空间中的点坐标；步骤三，提取目标特征点：在构建的三维模型中，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域；步骤四，图像对比与目标定位：将待定位的照片与所构建的三维模型进行对比，通过匹配照片中的目标特征点与三维模型中的相应特征点、照片中的目标区域与三维模型中的相应目标区域，确定目标在照片中的位置，得到目标在林地中的准确定位信息；步骤五，定位精度优化：通过最小二乘法对目标定位的准确性进行优化。2.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，立体摄影测量学的照相装置中，镜头与双目摄像头相连接，双目摄像头与图像传感器相连接，图像传感器与同步控制模块相连接，同步控制模块与数据传输模块相连接，数据传输模块与数据存储模块相连接。3.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过对视频帧与照片数据进行预处理、特征提取以及特征匹配，根据匹配点对和相机标定参数，使用三维重建算法进行三维重建，具体步骤为：步骤q1，数据预处理：通过对获取的视频帧与照片数据进行去噪、色彩校正以及图像配准操作；步骤q2，特征提取：通过尺度不变特征转换算法检测预处理后的视频帧与照片数据中的关键点，计算关键点中的特征描述子；步骤q3，特征匹配：通过特征描述子的相似度进行关键点匹配，找到视频帧与照片数据之间的匹配点对，使用特征描述子的相似度进行匹配的公式为：；式中：表示特征点和特征点之间的距离，和分别表示特征点和特征点的特征描述子；步骤q4，三维重建：通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，再使用最小二乘法对初始三维点云进行优化；步骤q5，三维模型构建：通过对优化后的初始三维点云及逆行滤波，利用表面重建算法
生成具有连续表面的三维模型。4.根据权利要求3所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过匹配点对和相机标定参数，使用三维重建算法进行三维重建，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标，其中，三维重建算法利用三角测量得到初始三维点云，并计算其对应的三维坐标的具体步骤为：步骤w1，坐标归一化：将每个匹配点的像素坐标归一化为相机坐标系下的坐标，归一化后的坐标为；步骤w2，点的反投影：在相机坐标系下，通过反投影操作，计算归一化后的匹配点对应的射线；步骤w3，三角测量：通过反投影后的射线和匹配点的反投影射线，进行三角测量计算，得到三维坐标点，三角测量进行三维重建的公式为：；式中：为三维点的坐标，为相机标定矩阵，为匹配点对的齐次坐标。5.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，在构建的三维模型中，提取用于目标定位的目标特征点与目标区域，提取目标特征点与目标区域的具体步骤为：步骤a1，目标特征点选择：选择具有显著性和区分度的目标特征点，包括林地中的树木、建筑物、道路交叉口以及河流；步骤a2，目标特征点提取：在三维模型中，根据目标特征点的选择，提取目标特征点；步骤a3，目标区域提取：通过yolo目标检测算法提取视频帧以及照片数据中的目标区域，yolo目标检测算法将林地中的目标特征点识别和框定为矩形边界框，根据特征点聚集程度动态调整矩形边界框的长和宽；步骤a4，目标特征点与目标区域存储：将提取的目标特征点与目标信息进行存储。6.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，基于深度学习的目标检测与定位算法的具体步骤为：步骤d1，数据收集：通过收集林木的高分辨率航拍图像，获取包含目标特征点的图像数据集；步骤d2，目标检测与定位模型训练：通过深度学习方法，训练基于卷积神经网络的目标检测与定位模型；步骤d3，模型训练与优化：通过对图像数据集进行目标检测与定位模型的训练和优化，并调整模型参数迭代训练。7.根据权利要求1所述的一种基于视频与三维模型融合的林地目标定位方法，其特征在于，通过图像对比与目标定位确定目标在照片中的位置的具体步骤为：步骤m1，位姿估计：基于目标特征点与目标区域的匹配结果，通过pnp算法进行相机位姿的估计，pnp算法利用已知的三维坐标与其在图像中对应的投影点之间的对应关系，计算
相机的旋转矩阵和平移向量；步骤m2，目标定位：通过位姿估计结果，将待定位照片中的目标特征点的图像坐标转换为三维模型坐标，通过相机投影模型和坐标变换公式计算待定位照片中对应特征点的三维坐标：；式中：为待定位照片中对应特征点的三维坐标，为三维模型中的特征点坐标；步骤m3，目标准确定位信息：通过目标在三维模型中的坐标，获得目标在林地中的准确定位信息，包括目标的地理坐标和海拔高度。

技术总结
本发明涉及林地定位技术领域，具体公开了一种基于视频与三维模型融合的林地目标定位方法，通过立体摄影测量学的照相装置获取林地中同一地区的视频与照片数据，根据匹配点对和相机标定参数，使用三维重建算法构建三维重建模型，通过基于深度学习的目标检测与定位算法提取用于目标定位的目标特征点与目标区域，再进行图像对比与目标定位，确定目标在照片中的位置，得到目标在林地中的准确定位信息。本发明能够在复杂的林地环境中准确地定位目标，避免了传统的林地目标定位方法中易受光线、角度因素影响而产生的误差。因素影响而产生的误差。因素影响而产生的误差。


技术研发人员：王一卓
受保护的技术使用者：山东艺术学院
技术研发日：2023.07.14
技术公布日：2023/8/14