现场足迹智能提取方法与流程

1.本发明涉及足迹提取领域，尤其涉及现场足迹智能提取方法。


背景技术：

2.足迹由于其不易伪装，难以掩盖等特点，是案发现场提取率最高、最有价值的线索之一，在案件侦破及多发性侵财案件中有着不可替代的作用，为了提高对足迹分析的准确性，刑侦人员在对现场足迹分析之前，需要进行现场足迹的提取工作，提取的质量与后续案件的侦破效率密切相关。
3.而为了获取现场的足迹信息，刑侦人员通常会利用相机对现场足迹进行拍摄，拍摄时需保证相机镜头垂直于地面且不能出现明显的畸变现象，若出现畸变现象，可能会导致足迹出现扭曲，即足迹会出现尺寸不准确的情况，这会导致在对犯罪嫌疑人的身高、体型等参数的测算不准确的问题，而手动控制镜头垂直于地面进行拍摄的方法对拍摄人员的技术要求较高，而且容易出错，提取速率低。


技术实现要素：

4.本发明针对现有技术存在的不足，提供了现场足迹智能提取方法，具体技术方案如下：
5.现场足迹智能提取方法，包括以下步骤：
6.利用yolov5模型对包围在足迹区域外侧的直角足迹标尺进行三点标记构成等效直角三角形，根据所述等效直角三角形的直角位置的角度变化提供拍摄角度的修正提示，并以修正后的拍摄角度拍摄足迹区域图像，将足迹区域图像导入深度网络中分离足迹区域图像的前景以获取足迹分割图。
7.作为上述技术方案的改进，所述利用yolov5模型对包围在足迹区域外侧的直角足迹标尺进行三点标记构成等效直角三角形，包括：
8.将直角足迹标尺沿足迹的朝向进行设置，通过yolov5模型对直角足迹标尺的3个顶点区域的中心点进行标记，并将三个中心点连线形成等效直角三角形。
9.作为上述技术方案的改进，所述根据所述等效直角三角形的直角位置的角度变化提供拍摄角度的修正提示，并以修正后的拍摄角度拍摄足迹区域图像，包括以下拍摄时的倾斜角计算公式：
10.α＝|θ
abc-90
°
|
±
β
11.其中，α为拍摄时的倾斜角，θ
abc
为拍摄的足迹区域图像中等效直角三角形的直角位置的实际角度，β为修正角度，取值范围为2
°
。
12.作为上述技术方案的改进，所述将足迹区域图像导入生成器中分离前景以获取足迹分割图，执行之前还包括以下步骤：
13.根据足迹区域图像确定等效直角三角形所对应的等效矩形，根据所述修正提示获取修正后的足迹区域图像平面中等效矩形四个顶点所对应的目标点，以足迹区域图像中等
效矩形的四个顶点以及四个顶点所对应四个目标点构成的四组点集求解透视变换矩阵，并根据结果进行角度变换，得到二次修正后的足迹区域图像。
14.作为上述技术方案的改进，所述透视变换矩阵为：
[0015][0016]
其中，u,v表示顶点在足迹区域图像平面中的坐标，x,y表示目标点在根据所述修正提示获取修正后的足迹区域图像平面中的坐标，a
11-a
32
对应四组点集。
[0017]
作为上述技术方案的改进，所述深度网络包括有生成器与判别器，所述生成器包括有下采样模块、残差模块以及上采样模块，所述下采样模块与上采样模块为跨层连接，所述下采样模块将足迹区域图像解码到源域特征空间，所述残差模块将下采样模块采样并解码的数据映射到目标域特征空间，所述上采样模块根据残差模块映射的数据生成足迹分割图，所述判别器用于判别足迹分割图的真伪。
[0018]
作为上述技术方案的改进，包括以下步骤：对足迹分割图进行图像识别并将其足迹分割图区分为指区、前掌区、足弓区以及足跟区，通过前掌区左右两侧最外缘的点以及足跟区左右两侧最外缘的点获取足迹分割图的足迹中心线、外缘切线以及内缘切线。
[0019]
作为上述技术方案的改进，包括以下步骤：利用yolov5模型预测足迹区域获取正向框，以等效直角三角形的直角边与水平方向的夹角作为旋转角，以等效直角三角形的直角边与正向框的交点作为旋转点，修正正向框的角度，将修正后的正向框限制于直角足迹标尺的内部得到目标框。
[0020]
作为上述技术方案的改进，所述足迹区域图像以所述目标框与水平方向的夹角作为旋转角进行角度修正。
[0021]
作为上述技术方案的改进，包括以下步骤：测量足迹区域中等效直角三角形的斜边的实际长度，获取足迹区域图像中等效直角三角形的斜边的像素长度，以获得的所述实际长度与像素长度获取比例尺。
[0022]
本发明的有益效果：
[0023]
利用三点标记的方法形成等效直角三角形，以三角形的直角部分作为畸变检测，当拍摄时的拍摄图像中的直角位置的实际角度不等于90
°
时，进行角度修正提示，直至操作人员的拍摄角度能够达到垂直水平，保证拍摄照片的准确性。
[0024]
进一步的，以透视变换矩阵对拍摄的照片进行畸变矫正，从而获得更为准确的足迹区域图像，避免在角度修正提示下，操作人员仍然无法正确操作获得准确的足迹区域图像的问题。
附图说明
[0025]
图1为现有技术对足迹区域中目标的边框实际预测效果和理想预测效果的对比图，图1中左侧为实际预测效果，右侧为理想预测效果；
[0026]
图2为本发明对足迹区域图像检测的原理图；
[0027]
图3为本发明对足迹区域图像矫正原理图；
[0028]
图4为本发明对足迹区域图像的特征标注原理图；
[0029]
图5为本发明对足迹区域图像倒置状态下的矫正效果图；
[0030]
图6为本发明对足迹区域图像进行足迹分割的效果图。
具体实施方式
[0031]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0032]
现有的足迹提取中，刑侦人员通常会利用相机对现场足迹进行拍摄，拍摄时需保证相机镜头垂直于地面且不能出现明显的畸变现象，若出现畸变现象，可能会导致足迹出现扭曲，即足迹会出现尺寸不准确的情况，这会导致在对犯罪嫌疑人的身高、体型等参数的测算不准确的问题，而手动控制镜头垂直于地面进行拍摄的方法对拍摄人员的技术要求较高，而且容易出错，提取速率低。
[0033]
为了解决这一问题，请参阅图1-5，现场足迹智能提取方法，包括以下步骤：
[0034]
s1：利用yolov5模型对包围在足迹区域外侧的直角足迹标尺进行三点标记构成等效直角三角形。
[0035]
所述步骤s1包括：
[0036]
s11：将直角足迹标尺沿足迹的朝向进行设置；
[0037]
即直角足迹标尺需要以足迹的朝向来包围足迹，直角足迹标尺尽量靠近足迹的周围，降低成像范围内的无用区域。
[0038]
s12：通过yolov5模型对直角足迹标尺的3个顶点区域的中心点进行标记，并将三个中心点连线形成等效直角三角形，如图2(a)所示，三个中心点分别记为pa、pb、pc。
[0039]
s2：根据所述等效直角三角形的直角位置的角度变化提供拍摄角度的修正提示，并以修正后的拍摄角度拍摄足迹区域图像。
[0040]
即以等效直角三角形的直角位置作为修正的前后对比基准，将拍摄过程中的成像图像的直角位置的角度与直角之间的差值作为倾斜角进行计算，即以如图2(a)中pbpc与pbpa的夹角的拍摄成像角度与90
°
的差值作为倾斜角进行计算，根据倾斜角的大小提示应当修正的拍摄角度，根据提示的修正角度进行调整并拍摄，得到最后的足迹区域图像。
[0041]
在步骤s2中包括以下拍摄时的倾斜角计算公式：
[0042]
α＝|θ
abc-90
°
|
±
β
[0043]
其中，α为拍摄时的倾斜角，θ
abc
为拍摄的足迹区域图像中等效直角三角形的的直角位置的实际角度，β为修正角度，取值范围为2
°
[0044]
在上述技术方案中，由于人工操作的不确定性，可能会出现不能够很好地跟随修正提示进行角度修正的情况，即虽然存在角度修正提示，但是仍然可能存在拍摄的足迹区域图像存在畸变或者倾斜的情况，为了保证最后分离足迹的准确性，在执行步骤s3之前还需要先执行以下步骤：
[0045]
s21：根据足迹区域图像确定等效直角三角形所对应的等效矩形；
[0046]
以图2(a)中的等效直角三角形确定等效矩形，即以pbpc的中线作为对称轴，得到pa关于pbpc中线的对称点pd，以矩形papbpcpd作为等效矩形，如图3(a)所示。
[0047]
s22：根据所述修正提示获取修正后的足迹区域图像平面中等效矩形四个顶点所
对应的目标点；
[0048]
在步骤s22中，以按照步骤s2进行修正所能够得到的足迹区域图像平面的中四个点pa、pb、pc、pd作为目标点，为了区分，如图3(b)所示，将这四个目标点记为，p'a、p'b、p'c、p'd，即在进行步骤s2时，不仅提供拍摄角度的修正提示，还会将进行角度修正后所能够得到的准确的足迹图像平面进行记录(为了便于理解，后续内容中将进行角度修正后所能够得到的准确的足迹图像平面记为目标平面)，便于后续获取目标点。
[0049]
s23：以足迹区域图像中等效矩形的四个顶点以及四个顶点所对应四个目标点构成的四组点集求解透视变换矩阵，并根据结果进行角度变换，得到二次修正后的足迹区域图像。
[0050]
在已知目标平面和足迹区域图像平面的情况下，以四个顶点进行投影，利用透视变换矩阵，将存在变形、倾斜的足迹区域图像平面投影到经过步骤s2修正后的目标平面上，以计算结果进行角度变换得到修正后的足迹区域图像
[0051]
所述透视变换矩阵为：
[0052][0053]
其中，u,v表示顶点在足迹区域图像平面中的坐标，x,y表示目标点在目标平面中的坐标，a
11-a
32
对应四组点集。
[0054]
经过步骤s23后的足迹区域图像的修正效果如图3所示。
[0055]
s3：将足迹区域图像导入深度网络中分离足迹区域图像的前景以获取足迹分割图。
[0056]
所述深度网络包括有生成器与判别器，所述生成器包括有下采样模块、残差模块以及上采样模块，通过下采样模块将足迹区域图像解码到源域特征空间，再由残差模块将下采样模块采样并解码的数据映射到目标域特征空间，以上采样模块根据残差模块映射的数据生成足迹分割图，为了防止层数的增加而丢失前层的信息，下采样模块与上采样模块采用跨层连接，利用判别器和生成器进行大量训练后，判别器能够判别足迹分割图的真伪，直至生成器能够生成足以通过判别器识别的图像，这样在经过二次处理的足迹区域图像导入至深度网络中时，生成器能够将足迹区域图像的前景分离，从而获得准确的足迹分割图，如图6所示，为本实施例对足迹区域图像进行足迹分割的效果图。
[0057]
在刑侦人员对犯罪嫌疑人的身高等参数进行测算时，需要用到多个参数，其中以足迹中心线、外缘切线以及内缘切线是足迹中重要的线性特征，与身高、年龄以及体重等信息密切相关，可辅助刑侦人员缩小排查范围，而刑侦人员手动进行标记不仅容易标记错误，而且准确度受限于操作经验，为了保证刑侦人员能够准确地获得这些信息，采取以下步骤：
[0058]
s41：对足迹分割图进行图像识别并将其足迹分割图区分为指区、前掌区、足弓区以及足跟区；
[0059]
步骤s41的执行依赖于(王年，樊旭晨，张玉明，等.基于足迹图像的fth-net预测身高方法[j].华南理工大学学报：自然科学版，2020，48(6):9)这一文献中所记载的方法，以该文献中的方法基于步骤23中获得的足迹分割图，即以对比度较强且背景单一的足迹分割图以文献中的方法将足迹分割图区分为指区、前掌区、足弓区以及足跟区，如图4(a)所示。
[0060]
s42：通过前掌区左右两侧最外缘的点以及足跟区左右两侧最外缘的点获取足迹分割图的足迹中心线、外缘切线以及内缘切线.
[0061]
如图4(b)所示取前掌区左右两侧最外缘的点分别记为m
l
、mr，足跟区左右两侧最外缘的点分别记为n
l
、nr，连接m
l
mr，n
l
nr，取m
l
mr中心点mm，n
l
nr中心点nm，连接mmnm得到足迹中心线，连接m
lnl
为外缘切线，mrnr为内缘切线，最后将分割图中的线性特征转移至现场图中，如图4(c)所示。
[0062]
以现有技术为例，如图1所示，采用深度学习模型来进行预测，其得到的足迹区域目标框的预测效果为竖直状态，因足迹的角度等情况的变化，会导致足迹区域目标框中存在较大的空白区域，影响后续的图像矫正，为了解决这个问题，采用以下步骤：
[0063]
s51：利用yolov5模型预测足迹区域获取正向框；
[0064]
如图1所示，以完全包覆足迹的竖直框架作为正向框，其与直角足迹标尺存在交叉接触。
[0065]
s52：以等效直角三角形的直角边与水平方向的夹角作为旋转角，以等效直角三角形的直角边与正向框的交点作为旋转点，修正正向框的角度。
[0066]
通过步骤s52将正向框的直角边的方向调整至与直角足迹标尺的直角边方向平行的状态。
[0067]
s53：将修正后的正向框限制于直角足迹标尺的内部得到目标框。
[0068]
以步骤s53将正向框超出直角足迹标尺的部分限制在直角足迹标尺的内部，即将正向框超出的部分调整至与直角足迹标尺的内壁贴合的状态，如图1中的右图所示，这里得到的目标框降低了所覆盖的多余的空间，保证了目标框内壁贴合足迹图像。
[0069]
在得到目标框以后，为了便于观察，部分情况下还需要将足迹区域图像调整至正向的竖直状态，具体的，执行以下步骤：
[0070]
s54：所述足迹区域图像以所述目标框与水平方向的夹角作为旋转角进行角度修正。
[0071]
即以步骤s54来将足迹区域图像的方向进行调整，调整后的足迹区域图像能够显示为正向竖直的状态。
[0072]
将其与步骤s23结合后，可以将倒置、甚至是倾斜状态的图像转变为正向竖直状态的图像，并且能够以相对于目标平面进行投影的状态进行显示，如图5(a)所示，其为倒置状态下的原始拍摄的足迹区域图像，在经过步骤s54的处理后，以步骤s23进行二次处理，可得到如图5(b)中所示的处理结果。
[0073]
在刑侦的处理当中，由于图像拍摄的比例和真实世界的比例是不一致的，而刑侦人员的足迹勘测需要保证最后测算结果与真实世界的实际结果的一致性，为了满足这个条件，采用以下步骤：
[0074]
s61：测量足迹区域中等效直角三角形的斜边的实际长度。
[0075]
s62：获取足迹区域图像中等效直角三角形的斜边的像素长度。
[0076]
s63：以获得的所述实际长度与像素长度获取比例尺。
[0077]
实际长度即指足迹在真实世界的测量长度，而像素长度是指足迹区域图像中测量的图像像素的长度，以等效直角三角形为例，比例尺计算公式如下：
[0078][0079][0080]
其中，r
ac
为papc的真实长度，r
ab
为papb的真实长度，r
bc
为pbpc的真实长度，f
ac
为papc的像素长度，f
ab
为papb的像素长度，f
bc
为pbpc的像素长度，公式中r
ac
、r
ab
以及r
bc
为测量获得的已知量。
[0081]
可以根据比例尺，来测算犯罪嫌疑人的真实足长、足宽等信息。
[0082]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.现场足迹智能提取方法，其特征在于，包括以下步骤：利用yolov5模型对包围在足迹区域外侧的直角足迹标尺进行三点标记构成等效直角三角形；根据所述等效直角三角形的直角位置的角度变化提供拍摄角度的修正提示，并以修正后的拍摄角度拍摄足迹区域图像；将足迹区域图像导入深度网络中分离足迹区域图像的前景以获取足迹分割图。2.根据权利要求1所述的现场足迹智能提取方法，其特征在于：所述利用yolov5模型对包围在足迹区域外侧的直角足迹标尺进行三点标记构成等效直角三角形，包括：将直角足迹标尺沿足迹的朝向进行设置；通过yolov5模型对直角足迹标尺的3个顶点区域的中心点进行标记，并将三个中心点连线形成等效直角三角形。3.根据权利要求1所述的现场足迹智能提取方法，其特征在于：所述根据所述等效直角三角形的直角位置的角度变化提供拍摄角度的修正提示，并以修正后的拍摄角度拍摄足迹区域图像，包括以下拍摄时的倾斜角计算公式：α＝|θ
abc-90
°
|
±
β其中，α为拍摄时的倾斜角，θ
abc
为拍摄的足迹区域图像中等效直角三角形的直角位置的实际角度，β为修正角度，取值范围为2
°
。4.根据权利要求1所述的现场足迹智能提取方法，其特征在于：所述将足迹区域图像导入生成器中分离前景以获取足迹分割图，执行之前还包括以下步骤：根据足迹区域图像确定等效直角三角形所对应的等效矩形；根据所述修正提示获取修正后的足迹区域图像平面中等效矩形四个顶点所对应的目标点；以足迹区域图像中等效矩形的四个顶点以及四个顶点所对应四个目标点构成的四组点集求解透视变换矩阵，并根据结果进行角度变换，得到二次修正后的足迹区域图像。5.根据权利要求4所述的现场足迹智能提取方法，其特征在于：所述透视变换矩阵为：其中，u,v表示顶点在足迹区域图像平面中的坐标，x,y表示目标点在根据所述修正提示获取修正后的足迹区域图像平面中的坐标，a
11-a
32
对应四组点集。6.根据权利要求1所述的现场足迹智能提取方法，其特征在于：所述深度网络包括有生成器与判别器，所述生成器包括有下采样模块、残差模块以及上采样模块，所述下采样模块与上采样模块为跨层连接，所述下采样模块将足迹区域图像解码到源域特征空间，所述残差模块将下采样模块采样并解码的数据映射到目标域特征空间，所述上采样模块根据残差模块映射的数据生成足迹分割图，所述判别器用于判别足迹分割图的真伪。7.根据权利要求6所述的现场足迹智能提取方法，其特征在于，包括以下步骤：对足迹分割图进行图像识别并将其足迹分割图区分为指区、前掌区、足弓区以及足跟区；通过前掌区左右两侧最外缘的点以及足跟区左右两侧最外缘的点获取足迹分割图的
足迹中心线、外缘切线以及内缘切线。8.根据权利要求1-7任一所述的现场足迹智能提取方法，其特征在于，包括以下步骤：利用yolov5模型预测足迹区域获取正向框；以等效直角三角形的直角边与水平方向的夹角作为旋转角，以等效直角三角形的直角边与正向框的交点作为旋转点，修正正向框的角度；将修正后的正向框限制于直角足迹标尺的内部得到目标框。9.根据权利要求8所述的现场足迹智能提取方法，其特征在于：所述足迹区域图像以所述目标框与水平方向的夹角作为旋转角进行角度修正。10.根据权利要求1-7任一所述的现场足迹智能提取方法，其特征在于，包括以下步骤：测量足迹区域中等效直角三角形的斜边的实际长度；获取足迹区域图像中等效直角三角形的斜边的像素长度；以获得的所述实际长度与像素长度获取比例尺。

技术总结
本发明涉及足迹提取领域，尤其涉及现场足迹智能提取方法，包括以下步骤：利用YoloV5模型对包围在足迹区域外侧的直角足迹标尺进行三点标记构成等效直角三角形，根据所述等效直角三角形的直角位置的角度变化提供拍摄角度的修正提示，并以修正后的拍摄角度拍摄足迹区域图像，将足迹区域图像导入深度网络中分离足迹区域图像的前景以获取足迹分割图。本发明利用三点标记的方法形成等效直角三角形，以三角形的直角部分作为畸变检测，当拍摄时的拍摄图像中的直角位置的实际角度不等于90


技术研发人员：樊旭晨 王年 宫臣 皮栋辉 张艳 鲍文霞 唐俊 朱明 周旭东
受保护的技术使用者：杭州创恒电子技术开发有限公司
技术研发日：2022.12.15
技术公布日：2023/7/13