苹果产量评估方法、装置、设备及存储介质

1.本发明涉及计算机视觉技术领域，尤其涉及一种苹果产量评估方法、装置、设备及存储介质。


背景技术：

2.近年来，随着互联网购物的兴起，新鲜水果的网络销售成为一种重要的消费渠道，这其中就包括苹果的种植销售，然而网络销售往往并非即时销售，而多采用预售等方式，所以如果能提前得知苹果的年产量，对于货物的单量把控，物流的订单掌握也会变得更加方便。此外，通过水果计数除了掌握苹果果实当年生产情况以外，更可以以此为评判基准判断当年苹果果实生产率、生产质量效益如何，这些现象说明了评估苹果果实的产量在农业应用中的重要性。
3.由于苹果园的环境比较复杂，光照遮挡情况严重，对于苹果的检测和产量评估一般是采摘完成后进行人工计数，耗时耗力且苹果经采摘后新鲜程度无法保证，对果实质量产生影响。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种苹果产量评估方法、装置、设备及存储介质，旨在解决现有技术对于苹果的计数手段和产量评估耗时耗力的技术问题。
6.为实现上述目的，本发明提供了一种苹果产量评估方法，所述方法包括以下步骤：
7.根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；
8.基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；
9.将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；
10.对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；
11.将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。
12.可选地，所述根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集，包括：
13.采集苹果视频序列数据和预设数据库中的对照苹果图像数据；
14.对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集；
15.对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数
据测试集。
16.可选地，所述对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集，包括：
17.通过预设标注软件对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到目标检测数据集；
18.根据所述目标检测数据及确定所述苹果视频序列数据的检测框标注和所述对照苹果图像数据的目标序列号；
19.根据所述目标检测数据集、所述检测框标注和所述目标序列号得到多目标追踪性能分析数据集。
20.可选地，所述对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数据测试集，包括：
21.通过预设处理方式对所述多目标追踪性能分析数据集进行预处理，得到苹果图像数据；
22.对所述苹果图像数据进行随机旋转和翻转操作，得到额外扩充数据；
23.通过预设数据增强方式对所述苹果图像数据进行随机系数比例相乘操作，得到特异化苹果图像；
24.通过预设拼接方式对所述苹果图像数据进行拼接，得到上下文信息苹果图像；
25.对所述苹果图像数据、所述额外扩充数据、所述特异化苹果图像和所述上下文信息苹果图像进行动态填充灰色块并划分，得到数据训练集和数据测试集。
26.可选地，所述将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征，包括：
27.根据所述苹果视频序列数据得到苹果视频帧图像；
28.将所述苹果视频帧图像输入所述目标检测模型，得到图像苹果具体坐标框信息；
29.通过尺度不变特征变换算法提取所述图像苹果具体坐标框信息的关键点信息，得到外观特征描述子；
30.通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征。
31.可选地，所述通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征，包括：
32.通过所述卡尔曼滤波算法对所述图像苹果具体坐标框信息进行预测，得到预测帧目标位置信息；
33.通过匈牙利算法计算所述预测帧目标位置和图像苹果具体坐标框信息中的帧检测框信息之间的代价矩阵；
34.根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征。
35.可选地，所述根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征，包括：
36.根据所述代价矩阵计算最优匹配代价，并通过所述卡尔曼滤波算法对各检测框的预测位置进行更新，得到优化踪迹结果；
37.根据所述优化踪迹结果进行汇总得到各检测框对应的轨迹运动特征。
38.此外，为实现上述目的，本发明还提出一种苹果产量评估装置，所述苹果产量评估装置包括：
39.数据划分模块，用于根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；
40.模型训练模块，用于基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；
41.状态特征计算模块，用于将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；
42.模型构建模块，用于对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；
43.产量评估模块，用于将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。
44.此外，为实现上述目的，本发明还提出一种苹果产量评估设备，所述苹果产量评估设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的苹果产量评估程序，所述苹果产量评估程序配置为实现如上文所述的苹果产量评估方法的步骤。
45.此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有苹果产量评估程序，所述苹果产量评估程序被处理器执行时实现如上文所述的苹果产量评估方法的步骤。
46.本发明根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。通过这种方式，实现了通过苹果视频序列数据和对照苹果图像数据首先得到模型训练用的数据训练集和数据测试集，再对预设检测模型进行训练和精度检测，从而可以梳理得到外观特征描述子和轨迹运动特征，最终进行级联匹配得到多目标追踪算法模型，从而可以将目标检测模型和多目标追踪算法模型结合对苹果进行检测和产量评估，在不进行人工采摘的情况下完成事前产量预估，对于光照变化和图像噪声具备鲁棒性，同时具备尺度不变性和旋转不变性，同时将外观特征与运动特征进行级联匹配，在提升特征匹配速度的同时，在准确度上也有极大的提升。
附图说明
47.图1是本发明实施例方案涉及的硬件运行环境的苹果产量评估设备的结构示意图；
48.图2为本发明苹果产量评估方法第一实施例的流程示意图；
49.图3为本发明苹果产量评估方法一实施例中的预设检测模型架构图；
50.图4为本发明苹果产量评估方法第二实施例的流程示意图；
51.图5为本发明苹果产量评估方法一实施例中的多目标追踪方法示意图；
52.图6为本发明苹果产量评估方法一实施例中完整实施流程示意图；
53.图7为本发明苹果产量评估装置第一实施例的结构框图。
54.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
55.应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
56.参照图1，图1为本发明实施例方案涉及的硬件运行环境的苹果产量评估设备结构示意图。
57.如图1所示，该苹果产量评估设备可以包括：处理器1001，例如中央处理器(central processing unit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory，ram)存储器，也可以是稳定的非易失性存储器(non-volatile memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
58.本领域技术人员可以理解，图1中示出的结构并不构成对苹果产量评估设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
59.如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及苹果产量评估程序。
60.在图1所示的苹果产量评估设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明苹果产量评估设备中的处理器1001、存储器1005可以设置在苹果产量评估设备中，所述苹果产量评估设备通过处理器1001调用存储器1005中存储的苹果产量评估程序，并执行本发明实施例提供的苹果产量评估方法。
61.本发明实施例提供了一种苹果产量评估方法，参照图2，图2为本发明一种苹果产量评估方法第一实施例的流程示意图。
62.本实施例中，所述苹果产量评估方法包括以下步骤：
63.步骤s10：根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集。
64.需要说明的是，本实施例的执行主体为一个智能终端，可以为一个管理系统，或者计算机、服务器，或者其他具有信息和数据处理功能的设备，本实施例对此不加以限制。
65.应理解的是，近年来，随着互联网购物的兴起，新鲜水果的网络销售成为一种重要的消费渠道，这其中就包括苹果的种植销售，然而网络销售往往并非即时销售，而多采用预售等方式，所以如果能提前得知苹果的年产量，对于货物的单量把控，物流的订单掌握也会变得更加方便。此外，通过水果计数除了掌握苹果果实当年生产情况以外，更可以以此为评判基准判断当年苹果果实生产率、生产质量效益如何，这些现象说明了评估包括苹果果实在内的水果产量在农业应用中的重要性。过去，由于苹果园的环境比较复杂，光照遮挡情况严重，对于苹果的计数一般是采摘完成后进行人工计数，耗时耗力且苹果经采摘后新鲜程
度无法保证，对果实质量产生影响。随着机器学习在计算机视觉领域的不断发展，越来越多的深度学习模型被应用于农业相关的检测工作中来。yolo系列模型使用一阶段检测模型来完成检测对象的所有过程，同时修正了损失函数的设计，在保持不错精度的同时，达到了很快的检测速度，此外，它具有很好的泛化能力，可以很容易地训练来检测不同对象。其中yolov7是当前yolo系列中最新，效果相对最好的模型。多目标追踪是用于对视频中出现的多个目标用不同的id进行区分的深度学习任务，最早用于智能监控、无人驾驶领域，如今在农业生产领域也渐渐广泛起来。目前主流的多目标追踪方法都是基于先检测再追踪模式的，检测器的性能和追踪方法的选择共同影响了最终结果的优劣。目标检测模型虽然能较好的分辨出农业复杂环境下的水果坐标，但是在面对遮挡、光照变化等情况下容易造成漏检、复检等情况，针对苹果园复杂环境，将目标检测结合级联多目标匹配方法可以较为有效的解决这种问题，能较为准确的提前获知当年苹果果实产量范围。因而，提出的一种基于级联匹配多目标追踪的苹果产量评估方法具有重要意义。
66.在具体实施中，苹果视频序列数据指的是采集自然光照下的苹果园内的苹果的视频数据和从互联网中采集的用于做对照的对照苹果图像数据。
67.需要说明的是，构建的数据训练集和数据测试集是通过苹果视频序列数据和对照苹果图像数据首先进行标注，然后进行预处理和数据增强，最后得到数据训练集和数据测试集。
68.进一步的，为了准确的进行数据集的分类和划分，步骤s10包括：采集苹果视频序列数据和预设数据库中的对照苹果图像数据；对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集；对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数据测试集。
69.应理解的是，首先采集苹果视频序列数据和对照苹果图像数据，其中，对照苹果图像数据来自预设数据库，预设数据库即为在互联网上维护的包括各类网络资源的数据库。
70.在具体实施中，数据的标注是通过预设标注软件进行，并且在标注后可以得到多目标追踪性能分析数据集。
71.需要说明的是，当得到多目标追踪性能分析数据集之后，再进行预处理和数据增强，然后进行数据划分，最后得到数据训练集和数据测试集。
72.通过这种方式，实现了准确的进行数据训练集和数据测试集的准备，从而可以为后续的模型训练做准备，提高模型的准确性。
73.进一步的，为了进行数据标注，对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集的步骤包括：通过预设标注软件对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到目标检测数据集；根据所述目标检测数据及确定所述苹果视频序列数据的检测框标注和所述对照苹果图像数据的目标序列号；根据所述目标检测数据集、所述检测框标注和所述目标序列号得到多目标追踪性能分析数据集。
74.应理解的是，使用的预设标注软件为labelimage对苹果视频序列数据和对照苹果图像数据进行标注，也就是将视频帧数据和互联网图像数据标注为目标检测数据集，结合视频帧数据的检测框标注，标注拍摄视频的目标id(目标序列号)，生成多目标追踪性能分析数据集。最后对多目标追踪性能分析数据集进行数据划分，分别得到数据训练集和数据
测试集。
75.通过这种方式，实现了通过数据标注软件进行数据的标注和整理，然后进行划分，可以得到数据训练集和数据测试集。
76.进一步的，为了进行数据集的预处理和数据增强，对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数据测试集的步骤包括：通过预设处理方式对所述多目标追踪性能分析数据集进行预处理，得到苹果图像数据；对所述苹果图像数据进行随机旋转和翻转操作，得到额外扩充数据；通过预设数据增强方式对所述苹果图像数据进行随机系数比例相乘操作，得到特异化苹果图像；通过预设拼接方式对所述苹果图像数据进行拼接，得到上下文信息苹果图像；对所述苹果图像数据、所述额外扩充数据、所述特异化苹果图像和所述上下文信息苹果图像进行动态填充灰色块并划分，得到数据训练集和数据测试集。
77.在具体实施中，首先使用预设处理方式即图像预处理技术对图像数据进行预处理，得到了苹果图像操作，再随机旋转、翻转将苹果图像数据进行额外的扩充，得到了额外扩充数据，再通过预设数据增强方式mixup将苹果图像数据两张不同的苹果图像按随机系数比例进行相乘，并使用叠加后的比例调整标签文件，得到额外的特异化苹果图像，再通过预设拼接方式mosaic将苹果图像数据中四张不同的苹果图像进行拼接，得到具有额外上下文信息的苹果图像，即为上下文信息苹果图像。最后将苹果图像数据、额外扩充数据、特异化苹果图像和上下文信息苹果图像进行汇总，同时进行动态填充灰色块将不同大小的苹果图像保持相同纵横比，最终汇总之后进行划分，可以划分得到数据训练集和数据测试集。
78.通过这种方式，实现了对于多目标追踪性能分析数据集进行数据增强、扩充等操作再进行划分可以得到数据训练集和数据测试集，进一步提高训练模型的准确性并可以进行验证。
79.步骤s20：基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测。
80.需要说明的是，当得到数据训练集之后，基于所述数据训练集使用预设检测模型即yolov7目标检测模型进行训练，训练得到的yolov7目标检测模型通过数据测试集验证检测精度。其中，如图3所示为yolov7目标检测模型架构图。
81.步骤s30：将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征。
82.应理解的是，首先根据苹果视频序列数据得到苹果视频帧图像，再通过苹果视频帧图像输入到目标检测模型，可以得到具体的坐标框信息，再导入尺度不变特征变换算法对坐标框中图像信息进行处理，可以得到关键点信息，再得到外观特征描述子，此外坐标框信息结合卡尔曼滤波算法可以得到轨迹运动特征。
83.步骤s40：对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型。
84.在具体实施中，当得到外观特征描述子和轨迹运动特征之后，再结合精度检测结果进行级联匹配，从而构建了多目标追踪算法模型，可以进行自动的苹果检测。所述级联多目标追踪是通过对多目标追踪模型sort进行改进，添加尺度不变特征图像变换，运动特征和外观特征进行级联特征匹配来得到追踪精度更高的算法模型。
85.步骤s50：将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。
86.需要说明的是，将目标检测模型和多目标追踪算法模型进行结合得到产量评估模型，从而可以实现通过一个模型对图像进行分析，实现输入苹果园的图像自动识别苹果的数量和位置，从而进行产量预估。苹果检测和计数具体由对每个目标轨迹分配唯一id来完成，最终得到的id数量结果为苹果的测产结果。
87.本实施例通过根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。通过这种方式，实现了通过苹果视频序列数据和对照苹果图像数据首先得到模型训练用的数据训练集和数据测试集，再对预设检测模型进行训练和精度检测，从而可以梳理得到外观特征描述子和轨迹运动特征，最终进行级联匹配得到多目标追踪算法模型，从而可以将目标检测模型和多目标追踪算法模型结合对苹果进行检测和产量评估，在不进行人工采摘的情况下完成事前产量预估，对于光照变化和图像噪声具备鲁棒性，同时具备尺度不变性和旋转不变性，同时将外观特征与运动特征进行级联匹配，在提升特征匹配速度的同时，在准确度上也有极大的提升。
88.参考图4，图4为本发明一种苹果产量评估方法第二实施例的流程示意图。
89.基于上述第一实施例，本实施例苹果产量评估方法在所述步骤s30包括：
90.步骤s301：根据所述苹果视频序列数据得到苹果视频帧图像。
91.需要说明的是，苹果视频帧图像指的是苹果视频序列数据中的各个时间和按照帧进行划分的单幅图像。
92.步骤s302：将所述苹果视频帧图像输入所述目标检测模型，得到图像苹果具体坐标框信息。
93.应理解的是，首先将苹果视频图像直接输入到目标检测模型，可以通过目标检测模型输出图像中识别得到的苹果的具体坐标框的位置。具体为：通过yolov7模型对数据增强后的数据图像进行训练，得到验证精度最高的模型参数，该参数模型作为多目标追踪外观特征提取模型。
94.步骤s303：通过尺度不变特征变换算法提取所述图像苹果具体坐标框信息的关键点信息，得到外观特征描述子。
95.在具体实施中，将苹果视频帧图像作为yolov7模型输入数据，经检测后得到图像苹果具体坐标框信息，对于检测框内图像信息，使用sift提取关键点信息，生成外观特征描述子，作为级联匹配中的外观特征信息。其中，尺度不变特征变换(scale-invariant feature transform，sift)是一种用于计算图像局部特征的算法。它可以在不同尺度和旋转下找到一些关键点，并提取出这些关键点的局部特征，具有尺度不变性、旋转不变性、仿射不变性等优点。sift算法的核心是对图像进行尺度空间的极值检测，并在检测到的极值点周围构建尺度不变的局部特征描述子，从而实现对图像局部特征的提取。
96.步骤s304：通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征。
97.需要说明的是，构建卡尔曼滤波算法，根据所述图像苹果具体坐标框信息和卡尔曼滤波算法计算得到轨迹运动特征。
98.进一步的，为了进行卡尔曼滤波算法的计算，步骤s304包括：通过所述卡尔曼滤波算法对所述图像苹果具体坐标框信息进行预测，得到预测帧目标位置信息；通过匈牙利算法计算所述预测帧目标位置和图像苹果具体坐标框信息中的帧检测框信息之间的代价矩阵；根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征。
99.应理解的是，构建卡尔曼滤波算法之后通过卡尔曼滤波算法对图像苹果具体坐标框信息预测目标下一帧目标位置，使用匈牙利算法计算卡尔曼预测目标位置和下一帧检测框之间代价矩阵，代价矩阵由两者的马氏距离、所述外观特征描述子级联计算构成。
100.在具体实施中，马氏距离(mahalanobis distance)是一种用于度量多维空间中样本间距离的方法，它考虑了各维度之间的相关性，是一种基于协方差矩阵的距离度量方法。相比于欧几里得距离，马氏距离可以更好地反映多维空间中样本的距离关系，因为它考虑了各维度之间的相关性。
101.需要说明的是，匈牙利算法(hungarian algorithm)，也称为kuhn-munkres算法，是解决二分图带权匹配问题的经典算法，由kuhn于1955年和munkres于1957年相继发表。其主要思想是将二分图匹配问题转化为线性规划问题，通过不断调整线性规划的解，得到二分图最优匹配。匈牙利算法的时间复杂度为o(n^3)，其中n为二分图中的节点数。匈牙利算法在多目标追踪中广泛应用，用于匹配当前帧的检测结果和前一帧的追踪结果，从而实现目标的跟踪。
102.应理解的是，当构建了代价矩阵之后，再计算优化踪迹结果，可以通过计算最优匹配代价进行更新和优化得到。代价矩阵是运动特征和外观特征结合的结果，运动特征是通过马氏距离对预测帧中坐标信息和当前检测帧的坐标信息计算所得，通过sift得到的外观特征信息和马氏距离得到的运动特征信息加权得到代价矩阵，匈牙利算法对其计算的结果就是相似度匹配得分。
103.通过这种方式，实现了结合卡尔曼滤波算法、匈牙利算法和代价矩阵进行轨迹预测，可以得到状态特征得分，从而便于后续的级联检测框匹配。
104.进一步的，为了通过最优匹配代价进行轨迹运动特征的计算，根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征的步骤包括：根据所述代价矩阵计算最优匹配代价，并通过所述卡尔曼滤波算法对各检测框的预测位置进行更新，得到优化踪迹结果；根据所述优化踪迹结果进行汇总得到各检测框对应的轨迹运动特征。
105.在具体实施中，最优匹配代价具体计算公式为:
106.argmax d
(i,j)
107.式中d
(i,j)
为计算代价矩阵的级联匹配得分，对每一个预测框会选择最大得分的检测框作为匹配选项，其本身是由两个目标之间的运动特征和外观特征级联组成，具体计算公式如下：
108.d
(i,j)
＝b
(i,j)
*s
(i,j)
109.式中b
(i,j)
为运动信息门控矩阵，由两者马氏距离和最大距离阈值计算得到，s
(i,j)
为外观相似特征分数，由sift的外观特征描述子计算得到。
110.b
(i,j)
的具体计算公式如下：
111.b
(i,j)
＝i[m
(i,j)
≤t1]
[0112]
式中t1为马氏距离的最大阈值，设定为置信区间百分之95内，i为指示函数，假如马氏距离超过最大阈值，b
(i,j)
为0，当马氏距离在最大阈值内时，b
(i,j)
为1。作为一种相似性度量方法，马氏距离相较于欧式距离，马氏距离非平等地对待样本各个维度分量，从而产生了更好的分类效果。其具体计算公式如下：
[0113]m(i,j)
＝(d
i-yi)
tmi-1
(d
i-yi)
[0114]
为了方便计算，本发明使用的是平方马氏距离，其中dj为第j个边界框的检测，(yi,mi)为第i个轨迹在测量空间上的投影，该式通过计算检测边界框和轨道位置之间的标准差来评估其相似度量。
[0115]s(i,j)
的具体计算公式如下：
[0116]s(i,j)＝
i[vos
(i,j)
≥t2]
×
vos(i,j)
[0117]
式中的vos指代局部聚合描述符的向量表述，是一种快捷高效的图像检索算法，s
(i,j)
的具体计算过程如下：
[0118]
1、sift将图像转换为128维向量的特征描述子，x
(n)
为一个n*128维的矩阵，其中n标注第一个图像或第二个图像所有描述符信息，取值为1或2，n为第n个图像中sift特征点的具体数量。
[0119]
2、vos对两张图片的特征描述子进行余弦距离计算来获得两张图片特征描述子的相似性得分。
[0120]
3、将t2设置为0.8，当两者之间的余弦距离得分大于0.8时，i指示函数置为1，其相似性结果为两者的相似性得分，当余弦距离得分小于0.8时，i只是函数置为0，其相似性结果为0。
[0121]
在具体实施中，如图5所示，经过计算后得到最优匹配代价，使用卡尔曼滤波更新预测位置，得到优化踪迹结果，对于未匹配到的预测框，将会设置5帧的遮挡生命周期，在之后连续5帧皆作为预测目标进行代价矩阵的构成，5帧后仍未匹配到最优检测框则进行目标丢弃，视为完成一次目标轨迹的跟踪，未匹配成功的检测框作为新的轨迹起点进行处理。
[0122]
需要说明的是，最终的完整实施流程如图6所示，采集自然光照下的苹果视频序列数据和收集互联网苹果图像数据，使用数据标注软件对图像数据进行图像标注。使用图像预处理技术对获得图像数据进行预处理，使用数据增强方法扩充苹果图像数据，对数据划分训练集和测试集。所述训练集使用如图3yolov7目标检测模型进行训练，训练得到的yolov7目标检测模型通过测试集验证检测精度。所述检测经过sift变换，运动特征预测，如图5所示级联多目标追踪方法进行目标追踪。多目标追踪中的匈牙利算法根据代价矩阵计算最优结果分配目标id，视频序列跟踪后即可得到最终苹果果实的产量预估。
[0123]
本实施例通过根据所述苹果视频序列数据得到苹果视频帧图像；将所述苹果视频帧图像输入所述目标检测模型，得到图像苹果具体坐标框信息；通过尺度不变特征变换算法提取所述图像苹果具体坐标框信息的关键点信息，得到外观特征描述子；通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征。通过这种方式，实现了使用卡尔曼滤波对状态特征中的坐标信息进行运动状态预测得到预测轨迹状态特征，并使用匈
牙利算法计算当前帧检测状态特征同下一帧的苹果状态特征构成的代价矩阵得到最有匹配结果，通过第二次卡尔曼滤波更新跟踪信息，代价矩阵由两者的外观特征与运动特征级联构成，以增强结果的鲁棒性。
[0124]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有苹果产量评估程序，所述苹果产量评估程序被处理器执行时实现如上文所述的苹果产量评估方法的步骤。
[0125]
由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不一一赘述。
[0126]
参照图7，图7为本发明苹果产量评估装置第一实施例的结构框图。
[0127]
如图7所示，本发明实施例提出的苹果产量评估装置包括：
[0128]
数据划分模块10，用于根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集。
[0129]
模型训练模块20，用于基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测。
[0130]
状态特征计算模块30，用于将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征。
[0131]
模型构建模块40，用于对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型。
[0132]
产量评估模块50，用于将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。
[0133]
本实施例通过根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。通过这种方式，实现了通过苹果视频序列数据和对照苹果图像数据首先得到模型训练用的数据训练集和数据测试集，再对预设检测模型进行训练和精度检测，从而可以梳理得到外观特征描述子和轨迹运动特征，最终进行级联匹配得到多目标追踪算法模型，从而可以将目标检测模型和多目标追踪算法模型结合对苹果进行检测和产量评估，在不进行人工采摘的情况下完成事前产量预估，对于光照变化和图像噪声具备鲁棒性，同时具备尺度不变性和旋转不变性，同时将外观特征与运动特征进行级联匹配，在提升特征匹配速度的同时，在准确度上也有极大的提升。
[0134]
在一实施例中，所述数据划分模块10，还用于采集苹果视频序列数据和预设数据库中的对照苹果图像数据；对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集；对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数据测试集。
[0135]
在一实施例中，所述数据划分模块10，还用于通过预设标注软件对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到目标检测数据集；根据所述目标检测数
据及确定所述苹果视频序列数据的检测框标注和所述对照苹果图像数据的目标序列号；根据所述目标检测数据集、所述检测框标注和所述目标序列号得到多目标追踪性能分析数据集。
[0136]
在一实施例中，所述数据划分模块10，还用于通过预设处理方式对所述多目标追踪性能分析数据集进行预处理，得到苹果图像数据；对所述苹果图像数据进行随机旋转和翻转操作，得到额外扩充数据；通过预设数据增强方式对所述苹果图像数据进行随机系数比例相乘操作，得到特异化苹果图像；通过预设拼接方式对所述苹果图像数据进行拼接，得到上下文信息苹果图像；对所述苹果图像数据、所述额外扩充数据、所述特异化苹果图像和所述上下文信息苹果图像进行动态填充灰色块并划分，得到数据训练集和数据测试集。
[0137]
在一实施例中，所述状态特征计算模块30，还用于根据所述苹果视频序列数据得到苹果视频帧图像；将所述苹果视频帧图像输入所述目标检测模型，得到图像苹果具体坐标框信息；通过尺度不变特征变换算法提取所述图像苹果具体坐标框信息的关键点信息，得到外观特征描述子；通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征。
[0138]
在一实施例中，所述状态特征计算模块30，还用于通过所述卡尔曼滤波算法对所述图像苹果具体坐标框信息进行预测，得到预测帧目标位置信息；通过匈牙利算法计算所述预测帧目标位置和图像苹果具体坐标框信息中的帧检测框信息之间的代价矩阵；根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征。
[0139]
在一实施例中，所述状态特征计算模块30，还用于根据所述代价矩阵计算最优匹配代价，并通过所述卡尔曼滤波算法对各检测框的预测位置进行更新，得到优化踪迹结果；根据所述优化踪迹结果进行汇总得到各检测框对应的轨迹运动特征。
[0140]
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
[0141]
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
[0142]
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的苹果产量评估方法，此处不再赘述。
[0143]
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0144]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0145]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(read only memory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台
终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0146]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种苹果产量评估方法，其特征在于，所述苹果产量评估方法包括：根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。2.如权利要求1所述的方法，其特征在于，所述根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集，包括：采集苹果视频序列数据和预设数据库中的对照苹果图像数据；对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集；对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数据测试集。3.如权利要求2所述的方法，其特征在于，所述对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到多目标追踪性能分析数据集，包括：通过预设标注软件对所述苹果视频序列数据和所述对照苹果图像数据进行标注，得到目标检测数据集；根据所述目标检测数据及确定所述苹果视频序列数据的检测框标注和所述对照苹果图像数据的目标序列号；根据所述目标检测数据集、所述检测框标注和所述目标序列号得到多目标追踪性能分析数据集。4.如权利要求2所述的方法，其特征在于，所述对所述多目标追踪性能分析数据集进行预处理和数据增强，得到数据训练集和数据测试集，包括：通过预设处理方式对所述多目标追踪性能分析数据集进行预处理，得到苹果图像数据；对所述苹果图像数据进行随机旋转和翻转操作，得到额外扩充数据；通过预设数据增强方式对所述苹果图像数据进行随机系数比例相乘操作，得到特异化苹果图像；通过预设拼接方式对所述苹果图像数据进行拼接，得到上下文信息苹果图像；对所述苹果图像数据、所述额外扩充数据、所述特异化苹果图像和所述上下文信息苹果图像进行动态填充灰色块并划分，得到数据训练集和数据测试集。5.如权利要求1所述的方法，其特征在于，所述将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征，包括：根据所述苹果视频序列数据得到苹果视频帧图像；将所述苹果视频帧图像输入所述目标检测模型，得到图像苹果具体坐标框信息；
通过尺度不变特征变换算法提取所述图像苹果具体坐标框信息的关键点信息，得到外观特征描述子；通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征。6.如权利要求5所述的方法，其特征在于，所述通过卡尔曼滤波算法处理所述图像苹果具体坐标框信息，得到轨迹运动特征，包括：通过所述卡尔曼滤波算法对所述图像苹果具体坐标框信息进行预测，得到预测帧目标位置信息；通过匈牙利算法计算所述预测帧目标位置和图像苹果具体坐标框信息中的帧检测框信息之间的代价矩阵；根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征。7.如权利要求6所述的方法，其特征在于，所述根据所述代价矩阵计算优化踪迹结果，并根据所述优化踪迹结果得到轨迹运动特征，包括：根据所述代价矩阵计算最优匹配代价，并通过所述卡尔曼滤波算法对各检测框的预测位置进行更新，得到优化踪迹结果；根据所述优化踪迹结果进行汇总得到各检测框对应的轨迹运动特征。8.一种苹果产量评估装置，其特征在于，所述苹果产量评估装置包括：数据划分模块，用于根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；模型训练模块，用于基于所述数据训练集对预设检测模型进行训练，并通过所述数据测试集对训练后的目标检测模型进行精度检测；状态特征计算模块，用于将所述苹果视频序列数据输入所述目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；模型构建模块，用于对所述外观特征描述子和所述轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；产量评估模块，用于将所述目标检测模型和所述多目标追踪算法模型结合，得到产量评估模型，并通过所述产量评估模型进行待测果园的苹果检测和产量评估。9.一种苹果产量评估设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的苹果产量评估程序，所述苹果产量评估程序配置为实现如权利要求1至7中任一项所述的苹果产量评估方法。10.一种存储介质，其特征在于，所述存储介质上存储有苹果产量评估程序，所述苹果产量评估程序被处理器执行时实现如权利要求1至7任一项所述的苹果产量评估方法。

技术总结
本发明属于计算机视觉技术领域，公开了一种苹果产量评估方法、装置、设备及存储介质。该方法包括：根据苹果视频序列数据和对照苹果图像数据得到数据训练集和数据测试集；基于数据训练集对预设检测模型进行训练，并通过数据测试集对训练后的目标检测模型进行精度检测；将苹果视频序列数据输入目标检测模型并进行处理得到外观特征描述子，并通过预设算法得到轨迹运动特征；对外观特征描述子和轨迹运动特征进行级联匹配结合精度检测结果得到多目标追踪算法模型；将目标检测模型和多目标追踪算法模型结合，得到产量评估模型，并通过产量评估模型进行待测果园的苹果检测和产量评估。通过上述方式，提高了检测的准确度和速度。提高了检测的准确度和速度。提高了检测的准确度和速度。


技术研发人员：樊闯 胡婧 王周璞 阮靖琳 吴素崟
受保护的技术使用者：武汉轻工大学
技术研发日：2023.04.25
技术公布日：2023/8/4