果蔬作业识别方法、识别装置、果蔬作业设备和存储介质

1.本发明涉及农业智能技术领域，具体地涉及一种果蔬作业识别方法、识别装置、果蔬作业设备和存储介质。


背景技术：

2.当前在果蔬种植管理过程中，整枝打叶、授粉、疏花疏果、采摘等各个环节会消耗较大的人力物力。而随着我国人口老龄化的加剧以及青壮劳动力往城市工厂聚集，导致劳动力成本日益提高，传统的完全依靠人工的果蔬管理方式已经不能满足现代农业的发展需要。而随着人工智能技术的发展，果蔬智能管理机器人被应用在果蔬的不同生长阶段。
3.例如，果蔬智能识别可以包括：(1)剪枝机器人，其能够基于机器视觉技术运用颜色模型和多种算法对果蔬结构或者枝条图像进行识别处理，进而实现自主剪枝作业；(2)喷药机器人，其采用机器人视觉系统，结合嵌入式控制系统，通过对果园杂草的色域划分及目标定位，完成喷药机器人在复杂果园地貌环境下对杂草的判定及定位，实现了对果园杂草的自动化精准施药，满足了果园实际喷药作业的基本需要；(3)采摘机器人，用深度卷积网络作为识别模型，双目相机立体定位猕猴桃果实，在采摘过程中动态的控制四支机械臂协调作业，使机械臂在运动过程中不互相干扰。
4.可见，当前大部分果蔬管理机器人只能针对单一任务进行作业，其无法针对过塑整个生长周期进行作业管理，导致果蔬管理机器人除其负责的作业项目管理外大部分处于闲置状态，大大增加了使用成本且实用价值不高。


技术实现要素：

5.本发明实施例的目的是提供一种果蔬作业识别系统、果蔬作业设备、识别方法和存储介质，用于至少部分地解决上述存在的技术问题。
6.为了实现上述目的，第一方面，本发明实施例提供一种果蔬作业识别方法，所述果蔬作业识别方法包括：针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型；从所建立的作业模型中选择出适用于当前作业任务的作业模型；以及基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。
7.可选的，所述针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型，包括：采集所述果蔬不同生长时期的图像样本数据；针对每个作业任务的作业要求，对所述图像样本数据进行标注，分别得到每个作业任务的图像数据集；将所述每个作业任务的图像数据集分别输入值所述神经网络中进行训练，分别生成对应于每个作业任务的作业模型。
8.可选的，所述从所建立的作业模型中选择适用于当前作业任务的作业模型包括：分别预设所述每个作业模型所对应的作业任务的时间范围；实时获取当前作业时间，并将所述当前作业时间与所预设的时间范围实时匹配，当所述当前作业时间处于所预设的时间范围内时，将与所述时间范围对应的作业模型作为适用于当前作业任务识别的作业模型。
9.可选的，所述从所建立的作业模型中选择适用于当前作业任务的作业模型包括：获取并解析作业人员对于所述当前作业任务指示的作业指令，得到所述作业指令中表征所述作业任务的指令内容；基于所解析的指令内容，选择与所述指令内容相关联的作业模型，以作为适用于所述当前作业任务的作业模型。
10.第二方面，本发明实施例提供一种果蔬作业识别装置，所述果蔬作业识别装置包括：建立单元，用于针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型；选择单元，用于从所建立的作业模型中选择出适用于当前作业任务的作业模型；以及识别单元，用于基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。
11.可选的，所述建立单元采用如下方式针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型：采集所述果蔬不同生长时期的图像样本数据；针对每个作业任务的作业要求，对所述图像样本数据进行标注，分别得到每个作业任务的图像数据集；将所述每个作业任务的图像数据集分别输入值所述神经网络中进行训练，分别生成对应于每个作业任务的作业模型。
12.可选的，所述选择单元采用如下方式从所建立的作业模型中选择适用于当前作业任务的作业模型：分别预设所述每个作业模型所对应的作业任务的时间范围；实时获取当前作业时间，并将所述当前作业时间与所预设的时间范围实时匹配，当所述当前作业时间处于所预设的时间范围内时，将与所述时间范围对应的作业模型作为适用于当前作业任务识别的作业模型。
13.可选的，所述选择单元采用如下方式从所建立的作业模型中选择适用于当前作业任务的作业模型包括：获取并解析作业人员对于所述当前作业任务指示的作业指令，得到所述作业指令中表征所述作业任务的指令内容；基于所解析的指令内容，选择与所述指令内容相关联的作业模型，以作为适用于所述当前作业任务的作业模型。
14.第三方面，本发明实施例提供一种果蔬作业设备，所述果蔬作业设备包括：第二方面所述的果蔬作业识别装置，用于识别相应作业任务的果蔬作业目标；以及作业执行机构，用于对所识别出的果蔬作业目标执行相应的作业操作，以完成所述作业任务。
15.第四方面，本发明实施例提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本技术上述第一方面所述的果蔬作业识别方法。
16.通过上述技术方案，本发明提供的果蔬作业识别方法能够基于果蔬在整个生长周期内不同的作业任务而建立不同的作业模型，实现对于果蔬全阶段多任务的目标检测识别，为多任务机器人完成不同的农事操作提供有效的技术保证，以提高作业机器人的使用率，大大减少人工操作。
17.本发明实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
18.附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：
19.图1是根据一示例性实施例示出的一种果蔬作业识别方法流程示意图；
20.图2是根据一示例性实施例示出的一种建立作业模型流程示意图；
21.图3是根据一示例性实施例示出的一种yolov5s网络结构示意图；
22.图4是根据一示例性实施例示出的一种选择作业模型流程示意图；
23.图5是根据一示例性实施例示出的另一种选择作业模型流程示意图；
24.图6是根据一示例性实施例示出的一种多功能目标检测界面示意图；
25.图7是根据一示例性实施例示出的一种模型选择界面示意图；
26.图8是根据一示例性实施例示出的一种果蔬作业识别装置的示意框图；以及
27.图9是根据一示例性实施例示出的一种果蔬作业设备示意框图。
具体实施方式
28.以下结合附图对本发明实施例的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明实施例，并不用于限制本发明实施例。
29.图1是根据一示例性实施例示出的一种果蔬作业识别方法流程示意图，如图1所示，该识别方法包括：
30.步骤s110，针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型。
31.举例而言，举例而言，果蔬的整个生长周期中通常需要经历不同的作业任务(下文也称作农事作业)。以番茄种植为例，番茄种植过程中需要经历打杈、摘叶、疏花、疏果、采收等农事作业。考虑到不同时期的番茄的颜色、形状等存在较大的差异，单一的识别无法实现果蔬全生长阶段的目标识别。
32.因此，本发明实施例通过基于对番茄在整个生长周期的作业任务，分别建立用于相应作业任务进行目标识别的作业模型。具体的，还以番茄为例，针对上述提到番茄的作业任务，如打杈、摘叶、疏花、疏果、采收等，基于神经网络结构相应的建立打杈作业模型、摘叶作业模型、疏花作业模型、疏果作业模型和采收作业模型。例如，以建立疏花作业模型为例，疏花指的是去除一部分过多的花，且满足疏花作业要求是指每穗花朵数量大于预数量的开花部位。因此，本发明实施例则基于疏花作业要求建立能够对果蔬的开花部位进行识别的作业模型，进而将所建立的不同的作业模型进行保存，例如，作业模型将上述相应的作业模型命名为“打岔.pt”、“摘叶.pt”、“疏花.pt”、“疏果.pt”、“采收.pt”等文件进行保存，便于在后续作业识别过程中调取使用。
33.步骤s120，从所建立的作业模型中选择出适用于当前作业任务的作业模型。
34.举例而言，当需要进行农事作业时，需要从所建立的作业模型中选择相应的作业任务的作业模型。例如，当前需要进行疏花农事作业，因此，当前的作业任务为为“疏花”，进而本发明实施例从各个作业模型的文件名中选择与“疏花”匹配的命名为“疏花.pt”的文件名，将疏花作业模型作为用于疏花作业任务进行目标识别的作业模型。
35.步骤s130，基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。
36.举例而言，当确定了所要进行相应作业任务的作业模型后，则需要基于确定的作业模型进行目标识别，以识别出需要进行相应农事作业的果蔬作业目标。例如，还以上述的疏花作业模型为例，基于选择出的疏花作业模型对果蔬的开花部位进行识别，从而将每穗
花朵数量大于预设数量的开花部位作为识别出的果蔬作业目标。
37.具体的，当选择了作业模型后，需要获取作业模型所要识别的视图数据，该视图数据可以包括预先存储在识别系统内或者实时获取的图片数据和视频数据。例如，可以采用视觉系统(包括摄像头和图像处理模块)实时采集获取果蔬当前生长阶段的图片和视频。
38.进一步，当获取到视图数据后，将视图数据输入至所选择的作业模型中，输出需要进行作业任务的果蔬作业目标。还可以对该果蔬作业目标进行定位，即输出该果蔬作业目标的三维坐标。并且，作业模型在识别过程中还可以输出不适合进行当前作业任务的果蔬目标，将该果蔬目标进行标注保存，以提供给作业人员人工判断，进一步提高对于果蔬作业任务的准确性和实时性。
39.通过本发明实施例可以看出，本发明提供的果蔬作业识别方法能够基于果蔬在整个生长周期内不同的作业任务而建立不同的作业模型，实现对于果蔬全阶段多任务的目标检测识别，为多任务机器人完成不同的农事操作提供有效的技术保证，以提高作业机器人的使用率，大大减少人工操作。
40.接下来，针对上述果蔬作业识别方法各个步骤来进一步详细的说明和介绍。
41.在一优选的实施例中，如图2所示，针对于上述步骤s110，所述针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型，包括：
42.步骤s210，采集所述果蔬不同生长时期的图像样本数据。
43.步骤s220，针对每个作业任务的作业要求，对所述图像样本数据进行标注，分别得到每个作业任务的图像数据集；
44.步骤s230，将所述每个作业任务的图像数据集分别输入值所述神经网络中进行训练，分别生成对应于每个作业任务的作业模型。
45.举例而言，步骤s210中所采集的图像样本数据主要指的是果蔬在不同生长阶段中不同作业部位的样本图像。进而，在步骤s220中基于预设的作业要求，将满足作业要求的样本图像标记为正样本，将不满足作业条件的样本图像标记为负样本。还以番茄种植为例，对于摘叶作业任务来说，需要采集番茄叶片部位的样本图像数据，进而针对番茄叶片部位的样本图像，将叶片覆盖果实的部位或叶片密度大于预设条件的部位标记为正样本，将不符合上述条件的样本图像数据标记为负样本。对于打杈作业任务来说，需要采集具有腋芽的枝杈部分的样本图像数据，将腋芽大于预设长度的图像标记为正样本，不符合上述条件的图像标记为负样本。对于疏花作业任务来说，需要采集开花部位的样本图像数据，将每穗花朵数量大于预设数量的图像标记为正样本。对于疏果任务来说，需要采集穗果坐齐后的样本图像数据，将单株的果实大于预设数量的样本图像标记为需要疏果的正样本。对于采收作业任务来说，需要采集成熟果实和非成熟果实的样本图像数据，将成熟果实图像标记为适合采摘的正样本，将非成熟果实图像标记为不适合采摘的负样本。
46.进一步，当步骤s220对图像样本数据进行标注后，在步骤s230中将打杈、摘叶、疏花、疏果、采收等不同作业任务的图像数据集分别输入至神经网络中进行训练。本发明实施例中，神经网络包括cnn、r-cnn、fast r-cnn、yolov3、yolov5s等。本发明实施例考虑到农事作业对于识别精度和识别速度的要求，优选采用yolov5网络结构，该yolov5网络结构是一种单阶段的目标检测算法。如图3所示，其是由输入端、主干网络、neck和预测端等构成。相比与传统的目标检测算法来说，其识别精度更高、识别速度更快，具有很强的实用性，尤其
适用于对于农作物的识别应用。并且该yolov5s版本模型大小约为14m，能够有效降低农业机器人中对于环境感知系统硬件的设备要求，更加适用于实际应用的部署。因此，本发明实施例可以将不同作业任务的图像数据集分别输入到yolov5s中进行训练，进而得到适于相应作业任务的作业模型并进行保存。
47.因此，本发明实施例的模型建立过程是通过给定多个任务的图像数据集后，在给定多个任务的图像数据集后，基于这些不同数据集利用神经网络结构训练出不同任务模型。进而当具体任务出现一组新的特征向量时，特定的任务模型可以预测(或判断)拥有这样一组特征向量的对象应当属于哪个类别。对于不同作业任务的图像识别来说，其不用修改神经网络结构,只需通过改变训练样本路径就可以分别对多类任务目标检测识别,从而大大减少了工作量。
48.上述已提到本发明实施例目的是对于果蔬生长全阶段的作业识别，随着果蔬处于不同的生长阶段，其所需要进行的作业任务也不相同，进而在进行作业任务所采用的作业模型也不相同。通常，对于果蔬进行不同农事作业是基于机器视觉技术判断番茄的成熟度来进行判断。而考虑到番茄果实的成熟度不一，采用机器视觉识别准确度不高，会造成农事作业任务的工作混乱，进而影响到农事作业的作业效率。本发明实施例采用自动识别方式和被动识别方式来选择相应的作业模型。下面则针对这两种方式进行具体详细的说明。
49.对于自动识别方式来说，在一优选实施例中，如图4所示，针对步骤s120，所述从所建立的作业模型中选择适用于当前作业任务的作业模型包括：
50.步骤s410，分别预设所述每个作业模型所对应的作业任务的时间范围。
51.步骤s420，实时获取当前作业时间，并将所述当前作业时间与所预设的时间范围实时匹配，当所述当前作业时间处于所预设的时间范围内时，将与所述时间范围对应的作业模型作为适用于当前作业任务识别的作业模型。
52.举例而言，以作业任务为对番茄的打杈作业任务为例。通常整枝打杈不宜在阴天或雨天进行，因为这会容易导致植株感染细菌病害，因此打杈作业任务会选取在晴天且温度较高的时间段。如，晴天上午10点到12点之间温度较高适合进行打杈作业任务。进而，本发明实施例可以针对打杈作业模型预设其进行打杈识别操作的时间范围为10点到12点之间。进一步，通过对动态时间进行实时获取，将动态时间与预设的时间范围(10点到12点)进行匹配，当实时获取的时间为10点时，匹配到打杈作业模型的开始时间为10点，二者时间一致，则此时将打杈作业模型作为当前作业的识别模型，进而打杈作业模型则对具有腋芽的枝杈部分进行识别，以确定需要进行打杈的作业目标。当实时获取的动态时间为12点时，匹配到打杈作业模型的结束时间为12点，二者时间一致，此时打杈作业模型不再作为当前作业任务的作业模型，该打杈作业模型的识别任务结束。而若12点为其他作业模型的开始时间，即为其他作业模型所预设的时间范围内时，则将执行作业任务的作业模型从打杈作业模型转换为相应的其他作业模型，进而继续进行其他农事作业识别。
53.更为优选的，本发明实施例为了更加精确的执行作业任务的识别，还可以对当前作业环境进行监测，例如，对当前作业环境的温度、湿度以及光照条件等进行监测，当对作业模型进行选择时，不仅预设作业时间范围，还可以预设对于作业任务的环境参数的阈值条件，当满足预设的作业时间范围以及相应的环境参数的阈值条件时，再进行相应的作业模型的选择，以能够实现对于作业环境和作业时间的自主监测，进而对于作业模型的自动
识别。
54.通过本实施例可以看出，通过针对作业模型预设农事作业的时间范围，能够实时匹配到所在时间需要进行的农事作识别，实现对于农事作业的智能自主识别，有效减少人力物力。
55.对于被动识别方式来说，在一优选实施例中，如图5所示，所述从所建立的作业模型中选择适用于当前作业任务的作业模型包括：
56.步骤s510，获取并解析作业人员对于所述当前作业任务指示的作业指令，得到所述作业指令中表征所述作业任务的指令内容；
57.步骤s520，基于所解析的指令内容，选择与所述指令内容相关联的作业模型，以作为适用于所述当前作业任务的作业模型。
58.举例而言，考虑到农事作业中，天气变化无常，且果蔬生长存在一定的不确定性，本发明实施例可以通过识别作业人员的作业指令来被动进行作业识别。本发明实施例以作业指令为语音指令和界面输入指令为例来具体说明。
59.(1)语音指令
60.本发明实施例将语音控制应用到果蔬作业机器人的作业识别中，果蔬机器人可以基于对作业人员的语音指令获取识别，来实现针对作业人员的语音信息的作业识别。例如，获取作业人员的语音指令为“进行疏果操作”。进一步，对该作业指令进行解析，例如可以进行关键词提取并生成识别码。即，对“进行疏果操作”的作业指令进行解析，得到其中的关键词“疏果”。然后，将该关键词“疏果”生成相应的识别码，例如“101”。从而，基于所生成的关键词识别码“101”与选择与关键词识别码“101”相关联的命名为“疏果作业模型.pt”的作业模型文件，进而将疏果作业模型作为当前作业识别的作业模型。
61.(2)界面输入指令
62.本发明实施例的果蔬作业机器人可以设置有多功能目标检测检测界面，作业人员可通过用户信息注册，登录并进入多功能目标检测界面，如图6所示，该多功能目标检测界面包括有选择任务模型，初始化模型、图片检测、视频检测、摄像头检测、暂停/继续、结束检测等操作条目。因此，本发明实施例可以以界面形式直观的向作业人员展示目标识别检测，其能够获取并解析作业人员在该界面的界面输入指令(界面输入操作)，进而根据作业人员在该界面上的输入操作来选择相应的作业模型进行相应的作业识别。以番茄种植为例，获取到的作业人员的界面输入操作为点击“选择任务模型”的操作条目，通过解析该界面指令，得到作业人员的界面操作信息，即作业人员点击“选择任务模型”的操作条目，需要进行作业模型选择。进而，基于解析出的界面操作信息将当前显示的界面跳转至相应的模型选择界面。例如，界面跳转至如图7所示的模型选择界面。进而，进一步获取作业人员在所述模型选择界面上的输入操作，例如作业人员点击“摘叶.pt”，从而，基于作业人员的输入操作选择摘叶作业模型作为当前作业任务识别的模型。
63.通过本发明实施例可以看出，对于被动识别方式来说，可以通过对语音指令或者是界面输入操作进行获取识别，来进行相应的作业模型的选择，实现对于不同作业模型的灵活选择，增强与作业人员的交互性，提高对于农事作业的准确性。
64.综上，本发明实施例提供的果蔬作业识别系统包括如下优势：
65.1)通过对不同农事作业生成相应的作业模型，可以实现对果蔬不同生长阶段的识
别，实现果蔬种植的全阶段多任务的目标识别；
66.2)可以实现主动和被动两种方式的模型选择方式，实现对于作业模型的灵活选择，提高对于作业识别的准确性；
67.3)为实现多任务机器人完成不同的农事作业提供技术保障，提高机器人的使用效率，减少人工操作。
68.相应的，本发明实施例提供一种果蔬作业识别装置，如图8所示，所述果蔬作业识别装置包括：建立单元810，用于针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型；选择单元820，用于从所建立的作业模型中选择出适用于当前作业任务的作业模型；以及830识别单元，用于基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。
69.在一优选实施例中，所述建立单元810采用如下方式针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型：采集所述果蔬不同生长时期的图像样本数据；针对每个作业任务的作业要求，对所述图像样本数据进行标注，分别得到每个作业任务的图像数据集；将所述每个作业任务的图像数据集分别输入值所述神经网络中进行训练，分别生成对应于每个作业任务的作业模型。
70.在一优选实施例中，所述选择单元820采用如下方式从所建立的作业模型中选择适用于当前作业任务的作业模型：分别预设所述每个作业模型所对应的作业任务的时间范围；实时获取当前作业时间，并将所述当前作业时间与所预设的时间范围实时匹配，当所述当前作业时间处于所预设的时间范围内时，将与所述时间范围对应的作业模型作为适用于当前作业任务识别的作业模型。
71.在一优选实施例中，所述选择单元820采用如下方式从所建立的作业模型中选择适用于当前作业任务的作业模型包括：获取并解析作业人员对于所述当前作业任务指示的作业指令，得到所述作业指令中表征所述作业任务的指令内容；基于所解析的指令内容，选择与所述指令内容相关联的作业模型，以作为适用于所述当前作业任务的作业模型。
72.本发明实施例的更多实施细节及有益效果可参考上述实施例，在此不再过多赘述。
73.相应的，本发明实施例提供一种果蔬作业设备，如图9所示，所述果蔬作业设备包括：上述实施例所述的果蔬作业识别装置901，用于识别相应作业任务的果蔬作业目标；以及作业执行机构902，用于对所识别出的果蔬作业目标执行相应的作业操作，以完成所述作业任务。
74.举例而言，果蔬作业设备也可称为果蔬作业机器人，其中作业执行结构902可以视为机器人的机械臂等。当作业识别系统901识别出果蔬作业目标后，例如针对番茄识别出针对摘叶作业任务的作业目标后，作业执行结构902则基于针对需要摘叶的番茄按照作业操作系统预设的动作执行摘叶操作，以完成摘叶作业任务。
75.本发明实施例中，果蔬作业设备基于作业识别系统和作业操作系统的相互配合，实现对于果蔬种植全阶段的自动化管理，且能够执行多任务识别操作，大幅减少人工操作，提高果蔬种植设备的使用效率。
76.相应的，本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本技术上述实施例所述的识别方法。
77.所述果蔬作业识别装置包括处理器和存储器，上述建立单元、选择单元和识别单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
78.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来进行果蔬作业识别。
79.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
80.本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述果蔬作业识别方法。
81.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
82.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
83.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
84.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
85.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
86.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
87.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、
数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
88.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
89.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种果蔬作业识别方法，其特征在于，所述果蔬作业识别方法包括：针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型；从所建立的作业模型中选择出适用于当前作业任务的作业模型；以及基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。2.根据权利要求1所述的果蔬作业识别方法，其特征在于，所述针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型，包括：采集所述果蔬不同生长时期的图像样本数据；针对每个作业任务的作业要求，对所述图像样本数据进行标注，分别得到每个作业任务的图像数据集；将所述每个作业任务的图像数据集分别输入值所述神经网络中进行训练，分别生成对应于每个作业任务的作业模型。3.根据权利要求1所述的果蔬作业识别方法，其特征在于，所述从所建立的作业模型中选择适用于当前作业任务的作业模型包括：分别预设所述每个作业模型所对应的作业任务的时间范围；实时获取当前作业时间，并将所述当前作业时间与所预设的时间范围实时匹配，当所述当前作业时间处于所预设的时间范围内时，将与所述时间范围对应的作业模型作为适用于当前作业任务识别的作业模型。4.根据权利要求1所述的果蔬作业识别方法，其特征在于，所述从所建立的作业模型中选择适用于当前作业任务的作业模型包括：获取并解析作业人员对于所述当前作业任务指示的作业指令，得到所述作业指令中表征所述作业任务的指令内容；基于所解析的指令内容，选择与所述指令内容相关联的作业模型，以作为适用于所述当前作业任务的作业模型。5.一种果蔬作业识别装置，其特征在于，所述果蔬作业识别装置包括：建立单元，用于针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型；选择单元，用于从所建立的作业模型中选择出适用于当前作业任务的作业模型；以及识别单元，用于基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。6.根据权利要求1所述的果蔬作业识别装置，其特征在于，所述建立单元采用如下方式针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型：采集所述果蔬不同生长时期的图像样本数据；针对每个作业任务的作业要求，对所述图像样本数据进行标注，分别得到每个作业任务的图像数据集；将所述每个作业任务的图像数据集分别输入值所述神经网络中进行训练，分别生成对应于每个作业任务的作业模型。7.根据权利要求1所述的果蔬作业识别装置，其特征在于，所述选择单元采用如下方式从所建立的作业模型中选择适用于当前作业任务的作业模型：分别预设所述每个作业模型所对应的作业任务的时间范围；
实时获取当前作业时间，并将所述当前作业时间与所预设的时间范围实时匹配，当所述当前作业时间处于所预设的时间范围内时，将与所述时间范围对应的作业模型作为适用于当前作业任务识别的作业模型。8.根据权利要求1所述的果蔬作业识别装置，其特征在于，所述选择单元采用如下方式从所建立的作业模型中选择适用于当前作业任务的作业模型包括：获取并解析作业人员对于所述当前作业任务指示的作业指令，得到所述作业指令中表征所述作业任务的指令内容；基于所解析的指令内容，选择与所述指令内容相关联的作业模型，以作为适用于所述当前作业任务的作业模型。9.一种果蔬作业设备，其特征在于，所述果蔬作业设备包括：权利要求5-8任一项所述的果蔬作业识别装置，用于识别相应作业任务的果蔬作业目标；以及作业执行机构，用于对所识别出的果蔬作业目标执行相应的作业操作，以完成所述作业任务。10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令用于使得机器执行本申请上述权利要求1-4任一项所述的果蔬作业识别方法。

技术总结
本发明实施例提供一种果蔬作业识别方法、识别装置、果蔬作业设备和存储介质，属于农业智能技术领域。所述果蔬作业识别方法包括：针对不同生长时期的果蔬作业任务，基于神经网络分别建立相应的作业模型；从所建立的作业模型中选择出适用于当前作业任务的作业模型；以及基于所选择出的作业模型识别相应的果蔬作业目标，以开展对应的果蔬作业任务。本发明实施例提供的果蔬作业识别方法能够基于果蔬在整个生长周期内不同的作业任务而建立不同的作业模型，实现对于果蔬全阶段多任务的目标检测识别，为多任务机器人完成不同的农事操作提供有效的技术保证，以提高作业机器人的使用率，大大减少人工操作。大大减少人工操作。大大减少人工操作。


技术研发人员：房建东 李晓菁 赵于东
受保护的技术使用者：内蒙古工业大学
技术研发日：2023.05.10
技术公布日：2023/9/20