水果分拣机器人的控制方法、装置、电子设备与流程

1.本技术涉及机器人控制技术领域，尤其是涉及一种水果分拣机器人的控制方法、装置、电子设备。


背景技术：

2.水果对人体有着很大的益处，人们对水果的需求也越来越大，所以越来越多的水果市场也随之建立，水果市场一次性进大批量的水果，再由人工将水果进行甄别，利用人们的经验对水果进行品质的挑选，将品相好、品质好的水果挑选出进行售卖。
3.但随着水果市场的扩大，每次进的水果数量越来越多，需要鉴别的人员也随之增多，且人工对水果的品质鉴别误差很大，且采用人工鉴别时，还有鉴别标准不统一，受鉴别人员的主观影响，鉴别结果不够精准的问题，所以现阶段，常采用人工对水果外观进行破损鉴别和种类分类，再随机挑选部分水果作为样品，切取样品水果部分果肉，使用机器检测样品果肉的成分，来决定一批水果的品质。但这种检测方式会破损样品水果，且无法精准得知每个水果的品质。


技术实现要素：

4.本技术提供一种水果分拣机器人的控制方法、装置、电子设备，以期解决目前在无损水果的情况下，准确快速的鉴别水果的品质。
5.第一方面，本技术提供一种水果分拣机器人的控制方法，应用于水果分拣系统，所述水果分拣系统包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂，所述方法包括：利用视觉传感器采集传送带上待分拣水果的图像；分析所述图像确定所述待分拣水果中每个水果的位置、种类；基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级。
6.本方案通过分析视觉传感器所拍摄的图像得到被送上传送带的水果种类和具体位置，再由机械臂将同类的水果归入同一路径的传送带，使得自动的将水果形成了初步的归类划分，避免了人工的逐个分拣的过程，再利用近红外传感器对水果发射近红外线，并进一步分析接收的近红外线，得到每个水果的内部的成分构成，最后利用预先设置的规则将水果进行品质分类，实现了运用机器人无损的将大批量水果进行分类和品质挑选，节省了人力成本，和对水果分类时更加精准。
7.可选的，近红外传感器，包括：多个光源发射器、多个光源接收器；
所述根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线，包括：根据所述种类，获取所述种类平均的尺寸大小、果肉厚度、糖分含量；根据所述尺寸大小，启动对应个数的所述光源发射器、多个光源接收器；根据所述果肉厚度、所述糖分含量，确定近红外传感器的检测方式。
8.本方案通过待分拣水果的种类确定出该种类平均的尺寸大小、果肉厚度、糖分含量等属性，而后根据尺寸大小针对性的启用相应个数的近红外传感器，再根据果肉厚度、糖分含量调整近红外传感器对待分拣水果的检测方式，使得可以对待分拣水果始终采取最合适的检测方式，进而获得待分拣水果最精准的成分数据。
9.可选的，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级，包括：根据所述种类，确定所述种类对应的预设分析光谱；根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据；将所述预设分析光谱、所述近红外吸收数据进行分析，确定所述待分拣水果的成分含量；根据预设标准、所述成分含量，确定所述待分拣水果的品质等级。
10.通过本方案，针对每一个水果种类都有一个对应的预设分析光谱，使得每一个水果有准确的对照，而后对待分拣水果进行近红外线的放射、接收，确定水果每种成分对近红外线吸收数据，将待分拣水果对不同波长近红外线的吸收数据对应为待分拣水果内部成分，使得以无损的方式获取待分拣水果的内部成分，再针对内部成分的含量进而确定出待分拣水果品质。
11.可选的，根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据，包括：根据所述发射的近红外线得到发射的光强信息；根据所述接收的近红外线得到接收的光强信息；根据所述发射的光强信息、接收的光强信息确定近红外线的近红外线吸收数据。
12.通过本方案，针对待分拣水果不同成分对不同波长的近红外线有不同吸收数据的特点，向待分拣水果发出不同波长的近红外线，再分析近红外线通过待分拣水果的光强信息的变化，确定出近红外线的近红外线吸收数据。
13.可选的，根据所述图像确定所述待分拣水果中每个水果的位置和种类，包括：对所述图像进行目标识别，将所述图像内的传送带进行区域划分；确定每个区域相对于所述传送带的位置；根据所述图像分别获取每个所述区域内的水果种类。
14.通过本方案，对图片目标识别，以对传送带进行区域划分，并分析确定每个区域相对传送带的位置，再逐个分析每个区域内的水果种类，将区域的位置表征为水果的位置，提高了获取水果位置的速度。
15.可选的，基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中，包括：根据所述位置，调整机械臂的抓取位置至所述位置处；
根据所述传送带的传送速度、所述图像的拍摄时间、确定所述位置传送至机械臂抓取位置的时间；根据所述时间，控制机械臂的对所述位置的水果进行抓取；根据所述种类，将所述水果放置到指定路径内。
16.本方案通过传送带的传送速度和图片的拍摄时间，可以获取传送带处于传送至位置的时间，从而调整机械臂的抓取时间，并且根据每个水果的位置可以调控机械臂提前落位待分拣水果未来传送到的位置，结合位置和时间使得机械臂可以准确的抓取到每个待分拣水果，再根据水果的种类将水果制动到同一个路径中，完成待分拣水果的分类。
17.可选的，根据所述图像分别获取每个所述区域内的水果种类，包括：根据每一帧画面中所述水果的形状、大小、果皮颜色与数据库特征进行比对，匹配所述水果的种类；若匹配结果为多个结果，则调用所述视觉传感器拍摄所述水果内部种子的图片；分析所述种子的图片特征，与所述多个结果对应的种子示例图作对比，确定所述水果的种类。
18.本方案通过图片分析技术分析出待分拣水果的形状、大小、果皮颜色等特点，而后针对该特点在数据库中分别搜索，初步的获取到待分拣水果的种类，结合了待分拣水果的众多特点可以较精准的获取待分拣水果的种类，在无法将种类确定为一种时，再采用获取待分拣水果的种子的图片与种子实例图片对比的方式，精准的获取到待分拣水果的种类，提高了获取待分拣水果的准确度。
19.第二方面，本技术提供一种水果分拣机器人的控制装置，应用于水果分拣系统，所述水果分拣系统包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂，所述装置包括：采集模块，用于利用视觉传感器采集传送带上待分拣水果的图像；分析模块，用于分析所述图像确定所述待分拣水果中每个水果的位置、种类；归类模块，用于基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；检测模块，用于根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；品质模块，用于针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级。
20.可选的，近红外传感器，包括：多个光源发射器、多个光源接收器；所述检测模块根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线时，具体用于：根据所述种类，获取所述种类平均的尺寸大小、果肉厚度、糖分含量；根据所述尺寸大小，启动对应个数的所述光源发射器、多个光源接收器；根据所述果肉厚度、所述糖分含量，确定近红外传感器的检测方式。
21.可选的，所述品质模块根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级时，具体用于：根据所述种类，确定所述种类对应的预设分析光谱；
根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据；将所述预设分析光谱、所述近红外吸收数据进行分析，确定所述待分拣水果的成分含量；根据预设标准、所述成分含量，确定所述待分拣水果的品质等级。
22.可选的，所述品质模块根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据时，具体用于：根据所述发射的近红外线得到发射的光强信息；根据所述接收的近红外线得到接收的光强信息；根据所述发射的光强信息、接收的光强信息确定近红外线的近红外线吸收数据。
23.可选的，所述分析模块根据所述图像确定所述待分拣水果中每个水果的位置和种类时，具体用于：对所述图像进行目标识别，将所述图像内的传送带进行区域划分；确定每个区域相对于所述传送带的位置；根据所述图像分别获取每个所述区域内的水果种类。
24.可选的，所述归类模块基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中时，具体用于：根据所述位置，调整机械臂的抓取位置至所述位置处；根据所述传送带的传送速度、所述图像的拍摄时间、确定所述位置传送至机械臂抓取位置的时间；根据所述时间，控制机械臂的对所述位置的水果进行抓取；根据所述种类，将所述水果放置到指定路径内。
25.可选的，所述分析模块根据所述图像分别获取每个所述区域内的水果种类时，具体用于：根据每一帧画面中所述水果的形状、大小、果皮颜色与数据库特征进行比对，匹配所述水果的种类；若匹配结果为多个结果，则调用所述视觉传感器拍摄所述水果内部种子的图片；分析所述种子的图片特征，与所述多个结果对应的种子示例图作对比，确定所述水果的种类。
26.第三方面，本技术提供一种电子设备，包括：存储器和处理器，所述存储器上存储有能够被处理器加载并执行第一方面的方法的计算机程序。
27.第四方面，本技术提供一种计算机可读存储介质，存储有能够被处理器加载并执行第一方面的方法的计算机程序。
28.第五方面，本技术提供一种水果分拣系统，包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂；所述传送带，用于传送待分拣水果；所述水果分拣机器人，用于利用视觉传感器采集传送带上待分拣水果的图像；分析所述图像确定所述待分拣水果中每个水果的位置、种类；基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待
分拣水果的品质等级。
附图说明
29.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1为本技术一实施例提供的一种应用场景示意图；图2为本技术一实施例提供的一种水果分拣机器人的控制方法的流程图；图3为本技术一实施例提供的一种近红外传感器的截面图；图4为本技术一实施例提供的一种水果分拣机器人的控制装置的结构示意图；图5为本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
31.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
32.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
33.下面结合说明书附图对本技术实施例作进一步详细描述。
34.随着水果市场的扩大，大型超市或市场每次采购的水果数量越来越多，如何对水果品质进行严格的筛选成了越来越严重的问题。目前检测水果的品质主要是从水果外表破损、水果糖分含量等几个方面着手，同时水果的评级也主要参考这几个方面的因素。常采用人工用肉眼分辨水果外观是否出现破损，和将水果根据种类进行分类，再针对每种水果挑选部分作为样品，切取样品水果部分果肉，使用机器检测样品果肉的成分，来决定一批水果的品质。但这种检测方式会破损样品水果，且无法精准得知每个水果的品质。
35.基于此，本技术提供一种水果分拣机器人的控制方法、装置、电子设备，应用于水果分拣机器人，以期水果分拣机器人可以实现无损对水果进行品质筛选。
36.图1为本技术提供的一种应用场景示意图，如图1所示，为整个分拣系统的分拣过程中的一张俯视图，长方形10为传送带、黑色正方形11为待分拣水果、白色正方形12为水果分拣机器人、虚线正方形13为待分拣水果将要被放到的位置。当待分拣水果由传送带进行运输的过程中，分拣机器人将待分拣水果进行抓取，并对该待分拣水果进行分类和品质监测，而后将待分拣水果放至另一的传送带上，完成待分拣水果的分拣和品质监测。
37.图2为本技术一实施例提供的一种水果分拣机器人的控制方法的流程图，本实施例的方法可以应用于以上场景中的分拣机器人的芯片中，分拣系统包括传送水果的传送带和水果分拣机器人，水果分拣机器人包括了视觉传感器、红外传感器、机械臂、集成了本方法的芯片。芯片则安装在机器人内部，视觉传感器、红外传感器、机械臂则固定安装在机器
人上。如图2所示的，该方法包括：s201、利用视觉传感器采集传送带上待分拣水果的图像。
38.其中，视觉传感器为得到图像的装置，包括但不局限于摄像头。
39.待分拣水果为所有需要被分拣、确定品质的水果，可以是多种类水果一起被分拣、确定品质，或是单品种水果被分拣、确定品质。
40.一些实现方式中，调用视觉传感器拍摄传送带上被传送的待分拣水果的图像。拍摄方式可以为固定时间拍摄一张，固定时间为被拍摄的部分传送带移动出拍摄区域的时间。
41.s202、分析所述图像确定所述待分拣水果中每个水果的位置、种类。
42.其中，位置表示的是水果相对于传送带的位置，如位于图片中距传送带的左侧边缘10厘米、上侧边缘10厘米的位置。在一些实现方式中，若视觉传感器的图像采集范围覆盖整条传送带，则图片中传送带的边缘为传送带的边界；在另一些实现方式中，若视觉传感器的图像采集范围覆盖传送带的一部分，则图片中传送带的边缘为图片的边界上属于传送带的部分。
43.一些实现方式中，利用图像识别技术对图像进行识别，将图中所有的水果选出，确定每个水果的位置。具体的，可以根据图片中每个水果与传送带各边缘的距离、图片传送带与真实传送带的比例，计算真实水果与传送带各边缘的距离长度。
44.还可以基于训练好的图像识别模型对水果的种类进行识别。具体的，可以事先以大量水果图片作为样本，对应的水果种类作为标签，对图像识别模型进行训练。训练好的模型在进行图像识别时可以精准地对其中的水果的图像进行特征提取，并与各种类的水果的特征进行比对，从而确定图像中各水果的种类。例如，分析得到水果为鲜红色、最大直径3厘米、瘦果尖卵形、带有多黑点、则可以确定为草莓。
45.s203、基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中。
46.其中一种实现方式，传送带的结构可以包括一条主传送带和多个子传送带，每条子传送带为一条路径，主传送带与子传送带在传送方向上相邻，无缝拼接在一起。工作过程中，水果可以被从主传送带上传送到子传送带上。
47.另一种实现方式，传送带的结构为一条传送带和传送带上的多条挡板，由多个挡板将传送带分成了多个与传送带等长的区域，其中每个区域为一条路径。
48.具体的，针对于每个待分拣水果相对于传送带具体位置，可以控制机械臂在该位置抓取待分拣水果,并且根据传送带的速度，调整机械臂的移动速度，使得机械臂可以在传送带的移动过程中精准抓取到水果，而后将水果放置到对应的路径上。
49.s204、根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线。
50.其中，近红外传感器包括光源发射器、光源接收器。近红外传感器的结构如图3所示，图3为近红外传感器的截面图，红外传感器具有3个光源发射器31，3个光源接收器32。
51.具体的，根据待分拣水果的种类，确定近红外传感器发送近红外线的具体方式，而后控制近红外传感器的光源发射器向路径中每一个水果都发射不同波长的红外光线。
52.s205、针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述
待分拣水果的品质等级。
53.其中，品质等级指的同等品种下，水果根据含糖量的多少、酸度、是否有内部病变等因素的等级划分。
54.具体的，基于接收的近红外线，得到接收到近红外线的光强信息，再根据近红外传感器发射的近红外线的光强信息，得到近红外线的光强变化信息。
55.而后根据待分拣水果的种类，确定该种类待分拣水果的光强吸收标准，再将该光强吸收标准与光强变化信息进行对比，可以确定该待分拣水果内部的糖度、酸度、是否病变的情况。而后基于糖度、酸度、是否病变的情况，对该待分拣水果的品质等级进行划分。
56.本方案通过分析视觉传感器所拍摄的图像得到被送上传送带的水果种类和具体位置，再由机械臂将同类的水果归入同一路径的传送带，使得自动的将水果形成了初步的归类划分，避免了人工的逐个分拣的过程，再利用近红外传感器对水果发射近红外线，并进一步分析接收的近红外线，得到每个水果的内部的成分构成，最后利用预先设置的规则将水果进行品质分类，实现了运用机器人无损的将大批量水果进行分类和品质挑选，节省了人力成本，和对水果分类时更加精准。
57.在一些实施例中，分拣系统还包括打标机，在上述s205步骤后，向打标机发送待分拣水果的品质信息，打标机将品质信息生成信息二维码，并将信息二维码打印在一张标签上，之后将标签贴到待分拣水果上。
58.在一些实施例中，水果分拣系统中近红外传感器位于传送带每个路径中，一个近红外传感器单独负责一个路径的水果检测，分拣机器人与近红外传感器之间通信连接。
59.另一些实施例中，分拣系统还包括自动装箱机，自动装箱机位于传送带的末端，待分拣水果传送到传送带末尾时会自动掉落，自动装箱机中包含多个凹槽，使得水果自动掉落时，掉落至自动装箱机的凹槽中，每一个凹槽填充水果后，根据传送带速度和控制水果分拣机器人将待分拣水果放置到路径的时间、待分拣水果的位置，调节自动装箱机的位置，使得将新凹槽位于下一个水果掉落的位置。一些实现方式中，传送带每一个路径上仍然根据品质等级进一步对应区分了路径，自动装箱机对水果进行自动装箱时，一个自动装箱机针对每一个水果品质进行装箱。
60.另一些实施例中，待分拣水果只为同一种水果时，s202步骤中视觉传感器不在检测水果的种类，只利用图像识别待分拣水果的外表面是否有破损，若待分拣水果外表有破损，则跳过s204、s205直接定为低品质，每个路径则对应待分拣水果的各个品质等级。
61.在一些实施例中，近红外传感器，包括：多个光源发射器、多个光源接收器；所述根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线，包括：根据所述种类，获取所述种类平均的尺寸大小、果肉厚度、糖分含量；根据所述尺寸大小，启动对应个数的所述光源发射器、多个光源接收器；根据所述果肉厚度、所述糖分含量，确定近红外传感器的检测方式。
62.其中，近红外传感器的检测方式分为反射检测、透射检测。
63.需要说明的是，近红外传感器由多个光源发射器、光源接收器组成，在透射检测时，会调整光源发射器、光源接收器的位置，使光源发射器、光源接收器贴近待分拣水果果皮，反射检测时，光源发射器会跟待分拣水果具有一定距离。
64.具体的，获取待分拣水果的种类后，从水果的数据库中获取每个种类水果对应的
尺寸大小、果肉厚度、糖分含量。
65.而后判断尺寸大小位于预设标准那个梯度，决定启动近红外传感器发射装置的个数，例如西瓜为平均直径27厘米，需要启用三个光源，苹果平均直径8厘米，需要启动两个光源。其中，预设标准为梯度尺寸标准，每个梯度对应一个光源发射器的个数，尺寸位于哪个区间启用对应个数的发射装置，根据其个数确定启动哪个位置的光源发射器，如一个时启用待分拣水果正上方的光源发射器、两个时启用待分拣水果左右的光源发射器。
66.针对果肉厚度和糖分含量，确定近红外传感器的检测方式，由于果肉厚度过厚时，采用反射检测时近红外线无法通过整个待分拣水果的果体，以至于无法获取待分拣水果内部全部的果肉中的成分，所以启动透射检测，使近红外线可以通过整个待分拣水果的果体，而糖分含量过低时，反射检测可能会出现检测准确度降低，也需要采用透射检测。
67.当果肉厚度和糖分含量任意一项达到需要开启透射检测时，直接开启透射检测。
68.本方案通过待分拣水果的种类确定出该种类平均的尺寸大小、果肉厚度、糖分含量等属性，而后根据尺寸大小针对性的启用相应个数的近红外传感器，再根据果肉厚度、糖分含量调整近红外传感器对待分拣水果的检测方式，使得可以对待分拣水果始终采取最合适的检测方式，进而获得待分拣水果最精准的成分数据。
69.在一些实施例中，根据所述种类、发射的近红外线、分析接收的近红外线，确定所述待分拣水果的品质等级，包括：根据所述种类，确定所述种类对应的预设分析光谱；根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据；将所述预设分析光谱、所述近红外吸收数据进行分析，确定所述待分拣水果的成分含量；根据预设标准、所述成分含量，确定所述待分拣水果的品质等级。
70.其中，预设分析光谱的建立过程为，利用近红外线对每种水果的各个品质进行测量，在每次的测量之中，在不同位置对水果做出测量并取平均值，得到每种水果各个品质光谱信息作为预设分析光谱，而后将待分拣水果的种类和预设分析光谱对应存储至分析模型库中。
71.预设标准为对每一种水果中每一成分的含量设定的标准。例如水分含量、糖分含量。
72.当确定出待分拣水果的种类后，在分析模型库中进行筛选，将该种类对应的预设分析光谱选择出来。
73.再根据近红外线的接收方式，确定近红外线的分析方式，若是通过透射接收的近红外线，则采用近红外线的透射分析方法进而生成透射红外光谱，若是通过反射接收的近红外线，则采用近红外线的反射分析方法，生成反射红外光谱。
74.对比预设分析光谱和近红外光谱，确定待分拣水果在不同波长的近红外线下吸收近红外线的信息，根据每一个波长对应的待分拣水果的成分种类，分析待分拣水果对每一波长的吸收信息，进而将吸收信息与预设分析光谱进行对比，确定待分拣水果中每一种成分的含量。而后将该成分的含量与预设标准中该成分的含量标准进行对比，判断待分拣水果的品质等级。例如，水蜜桃在1450nm的吸收信息对应的为水份，根据水蜜桃在1450nm的吸收多少可以确定水蜜桃内部水分的比例，进而确定出水蜜桃的品质，如吸收率小于15%则可以确定，水蜜桃水分少，品质低。
75.通过本方案，针对每一个水果种类都有一个对应的预设分析光谱，使得每一个水
果有准确的对照，而后对待分拣水果进行近红外线的放射、接收，确定水果每种成分对近红外线吸收数据，将待分拣水果对不同波长近红外线的吸收数据对应为待分拣水果内部成分，使得以无损的方式获取待分拣水果的内部成分，再针对内部成分的含量进而确定出待分拣水果品质。
76.在一些实施例中，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级，包括：根据所述发射的近红外线得到发射的光强信息；根据所述接收的近红外线得到接收的光强信息；根据所述发射的光强信息、接收的光强信息确定近红外线的近红外线吸收数据。
77.其中，光强信息包括波长信息、频率信息、光密度信息，近红外线吸收数据为近红外线经过水果后光密度损失的信息。
78.由于水果中不同成分对于近红外光的不同波长的反应都有明显差别，通过近红外传感器连续发射不同波长的近红外光照射待分拣水果，待分拣水果对不同波长的近红外光的选择性吸收，吸收后近红外光线在某些波长范围内会变弱，再由近红外传感器接收经过待分拣水果的近红外光。
79.针对同一波长的近红外线，对比发射的近红外线发射时的光密度和接收时近红外线的光密度，确定待分拣水果对于各个波长的近红外线的近红外线吸收数据。
80.通过本方案，针对待分拣水果不同成分对不同波长的近红外线有不同吸收数据的特点，向待分拣水果发出不同波长的近红外线，再分析近红外线通过待分拣水果的光强信息的变化，确定出近红外线的近红外线吸收数据。
81.在一些实施例中，根据所述图像确定所述待分拣水果中每个水果的位置和种类，包括：对所述图像进行目标识别，将所述图像内的传送带进行区域划分；确定每个区域相对于所述传送带的位置；根据所述图像分别获取每个所述区域内的水果种类。
82.其中，位置表示的为待分拣水果相对于传送带的位置。
83.一些实现方式中，利用图像识别技术将传送带区别于场景中其他环境提取而出，而后采集传送带中各边缘的长度和各边缘之间相对距离，之后将图片中传送带平均分割成边长相等的正方形区域，并将每个区域设置一个唯一的编号。
84.针对每一个区域，并计算该区域相对于传送带四个边缘的距离，每个区域相对传送带边缘距离的计算方式为，区域的左边缘相对于传送带左边缘的距离，同理计算区域四个边缘相对传送带四个边缘的距离，每个区域相对于传送带边缘的距离即为每个区域的位置。
85.而后确定每个待分拣水果所覆盖的区域的编号，并进一步确定待分拣水果的边缘所在的区域的编号，以待分拣水果最边缘所在区域的位置作为待分拣水果的位置，例如，一苹果覆盖区域有50个，分别获取苹果轮廓中最左、最上、最右、最下的一点所在区域为1号区域、2号区域、3号区域、4号区域，此时1号区域相对于传送带的位置可确定为苹果最左一点相对传送带的位置，同理可得苹果轮廓最上、最右、最下的一点相对传送带的位置。
86.在一些实施例中，基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中，包括：根据所述位置，调整机械臂的抓取位置至所述位置处；根据所述传送带的传送速度、所述图像的拍摄时间、确定所述位置传送至机械臂抓取位置的时间；根据所述时间，控制机械臂的对所述位置的水果进行抓取；根据所述种
类，将所述水果放置到指定路径内。
87.其中，机械臂包括四个勾爪分别用于放置在抓取物体上下左右四个方位。指定路径指的为单独的一条传送带。
88.一种实现方式中，将待分拣水果相对于传送带各边缘的距离表征为待分拣水果的位置，调整机械臂的抓取位置时，调整机械臂的上下左右四个勾爪，将上勾爪放置待分拣水果的上边缘所在位置相对于传送带的边缘的位置，同理放置四个勾爪的位置。
89.根据传送带的传送速度和待分拣水果被拍摄的时间，确定传送带将所述位置传送至机械臂勾爪所在的位置的时间，当到达该时间时，控制机械臂抓进行抓取，即可使机械臂抓取到待分拣水果。而后根据待分拣水果的种类，确定待分拣水果专属的指定路径上。
90.本方案通过传送带的传送速度和图片的拍摄时间，可以获取传送带处于传送至位置的时间，从而调整机械臂的抓取时间，并且根据每个水果的位置可以调控机械臂提前落位待分拣水果未来传送到的位置，结合位置和时间使得机械臂可以准确的抓取到每个待分拣水果，再根据水果的种类将水果制动到同一个路径中，完成待分拣水果的分类。
91.在一些实施例中，根据所述图像分别获取每个所述区域内的水果种类，包括：根据每一帧画面中所述水果的形状、大小、果皮颜色与数据库特征进行比对，确定所述水果的种类；若匹配结果为多个结果，则调用所述视觉传感器拍摄所述水果内部种子的图片；分析所述种子的图片特征，与所述多个结果对应的种子示例图作对比，确定所述水果的种类。
92.一种实现方式中，利用图像识别技术，提取待分拣水果的形状特征、大小特征、果皮颜色特征，将三种特征分别在数据库中进行检索，匹配到三类检索结果，而后对三类检索结果进行比对，将同时出现在三类检索结果中的水果种类选出。
93.若选出的水果种类为一个结果，则将该水果种类作为待分拣水果的种类，当水果种类的结果为多个时，则利用视觉传感器对待分拣水果进一步的确认，利用核磁共振技术，对待分拣水果的内部进行成像，得到待分拣水果的内部种子图像。
94.而后调取上述多个种类对应的种子示例图与待分拣水果的内部种子图像进行对比，得到唯一的结果种类为待分拣水果的种类。
95.本方案通过图片分析技术分析出待分拣水果的形状、大小、果皮颜色等特点，而后针对该特点在数据库中分别搜索，初步的获取到待分拣水果的种类，结合了待分拣水果的众多特点可以较精准的获取待分拣水果的种类，在无法将种类确定为一种时，再采用获取待分拣水果的种子的图片与种子实例图片对比的方式，精准的获取到待分拣水果的种类，提高了获取待分拣水果的准确度。
96.在一些实施例中，水果分拣系统还包括：重力感应装置、价格机；方法包括：调用所述重力感应装置测量所述待分拣水果的重量；根据所述重量、所述待分拣水果的价格分类、确定所述待分拣水果的具体价格；调用所述价格价格机将所述待分拣水果的具体价格打标。
97.图4为本技术一实施例提供的一种水果分拣机器人的控制装置的结构示意图，如图4所示的，本实施例的水果分拣机器人的控制装置400，应用于水果分拣系统，所述水果分拣系统包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂，所述装置包括：采集模块401，用于利用视觉传感器采集传送带上待分拣水果的图像；
分析模块402，用于分析所述图像确定所述待分拣水果中每个水果的位置、种类；归类模块403，用于基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；检测模块404，用于根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；品质模块405，用于针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级。
98.可选的，近红外传感器，包括：多个光源发射器、多个光源接收器；所述检测模块404根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线时，具体用于：根据所述种类，获取所述种类平均的尺寸大小、果肉厚度、糖分含量；根据所述尺寸大小，启动对应个数的多个光源发射器、多个光源接收器；根据所述果肉厚度、所述糖分含量，确定近红外传感器的检测方式。
99.可选的，所述品质模块405根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级时，具体用于：根据所述种类，确定所述种类对应的预设分析光谱；根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据；将所述预设分析光谱、所述近红外吸收数据进行分析，确定所述待分拣水果的成分含量；根据预设标准、所述成分含量，确定所述待分拣水果的品质等级。
100.可选的，所述品质模块405根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据时，具体用于：根据所述发射的近红外线得到发射的光强信息；根据所述接收的近红外线得到接收的光强信息；根据所述发射的光强信息、接收的光强信息确定近红外线的近红外线吸收数据。
101.可选的，所述分析模块402根据所述图像确定所述待分拣水果中每个水果的位置和种类时，具体用于：对所述图像进行目标识别，将所述图像内的传送带进行区域划分；确定每个区域相对于所述传送带的位置；根据所述图像分别获取每个所述区域内的水果种类。
102.可选的，所述归类模块403基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中时，具体用于：根据所述位置，调整机械臂的抓取位置至所述位置处；根据所述传送带的传送速度、所述图像的拍摄时间、确定所述位置传送至机械臂抓取位置的时间；根据所述时间，控制机械臂的对所述位置的水果进行抓取；根据所述种类，将所述水果放置到指定路径内。
103.可选的，所述分析模块402根据所述图像分别获取每个所述区域内的水果种类时，具体用于：
根据每一帧画面中所述水果的形状、大小、果皮颜色与数据库特征进行比对，匹配所述水果的种类；若匹配结果为多个结果，则调用所述视觉传感器拍摄所述水果内部种子的图片；分析所述种子的图片特征，与所述多个结果对应的种子示例图作对比，确定所述水果的种类。
104.本实施例的装置，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。
105.图5为本技术一实施例提供的一种电子设备的结构示意图，如图5所示，本实施例的电子设备500可以包括：存储器501和处理器502。
106.存储器501上存储有能够被处理器502加载并执行上述实施例中方法的计算机程序。
107.其中，处理器502和存储器501相连，如通过总线相连。
108.可选地，电子设备500还可以包括收发器。需要说明的是，实际应用中收发器不限于一个，该电子设备500的结构并不构成对本技术实施例的限定。
109.处理器502可以是cpu（central processing unit，中央处理器），通用处理器，dsp（digital signal processor，数据信号处理器），asic（application specific integrated circuit，专用集成电路），fpga（field programmable gate array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器502也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
110.总线可包括一通路，在上述组件之间传送信息。总线可以是pci（peripheral component interconnect，外设部件互连标准）总线或eisa（extended industry standard architecture，扩展工业标准结构）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
111.存储器501可以是rom（read only memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，ram（random access memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom（electrically erasable programmable read only memory，电可擦可编程只读存储器）、cd-rom（compact disc read only memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
112.存储器501用于存储执行本技术方案的应用程序代码，并由处理器502来控制执行。处理器502用于执行存储器501中存储的应用程序代码，以实现前述方法实施例所示的内容。
113.其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。还可以为服务器等。图5示出
的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
114.本实施例的电子设备，可以用于执行上述任一实施例的方法，其实现原理和技术效果类似，此处不再赘述。
115.本技术还提供一种计算机可读存储介质，存储有能够被处理器加载并执行如上实施例中的方法的计算机程序。
116.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

技术特征：
1.一种水果分拣机器人的控制方法，其特征在于，应用于水果分拣系统，所述水果分拣系统包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂，所述方法包括：利用视觉传感器采集传送带上待分拣水果的图像；分析所述图像确定所述待分拣水果中每个水果的位置、种类；基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级。2.根据权利要求1所述的方法，其特征在于，所述近红外传感器，包括：多个光源发射器、多个光源接收器；所述根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线，包括：根据所述种类，获取所述种类平均的尺寸大小、果肉厚度、糖分含量；根据所述尺寸大小，启动对应个数的所述光源发射器、多个光源接收器；根据所述果肉厚度、所述糖分含量，确定近红外传感器的检测方式。3.根据权利要求1所述的方法，其特征在于，所述根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级，包括：根据所述种类，确定所述种类对应的预设分析光谱；根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据；将所述预设分析光谱、所述近红外吸收数据进行分析，确定所述待分拣水果的成分含量；根据预设标准、所述成分含量，确定所述待分拣水果的品质等级。4.根据权利要求3所述的方法，其特征在于，所述根据发射的近红外线、接收的近红外线，确定待分拣水果的近红外线吸收数据，包括：根据所述发射的近红外线得到发射的光强信息；根据所述接收的近红外线得到接收的光强信息；根据所述发射的光强信息、接收的光强信息确定近红外线的近红外线吸收数据。5.根据权利要求1所述的方法，其特征在于，所述根据所述图像确定所述待分拣水果中每个水果的位置和种类，包括：对所述图像进行目标识别，将所述图像内的传送带进行区域划分；确定每个区域相对于所述传送带的位置；根据所述图像分别获取每个所述区域内的水果种类。6.根据权利要求5所述的方法，其特征在于，所述基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中，包括：根据所述位置，调整机械臂的抓取位置至所述位置处；根据所述传送带的传送速度、所述图像的拍摄时间、确定所述位置传送至机械臂抓取位置的时间；
根据所述时间，控制机械臂的对所述位置的水果进行抓取；根据所述种类，将所述水果放置到指定路径内。7.根据权利要求5所述的方法，其特征在于，所述根据所述图像分别获取每个所述区域内的水果种类，包括：根据每一帧画面中所述水果的形状、大小、果皮颜色与数据库特征进行比对，匹配所述水果的种类；若匹配结果为多个结果，则调用所述视觉传感器拍摄所述水果内部种子的图片；分析所述种子的图片特征，与所述多个结果对应的种子示例图作对比，确定所述水果的种类。8.一种水果分拣机器人的控制装置，其特征在于，应用于水果分拣系统，所述水果分拣系统包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂，所述装置包括：采集模块，用于利用视觉传感器采集传送带上待分拣水果的图像；分析模块，用于分析所述图像确定所述待分拣水果中每个水果的位置、种类；归类模块，用于基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；检测模块，用于根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；品质模块，用于针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级。9.一种电子设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储程序指令；所述处理器，用于调用并执行所述存储器中的程序指令，执行如权利要求1-7任一项所述的水果分拣机器人的控制方法。10.一种水果分拣系统，其特征在于，包括：水果分拣机器人、传送带，所述水果分拣机器人包括：视觉传感器、近红外传感器、机械臂；所述传送带，用于传送待分拣水果；所述水果分拣机器人，用于利用视觉传感器采集传送带上待分拣水果的图像；分析所述图像确定所述待分拣水果中每个水果的位置、种类；基于所述位置、所述传送带的传送速度、所述种类，调用机械臂将相同种类的水果归于传送带同一路径中；根据所述种类，控制所述近红外传感器向每个路径中的待分拣水果发射近红外线；针对每个路径，根据所述种类、发射的近红外线、接收的近红外线，确定所述待分拣水果的品质等级。

技术总结
本申请涉及一种水果分拣机器人的控制方法、装置、电子设备。方法应用于水果分拣系统，水果分拣系统包括：水果分拣机器人、传送带，水果分拣机器人包括：视觉传感器、红外传感器、机械臂，方法包括：利用视觉传感器采集传送带上待分拣水果的图像；分析图像确定待分拣水果中每个水果的位置、种类；基于位置、传送带的传送速度、种类，调用机械臂将相同种类的水果归于传送带同一路径中；根据种类，控制近红外传感器向每个路径中的待分拣水果的发射近红外线；针对每个路径，根据种类、发射的近红外线、分析接收的近红外线，确定待分拣水果的品质等级。确定待分拣水果的品质等级。确定待分拣水果的品质等级。


技术研发人员：袁军 吴雍 陈胜进
受保护的技术使用者：深圳市康士达科技有限公司
技术研发日：2023.06.08
技术公布日：2023/8/6