一种面向智能割草机器人的视觉目标检测方法及系统

1.本发明属于视觉目标检测领域，具体涉及一种用于智能割草机的成像系统、动态目标分割及检测方法。


背景技术：

2.随着全球农业生产的不断发展和升级，杂草管理是任何农业经营中最重要的任务之一。如果不加以管理，杂草会与作物争夺水分、土壤养分和阳光，阻碍植物生长，降低作物产量。传统的杂草管理方法包括手动除草、化学除草剂和机械除草不仅效率低下，而且对环境造成负面影响。因此，越来越多的农业生产者开始探索新型的杂草管理技术，如智能割草机器人，以提高农作物的产量和质量，并降低对环境的影响。
3.目前市面上的智能割草机器人面对障碍物一般采取三种处理方式：一是不设措施，碰撞即转弯，需要对割草机前端采取保护措施；二是参考边界处理的方式，需要人工提前进行铺设；三是利用相关传感器进行检测避障。对于第三种处理方式，根据不同的传感器等检测设备，有不同的传感器用于目标障碍物检测，如：激光雷达、机器视觉、超声波等方式。相较于前两种被动的避障方案，第三种通过目标检测可以实现更为主动的避障。
4.深度学习的发展促进了基于视觉的目标检测在诸如智能割草机器人等领域的广泛应用，相较于激光雷达、超声波等传感器，视觉传感器具有更广泛的适用性。然而，视觉传感器在实际应用中仍存在一些挑战和问题，例如在草坪等复杂工作场景中由于地势高低等原因引起的抖动现象可能导致相机成像模糊从而影响目标检测精度；此外，语义分割系统在面对不同杂草类型、各个作物生长阶段、相似视觉外观和异常土壤条件以及重大环境变换时，可能无法有效地应对。最后，室外环境下光照条件并不是固定不变的，复杂的光线变化以及逆光会很大程度影响机器视觉的目标检测效果。
5.综上所述，如何克服现有相机抖动导致的无法清晰成像以及重大环境变化、动态目标的出现、光照条件变化影响目标检测精确度的问题，构建具有防抖功能的成像系统以及根据环境变化、光照条件自适应的目标检测算法成为了本研究领域技术人员亟待解决的问题。


技术实现要素：

6.为了解决上述问题，本发明提供一种面向智能割草机器人的视觉目标检测方法及系统。
7.本发明所要解决的技术问题采用以下技术方案来实现：
8.一种面向智能割草机器人的视觉目标检测方法，包括以下步骤：
9.s100：采用光学防抖成像方法，从智能割草机器人上获取智能割草机器人前方的一个图像序列；
10.s200：根据步骤a中所获取的图像序列，对图像进行预处理；
11.s300：通过基于序列信息的语义分割方法将步骤b中预处理的图像进行分割；
12.s400：通过基于帧差法的背景建模、目标检测算法对步骤c中分割后的图像实现目标检测。
13.作为本发明的进一步改进，步骤s100所述的光学防抖成像方法具体包括：
14.(110)在抖动产生时，将陀螺仪传感器产生的抖动信号传送到光学防抖控制器，通过计算得到偏移量d；
15.(120)根据步骤(1100)计算得到的偏移量d，利用光学防抖控制器驱动马达调整镜头的位置来补偿抖动产生的影响。此外，还可根据偏移量调整马达的转速和转向，以使得相机的位置可以精确地被控制；
16.(130)在驱动马达调整镜头位置的同时，利用光学防抖控制器驱动抖动补偿透镜进行移动；
17.(140)利用霍尔传感器将步骤(130)中调整后的位置传送到光学防抖控制器，以此实现一个闭环控制；
18.(150)将双目相机模组的数据传输至光学防抖控制器，以进行相机模组间的协作控制；
19.(160)根据步骤(15)中相机模组间的协作控制结果，调整双目相机模组的参数，包括焦距、光圈、曝光时间，以保持两个相机的图像一致性；
20.(170)将步骤(160)中调整后的参数传输至相机模组，实现双目相机模组的协作控制。
21.作为本发明的进一步改进，所述相机模组光学防抖控制器，用于接收抖动信号，并计算需要补偿的位移或角度，从而利用驱动马达控制抖动补偿透镜装置。传统的控制策略主要有开环控制和闭环控制，闭环控制具有快速性好，精确性高、功耗较低、成像效果好的特点，所以本发明针对闭环控制策略设计了控制器。
22.作为本发明的进一步改进，所述双目相机模组的协作控制，用于确保两颗摄像头的光路具有较强的一致性，即解决双摄头模组光轴不平行这一问题。本发明针对光轴校正问题提出一种基于图像反馈的自校正方法。其基本原理是当两个镜头的光轴不平行时，通过对比两个镜头采集到的图像的差异，并根据两个图像之间的差异进行光轴的校正。
23.作为本发明的进一步改进，步骤s200所述的图像预处理方法具体步骤如下：
24.(210)对于每个通道，通过使用标准正态分布给出的[5
×
5]高斯核(即μ＝0和σ2＝1)执行模糊操作来去除噪声；
[0025]
(220)通过均值和标准差来标准化数据；
[0026]
(230)将值归一化并以零为中心到区间[-1,1]。
[0027]
作为本发明的进一步改进，步骤s300所述的基于序列信息的语义分割方法具体步骤如下：
[0028]
(310)将预处理后的一个s图像序列传递到编码器-解码器全卷积网络的编码器得到视觉代码，再传递到解码器得到视觉特征图；
[0029]
(320)将步骤(310)中所获取的视觉代码传递到序列模块中的时空融合模块，得到序列代码；
[0030]
(330)将步骤(320)中所获取的序列代码通过时空解码器，得到一组高分辨率的特征图。随后将特征图输入到瓶颈层进行特征降维。最后将特征图输入到密集块中进行特征
扩张处理，从而使特征更加丰富。最后再重复以上步骤，直到将特征图映射到所需的输出分辨率。最终得到像素级特征表示的序列特征；
[0031]
(340)将步骤(310)中所获取的视觉特征图和步骤(330)中所获取的序列特征图输入到合并层得到一个更深的特征图。最后将合并后的特征图通过使用瓶颈层进行卷积以获得所需的标签掩码输出，从而得到掩码输出，实现语义分割。
[0032]
作为本发明的进一步改进，步骤s400所述的基于帧差法的背景建模、目标检测算法具体步骤如下：
[0033]
(410)读取语义分割后的第一帧图像，对每个像素点建立一个样本点集作为初始化的背景模型；
[0034]
(420)不断对步骤(410)中所获取的背景模型进行更新以适应新的图像背景；
[0035]
(430)去除步骤(420)所获取图像中小的噪声点，对检测目标的二值图进行形态学处理，先腐蚀再膨胀。再根据噪声点的连通图大小判别舍去非目标噪点，最终得到目标的检测结果。
[0036]
本发明还包括一种用于智能割草机器人的环境感知系统，包括：姿态感知模块、图像获取模块、图像处理模块、语义分割模块、目标检测模块、物体跟踪模块、决策与控制模块。
[0037]
与现有技术相比，本发明所达到的有益效果是：
[0038]
1、传统的智能割草机器人在工作中易受地形坡度影响引起相机抖动，导致成像模糊从而降低目标检测精度，本发明基于光学防抖技术对割草机器人成像系统进行改进，包括：抖动补偿透镜装置；防抖相机模组的鲁棒防抖控制；双目相机模组的协作控制。通过对成像系统的改进，本发明能够改善智能割草机器人成像画质，从而提高语义分割、目标检测效果。
[0039]
2、本发明设计的一种基于序列信息的语义分割方法，能够有效应对杂草类型、作物生长阶段、视觉外观和土壤条件的重大环境变换，从而提升对杂草检测的精度。
[0040]
3、传统的智能割草机器人在室外环境中工作易受光照条件变化、逆光等因素影响而导致语义分割、目标检测效果不佳，本发明基于帧差法对光线变化的不敏感特性，设计的一种背景建模、目标检测算法能够更好地处理动态光照条件下的图像，并提高目标检测的准确性。
附图说明
[0041]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
[0042]
附图1为本发明实施例一提供的光学防抖成像系统原理图；
[0043]
附图2为本发明实施例一提供的抖动补偿透镜装置的示意图；
[0044]
附图3为本发明实施例一提供的相机模组光学防抖控制器的控制框图；
[0045]
附图4为本发明实施例一提供的以x轴的俯仰运动控制器设计为例，相应的闭环控制结构框图；
[0046]
附图5为本发明实施例一提供的基于图像反馈的光轴校正控制框图；
[0047]
附图6为本发明实施例一提供的基于序列信息的语义分割算法模型图；
[0048]
附图7为本发明实施例一提供的基于帧差法的背景建模、前景检测算法流程图；
[0049]
附图8为本发明实施例一提供的像素点8邻域差分图，其中图8a是关于像素点v1的差分图，图8b是关于像素点v2的差分图；
[0050]
附图9为本发明实施例二提供的一种用于智能割草机器人的环境感知装置的结构示意图；
[0051]
附图10为本发明实施例三提供的一种用于智能割草机器人的环境感知系统的结构示意图。
具体实施方式
[0052]
为使本发明的技术方案更加清楚，以下将结合具体实施例对本发明提供的技术方案进行详细说明，结合附图对本发明做进一步阐述。可以理解的是，此处所描述的具体实施例仅是本发明的部分实施例，用于对本发明进行解释，而非对本发明的限定。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护范围。
[0053]
实施例一
[0054]
本发明实施例提供的一种面向智能割草机器人的视觉目标检测方法及系统，整体方案流程如下：
[0055]
s100:将基于光学防抖技术改进的成像系统安装在智能割草机器人上，获取智能割草机器人前方的一个图像序列；
[0056]
s200:根据步骤s100中所获取的图像序列，对图像进行预处理，并对所有通道(红蓝绿)分别进行预处理；
[0057]
s300:通过基于序列信息的语义分割方法将步骤s300中预处理的图像进行分割；
[0058]
s400:通过基于帧差法的背景建模、目标检测算法对步骤s300中分割的图像实现目标检测。
[0059]
进一步地，为了实现所述步骤s100中具有防抖功能的成像系统，请参阅附图1。附图1为本发明实施例一提供的一种光学防抖成像系统原理图，结合附图1整体方案包括以下步骤：
[0060]
s110:抖动产生时，将陀螺仪传感器产生的抖动信号传送到相机模组光学防抖控制器，通过计算得到偏移量d。
[0061]
具体地，偏移量d有如下计算公式：
[0062]
d＝f
×
sinθ(1)
[0063]
其中
[0064]
θ＝∫w
t
dt(2)
[0065]
式中θ为光轴偏移角度，w
t
为光轴加速度。
[0066]
所述光学防抖控制器以x轴的俯仰运动控制器设计为例，考虑到抖动信号的幅度和频率特性，本发明期望设计的控制系统能够补偿幅值最大为3度以及频率最大为50hz的抖动信号。此外，需要考虑音圈电机的最大输入电流为0.2a。最终设计x轴的俯仰运动控制器的极点为-500
±
80i，对应的传递函数为
[0067][0068]
s120:根据步骤s110中计算得到的偏移量，利用光学防抖控制器驱动内置的马达来调整相机镜头的位置，以抵消抖动产生的影响。此外，还可根据偏移量调整马达的转速和转向，以使得相机的位置可以精确地被控制。
[0069]
s130:在驱动马达调整镜头位置的同时，利用光学防抖控制器驱动抖动补偿透镜进行移动。抖动补偿透镜是一片平行于相机镜头的平面镜片，其位置可以被微调以进一步减小光轴偏移角度θ，从而减少偏移量d。
[0070]
s140:利用霍尔传感器检测步骤s130中抖动补偿透镜的实际位置，并将实际位置信息作为反馈信息传输回光学防抖控制器，以形成一个闭环控制系统。
[0071]
s150:将双目相机模组的数据传输至光学防抖控制器，以进行相机模组间的协作控制。
[0072]
具体地，所述相机模组间的协作控制结合附图5有以下详细步骤：
[0073]
(1)设定光轴允许的误差精度范围，将误差与利用霍夫变换求得的两幅图像对应的特征线段的差值进行比较；
[0074]
(2)将步骤(1)所获取的比较值作为音圈电机控制芯片的输入，使得镜头发生偏转；
[0075]
(3)最终获得两颗镜头对应的图像，并进一步反馈，直到满足精度要求。
[0076]
s160:根据步骤s150中相机模组间的协作控制结果，调整双目相机模组的参数，包括焦距、光圈、曝光时间，以保持两个相机的图像一致性。
[0077]
s170：将步骤s160调整后的参数传输至相机模组，实现双目相机模组的协作控制。
[0078]
进一步地，所述步骤s200对图像预处理有以下具体步骤：
[0079]
s210:对于每个通道，通过使用标准正态分布给出的[5
×
5]高斯核(即μ＝0和σ2＝1)执行模糊操作来去除噪声；
[0080]
s220:通过均值和标准差来标准化数据；
[0081]
s230:将值归一化并以零为中心到区间[-1,1]。
[0082]
进一步地，为了实现所述步骤s300中基于序列信息的语义分割，请参阅附图6。附图6为本发明实施例一提供的基于序列信息的语义分割算法模型图。结合附图6有以下具体步骤：
[0083]
s310:将预处理后的一个s图像序列传递到编码器-解码器全卷积网络的编码器得到视觉代码，再传递到解码器得到视觉特征量。
[0084]
s320:将步骤s310中所获取的视觉代码传递到序列模块中的时空融合模块。通过使用3d卷积将s个视觉代码联合处理为序列，得到序列代码，该序列代码包含关于序列内容的信息；
[0085]
s330:将步骤s320中所获取的序列代码通过时空解码器，利用上采样技术将序列的分辨率放大，从而得到一组高分辨率的特征图。随后将上采样后的特征图输入到瓶颈层中进行特征降维处理，从而将特征编码的维度降低到一个更低的维度。最后将特征编码输入到密集块中进行特征扩张处理，从而使特征更加丰富。最后再重复以上步骤，直到将特征编码映射到所需的输出分辨率。最终得到像素级特征表示的序列特征；
[0086]
s340:将步骤s310中所获取的视觉特征图和步骤s330中所获取的序列特征图输入到合并层，沿着它们的特征轴进行连接得到一个更深的特征图。随后将该特征图传递给一个带有12个卷积核的瓶颈层实现合并。最后将合并后的特征图通过使用带有3个卷积核的瓶颈层进行卷积以获得所需的标签掩码输出，从而得到掩码输出，实现语义分割；
[0087]
进一步地，为了实现所述步骤s400中基于帧差法的背景建模、目标检测算法，请参阅附图7。附图7为本发明实施例一提供的基于帧差法的背景建模、前景检测算法流程图；结合附图7有以下具体步骤：
[0088]
s410:读取分割后的第一帧图像，对每个像素点建立一个样本点集作为初始化的背景模型。
[0089]
s420:不断对背景模型进行更新以适应新的图像背景。
[0090]
主要更新步骤如下：
[0091]
(1)通过帧间差分求得像素差，根据像素差值判断是否有动态前景；
[0092]
(2)根据背景样本集判断当前像素点是否为背景点。若判断当前点为背景点，则该点有1/rate(rate为采样率)的概率去更新该点的像素背景模型中的一个像素值，同时也有1/rate的概率去更新邻域点的像素值，本发明实施例中rate取16；
[0093]
(3)采用对光线不敏感的帧间差分法对当前像素点进行进一步判断，即通过判断当前帧中该像素点及其8领域点的二值化帧差diffn(x,y)对包含目标的前景点进行进一步判决，其中像素点8领域差分图如附图8a和图8b所示。
[0094]
关于帧差diffn(x,y)表示为：
[0095][0096]
式中，t1为设置的阈值。
[0097]
(4)采用前景点计数策略，对于一个连续f(x,y)次判断为前景点的像素点，该点有可能是鬼影点，故当次数f(x,y)大于一个最大阈值时，将该点判断为背景点。
[0098]
s430:去除小的噪声点，对检测目标的二值图进行形态学处理，先腐蚀再膨胀；针对少数相机抖动以及前期对光线变化未处理完全的大的噪声点，利用噪声点的连通图大小判别舍去非目标噪点，最终得到目标的检测结果。
[0099]
所述抖动补偿透镜装置，参见附图2所示，本实施例的抖动补偿透镜装置可以实现垂直、水平移动。可以看出，在成像过程中因为抖动会造成光轴偏移θ角，这样原来成像在ccd上的点会成像到另一点。将这个偏移量计作d，给出d的计算公式：
[0100]
d＝f
×
sinθ(1)
[0101]
其中
[0102]
θ＝∫w
t
dt(2)
[0103]
式中w
t
为光轴加速度。光学防抖的目的是减少偏移量d，在镜头中加一组补偿镜片，利用镜片的光学特性能够减小光轴偏移角度θ，从而减少偏移量d。
[0104]
所述相机模组光学防抖控制器的控制框图，参见附图3所示，其中f为支架四周的四个电极沿z轴方向产生的总的电磁驱动力，t
x
、ty分别为关于x轴和y轴的等效力矩。整个系统可以分为三个子系统。沿z轴方向的运动主要用来实现镜头的自动对焦，沿x轴方向的转动也称为俯仰方向的运动，沿y轴方向的转动也称为偏航方向运动。其中，沿x轴俯仰方向的
运动和沿y轴偏航方向的运动主要用来实现光学防抖功能。当陀螺仪测得x轴和y轴的俯仰角速度和偏航角速度之后，经过相应的姿态解算得到俯仰角度和偏航角度。控制芯片根据需要调整的角度计算驱动电流的大小，驱动音圈电机带动整个镜头组产生偏转，从而补偿因为振动引起的图像抖动，补偿效果可以通过加入反馈进一步提高。
[0105]
以x轴的俯仰运动控制器设计为例，相应的闭环控制结构如附图4所示。其中ω为角速度，θ为镜头偏转角。霍尔传感器主要用来测量镜头组中磁铁与霍尔芯片的相对位置来计算出镜头的偏转角度，从而实现反馈控制。
[0106]
考虑到抖动信号的幅度和频率特性，本发明期望设计的控制系统能够补偿幅值最大为3度以及频率最大为50hz的抖动信号。此外，需要考虑音圈电机的最大输入电流为0.2a。最终设计的音圈电机控制器的极点为-500
±
80i，对应的传递函数为
[0107][0108]
所述双目相机模组协作控制的光轴校正，参见附图5所示，设定光轴允许的误差精度范围，与利用霍夫变换求得的两幅图像对应的特征线段的差值进行比较，将比较值作为音圈电机控制芯片的输入，使得镜头发生偏转，最终获得两颗镜头对应的图像，并进一步分亏，直到满足精度要求。
[0109]
实施例二
[0110]
附图9为本发明实施例二提供的一种用于智能割草机器人的环境感知系统的结构示意图。该装置包括：姿态感知模块、图像获取模块、图像处理模块、语义分割模块、目标检测模块、物体跟踪模块、决策与控制模块。
[0111]
姿态感知模块用于感知智能割草机器人相机的姿态信息，包括位置信息、姿态角信息，以实现相机镜头的实时稳定；
[0112]
图像获取模块用于获取智能割草机器人所处环境的数据，包括杂草类型、作物生长阶段信息、重大环境变化信息、光照强度数据、障碍物信息等；
[0113]
图像处理模块用于对获取的图像进行预处理和优化，例如去噪、平滑、滤波、增强等操作；
[0114]
语义分割模块用于对图像进行像素级别的分类，将图像中的每个像素分配到不同的语义类别中，例如草坪、路面、障碍物等；
[0115]
目标检测模块用于对图像中的物体进行检测和识别，得到物体的位置和类型信息；
[0116]
物体跟踪模块根据物体检测模块的结果，对物体进行跟踪，并对物体轨迹进行预测；
[0117]
决策与控制模块根据物体检测和跟踪模块的结果，制定相应的决策策略，并控制机器人进行相应的操作，例如割草、绕过障碍等。
[0118]
实施例三
[0119]
附图10为本发明实施例三提供的一种用于智能割草机器人的环境感知装置的结构示意图。该装置包括：姿态感知设备、图像获取设备、数据分析设备、通信设备、主控制系统。
[0120]
所述姿态感知设备用于感知智能割草机器人相机的姿态信息，包括位置信息、姿
态角信息，以实现相机镜头的实时稳定；
[0121]
所述图像获取设备用于获取智能割草机器人所处环境的数据，包括杂草类型、作物生长阶段信息、重大环境变化信息、光照强度数据、障碍物信息等；
[0122]
所述数据分析设备用于智能割草机器人周围复杂环境的场景识别，根据输入的场景判断参数进行场景的判断建立基于规则的决策输出信息，得到当前场景判断的结果；
[0123]
所述通信设备，用于各设备间的数据传输与通信，实现信息同步与实时更新，集成多种通信方式和通信协议以满足不同场景的需求，同时保障通信过程中数据的保密性和完整性，避免信息泄露。
[0124]
所述主控制系统实时接收机器人各个传感器的数据，处理这些数据并生成相应的控制指令，从而使机器人能够自主地执行任务。
[0125]
需要注意的是，在上述多用于智能割草机器人的环境感知装置的实施例中，所包括的各个模块只是按照功能逻辑进行划分的，并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0126]
最后，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下，还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种面向智能割草机器人的视觉目标检测方法，包括以下步骤：s100：采用光学防抖成像方法，从智能割草机器人上获取智能割草机器人前方的一个图像序列；s200：根据步骤a中所获取的图像序列，对图像进行预处理；s300：通过基于序列信息的语义分割方法将步骤b中预处理的图像进行分割；s400：通过基于帧差法的背景建模、目标检测算法对步骤c中分割后的图像实现目标检测。2.如权利要求1所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：步骤s100所述的光学防抖成像方法具体包括：(110)在抖动产生时，将陀螺仪传感器产生的抖动信号传送到光学防抖控制器，通过计算得到偏移量d；(120)根据步骤(1100)计算得到的偏移量d，利用光学防抖控制器驱动马达调整镜头的位置来补偿抖动产生的影响；此外，还可根据偏移量调整马达的转速和转向，以使得相机的位置可以精确地被控制；(130)在驱动马达调整镜头位置的同时，利用光学防抖控制器驱动抖动补偿透镜进行移动；(140)利用霍尔传感器将步骤(130)中调整后的位置传送到光学防抖控制器，以此实现一个闭环控制；(150)将双目相机模组的数据传输至光学防抖控制器，以进行相机模组间的协作控制；(160)根据步骤(15)中相机模组间的协作控制结果，调整双目相机模组的参数，包括焦距、光圈、曝光时间，以保持两个相机的图像一致性；(170)将步骤(160)中调整后的参数传输至相机模组，实现双目相机模组的协作控制。3.如权利要求2所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：偏移量d有如下计算公式：d＝f
×
sinθ(1)其中θ＝∫w
t
dt(2)式中θ为光轴偏移角度，w
t
为光轴加速度。x轴的俯仰运动控制器的极点为-500
±
80i，对应的传递函数为4.如权利要求2所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：所述的相机模组光学防抖控制器，用于接收抖动信号，并计算需要补偿的位移或角度，从而利用驱动马达控制抖动补偿透镜装置；所述的双目相机模组的协作控制，确保两颗摄像头的一致性。5.如权利要求1所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：步骤s200所述的图像预处理方法具体步骤如下：(210)对于每个通道，通过使用标准正态分布给出的[5
×
5]高斯核(即μ＝0和σ2＝1)执行模糊操作来去除噪声；
(220)通过均值和标准差来标准化数据；(230)将值归一化并以零为中心到区间[-1,1]。6.如权利要求1所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：步骤s300所述的基于序列信息的语义分割方法具体步骤如下：(310)将预处理后的一个s图像序列传递到编码器-解码器全卷积网络的编码器得到视觉代码，再传递到解码器得到视觉特征图；(320)将步骤(310)中所获取的视觉代码传递到序列模块中的时空融合模块，得到序列代码；(330)将步骤(320)中所获取的序列代码通过时空解码器，得到一组高分辨率的特征图；随后将特征图输入到瓶颈层进行特征降维；最后将特征图输入到密集块中进行特征扩张处理，从而使特征更加丰富；最后再重复以上步骤，直到将特征图映射到所需的输出分辨率；最终得到像素级特征表示的序列特征；(340)将步骤(310)中所获取的视觉特征图和步骤(330)中所获取的序列特征图输入到合并层得到一个更深的特征图；最后将合并后的特征图通过使用瓶颈层进行卷积以获得所需的标签掩码输出，从而得到掩码输出，实现语义分割。7.如权利要求1所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：步骤s400所述的基于帧差法的背景建模、目标检测算法具体步骤如下：(410)读取语义分割后的第一帧图像，对每个像素点建立一个样本点集作为初始化的背景模型；(420)不断对步骤(410)中所获取的背景模型进行更新以适应新的图像背景；(430)去除步骤(420)所获取图像中小的噪声点，对检测目标的二值图进行形态学处理，先腐蚀再膨胀。再根据噪声点的连通图大小判别舍去非目标噪点，最终得到目标的检测结果。8.如权利要求1所述的一种面向智能割草机器人的视觉目标检测方法，其特征在于：步骤(410)具体包括：(1)通过帧间差分求得像素差，根据像素差值判断是否有动态前景；(2)根据背景样本集判断当前像素点是否为背景点；若判断当前点为背景点，则该点有1/rate(rate为采样率)的概率去更新该点的像素背景模型中的一个像素值，同时也有1/rate的概率去更新邻域点的像素值；(3)采用对光线不敏感的帧间差分法对当前像素点进行进一步判断，即通过判断当前帧中该像素点及其8领域点的二值化帧差diff
n
(x,y)对包含目标的前景点进行进一步判决；关于帧差diff
n
(x,y)表示为：式中，t1为设置的阈值；(4)采用前景点计数策略，对于一个连续f(x,y)次判断为前景点的像素点，该点有可能是鬼影点，故当次数f(x,y)大于一个最大阈值时，将该点判断为背景点。9.一种用于智能割草机器人的环境感知系统，其特征在于：包括：姿态感知模块、图像
获取模块、图像处理模块、语义分割模块、目标检测模块、物体跟踪模块、决策与控制模块。

技术总结
一种面向智能割草机器人的视觉目标检测方法及系统，其方法包括：采用光学防抖成像方法，从智能割草机器人上获取智能割草机器人前方的一个图像序列；根据步骤A中所获取的图像序列，对图像进行预处理；通过基于序列信息的语义分割方法将步骤B中预处理的图像进行分割；通过基于帧差法的背景建模、目标检测算法对步骤C中分割后的图像实现目标检测。本发明能够改善智能割草机器人成像画质，从而提高语义分割、目标检测效果。目标检测效果。目标检测效果。


技术研发人员：应阔 付明磊 应逸恒 应鑫森 黄理 孙亮亮 张文安 史秀纺 吴昌达 庄林强 黄细冬 刘华清
受保护的技术使用者：浙江工业大学
技术研发日：2023.05.25
技术公布日：2023/8/23