信息确定方法、远程终端、设备、割草机及存储介质与流程

信息确定方法、远程终端、设备、割草机及存储介质
1.本技术是2023年02月28日提交的题为“信息确定方法、远程终端、设备、割草机及存储介质”的中国专利申请202310193827.8的分案申请。
技术领域
2.本技术涉及通信领域中的定位技术，尤其涉及一种信息确定方法、远程终端、设备、割草机及存储介质。


背景技术：

3.随着计算机技术的不断发展，机器人的使用越来越普遍。其中，园林机器人如自动割草机需要确定工作区域边界(包括外边界和内部障碍)后才可以工作。
4.目前，传统的自动割草机多用铺设于草坪下方的线缆来确定可通行区域，或非视觉的自定位割草机通过遥控路线确定可通行区域边界。
5.但是，上述确定区域边界的方式存在操作繁琐，且效率低的问题。


技术实现要素：

6.有鉴于此，本技术实施例提供一种信息确定方法、远程终端、设备、割草机及存储介质，以至少部分解决上述问题。
7.根据本技术实施例的第一方面，提供了一种信息确定方法，该方法包括：通过待控制设备的图像采集器采集针对待识别区域的待处理图像，其中，所述待识别区域至少包括待处理区域和障碍区域；对所述待处理图像进行处理，确定所述待控制设备当前所处的待处理区域的部分边界的信息；基于所述部分边界的信息控制所述待控制设备在自动运动模式和遥控运动模式之间切换，以确定所述待处理区域的边界，其中，所述待处理区域的边界用于区分所述待处理区域和所述障碍区域。
8.根据本技术实施例的第二方面，提供了一种信息确定方法，该方法应用于远程终端，所述远程终端用于控制待控制设备运动，所述信息确定方法包括：接收所述待控制设备发送的部分边界的信息，其中，所述部分边界的信息用于指示所述待控制设备当前所处的待处理区域的部分边界，所述部分边界的信息由所述待控制设备对待处理图像进行处理获得，所述待处理图像为通过所述待控制设备的图像采集器针对待识别区域进行图像采集获得，所述待识别区域至少包括待处理区域和障碍区域；基于所述部分边界的信息向所述待控制设备发送控制信息，以使所述待控制设备根据所述控制信息在自动运动模式和遥控运动模式之间切换，并确定所述待处理区域的边界，其中，所述待处理区域的边界用于区分所述待处理区域和所述障碍区域。
9.根据本技术实施例的第三方面，提供了一种建立虚拟工作边界的方法，应用于割草装置，所述方法包括：若根据所述割草装置行进过程中的环境信息识别出所述割草装置的工作范围边界，则所述割草装置自主行进，并记录所述割草装置自主行进过程中的位置信息；若根据所述割草装置行进过程中的环境信息不能识别出所述割草装置的工作范围边
界，则所述割草装置根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息；和根据记录的所述位置信息建立所述虚拟工作边界。
10.本技术实施例的第四方面，提供了一种建立虚拟工作边界的方法，应用于远程终端，所述方法包括：获得割草装置行进过程中的环境信息，并根据所述环境信息识别所述割草装置的工作范围边界；当根据所述割草装置行进过程中的环境信息识别出所述割草装置的工作范围边界时，令所述割草装置自主行进，并记录所述割草装置自主行进过程中的位置信息，以使所述割草装置能够根据记录的所述位置信息建立虚拟工作边界；和当根据所述割草装置行进过程中的环境信息不能识别出所述割草装置的工作范围边界时，令所述割草装置根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息，以使所述割草装置能够根据记录的所述第一用户指令下行进过程中的位置信息建立虚拟工作边界。
11.根据本技术实施例的第五方面，提供了一种建立虚拟工作边界的装置，包括自主模块，用于，若根据割草装置行进过程中的环境信息识别出所述割草装置的工作范围边界，则令所述割草装置自主行进，并记录所述割草装置自主行进过程中的位置信息；手动模块，用于，若根据所述割草装置行进过程中的环境信息不能识别出所述割草装置的工作范围边界，则令所述割草装置根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息；和建图模块，用于根据记录的所述位置信息建立所述虚拟工作边界。
12.根据本技术实施例的第六方面，提供了一种信息确定设备，包括：处理器、存储器和通信总线；所述通信总线用于实现处理器和存储器之间的通信连接；所述处理器用于执行存储器中的信息确定程序，以实现如本技术实施例第一方面所述的信息确定方法的步骤。
13.根据本技术实施例的第七方面，提供了一种割草机，包括如本技术实施例的第六方面所述的信息确定设备。
14.根据本技术实施例的第八方面，提供了一种远程终端，所述远程终端包括存储器和控制器，所述存储器用于存储指令，所述控制器用于执行所述指令，以实施如本技术实施例的第二方面或者第四方面所述的方法。
15.根据本技术实施例的第九方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面、第二方面、第三方面和第四方面中任一所述的方法。
16.根据本技术实施例提供的信息确定方法，通过待控制设备的图像采集器采集针对待识别区域的待处理图像，待识别区域至少包括待处理区域和障碍区域，并对待处理图像进行处理确定待控制设备当前所处的待处理区域的部分边界的信息，之后基于部分边界的信息控制待控制设备在自动运动模式和遥控运动模式之间切换，以确定待处理区域的边界，待处理区域的边界用于区分待处理区域和障碍区域，如此，可以对待控制设备的图像采集器采集的针对包括待处理区域和障碍区域的待识别区域的待处理图像进行处理，来得到待控制设备当前所处的待处理区域的部分边界的信息，并基于部分边界的信息确定采用将自动运动模式和遥控运动模式结合来确定待处理区域的边界，而不是单一采用某一固定模式确定区域边界，且不需要在区域中埋线来确定区域的边界，解决了相关技术中的确定区
域边界的方案存在操作繁琐，且效率较低的问题。
附图说明
17.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
18.图1是本技术实施例提供的一种信息确定方法的流程图；
19.图2是本技术实施例提供的另一种信息确定方法的流程图；
20.图3是本技术实施例提供的又一种信息确定方法的流程图；
21.图4是本技术实施例提供的一种割草装置的示意图；
22.图5是本技术实施例提供的一种应用于割草装置的信息确定方法的流程图；
23.图6是本技术实施例提供的一种自主建图模式的流程示意图；
24.图7是本技术实施例提供的一种自主建图模式中行进路径的示意图；
25.图8是本技术实施例提供的另一种应用于割草装置的信息确定方法的流程图；
26.图9是本技术实施例提供的一种远程终端显示界面的示意图；
27.图10是本技术实施例提供的另一种自主建图模式的流程示意图；
28.图11是本技术实施例提供的一种远程终端显示界面的示意图；
29.图12是本技术实施例提供的另一种远程终端显示界面的示意图；
30.图13为本技术实施例提供的一种建立虚拟边界的方法的流程示意图；
31.图14为本技术实施例提供的一种割草装置的示意图；
32.图15为本技术实施例提供的一种用于远程终端的建立虚拟边界的方法；
33.图16为本技术实施例提供的一种建立虚拟工作边界的装置的结构示意图；
34.图17为本技术实施例提供的一种信息确定设备的结构示意图；
35.图18是本技术实施例提供的一种割草机的结构示意图；
36.图19是本技术实施例提供的一种远程终端的结构示意图。
具体实施方式
37.为了使本领域的人员更好地理解本技术实施例中的技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本技术实施例保护的范围。
38.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
39.应当理解，尽管在本技术可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第
一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
40.本技术实施例提供一种信息确定方法，该方法可以应用于信息确定设备中，参照图1所示，该方法包括以下步骤：
41.s101、通过待控制设备的图像采集器采集针对待识别区域的待处理图像。
42.其中，待识别区域至少包括待处理区域和障碍区域。
43.在本技术实施例中，待控制设备可以是对待处理区域进行一定处理的设备；且，待控制设备可以是具备一定数据处理功能和图像采集功能的智能设备；在一种可行的实现方式中，待控制设备可以指的是可移动的移动机器设备(或者移动机器人)；优选的，待控制设备可以包括园林机器人，也可以指的是割草机。
44.需要说明的是，图像采集器可以指的是割草机上的摄像头；待处理图像可以是使用割草机的摄像头对至少包括待处理区域和障碍区域的待识别区域进行不断的拍照后得到的；也就是说，待处理图像可以包括多张图像。此外，待处理图像中可以包括待处理区域的边界的图像。其中，待处理区域可以指的是需要对该区域中的对象进行处理的区域；障碍区域可以指的是除待处理区域之外的区域。
45.s102、对待处理图像进行处理，确定待控制设备当前所处的待处理区域的部分边界的信息。
46.在本技术实施例中，信息确定设备可以指的是待控制设备；部分边界的信息可以指的是部分边界的情况。也就是说，待控制设备可以对采集到的多张待处理图像进行语义分割和处理，并基于语义分割的结果和处理结果确定待处理区域中待控制设备当前所在的区域的部分边界的情况。
47.s103、基于部分边界的信息控制待控制设备在自动运动模式和遥控运动模式之间切换，以确定待处理区域的边界。
48.其中，待处理区域的边界用于区分待处理区域和障碍区域。
49.在本技术实施例中，待控制设备可以根据部分边界的信息所表征的部分边界的情况，控制待控制设备自身在自动运动模式和遥控运动模式之间来回切换，从而确定出待处理区域的边界；也就是说，待控制设备可以是采用自动运动模式和遥控运动模式结合的方式来确定待处理区域的边界的，相比于单一模式下确定的待处理区域的边界，极大的减少了人工操作，提高了工作效率，且降低了人工成本。在一种可行的实现方式中，待控制设备为割草机的情况下，待处理区域可以指的是待修剪的草地。
50.本技术的实施例所提供的信息确定方法，通过待控制设备的图像采集器采集针对待识别区域的待处理图像，待识别区域至少包括待处理区域和障碍区域，并对待处理图像进行处理确定待控制设备当前所处的待处理区域的部分边界的信息，之后基于部分边界的信息控制待控制设备在自动运动模式和遥控运动模式之间切换，以确定待处理区域的边界，待处理区域的边界用于区分待处理区域和障碍区域，如此，可以对待控制设备的图像采集器采集的针对包括待处理区域和障碍区域的待识别区域的待处理图像进行处理，来得到待控制设备当前所处的待处理区域的部分边界的信息，并基于部分边界的信息确定采用将自动运动模式和遥控运动模式结合来确定待处理区域的边界，而不是单一采用某一固定模式确定区域边界，且不需要在区域中埋线来确定区域的边界，解决了相关技术中的确定区
域边界的方案存在操作繁琐，且效率较低的问题。
51.基于前述实施例，本技术的实施例提供一种信息确定方法，参照图2所示，该方法包括以下步骤：
52.s201、在待控制设备运动过程中，信息确定设备通过待控制设备的图像采集器采集针对待识别区域的多张待处理图像。
53.其中，待识别区域至少包括待处理区域和障碍区域。
54.在本技术实施例中，操作对象可以遥控或放置割草机于待修剪的草地的任一边界；在割草机开始工作且割草机沿边界运动过程中，通过割草机自己的摄像头实时拍照得到多张待处理图像。需要说明的是，待识别区域可以是预先设置的以割草机为中心形成的一定面积的区域。在一种可行的实现方式中，待识别区域可以是以割草机为中心的正方形区域。需要说明的是，因为割草机是放置在待修剪的草地的边界处的，因此待识别区域中既包括草地，也包括草地以外的其他区域，且草地的边界也会在该待识别区域中。
55.需要说明的是，摄像头在拍摄的时候可以设置拍摄角度是割草机正前方偏下一点的方位，即拍摄的待处理图像肯定是针对待识别区域中的部分区域的图像。
56.s202、信息确定设备将多张待处理图像进行语义分割和处理，并基于语义分割结果和处理结果确定部分边界的信息。
57.在本技术实施例中，可以对每一张待处理图像进行语义分割来确定待处理图像中包括的对象，之后基于语义分割的结果对多张待处理图像进行处理，从而确定割草机当前所处的待处理区域的部分边界的情况。
58.其中，步骤202之后可以选择执行步骤203或者步骤204。
59.s203、在部分边界的信息表征部分边界满足目标边界条件的情况下，信息确定设备控制待控制设备切换至采用自动运动模式工作，以确定待处理区域的边界。
60.在本技术实施例中，目标边界条件可以是预先设置的用来确定是否切换割草机的工作模式，且与边界的情况相关的条件；在一种可行的实现方式中，目标边界条件可以包括边界清晰且简单。也就是说，若确定得到的部分边界的信息表征部分边界清晰且简单的时候，可以认为割草机此时适合自动运动模式，那么就会将割草机的工作模式切换为自动运动模式，从而割草机在自动运动模式下工作来确定出待修剪的草地的边界。
61.s204、在部分边界的信息表征部分边界不满足目标边界条件的情况下，信息确定设备控制待控制设备切换至采用遥控运动模式工作，以确定待处理区域的边界。
62.在本技术其他实施例中，若确定得到的部分边界的信息表征部分边界不清晰或者不简单的时候，可以认为割草机此时适合遥控运动模式，那么就会将割草机的工作模式切换为遥控运动模式，从而割草机在遥控运动模式下工作来确定出待修剪的草地的边界。其中，遥控运动模式指的是操作对象遥控割草机沿边运动来确定边界。
63.需要说明的是，在遥控运动模式下或自动运动模式下，割草机可以是基于运动轨迹来确定待修剪的草地的边界的；或者，在自动运动模式下，割草机还可以是基于运动轨迹或者采用语义分割技术识别待识别区域中的待修剪的草地的区域和和障碍区域，从而确定出待修剪的草地的边界的。
64.其中，步骤203和步骤204之后均可以执行步骤205～206。
65.s205、信息确定设备接收用于操作待控制设备的操作对象的操作指令。
66.在本技术实施例中，操作对象可以指的是割草机处于遥控运动模式时用来控制割草机运动的用户。需要说明的是，操作指令可以是用来控制割草机切换至遥控运动模式的指令；该操作指令可以是割草机在通过步骤201～204确定的处于遥控运动模式和自动运动模式之间来回切换工作的过程中接收到的。
67.s206、信息确定设备基于操作指令，控制待控制设备切换至采用遥控运动模式工作，以确定待处理区域的边界。
68.在本技术实施例中，在割草机通过在遥控运动模式和自动运动模式之间来回切换工作，确定待修剪的草地的边界的过程中，用户可以强行接管割草机，控制其以遥控运动模式工作。其中，在用户强行接管割草机后，可以删除部分在自动运动模式下已经确定出来的待修剪的草地的边界，控制割草机以遥控运动模式工作重新确定删除的那部分的边界，以保证得到的边界的准确性。
69.需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。
70.本技术的实施例所提供的信息确定方法，可以对待控制设备的图像采集器采集的针对包括待处理区域和障碍区域的待识别区域的待处理图像进行处理，来得到待控制设备当前所处的待处理区域的部分边界的信息，并基于部分边界的信息确定采用将自动运动模式和遥控运动模式结合来确定待处理区域的边界，而不是单一采用某一固定模式确定区域边界，且不需要在区域中埋线来确定区域的边界，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
71.基于前述实施例，本技术的实施例提供一种信息确定方法，参照图3所示，该方法包括以下步骤：
72.s301、在待控制设备运动过程中，信息确定设备通过待控制设备的图像采集器采集针对待识别区域的多张待处理图像。
73.其中，待识别区域至少包括待处理区域和障碍区域。
74.s302、信息确定设备将每一待处理图像进行语义分割处理，并基于语义分割结果和目标地图将每一待处理图像进行匹配处理，得到不匹配的区域。
75.其中，目标地图是待识别区域中的目标区域的地图。
76.在本技术实施例中，可以对每一待处理图像进行语义分割处理确定待处理图像中不同的对象，并将进行语义分割处理后的待处理图像映射到目标地图中；之后，将映射后的多个待处理图像进行叠加处理，基于叠加处理的结果确定目标地图中的同一位置对应不同对象的区域(也即是得到目标地图中的同一位置叠加后的图像模糊的区域)，得到不匹配的区域。
77.s303、信息确定设备对每一待处理图像进行语义分割，并基于目标地图的网格将每一语义分割后的待处理图像映射至目标地图。
78.在本技术实施例中，目标地图可以是具有网格线的；可以将每一待处理图像进行语义分割处理得到待处理图像中的对象，之后可以按照语义分割后的待处理图像的像素点与目标地图中的网格的对应关系，将语义分割后的待处理对象映射至目标地图中。
79.需要说明的是，语义分割可以指的是视觉语义分割，可以是将待处理图像分割为不同语义的可解释类别，每一像素将具有某一类别(例如车、建筑、植物、路面等)。其中，常
用的语义分割方法为基于深度学习的语义分割。
80.s304、信息确定设备针对每一待处理图像，对映射后的图像进行轮廓识别得到待处理边界。
81.在本技术实施例中，针对每一待处理图像，信息确定设备可以对映射后得到的图像进行轮廓识别，并基于轮廓识别结果确定待处理边界。
82.需要说明的是，s302与s303～304之间在执行顺序上不分先后；也就是说，s302与s303～304可以是同时执行的，也可以是执行完s302后再执行s303～304，也可以是执行完s303～304之后再执行s302。并且，确定待处理边界的平滑程度的操作可以是在s304之后(即s305之前)就执行的；也就是说，s302的执行顺序，与s303～304和确定待处理边界的平滑程度的操作的执行顺序，可以不分先后。
83.s305、信息确定设备基于待处理边界的平滑程度、不匹配的区域和目标区域，确定部分边界的信息。
84.在本技术实施例中，待处理边界的平滑程度可以是对待处理边界进行平滑处理得到平滑边界，并计算平滑边界的总长度与待处理边界的总长度的比值，之后基于得到的比值与目标比值的关系确定出来的；如果得到的比值不在目标比值范围内，则认为待处理边界不够平滑，此时可以认为部分边界的信息表征部分边界不简单；如果得到的比值在目标比值范围内，则认为部分边界的信息表征部分边界是平滑的，此时可以认为待处理边界是简单的；需要说明的是，目标比值可以是基于历史数据信息预先确定出来的一个比例数值。
85.在本技术其他实施例中，将所有不匹配的区域相加求和，若和值占目标区域的比例大于目标比例，则认为部分边界的信息表征部分边界不清晰；若和值占目标区域的比例小于或等于目标比例，则认为部分边界的信息表征部分边界清晰。
86.s306、在部分边界的信息表征部分边界满足目标边界条件的情况下，信息确定设备控制待控制设备切换至采用自动运动模式工作，以确定待处理区域的边界。
87.s307、在部分边界的信息表征部分边界不满足目标边界条件的情况下，信息确定设备控制待控制设备切换至采用遥控运动模式工作，以确定待处理区域的边界。
88.s308、信息确定设备接收用于操作待控制设备的操作对象的操作指令。
89.s309、信息确定设备基于操作指令，控制待控制设备切换至采用遥控运动模式工作，以确定待处理区域的边界。
90.在本技术其他实施例中，若存在多个待修剪草地区域时，用户遥控割草机穿越不同待修剪草地区域生成对应的运动轨迹；之后，可以根据该运动轨迹建立多待修剪草地区域之间的通道。
91.下面以待控制设备为割草装置为例，具体说明本技术提供的信息确定方法。
92.为了便于说明和理解，在对方法进行说明之前，对割草装置的结构和工作场景进行简略说明如下。如图4所示，割草装置100主要包括割草刀组、驱动轮、控制器、通讯端口、定位单元(图中未示出)和环境信息采集单元10等。驱动轮组可以带动割草装置移动。割草刀组用于割剪割草装置附近的草。控制器能够控制割草装置在连续的边界标记(例如边界线)内行进，该边界线标记意在将该装置限制在草坪或其它适当区域之内，从而避免损坏适当区域以外的喷泉等非植草区域或者侵入到邻居的领地。该边界标记通常是围绕待割剪的区域的连续回路。控制器分别与驱动轮组、割草刀组、通讯端口和定位单元等电信号连接，
以进行割草装置的控制和定位。通讯端口使得割草装置可以和远程终端200(如手机等远程终端和割草装置专用的遥控器等)等进行通信。需要说明的是，这里所谓的“远程终端”是指和割草装置不是一体设置，而是设置在割草装置本体以外的终端，例如装有相关应用程序的割草装置的专用遥控器或手机、ipad等，用户可以通过远程终端200上的应用程序和割草装置进行交互。
93.通信端口可以为蓝牙或wifi这样的近场通信端口，近场通信端口使得割草装置和远程终端200之间的通信延迟较低，能够更进一步提高建立虚拟工作边界的效率，节省用户的时间。当然，也可以使用网络端口作为上述通讯端口。
94.定位单元例如可以为设置在割草装置100上的全球定位系统(gps)接收器、超带宽定位导航(ultrawide band,uwb)定位标签、或能够提供割草装置100位置信息的位置传感器。以gps为例，gps接收器可以估算割草装置100在行进过程中的位置信息，并可以将位置信息提供给割草装置100的控制器(下面将对割草装置100的控制器进行详细说明)。可以使用差分gps(differential gps)，即在正常的gps外附加差分修正信号的全球定位系统，这样可以进一步提高定位精度。以超带宽定位导航定位为例，在割草装置行进时，割草装置100上的超带宽定位导航的定位标签可以发射超宽带信号至装有定位算法的云服务器上，云服务器利用定位算法进行位置解算，并显示全局标签位置。应当理解，能够获取割草装置100行进过程中位置信息的技术都可以用于本技术的实施例。
95.环境信息采集单元10用于采集割草装置的环境信息。应当理解，这里所谓的“环境”是相对于割草装置而言的，“环境信息”即为割草装置周围物体或对象的信息，包括割草装置周围的草坪区域(图1中曲线300示意草坪区域的实际边界)和障碍物(如图1中示出的树以及篱笆、道路、水泥地等)的信息。环境信息采集单元10可以为图像传感器(例如摄像头)、激光雷达、声呐、射频识别(rfid)装置等能够获取割草装置100的环境信息的任何传感器。如图1所示，设置在割草装置100上的图像传感器可以获取割草装置100前方环境的图像，图1中的虚线扇形区域示意图像传感器在割草装置的当前位置能够拍摄的环境图像的范围。由于割草装置100在不停移动，故在本技术的一个或者多个实施例中，环境信息采集单元10可以以固定的时间间隔(例如每隔0.1秒)实时获取图像。通过图像识别算法识别割草装置100在环境中的工作范围边界，例如图像中草与非草的边界线。
96.另外，割草装置100也可以从其它信息源获取割草装置100的环境信息，而无需带有环境信息采集单元10。例如割草装置100可以通过通信端口从谷歌地图、百度地图或者卫星上获取割草装置100的环境的俯瞰照片。
97.下面对待控制设备为上述割草装置时，本技术提供的信息确定方法的实现过程进行详细说明。
98.如图5所示，其示出了一种信息确定方法的步骤流程图，该信息确定方法可以应用于待控制设备，其中，待控制设备包括割草装置。该方法包括：
99.s501、通过割草装置的环境信息采集单元采集针对待识别区域的待处理图像。
100.s502、对待处理图像进行处理，确定待控制设备当前所处的待处理区域的部分边界的信息。
101.s503：若根据部分边界的信息确定出割草装置的工作范围边界，则割草装置自主行进，并记录割草装置自主行进过程中的位置信息；
102.s504：若根据部分边界的信息不能确定出割草装置的工作范围边界，则割草装置根据接收的第一用户指令行进，并记录割草装置在第一用户指令下行进过程中的位置信息；
103.s505：根据记录的位置信息建立虚拟工作边界。
104.需要说明的是，待识别区域的待处理图像包括环境信息，即环境信息为割草装置行进中的通过环境采集单元采集到的环境的图像，而在此基础上，可以确定出割草装置当前所处的待处理区域的部分边界的信息，该部分边界信息为待识别区域以及障碍区域之间的分界线，例如：草坪和非草坪之间的分界线。而割草装置的工作范围边界为可以满足割草装置自动运动模式(自主行进)的边界，例如：如上述实施例中清晰的或者简单的边界。
105.在本技术的实施例中，可以利用图4中示出的割草装置上的环境信息采集单元10采集割草装置行进中的环境信息作为待识别区域的待处理图像。例如，当割草装置100开始在割草区域上行进建立虚拟工作边界时，可以启动环境信息采集单元10采集割草装置行进中的环境信息。图1中示出的环境信息采集单元10可以为割草装置100自带的图像传感器。该图像传感器可以设置在割草装置100的前方，其数量可以为一个或者多个。例如可以在割草装置的车头和左侧、右侧分别设置一个图像传感器。图像传感器随着割草装置100的移动不断地获取割草装置100周围环境的图像信息(图4中虚线扇形区域示意图像传感器在割草装置的当前位置能够拍摄图像的环境的范围，即图像传感器的视野或者可见区)。由于割草装置100在不停移动，故环境信息采集单元10可以以固定的时间间隔(例如每隔0.1秒)获取环境的图像。可以理解，割草装置100也可以通过其通信端口接收来自谷歌地图、百度地图或者卫星的割草装置100的环境信息。另外，还可以组合设置多种类型的环境信息采集单元10，例如可以在割草装置上设置图像传感器、碰撞传感器和深度传感器等多种类型的传感器，以融合多种传感器的检测结果，进一步提高环境信息的检测精度。
106.根据本技术的实施例，可以根据获取的环境信息中包括的部分边界的信息识别环境信息中是否包括割草装置100的工作范围边界。例如，割草装置100(包括割草装置自身或与割草装置建立有通信连接的服务器(例如云服务器))可以装配有工作范围边界的识别算法，通过识别算法来识别环境信息中是否包括割草装置100的工作范围边界。具体地，可以使用神经网络模型作为割草装置工作范围边界的识别算法，例如可以使用fcn(全卷积神经网络)、unet网络结构或者deeplab等多种神经网络模型。可以预先收集样本数据对初始的神经网络模型进行训练生成神经网络模型。例如，可以收集多个草坪的图像，人工标注出图像中草与非草的边界，将标注后的图像数据训练初始的神经网络模型，训练后的神经网络模型即可作为识别割草装置工作范围边界的识别算法。另外，还可以更新一台割草装置中现有的神经网络模型，以进一步提高识别精度。例如，随着美国家庭使用的割草装置的增多，收集的草坪数据的增多，可以不断优化神经网络模型，再更新到割草装置中，以提高识别准确率。可以设置识别算法的置信度阈值。即，如果训练后的神经网络模型对图像数据的计算结果小于设置的置信度阈值，则确定为不能识别。反之，如果训练后的神经网络模型对图像数据的计算结果大于设置的置信度阈值，则确定为能够识别。
107.在操作s503中，若确定出割草装置的工作范围边界，则割草装置可以自主行进，进入自主建立虚拟工作边界的自主模式，即自动运动模式，而无需用户手动遥控割草装置。例如，割草装置的控制器中可以存储有指令，当根据获取的环境信息识别出环境信息中包括
割草装置的工作范围边界时，即通过部分边界的信息确定出割草装置的工作范围边界时，控制器执行这些指令可以控制割草装置自主行进。并且，割草装置会记录自主行进过程中的位置信息。例如，全球定位系统或超带宽定位导航系统可以给割草装置的定位单元发送割草装置自主行进过程中的地理位置坐标。例如，图4中的星形401和403表示割草装置自主行进过程中走过的两个地理位置。割草装置100的gps接收器可以接收gps系统发送的割草装置100在星形401和403表示的割草装置自主行进过程中走过的两个地理位置的位置信息(例如每个位置的经度和纬度坐标，或者在割草区域的本地位置坐标系中的位置坐标)。割草装置100可以将这两个地理位置的位置信息记录在其存储器中。在本技术的一个或者多个实施例中，可以以预定的时间间隔获取环境信息并识别环境信息中是否包括割草装置100的工作范围边界。当能够识别出环境信息中包括割草装置的工作范围边界时，则可以进入自主建立虚拟工作边界的自动模式。
108.在操作s504中，根据部分边界的信息不能确定出割草装置的工作范围边界时，即根据割草装置行进过程中的环境信息不能识别出割草装置的工作范围边界，则割草装置可以进入手动建立虚拟工作边界的手动模式。根据接收的第一用户指令行进。具体地，当利用割草装置、或与割草装置有通信连接的服务器上的识别算法无法识别出获取的环境信息是否包括割草装置的工作范围边界时，则用户可以介入、输入第一用户指令，例如用户可以通过远程终端200的显示界面输入令割草装置前进、后退、向前或者左转30度的指令。为方便用户输入第一用户指令，远程终端200显示界面中可以显示有遥控方向虚拟摇杆，这样用户就可以通过点击、拖曳虚拟摇杆来操控割草装置的行进方向和距离。割草装置则根据接收到的第一用户指令行进，并记录在第一用户指令下行进过程中的位置信息。例如，图4中的椭圆形405和407表示割草装置根据接收的第一用户指令行进，在行进过程中走过的两个地理位置，定位单元可以获取这些地理位置的位置坐标。例如割草装置100的gps接收器可以接收gps系统发送的割草装置100在椭圆形405和407示出的这两个地理位置的经度和纬度坐标。割草装置可以将这两个地理位置的位置信息记录在其存储器中。
109.在操作s505中，割草装置可以根据记录的位置信息建立虚拟工作边界。在本技术的一个或者多个实施例中，可以在割草装置绕着待割剪的草坪行进一圈记录了多个行进位置的位置信息后，建立草坪的虚拟工作边界。例如，割草装置可以将记录的各个位置信息映射到割草机的本地坐标系中即可得到虚拟工作边界。
110.本技术的上述实施例根据对环境信息的识别结果选择进入自主建图模式或者进入手动建图模式。通过引入自主建图模式，组合使用自主建图和手动建图模式，在不影响建立的虚拟工作边界精度的情况下，能够节省用户的时间，提高用户的工作效率，提高用户体验。
111.图6为本技术实施例提供的自主建图模式的流程示意图，图7为本技术实施例提供的自主建图模式中行进路径的示意图。根据本技术的一个或者多个实施例，操作s503根据部分边界的信息确定出割草装置的工作范围边界，即根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界，则割草装置自主行进，并记录割草装置自主行进过程中的位置信息，可以包括s503a：根据识别出的工作范围边界，获得割草装置的行进路径和s503b：割草装置沿着行进路径自主行进。例如，割草装置100包括采集环境图像信息的环境信息采集单元10，当在图7所示的位置处根据环境信息采集单元10采集的图像信息识别出
图像中存在工作范围边界21，可以根据识别出的工作范围边界21获得割草装置的行进路径。例如，割草装置100可以参照识别出的工作范围边界21规划其自主行进路径。割草装置100的自主行进路径可以平行于工作范围边界线21，并位于工作范围边界线21内，与工作范围边界线21始终相差割草装置100半个宽度(即割草装置的中心至其左侧边或者右侧边的距离)的距离，这样可以防止割草装置在行进时其外侧(即左侧和右侧)超出工作范围边界线21。
112.本技术的上述实施例参照从环境信息中识别出的割草装置的工作范围边界来规划割草装置的自主行进路径。这使得割草装置的行进路径规划方式简单，同时也能够确保割草装置在自主行进时不会走出草坪或者撞上障碍物。
113.根据本技术的一个或者多个实施例，在根据部分边界的信息确定出割草装置的工作范围边界，即根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界并且在接收到第一用户指令的情况下，令割草装置根据接收的第一用户指令行进，并记录割草装置在第一用户指令下行进过程中的位置信息。在该实施例中，即使能够从环境信息中识别出的割草装置的工作范围边界，但是如果用户通过远程终端输入其指令，例如用户通过触摸显示屏中的空白区域输入其希望的目标行进位置，则在这种情况下，割草装置可以不再根据识别出的工作范围边界行进，而是自当前位置沿着预定义的路径(例如可以为直线)向用户设定的目标行进位置行进。例如当用户根据远程终端上显示的识别出的工作范围边界判断出：割草装置沿着距离该工作范围边界半个割草装置宽度的距离的路径行进会跌倒，比如该路径穿过一个陡坡，则用户可以通过输入第一用户指令引导割草装置绕过这个陡坡。
114.在本技术的一个或者多个实施例中，第一用户指令可以包括用户设定的目标行进位置，可以将割草装置的控制程序设定成沿直线从割草装置的当前位置向目标行进位置行进。上述实施例使得能够建立更加精确的虚拟工作边界，也能够随时接收用户设定的目标位置，建立更加符合用户希望的虚拟工作边界，提高用户体验。
115.在一种可能的实现方式中，当待控制设备，例如：割草装置，满足如下条件中的至少一个，则控制待控制设备退出自动运动模式：
116.(i)待控制设备与远程终端断开连接，其中，远程终端用于控制远程终端运动；
117.(ii)待控制设备运动至预先设定的目标位置。
118.当待控制装备与远程终端断开连接时，控制待控制设备退出自动运动模式，例如：当待控制设备为割草装置时，当割草装置无法连接到远程终端(例如：手机等遥控设备)时，则退出自动运动模式。
119.应理解，当待控制设备被人为关闭时，也可以理解为待控制设备与远程终端断开连接，且由于待控制设备被关闭，因此也会退出自动运动模式。
120.当待控制设备运动至预先设定的目标位置时退出自动运动模式，例如：待控制设备运动到起点附近，此时由于运动到起点，退出自动运动模式，从而可以切换为遥控运动模式，即接收用户第一指令行进。
121.在本技术实施例中，待控制设备，例如：割草装置等，满足特定条件后退出自动运动模式，切换为遥控运动模式，避免由于待控制设备处于自动运动模式的情况下断线造成无法记录位置信息，且到达预设的目标位置时，也会切换为遥控运动模式，使待控制设备可
以自行闭合边界，避免重复记录路径信息而对确定的虚拟工作边界造成影响，解决了操作繁琐，且效率较低的问题。
122.在一种可能的实现方式中，在待控制设备处于遥控运动模式时，若根据部分边界的信息确定出待控制设备的工作范围边界，则向远程终端发送第一指示信息，以使远程终端根据第一指示信息通过显示界面显示第一模式切换控件，若接收到远程终端响应于第一模式切换控件被触发而发送的第一控制信息，则切换至自动运动模式，以自主行进，并记录待控制设备自主行进过程中的位置信息，并根据记录的位置信息建立待处理区域的边界。
123.当待控制设备处于遥控运动模式时，此时若根据从环境信息中识别出的部分边界的信息(例如：草与非草的分界线)中可以确定出待控制设备的工作范围边界，例如：上述是实施例中的满足切换至自动运动模式的简单的和/或平滑的部分边界，如图7中的工作范围边界线21，则向远程终端发送第一指示信息，该第一指示信息可以起到通知远程终端待控制设备识别到了工作范围边界的作用，从而可以使远程终端根据第一指示信息通过显示界面显示第一模式切换控件，若此时切换控件被触发，则远程终端向待控制设备发送第一控制信息，以使待控制设备切换至自动运动模式。
124.应理解，远程终端接收第一指示信息之后，若第一模式切换控件未被触发，则远程终端不会向待控制设备发送第一控制信息，即待控制设备保持遥控运动模式运动。
125.当待控制设备切换至自动运动模式后，可以根据识别出的工作范围边界进行自主行进，并会记录下行进过程中的位置信息，具体的，记录位置信息时包括但不限于通过rtk(real-time kinematic，实时动态)载波相位差分技术记录边界，由于处于自主行进过程中，因此可以每间隔一定时间记录一次当前所处的位置信息，最终将各位置记录点连接，实现根据记录的位置信息建立待处理区域的边界。
126.需要说明的是，待控制设备初始处于遥控运动模式，可以接收人工操作指令运动，当识别出对应的工作范围边界后，执行上述操作，而当待控制设备本身就处于自动运动模式时，此时若根据部分边界的信息确定出待控制设备的工作范围边界，则会继续以自动运动模式进行自主行进。
127.在本技术实施例中，当待控制设备处于遥控运动模式且确定出对应的工作范围边界后，向远程终端发送第一指示信息，并接收远程终端基于第一指示信息发送的第一控制信息，从而可以实现从遥控运动模式切换至自动运动模式。由于切换过程需要用户触发第一模式切换控件，因此用户拥有选择的权利，即用户不想进入自动运动模式时可以选择保持遥控运动模式运动，并且可以达到提示用户可以进入自动运动模式的效果，使用户可以及时操控待控制设备进入自动运动模式进行自主行进，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
128.在一种可能的实现方式中，在待控制设备处于自动运动模式时，若根据部分边界的信息不能确定出待控制设备的工作范围边界，则向远程终端发送第二指示信息，以使远程终端根据第二指示信息通过显示界面显示第一运动控件，然后接收远程终端响应于第一运动控件被触发而发送的第二控制信息，则根据第二控制信息行进，并记录待控制设备根据第二控制信息行进过程中的位置信息，并根据记录的位置信息建立待处理区域的边界。
129.当待控制设备处于自动运动模式时，此时若根据从环境信息中识别出的部分边界的信息中不能确定出待控制设备的工作范围边界，例如：部分边界的信息中的边界为不连
续的边界，或者为曲折边界等等，则向远程终端发送第二指示信息，该第二指示信息可以起到通知远程终端待控制设备不能识别到了工作范围边界的作用，从而可以使远程终端根据第二指示信息显示第一运动控件，并基于第一运动控件的触发向待控制设备发送第二控制信息。
130.当待控制设备接收到第二控制信息时，从自动运动模式切换至遥控运动模式，并根据第二控制信息行进，具体的，第二控制信息中包括有人工操作第一运动控件所产生的移动指令，例如：第一运动控件可以为虚拟摇杆，第二控制信息可以为人工拖动虚拟摇杆产生的移动指令。同时会记录行进过程中的位置信息，具体的，记录位置信息时包括但不限于通过rtk载波相位差分技术记录边界，每隔一定的时间间隔记录一次当前所处的位置信息，最终将各位置记录点连接，实现根据记录的位置信息建立待处理区域的边界。
131.需要说明的是，由于待控制设备行进过程中包括自动运动模式和/或遥控运动模式，因此根据自动运动模式所记录的位置信息和/或遥控运动模式所记录的位置信息可以确定出完全的待处理区域的边界。
132.在本技术实施例中，当待控制设备处于自动运动模式时，若不能确定出对应的工作范围边界，则向远程终端发送第二指示信息，并接收远程终端基于第二指示信息发送的第二控制信息，可以实现从自动运动模式切换至遥控运动模式，使不满足自动运动模式条件的情况下待控制设备可以根据用户的操作指令行进，避免由于不满足自动运动模式的条件使待控制设备无法自主行进而停止在原地的情况发生，因此可以使确定出的待处理区域的边界更加的可靠，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
133.在一种可能的实现方式中，在待控制设备处于遥控运动模式时，若接收到远程终端响应于第二模式切换控件被触发而发送的第三控制信息，则切换至自动运动模式，以自主行进，并记录待控制设备自主行进过程中的位置信息，其中，第二模式切换控件由远程终端确定出待控制设备的工作范围边界后通过显示界面显示，并根据记录的位置信息建立待处理区域的边界。
134.在本技术实施例中，当待控制设备处于遥控运动模式时，若接收到远程终端发送的第三控制信息，则切换至自动运动模式，实现从遥控运动模式切换至自动运动模式。由于第三控制信息为远程终端根据部分边界的信息识别出工作范围边界后，且第二模式切换控件被触发而发送，此过程使用远程终端识别工作范围边界，不需要待控制设备识别工作范围边界，因此可以降低待控制设备处理器的成本，并且切换时需要触发第二模式切换控件，用户拥有选择的权利，即用户不想进入自动运动模式时可以选择保持遥控运动模式运动，并且提示了用户当前可以进入自动运动模式，使用户可以及时操控待控制设备进入自动运动模式进行自主行进，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
135.在一种可能的实现方式中，在待控制设备处于自动运动模式时，若接收到远程终端响应于第二运动控件被触发而发送的第四控制信息，则根据第四控制信息行进，并记录待控制设备根据第四控制信息行进过程中的位置信息，并根据记录的位置信息建立待处理区域的边界。
136.在本技术实施例中，当待控制设备处于自动运动模式时，若接收到远程终端发送
的第四控制信息，则切换至遥控运动模式，实现从自动运动模式切换至遥控运动模式。由于第四控制信息为远程终端根据部分边界的信息不能识别出工作范围边界，且第二运动控件被触发而发送，此过程使用远程终端识别工作范围边界，不需要待控制设备识别工作范围边界，因此可以降低待控制设备处理器的成本，并且可以在不满足自动运动模式条件的情况下根据用户的操作指令行进，避免由于不满足自动运动模式的条件时待控制设备无法自主行进而停止在原地的情况发生，因此可以使确定出的待处理区域的边界更加的可靠，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
137.本技术的另外一个方面提供一种可以用于远程终端的信息确定方法，该方法包括：接收待控制设备发送的部分边界的信息，并基于部分边界的信息向待控制设备发送控制信息，以使待控制设备根据控制信息在自动运动模式和遥控运动模式之间切换，并确定待处理区域的边界，其中，待处理区域的边界用于区分待处理区域和障碍区域。
138.本技术实施例中，部分边界的信息用于指示待控制设备当前所处的待处理区域的部分边界，部分边界的信息由待控制设备对待处理图像进行处理获得，待处理图像为通过待控制设备的图像采集器针对待识别区域进行图像采集获得，待识别区域至少包括待处理区域和障碍区域。
139.本技术实施例中的远程终端包括但不限于手机、触控遥控器和遥控装置等等。
140.在本技术实施例中，远程终端接收待控制设备发送的部分边界的信息，并基于部分边界的信息向待控制设备发送控制信号，实现了控制待控制设备切换自动运动模式和遥控运动模式，由此可以在满足条件的情况下使待控制设备自主行进，无需人工全程操控待控制设备，减少了人工劳动强度，且在不满足条件的情况下，切换至遥控运动模式，使待控制设备在面对复杂边界的情况下可以接收用户指令行进，从而可以确定待处理区域的边界，因此操作简便，且效率高。
141.下面以待控制设备为割草装置为例，具体说明可以用于远程终端的信息确定方法，该方法可以在如图4所示的远程终端200上存储应用程序，使远程终端200执行该应用程序来实现该建立虚拟边界的方法。如图8所示，该方法包括：
142.s801：获得割草装置行进过程中的环境信息，并根据环境信息包括的部分边界的信息确定割草装置的工作范围边界；
143.s802：当根据部分边界的信息确定出割草装置的工作范围边界时，则令割草装置自主行进，并记录割草装置自主行进过程中的位置信息，以使割草装置能够根据记录的位置信息建立虚拟工作边界，并结束流程；
144.s803：当根据部分边界的信息不能确定出割草装置的工作范围边界时，则令割草装置根据接收的第一用户指令行进，并记录割草装置在第一用户指令下行进过程中的位置信息，以使割草装置能够根据记录的位置信息建立虚拟工作边界。
145.可以利用割草装置自带的环境信息采集单元10(例如图像传感器、声呐、rfid等能够获取割草装置100周围环境信息的任何传感器)采集割草装置行进中的环境信息。也可以使用远程终端200自己的传感器，比如手机上的摄像头或者lidar(light identification detection and ranging光识别探测和测距)传感器。还可以从谷歌地图、百度地图或者卫星上获取割草装置100的环境信息。远程终端200，例如手机或者割草装置的遥控器，可以通过其通讯接口(例如蓝牙接口等)获取割草装置100的环境信息。根据本技术的一个或者多
个实施例，可以以预定的时间间隔获取割草装置100的环境信息。例如，可以通过割草装置100上的图像采集单元获取割草装置100前方环境的图像信息。图像采集单元可以以预定的时间间隔(例如每0.1秒)获取一次割草装置100前方环境的图像信息，割草装置100可以通过wifi等近场通信端口将图像信息发送给远程终端200。远程终端200可以根据获取的环境信息来识别环境信息中是否包括割草装置的工作范围边界。远程终端200上可以装配有识别算法，通过识别算法来识别环境信息中是否包括割草装置的工作范围边界。具体地，可以使用神经网络模型作为割草装置工作范围边界的识别算法，可以预先收集样本数据对初始的神经网络模型进行训练生成神经网络模型。例如，可以收集多个草坪的图像，人工标注出图像中草与非草的边界，将标注后的图像数据放到服务器上训练初始的神经网络模型，训练后的神经网络模型即可作为识别割草装置工作范围边界的识别算法。在操作s802中，当远程终端200能够通过识别算法从环境信息中识别出割草装置100的工作范围边界时，则远程终端200可以发送指令给割草装置100，令割草装置100自主行进，并记录自主行进过程中的位置信息。例如，可以令割草装置100按照自主规划的路径行进，并记录其在自主行进过程中的位置坐标，以使割草装置100能够根据记录的位置信息建立虚拟工作边界。
146.在操作s803中，当远程终端200不能通过识别算法从环境信息中识别出割草装置的工作范围边界时，则远程终端200可以发送指令给割草装置，令割草装置100进入人工建立虚拟工作边界的手动模式。根据接收的第一用户指令行进。具体地，当远程终端200无法利用识别算法识别出获取的环境信息是否包括割草装置的工作范围边界时，则用户可以介入，通过远程终端200向割草装置发送第一用户指令，例如用户可以通过远程终端200的显示界面输入令割草装置前进、后退、向前或者向后的指令。割草装置接收到第一用户指令后则根据接收到的第一用户指令行进，并记录在第一用户指令下行进过程中的位置信息，以使割草装置100能够根据记录的位置信息建立虚拟工作边界。
147.可以理解，割草装置100在操作s802中建立的虚拟工作边界和在操作s803中建立的虚拟工作边界合在一起即可形成割草装置100的完整虚拟工作边界。
148.如图9所示，在执行上面的操作的过程中，远程终端200的显示界面可以显示多种割草机和用户的交互信息。除了显示识别出的工作范围边界21以外，如图7所示，显示界面还可以显示割草装置的历史轨迹23，以方便用户了解割草装置的整体虚拟工作边界，在整体虚拟工作边界不符合用户预期时，用户可以手动操控割草装置的行进路径。显示界面中还可以包括遥控方向的虚拟遥杆29和遥控油门的虚拟遥杆27。用户可以通过点击或者拖曳遥控方向的虚拟遥杆29输入令割草装置100前进、后退、向前或者左转30度等，即实现设定第一用户指令。用户还可以通过点击或者拖曳遥控油门的虚拟遥杆27设定割草装置100的速度等。显示界面还可以包括环境信息采集单元当前能够感知的环境范围30，退出按钮31，回退擦除历史轨迹按钮33以及自动识别工作范围边界启动开关25。该显示界面能够增强用户和割草装置的交互，并且为用户提供使割草装置自动进入割草装置自主建图模式的选择，这样能够最大程度地节省用户操控割草装置手动设定割草装置行进路径的时间，提高用户的工作效率，提升用户体验。
149.如图10所示，根据本法的一个或者多个实施例，当远程终端识别出割草装置的工作范围边界时，远程终端可以s804：向用户显示识别出的工作范围边界。远程终端还可以s805：提示用户可以进入自主建立虚拟工作边界的自动模式。
150.如图7所示，远程终端可以通过其显示屏显示识别出的工作范围边界21。割草装置可以参照识别出的工作范围边界21来规划其自主行进路径。例如，割草装置的自主行进路径可以平行于工作范围边界线，并且在工作范围边界线21内，与工作范围边界始终相差半个割草装置宽度的距离。通过远程终端显示工作范围边界21可以使用户知晓割草装置的行进路径。因此，如果该工作范围边界线与用户的预期不符，即用户不希望割草装置根据工作范围边界21行进，例如当工作范围边界21距离草坪中的喷泉还有1米的距离时，如果用户希望保留喷泉1米距离内的草时，则用户可以手动设定自己希望割草装置的目标行进位置。割草装置可以从当前位置，例如沿着直线，行进至用户设定的目标行进位置。
151.根据本技术的一个或多个实施例，响应于用户手动设定的割草装置的目标行进位置，可以在移动终端的显示界面上向用户显示自割草装置至目标行进位置的行进路径。这样方便用户查看该行进路径是否符合用户的预期，如果不符合预期，用户可以修改该行进路径。
152.当根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界时，还可以使远程终端通过显示屏提示用户(例如通过和用户交互的对话框)当前可以进入自主建立虚拟工作边界的自动模式。通过这样明确的提示，能够让用户更容易看到或者更容易进入自主建立虚拟工作边界的自动模式，而不会因为没有看到显示的工作范围边界，或者因为用户不知道远程终端上显示工作范围边界就意味着可以进入自动模式，而手动操控割草装置行进。
153.提示用户可以进入自主建立虚拟工作边界的自动模式还可以给用户提供选择自动模式和手动模式的机会。虽然在远程终端识别出割草装置的工作范围边界时，为节省用户的时间，可以优先让割草装置自主行进，并根据割草装置自主行进过程中的位置信息建立虚拟工作边界，但是用户可以在远程终端提示可以进入自主建立虚拟工作边界的自动模式时，根据自己的意图或者希望选择是否进入自动模式。这给了用户更多的自由度，能够让建立的虚拟工作边界更加符合用户的需求或者希望，提高用户体验。
154.根据本技术的实施例，当根据部分边界的信息确定出割草装置的工作范围边界，即根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界时，提醒用户进入自主建立虚拟工作边界的自动模式。类似地，当根据部分边界的信息不能确定出割草装置的工作范围边界，即根据割草装置行进过程中的环境信息不能识别出割草装置的工作范围边界时，提醒用户进入手动建立虚拟工作边界的手动模式。即当割草装置在自动模式和手动模式之间进行切换之前，提醒用户可以进入自动模式或者手动模式。远程终端可以包括利用声、光、电信号等工作的用户反馈单元，向用户发出提示或提醒。例如，可以通过远程终端显示屏产生视觉信号，远程终端或割草机上的扬声器产生听觉信号，还可以通过触觉信号，例如振动单元，产生振动提醒用户。该实施例能够增强用户和割草装置之间的交互，提升用户体验。同时在识别出割草装置的工作范围边界时通过明确地提醒用户，能够让用户尽量多地利用自主建图模式，节省用户操控割草装置的时间，提高用户的工作效率。
155.在一种可能的实现方式中，当远程终端检测到待控制设备满足如下条件中的至少一个，退出自动运动模式控制界面：
156.(i)远程终端与待控制设备断开连接；
157.(ii)待控制设备运动至预先设定的目标位置。
158.当远程终端和待控制设备断开连接时，包括但不限于：远程终端和待控制设备距离过远信号终端和待控制设备关机等等，当满足上述任一条件时，待控制设备退出自动运动模式，同时，远程终端退出自动运动模式的控制界面，例如：在显示界面上显示对话框提示用户待控制设备已退出自动运动模式，此时可以显示对应的操作按钮，以使用户可以通过操作按钮操控待控制设备行进。
159.在本技术实施例中，当远程终端检测到待控制设备，例如：割草装置，满足特定条件后，远程终端退出自动运动模式控制界面，切换为遥控运动模式控制界面，避免由于待控制设备处于自动运动模式的情况下断线造成无法记录位置信息，且到达预设的目标位置时，也会切换为遥控运动模式，使待控制设备可以自行闭合边界，或者根据用户的遥控指令继续行进，避免重复记录路径信息而对确定的虚拟工作边界造成影响，且及时退出自动运动控制界面可以提醒用户待控制设备已断线或者已到达预定位置，解决了操作繁琐，且效率较低的问题。
160.另外，上述实施例中的建立虚拟边界的方法用于远程终端上，能够利用远程终端较大的算力(例如手机cpu的算力)。这样割草装置就可以配置具有较小算力的处理器，可以进一步降低割草装置的成本。
161.在一种可能的实现方式中，若接收到待控制设备发送的第一指示信息，则通过显示界面显示第一模式切换控件，其中，第一指示信息由待控制设备在满足如下条件时发送：待控制设备处于遥控运动模式，且根据部分边界的信息确定出待控制设备的工作范围边界，然后响应于第一模式切换控件被触发，向待控制设备发送第一控制信息，以使待控制设备根据第一控制信息从遥控运动模式切换至自动运动模式进行自主行进，并记录待控制设备自主行进过程中的位置信息。
162.当远程终端接收到待控制设备发送的第一指示信息后，在显示界面上显示第一模式切换控件，该第一模式切换控件可以为显示界面上方弹出的对话框，或者显示界面全屏弹出的提示框等等。当用户触发第一模式切换控件后，例如：用户点击第一模式切换控件上的确认按钮等，向待控制设备发送第一控制信息，以使待控制设备切换至自动运动模式。可选的，当触发第一模式切换控件时，远程终端的显示界面上会隐藏用于遥控待控制设备的运动控件。
163.示例性的，如图11和图12所示，图11为远程终端接收到待控制设备发送的第一指示信息后，在显示界面上显示的内容，包括第一模式切换控件1101，第一模式切换控件1101上包括有确认按键1102，运动控件1103，待控制设备1104，部分边界的信息1105，待控制设备的运动轨迹1106，图12为进入自动运动模式时远程终端界面上所显示的内容，该内容包括待控制设备1201，待控制设备的运动轨迹1202，退出控件1203，部分边界的信息1204。
164.可选的，若待控制设备第一次进入自动运动模式，则在触发第一模式切换控件后，可以在显示界面上弹出自动运动模式的注意事项和操作指南，以方便用户快速学会自动运动模式的控制。
165.在本技术实施例中，接收待控制设备发送的第一指示信息，基于第一指示信息显示第一模式切换控件，并根据第一模式切换控件的触发，向待控制设备发送第一控制信息，从而可以实现控制待控制设备从遥控运动模式切换至自动运动模式，由于需要第一模式切换控件的触发，因此用户拥有选择的权利，即用户不想进入自动运动模式时可以选择保持
遥控运动模式运动，且通过第一模式切换控件提示用户可以进入自动运动模式，使用户可以及时操控待控制设备进入自动运动模式进行自主行进，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
166.在一种可能的实现方式中，若接收到待控制设备发的第二指示信息，则通过显示界面显示第一运动控件，其中，第二指示信息由待控制设备在满足如下条件时发送：待控制设备处于自动运动模式，且根据部分边界的信息不能确定出待控制设备的工作范围边界，然后响应于第一运动控件被触发，向待控制设备发送第二控制信息，以使待控制设备根据第二控制信息行进，并记录待控制设备根据第二控制信息行进过程中的位置信息。
167.当远程终端接收到待控制设备发送的第二指示信息后，在显示界面上显示第一运动控件，第一运动控件为可以遥控待控制设备的控件，例如：虚拟摇杆，方向控制按钮等等。当用户触发第一运动控件后，例如：用户拖动虚拟摇杆等，向待控制设备发送第二控制信息，以使待控制设备从自动运动模式切换至遥控运动模式，并根据第二控制信息中包括的用户的遥控操作运动。
168.示例性的，如图11所示，图中示出的界面即为遥控运动模式对应的显示界面，图中的运动控件1103即为在遥控运动模式下，远程终端在显示界面上显示出的第一运动控件。
169.在本技术实施例中，接收待控制设备发送的第二指示信息，并基于第二指示信息和在显示界面上显示的第一运动控件，并基于第一运动控件的触发情况，向待控制设备发送第二控制信息，可以实现控制待控制设备从自动运动模式切换至遥控运动模式，使在不满足自动运动模式条件的情况下待控制设备可以根据用户的操作指令行进，避免由于不满足自动运动模式条件的待控制设备无法自主行进而停止在原地的情况发生，因此可以使确定出的待处理区域的边界更加的可靠，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
170.在一种可能的实现方式中，在待控制设备处于遥控运动模式时，若根据部分边界的信息确定出待控制设备的工作范围边界，则通过显示界面显示第二模式切换控件，然后响应于第二模式切换控件被触发，向待控制设备发送第三控制信息，以使待控制设备根据第三控制信息切换至自动运动模式进行自主行进、并记录待控制设备自主行进过程中的位置信息。
171.本技术实施例中的遥控运动模式向自动运动模式切换的控制过程与上述实施例中的遥控运动模式向自动运动模式切换的控制过程类似，在此不在赘述。
172.在本技术实施例中，当远程终端识别到待控制设备的工作范围边界后，且第二模式切换控件被触发时，向待控制设备发送的第三控制信息，实现控制待控制设备从遥控运动模式切换至自动运动模式。由于第三控制信息为远程终端根据部分边界的信息识别出工作范围边界后，且第二模式切换控件被触发时发送，此过程使用远程终端识别工作范围边界，不需要通过待控制设备识别工作范围边界，因此可以降低待控制设备的处理器的成本，并且切换时需要触发第二模式切换控件，使用户拥有选择的权利，即用户不想进入自动运动模式时可以选择保持遥控运动模式运动，并且通过第二模式切换控件提示了用户可以进入自动运动模式，使用户可以及时操控待控制设备进入自动运动模式进行自主行进，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
173.在一种可能的实现方式中，在待控制设备处于自动运动模式时，若根据部分边界
的信息不能确定出待控制设备的工作范围边界，则通过显示界面显示第二运动控件，然后响应于第二运动控件被触发，向待控制设备发送第四控制信息，以使待控制设备根据第四控制信息行进、并记录待控制设备根据第四控制信息行进过程中的位置信息。
174.本技术实施例中的自动运动模式向遥控运动模式切换的控制过程与上述实施例中的自动运动模式向遥控运动模式切换的控制过程类似，在此不在赘述。
175.在本技术实施例中，当远程终端不能识别到待控制设备的工作范围边界时，显示第二运动控件，并根据第二运动控件的触发情况，发送第四控制信息，实现控制待控制设备从自动运动模式切换至遥控运动模式。由于第四控制信息为远程终端根据部分边界的信息不能识别出工作范围边界，且第二运动控件被触发而发送，此过程使用远程终端识别工作范围边界，不需要通过待控制设备识别工作范围边界，因此可以降低待控制设备的处理器的成本，并且可以在不满足自动运动模式条件的情况下控制待控制设备根据用户的操作指令行进，避免由于不满足自动运动模式的条件时待控制设备无法自主行进而停止在原地的情况发生，因此可以使确定出的待处理区域的边界更加的可靠，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
176.在一种可能的实现方式中，在待控制设备处于自动运动模式时，响应于退出控件被触发，通过显示界面显示第三运动控件，其中，退出控件显示于显示界面上，响应于第三运动控件被触发，向待控制设备发送第五控制信息，以使待控制设备根据第五控制信息行进、并记录待控制设备根据第五控制信息行进过程中的位置信息。
177.如图12所示，当待控制设备处于自动运动模式时，显示界面上会显示有一个退出控件1203，此时，若是退出控件被触发，待控制设备从自动运动模式切换至遥控运动模式，且在显示界面中显示第三运动控件，并基于第三运动控件的触发向待控制设备发送第五控制信息，第五控制信息中包括有用户遥控待控制设备的遥控命令，因此可以使待控制设备根据第五控制信息行进。
178.在本技术实施例中，当显示界面显示的退出控件被触发后，显示第三运动控件，并根据第三运动控件的触发发送第五控制信息，实现控制待控制设备从自动运动模式切换至遥控运动模式。由于可以通过触发退出控件退出自动运动模式，因此用户可以随时接管待控制设备，即用户可以随时退出自动运动模式，使用户拥有较高的自由度，因此可以使确定出的待处理区域的边界更加的可靠，更加满足用户的需求，提高用户体验。
179.本技术的另一个实施例提供了一种建立虚拟工作边界的方法，该方法应用于上述实施例中的割草装置100中。
180.如图13所示，其示出了一种建立虚拟边界方法的步骤流程图，该建立虚拟边界的方法可以应用于割草装置。该方法包括：
181.s1301：若根据所述割草装置行进过程中的环境信息识别出所述割草装置的工作范围边界，则所述割草装置自主行进，并记录所述割草装置自主行进过程中的位置信息；
182.s1302：若根据所述割草装置行进过程中的环境信息不能识别出所述割草装置的工作范围边界，则所述割草装置根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息；
183.s1303：根据记录的所述位置信息建立虚拟工作边界。
184.在本技术的实施例中，可以利用图4中示出的割草装置上的环境信息采集单元10
采集割草装置行进中的环境信息。例如，当割草装置100开始在割草区域上行进建立虚拟工作边界时，可以启动环境信息采集单元10采集割草装置行进中的环境信息。图1中示出的环境信息采集单元10可以为割草装置100自带的图像传感器。该图像传感器可以设置在割草装置100的前方，其数量可以为一个或者多个。例如可以在割草装置的车头和左侧、右侧分别设置一个图像传感器。图像传感器随着割草装置100的移动不断地获取割草装置100周围环境的图像信息(图4中虚线扇形区域示意图像传感器在割草装置的当前位置能够拍摄图像的环境的范围，即图像传感器的视野或者可见区)。由于割草装置100在不停移动，故环境信息采集单元10可以以固定的时间间隔(例如每隔0.1秒)获取环境的图像。可以理解，割草装置100也可以通过其通信端口接收来自谷歌地图、百度地图或者卫星的割草装置100的环境信息。另外，还可以组合设置多种类型的环境信息采集单元10，例如可以在割草装置上设置图像传感器、碰撞传感器和深度传感器等多种类型的传感器，以融合多种传感器的检测结果，进一步提高环境信息的检测精度。
185.根据本技术的实施例，可以根据获取的环境信息识别环境信息中是否包括割草装置100的工作范围边界。例如，割草装置100(包括割草装置自身或与割草装置建立有通信连接的服务器(例如云服务器))可以装配有工作范围边界的识别算法，通过识别算法来识别环境信息中是否包括割草装置100的工作范围边界。具体地，可以使用神经网络模型作为割草装置工作范围边界的识别算法，例如可以使用fcn(全卷积神经网络)、unet网络结构或者deeplab等多种神经网络模型。可以预先收集样本数据对初始的神经网络模型进行训练生成神经网络模型。例如，可以收集多个草坪的图像，人工标注出图像中草与非草的边界，将标注后的图像数据训练初始的神经网络模型，训练后的神经网络模型即可作为识别割草装置工作范围边界的识别算法。另外，还可以更新一台割草装置中现有的神经网络模型，以进一步提高识别精度。例如，随着美国家庭使用的割草装置的增多，收集的草坪数据的增多，可以不断优化神经网络模型，再更新到割草装置中，以提高识别准确率。可以设置识别算法的置信度阈值。即，如果训练后的神经网络模型对图像数据的计算结果小于设置的置信度阈值，则确定为不能识别。反之，如果训练后的神经网络模型对图像数据的计算结果大于设置的置信度阈值，则确定为能够识别。
186.在操作s1301中，若识别出割草装置的工作范围边界，例如环境信息中存在草与障碍物的分界线，则割草装置可以自主行进，进入自主建立虚拟工作边界的自主模式，而无需用户手动遥控割草装置。例如，割草装置的控制器中可以存储有指令，当根据获取的环境信息识别出环境信息中包括割草装置的工作范围边界时，控制器执行这些指令可以控制割草装置自主行进。并且，割草装置会记录自主行进过程中的位置信息。例如，全球定位系统或超带宽定位导航系统可以给割草装置的定位单元发送割草装置自主行进过程中的地理位置坐标。例如，图4中的星形401和403表示割草装置自主行进过程中走过的两个地理位置。割草装置100的gps接收器可以接收gps系统发送的割草装置100在星形401和403表示的割草装置自主行进过程中走过的两个地理位置的位置信息(例如每个位置的经度和纬度坐标，或者在割草区域的本地位置坐标系中的位置坐标)。割草装置100可以将这两个地理位置的位置信息记录在其存储器中。在本技术的一个或者多个实施例中，可以以预定的时间间隔获取环境信息并识别环境信息中是否包括割草装置100的工作范围边界。当能够识别出环境信息中包括割草装置的工作范围边界时，则可以进入自主建立虚拟工作边界的自动
模式。
187.在操作s1302中，若根据割草装置行进过程中的环境信息不能识别出割草装置的工作范围边界，则割草装置可以进入手动建立虚拟工作边界的手动模式。根据接收的第一用户指令行进。具体地，当利用割草装置、或与割草装置有通信连接的服务器上的识别算法无法识别出获取的环境信息是否包括割草装置的工作范围边界时，则用户可以介入、输入第一用户指令，例如用户可以通过远程终端200的显示界面输入令割草装置前进、后退、向前或者左转30度的指令。为方便用户输入第一用户指令，远程终端200显示界面中可以显示有遥控方向虚拟摇杆，这样用户就可以通过点击、拖曳虚拟摇杆来操控割草装置的行进方向和距离。割草装置则根据接收到的第一用户指令行进，并记录在第一用户指令下行进过程中的位置信息。例如，图4中的椭圆形405和407表示割草装置根据接收的第一用户指令行进，在行进过程中走过的两个地理位置，定位单元可以获取这些地理位置的位置坐标。例如割草装置100的gps接收器可以接收gps系统发送的割草装置100在椭圆形405和407示出的这两个地理位置的经度和纬度坐标。割草装置可以将这两个地理位置的位置信息记录在其存储器中。
188.在操作s1303中，割草装置可以根据记录的位置信息建立虚拟工作边界。在本技术的一个或者多个实施例中，可以在割草装置绕着待割剪的草坪行进一圈记录了多个行进位置的位置信息后，建立草坪的虚拟工作边界。例如，割草装置可以将记录的各个位置信息映射到割草机的本地坐标系中即可得到虚拟工作边界。
189.本技术的上述实施例根据对环境信息的识别结果选择进入自主建图模式或者进入手动建图模式。通过引入自主建图模式，组合使用自主建图和手动建图模式，在不影响建立的虚拟工作边界精度的情况下，能够节省用户的时间，提高用户的工作效率，提高用户体验。
190.如图6和图7所示，根据本技术的一个或者多个实施例，操作s1301根据所述割草装置行进过程中的环境信息识别出所述割草装置的工作范围边界，则所述割草装置自主行进，并记录所述割草装置自主行进过程中的位置信息，可以包括s503a：根据识别出的工作范围边界，获得割草装置的行进路径和s503b：割草装置沿着行进路径自主行进。例如，割草装置100包括采集环境图像信息的环境信息采集单元10，当在图7所示的位置处根据环境信息采集单元10采集的图像信息识别出图像中存在工作范围边界21，可以根据识别出的工作范围边界21获得割草装置的行进路径。例如，割草装置100可以参照识别出的工作范围边界21规划其自主行进路径。割草装置100的自主行进路径可以平行于工作范围边界线21，并位于工作范围边界线21内，与工作范围边界线21始终相差割草装置100半个宽度(即割草装置的中心至其左侧边或者右侧边的距离)的距离，这样可以防止割草装置在行进时其外侧(即左侧和右侧)超出工作范围边界线21。
191.本技术的上述实施例参照从环境信息中识别出的割草装置的工作范围边界来规划割草装置的自主行进路径。这使得割草装置的行进路径规划方式简单，同时也能够确保割草装置在自主行进时不会走出草坪或者撞上障碍物。
192.根据本技术的一个或者多个实施例，在根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界并且在接收到第一用户指令的情况下，令割草装置根据接收的第一用户指令行进，并记录割草装置在第一用户指令下行进过程中的位置信息。在该实施
例中，即使能够从环境信息中识别出的割草装置的工作范围边界，但是如果用户通过远程终端输入其指令，例如用户通过触摸显示屏中的空白区域输入其希望的目标行进位置，则在这种情况下，割草装置可以不再根据识别出的工作范围边界行进，而是自当前位置沿着预定义的路径(例如可以为直线)向用户设定的目标行进位置行进。例如当用户根据远程终端上显示的识别出的工作范围边界判断出：割草装置沿着距离该工作范围边界半个割草装置宽度的距离的路径行进会跌倒，比如该路径穿过一个陡坡，则用户可以通过输入第一用户指令引导割草装置绕过这个陡坡。
193.在本技术的一个或者多个实施例中，第一用户指令可以包括用户设定的目标行进位置，可以将割草装置的控制程序设定成沿直线从割草装置的当前位置向目标行进位置行进。上述实施例使得能够建立更加精确的虚拟工作边界，也能够随时接收用户设定的目标位置，建立更加符合用户希望的虚拟工作边界，提高用户体验。
194.上述实施例中建立虚拟工作边界的方法用于割草装置上，即由割草装置执行，如图14所示，割草装置100可以包括存储器101和处理器103。存储器101上存储有实现上述建立虚拟工作边界方法的指令，当处理器103执行这些指令时，割草装置100即可实施该方法。和由远程终端识别草与非草的边界，并根据记录的位置信息建立虚拟工作边界的方式相比，由割草装置100实施的方式延迟低，无需将环境信息采集单元10采集的大量环境信息通过通信端口发送给远程终端，也无需再通过通讯接口接收远程终端的识别结果来建立的虚拟工作边界。这样割草装置100可以随着割草装置的移动实时地根据环境信息采集单元10采集的环境信息识别是否存在草与非草的分界线，并能够根据识别结果实时地更新建立的虚拟工作边界。这样能够更进一步提高建图效率和精度。
195.本技术的另外一个方面提供一种可以用于远程终端的建立虚拟工作边界的方法。可以在如图4所示的远程终端200上存储应用程序，使远程终端200执行该应用程序来实现该建立虚拟边界的方法。如图15所示，该方法包括：
196.s1501：获得割草装置行进过程中的环境信息，并根据环境信息识别所述割草装置的工作范围边界；
197.s1503：当根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界时，则令割草装置自主行进，并记录割草装置自主行进过程中的位置信息，以使割草装置能够根据记录的位置信息建立虚拟工作边界；
198.s1505：当根据割草装置行进过程中的环境信息不能识别出割草装置的工作范围边界时，则令割草装置根据接收的第一用户指令行进，并记录割草装置在第一用户指令下行进过程中的位置信息，以使割草装置能够根据记录的位置信息建立虚拟工作边界。
199.可以利用割草装置自带的环境信息采集单元10(例如图像传感器、声呐、rfid等能够获取割草装置100周围环境信息的任何传感器)采集割草装置行进中的环境信息。也可以使用远程终端200自己的传感器，比如手机上的摄像头或者lidar(light identification detection and ranging光识别探测和测距)传感器。还可以从谷歌地图、百度地图或者卫星上获取割草装置100的环境信息。远程终端200，例如手机或者割草装置的遥控器，可以通过其通讯接口(例如蓝牙接口等)获取割草装置100的环境信息。根据本技术的一个或者多个实施例，可以以预定的时间间隔获取割草装置100的环境信息。例如，可以通过割草装置100上的图像采集单元获取割草装置100前方环境的图像信息。图像采集单元可以以预定的
时间间隔(例如每0.1秒)获取一次割草装置100前方环境的图像信息，割草装置100可以通过wifi等近场通信端口将图像信息发送给远程终端200。远程终端200可以根据获取的环境信息来识别环境信息中是否包括割草装置的工作范围边界。远程终端200上可以装配有识别算法，通过识别算法来识别环境信息中是否包括割草装置的工作范围边界。具体地，可以使用神经网络模型作为割草装置工作范围边界的识别算法，可以预先收集样本数据对初始的神经网络模型进行训练生成神经网络模型。例如，可以收集多个草坪的图像，人工标注出图像中草与非草的边界，将标注后的图像数据放到服务器上训练初始的神经网络模型，训练后的神经网络模型即可作为识别割草装置工作范围边界的识别算法。在操作s1503中，当远程终端200能够通过识别算法从环境信息中识别出割草装置100的工作范围边界时，则远程终端200可以发送指令给割草装置100，令割草装置100自主行进，并记录自主行进过程中的位置信息。例如，可以令割草装置100按照自主规划的路径行进，并记录其在自主行进过程中的位置坐标，以使割草装置100能够根据记录的位置信息建立虚拟工作边界。
200.在操作s1505中，当远程终端200不能通过识别算法从环境信息中识别出割草装置的工作范围边界时，则远程终端200可以发送指令给割草装置，令割草装置100进入人工建立虚拟工作边界的手动模式。根据接收的第一用户指令行进。具体地，当远程终端200无法利用识别算法识别出获取的环境信息是否包括割草装置的工作范围边界时，则用户可以介入，通过远程终端200向割草装置发送第一用户指令，例如用户可以通过远程终端200的显示界面输入令割草装置前进、后退、向前或者向后的指令。割草装置接收到第一用户指令后则根据接收到的第一用户指令行进，并记录在第一用户指令下行进过程中的位置信息，以使割草装置100能够根据记录的位置信息建立虚拟工作边界。
201.可以理解，割草装置100在操作s1503中建立的虚拟工作边界和在操作s1505中建立的虚拟工作边界合在一起即可形成割草装置100的完整虚拟工作边界。
202.如图9所示，在执行上面所述的操作的过程中，远程终端200的显示界面可以显示多种割草机和用户的交互信息。除了显示识别出的工作范围边界21以外，如图9所示，显示界面还可以显示割草装置的历史轨迹23，以方便用户了解割草装置的整体虚拟工作边界，在整体虚拟工作边界不符合用户预期时，用户可以手动操控割草装置的行进路径。显示界面中还可以包括遥控方向的虚拟遥杆29和遥控油门的虚拟遥杆27。用户可以通过点击或者拖曳遥控方向的虚拟遥杆29输入令割草装置100前进、后退、向前或者左转30度等，即实现设定第一用户指令。用户还可以通过点击或者拖曳遥控油门的虚拟遥杆27设定割草装置100的速度等。显示界面还可以包括环境信息采集单元当前能够感知的环境范围30，退出按钮31，回退擦除历史轨迹按钮33以及自动识别工作范围边界启动开关25。该显示界面能够增强用户和割草装置的交互，并且为用户提供使割草装置自动进入割草装置自主建图模式的选择，这样能够最大程度地节省用户操控割草装置手动设定割草装置行进路径的时间，提高用户的工作效率，提升用户体验。
203.如图10所示，根据本法的一个或者多个实施例，当远程终端识别出割草装置的工作范围边界时，远程终端可以s804：向用户显示识别出的工作范围边界。远程终端还可以s805：提示用户可以进入自主建立虚拟工作边界的自动模式。
204.如图7所示，远程终端可以通过其显示屏显示识别出的工作范围边界21。割草装置可以参照识别出的工作范围边界21来规划其自主行进路径。例如，割草装置的自主行进路
径可以平行于工作范围边界线，并且在工作范围边界线21内，与工作范围边界始终相差半个割草装置宽度的距离。通过远程终端显示工作范围边界21可以使用户知晓割草装置的行进路径。因此，如果该工作范围边界线与用户的预期不符，即用户不希望割草装置根据工作范围边界21行进，例如当工作范围边界21距离草坪中的喷泉还有1米的距离时，如果用户希望保留喷泉1米距离内的草时，则用户可以手动设定自己希望割草装置的目标行进位置。割草装置可以从当前位置，例如沿着直线，行进至用户设定的目标行进位置。
205.根据本技术的一个或多个实施例，响应于用户手动设定的割草装置的目标行进位置，可以在移动终端的显示界面上向用户显示自割草装置至目标行进位置的行进路径。这样方便用户查看该行进路径是否符合用户的预期，如果不符合预期，用户可以修改该行进路径。
206.当根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界时，还可以使远程终端通过显示屏提示用户(例如通过和用户交互的对话框)当前可以进入自主建立虚拟工作边界的自动模式。通过这样明确的提示，能够让用户更容易看到或者更容易进入自主建立虚拟工作边界的自动模式，而不会因为没有看到显示的工作范围边界，或者因为用户不知道远程终端上显示工作范围边界就意味着可以进入自动模式，而手动操控割草装置行进。
207.提示用户可以进入自主建立虚拟工作边界的自动模式还可以给用户提供选择自动模式和手动模式的机会。虽然在远程终端识别出割草装置的工作范围边界时，为节省用户的时间，可以优先让割草装置自主行进，并根据割草装置自主行进过程中的位置信息建立虚拟工作边界，但是用户可以在远程终端提示可以进入自主建立虚拟工作边界的自动模式时，根据自己的意图或者希望选择是否进入自动模式。这给了用户更多的自由度，能够让建立的虚拟工作边界更加符合用户的需求或者希望，提高用户体验。
208.根据本技术的实施例，当根据割草装置行进过程中的环境信息识别出割草装置的工作范围边界时，提醒用户进入自主建立虚拟工作边界的自动模式。类似地，当根据割草装置行进过程中的环境信息不能识别出割草装置的工作范围边界时，提醒用户进入手动建立虚拟工作边界的手动模式。即当割草装置在自动模式和手动模式之间进行切换之前，提醒用户可以进入自动模式或者手动模式。远程终端可以包括利用声、光、电信号等工作的用户反馈单元，向用户发出提示或提醒。例如，可以通过远程终端显示屏产生视觉信号，远程终端或割草机上的扬声器产生听觉信号，还可以通过触觉信号，例如振动单元，产生振动提醒用户。该实施例能够增强用户和割草装置之间的交互，提升用户体验。同时在识别出割草装置的工作范围边界时通过明确地提醒用户，能够让用户尽量多地利用自主建图模式，节省用户操控割草装置的时间，提高用户的工作效率。
209.另外，上述实施例中的建立虚拟边界的方法用于远程终端上，能够利用远程终端较大的算力(例如手机cpu的算力)。这样割草装置就可以配置具有较小算力的处理器，可以进一步降低割草装置的成本。
210.本技术的再一个方面涉及一种建立虚拟工作边界的装置300。如图16所示，该装置300包括自主模块301、手动模块303和建图模块305。自主模块301、手动模块303和建图模块305可以是割草装置的控制器能够实现执行指令的功能模块，也可以是远程终端的控制器能够实现执行指令的功能模块。各个模块的具体功能如下。自主模块301用于，在根据割草
装置行进过程中的环境信息识别出所述割草装置的工作范围边界时，令所述割草装置自主行进，并记录所述割草装置自主行进过程中的位置信息。手动模块303用于，在根据所述割草装置行进过程中的环境信息不能识别出所述割草装置的工作范围边界时，令所述割草装置根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息。建图模块305用于根据记录的所述位置信息建立所述虚拟工作边界。
211.参照图17，示出了根据本技术实施例的一种信息确定设备的结构示意图，本技术具体实施例并不对信息确定设备的具体实现做限定。
212.如图17所示，该信息确定设备1700可以包括：处理器(processor)1702、通信接口(communications interface)1704、存储器(memory)1706、以及通信总线1708。
213.其中：
214.处理器1702、通信接口1704、以及存储器1706通过通信总线1708完成相互间的通信。
215.通信接口1704，用于与其它电子设备或服务器进行通信。
216.处理器1702，用于执行程序1710，具体可以执行上述信息确定方法实施例中的相关步骤。
217.具体地，程序1710可以包括程序代码，该程序代码包括计算机操作指令。
218.处理器1702可能是中央处理器cpu，或者是图形处理器gpu(graphics processing unit)，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；一个或多个gpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个gpu以及一个或多个asic。
219.存储器1706，用于存放程序1710。存储器1706可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
220.程序1710具体可以用于使得处理器1702执行前述任一实施例中的信息确定方法。
221.程序1710中各步骤的具体实现可以参见前述任一信息确定方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
222.在本技术实施例中，通过待控制设备的图像采集器采集针对待识别区域的待处理图像，待识别区域至少包括待处理区域和障碍区域，并对待处理图像进行处理确定待控制设备当前所处的待处理区域的部分边界的信息，之后基于部分边界的信息控制待控制设备在自动运动模式和遥控运动模式之间切换，以确定待处理区域的边界，待处理区域的边界用于区分待处理区域和障碍区域，如此，可以对待控制设备的图像采集器采集的针对包括待处理区域和障碍区域的待识别区域的待处理图像进行处理，来得到待控制设备当前所处的待处理区域的部分边界的信息，并基于部分边界的信息确定采用将自动运动模式和遥控运动模式结合来确定待处理区域的边界，而不是单一采用某一固定模式确定区域边界，且不需要在区域中埋线来确定区域的边界，解决了相关技术中的确定区域边界的方案存在操作繁琐，且效率较低的问题。
223.本技术的再一个方面涉及一种割草机，如图18所示，割草装置100可以包括上述信
息确定设备1700，信息确定设备1700上的存储器1706上存储有实现上述信息确定方法的指令，当处理器1701执行这些指令时，割草装置100即可实施该方法。和由远程终端识别草与非草的边界，并根据记录的位置信息建立虚拟工作边界的方式相比，由割草装置100实施的方式延迟低，无需将环境信息采集单元10采集的大量环境信息通过通信端口发送给远程终端，也无需再通过通讯接口接收远程终端的识别结果来建立的虚拟工作边界。这样割草装置100可以随着割草装置的移动实时地根据环境信息采集单元10采集的环境信息识别是否存在草与非草的分界线，根据草与非草的分界线识别是否包括工作范围边界，并能够根据识别结果实时地更新建立的虚拟工作边界。这样能够更进一步提高建图效率和精度。
224.本技术的再一个方面涉及一种远程终端。如图19所示，该远程终端200包括存储器201和控制器203，存储器201用于存储指令，控制器203用于执行所述指令，以实现上述建立虚拟工作边界的方法对应的操作。
225.本技术的再一个方面涉及一种计算机存储介质。计算机存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述建立虚拟工作边界的方法对应的操作。
226.本技术实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。
227.需要指出，根据实施的需要，可将本技术实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本技术实施例的目的。
228.上述根据本技术实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cd rom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的信息确定方法。此外，当通用计算机访问用于实现在此示出的信息确定方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的信息确定方法的专用计算机。
229.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
230.需要说明的是，虽然结合附图对本技术的具体实施例进行了详细地描述，但不应理解为对本技术的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可做出的各种修改和变形仍属于本技术的保护范围。
231.本技术实施例的示例旨在简明地说明本技术实施例的技术特点，使得本领域技术人员能够直观了解本技术实施例的技术特点，并不作为本技术实施例的不当限定。
232.最后说明：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些
修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种信息确定方法，应用于待控制设备，其特征在于，所述方法包括：通过待控制设备的图像采集器采集针对待识别区域的待处理图像，其中，所述待识别区域至少包括待处理区域和障碍区域；对所述待处理图像进行处理，确定所述待控制设备当前所处的待处理区域的部分边界的信息；基于所述部分边界的信息控制所述待控制设备在自动运动模式和遥控运动模式之间切换，以确定所述待处理区域的边界，其中，所述待处理区域的边界用于区分所述待处理区域和所述障碍区域；所述待控制设备包括割草装置；所述基于所述部分边界的信息控制所述待控制设备在自动运动模式和遥控运动模式之间切换，以确定所述待处理区域的边界，包括：若根据所述部分边界的信息确定出所述割草装置的工作范围边界，则所述割草装置切换至自动运动模式，以自主行进，并记录所述割草装置自主行进过程中的位置信息；根据记录的所述位置信息建立虚拟工作边界，其中，所述待处理区域的边界包括所述虚拟工作边界；所述若根据所述部分边界的信息确定出所述割草装置的工作范围边界，则所述割草装置切换至自动运动模式，以自主行进，并记录所述割草装置自主行进过程中的位置信息，包括：若根据所述部分边界的信息确定出所述割草装置的工作范围边界并且接收到第一用户指令，则所述割草装置根据接收的所述第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息。2.根据权利要求1所述的方法，其特征在于，所述通过待控制设备的图像采集器采集针对待识别区域的待处理图像，包括：在所述待控制设备运动过程中，通过所述图像采集器采集针对所述待识别区域的多张所述待处理图像；相应的，所述对所述待处理图像进行处理，确定所述待控制设备当前所处的待处理区域的部分边界的信息，包括：将多张所述待处理图像进行语义分割和处理，并基于语义分割结果和处理结果确定所述部分边界的信息。3.根据权利要求2所述的方法，其特征在于，所述将多张所述待处理图像进行语义分割和处理，并基于语义分割结果和处理结果确定所述部分边界的信息，包括：将每一待处理图像进行语义分割处理，并基于语义分割结果和目标地图将每一待处理图像进行匹配处理，得到不匹配的区域；其中，所述目标地图是所述待识别区域中的目标区域的地图；对每一待处理图像进行语义分割，并基于所述目标地图的网格将每一语义分割后的待处理图像映射至所述目标地图；针对每一待处理图像，对映射后的图像进行轮廓识别得到待处理边界；基于所述待处理边界的平滑程度、所述不匹配的区域和所述目标区域，确定所述部分边界的信息。
4.根据权利要求3所述的方法，其特征在于，所述基于所述待处理边界的平滑程度、所述不匹配的区域和所述目标区域，确定所述部分边界的信息，包括：所述待处理边界包括对所述待处理边界进行平滑处理得到平滑边界；计算所述平滑边界的总长度与所述待处理边界的总长度的比值；若得到的比值不在目标比值范围内，则所述待处理边界不平滑，所述部分边界的信息表征所述部分边界不简单；若得到的比值在所述目标比值范围内，则所述待处理边界平滑，所述部分边界的信息表征所述部分边界简单。5.根据权利要求3所述的方法，其特征在于，所述基于所述待处理边界的平滑程度、所述不匹配的区域和所述目标区域，确定所述部分边界的信息，包括：将所有不匹配的区域相加求和；若和值占所述目标区域的比例大于目标比例，则认为所述部分边界的信息表征所述部分边界不清晰；若和值占所述目标区域的比例小于或等于所述目标比例，则认为所述部分边界的信息表征所述部分边界清晰。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：接收用于操作所述待控制设备的操作对象的操作指令；基于所述操作指令，控制所述待控制设备切换至采用遥控运动模式工作，以确定所述待处理区域的边界。7.根据权利要求1所述的方法，其特征在于，所述基于所述部分边界的信息控制所述待控制设备在自动运动模式和遥控运动模式之间切换，以确定所述待处理区域的边界，还包括：若根据所述部分边界的信息不能确定出所述割草装置的工作范围边界，则所述割草装置切换至遥控运动模式，以根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息；根据记录的所述位置信息建立虚拟工作边界，其中，所述待处理区域的边界包括所述虚拟工作边界。8.根据权利要求1所述的方法，其特征在于，所述若根据所述部分边界的信息确定出所述割草装置的工作范围边界，则所述割草装置切换至自动运动模式，以自主行进，包括：根据确定出的所述工作范围边界，获得所述割草装置的行进路径；所述割草装置沿着所述行进路径自主行进。9.根据权利要求1或7所述的方法，其特征在于，接收的所述第一用户指令包括：用户设定的目标行进位置；所述割草装置根据接收的所述第一用户指令行进，包括：所述割草装置沿直线向所述目标行进位置自主行进。10.根据权利要求1-8中任一所述的方法，其特征在于，所述方法还包括：若所述待控制设备满足如下条件中的至少一个，则控制所述待控制设备退出自动运动模式：(i)所述待控制设备与远程终端断开连接，其中，所述远程终端用于控制所述远程终端
运动；(ii)所述待控制设备运动至预先设定的目标位置。11.一种信息确定方法，应用于远程终端，所述远程终端用于控制待控制设备运动，其特征在于，所述方法包括：接收所述待控制设备发送的部分边界的信息，其中，所述部分边界的信息用于指示所述待控制设备当前所处的待处理区域的部分边界，所述部分边界的信息由所述待控制设备对待处理图像进行处理获得，所述待处理图像为通过所述待控制设备的图像采集器针对待识别区域进行图像采集获得，所述待识别区域至少包括待处理区域和障碍区域；基于所述部分边界的信息向所述待控制设备发送控制信息，以使所述待控制设备根据所述控制信息在自动运动模式和遥控运动模式之间切换，并确定所述待处理区域的边界，其中，所述待处理区域的边界用于区分所述待处理区域和所述障碍区域；所述待控制设备包括割草装置；所述基于所述部分边界的信息向所述待控制设备发送控制信息，以使所述待控制设备根据所述控制信息在自动运动模式和遥控运动模式之间切换，并确定所述待处理区域的边界，包括：若根据所述部分边界的信息确定出所述割草装置的工作范围边界，则发送第一控制信息，以控制所述割草装置切换至自动运动模式，以自主行进，并记录所述割草装置自主行进过程中的位置信息；并控制所述割草装置根据记录的所述位置信息建立虚拟工作边界，其中，所述虚拟工作边界包括所述待处理区域的边界。12.根据权利要求11所述的方法，其特征在于，所述基于所述部分边界的信息向所述待控制设备发送控制信息，以使所述待控制设备根据所述控制信息在自动运动模式和遥控运动模式之间切换，并确定所述待处理区域的边界，还包括：若根据所述部分边界的信息不能确定出所述割草装置的工作范围边界，则发送第二控制信息，以控制所述割草装置切换至遥控运动模式，以根据接收的第一用户指令行进，并记录所述割草装置在所述第一用户指令下行进过程中的位置信息；并控制所述割草装置根据记录的所述位置信息建立虚拟工作边界，其中，所述虚拟工作边界包括所述待处理区域的边界。13.根据权利要求11或12所述的方法，其特征在于，所述方法还包括：若所述远程终端检测到所述待控制设备满足如下条件中的至少一个，则退出自动运动模式控制界面：(i)所述远程终端与所述待控制设备断开连接；(ii)所述待控制设备运动至预先设定的目标位置。14.根据权利要求11所述的方法，其特征在于，若根据所述部分边界的信息确定出所述割草装置的工作范围边界，执行下述操作中的至少其中之一：向用户显示识别出的工作范围边界；提示用户可以进入自主建立虚拟工作边界的自动运动模式。15.根据权利要求12所述的方法，其特征在于，所述方法还包括：当根据所述部分边界的信息确定出所述割草装置的工作范围边界时，提醒用户可以进
入自主建立虚拟工作边界的自动运动模式；或当根据所述部分边界的信息不能确定出所述割草装置的工作范围边界时，提醒用户可以进入手动建立虚拟工作边界的遥控运动模式。16.一种信息确定设备，其特征在于，所述设备包括：处理器、存储器和通信总线；所述通信总线用于实现处理器和存储器之间的通信连接；所述处理器用于执行存储器中的信息确定程序，以实现如权利要求1-10中任一项所述的信息确定方法的步骤。17.一种割草机，其特征在于，包括根据权利要求16所述的信息确定设备。18.一种远程终端，其特征在于，所述远程终端包括存储器和控制器，所述存储器用于存储指令，所述控制器用于执行所述指令，以实施权利要求11-15中任一项所述的方法。19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-10中任一项所述的信息确定方法或实现如权利要求11-15中任一项所述的信息确定方法的步骤。

技术总结
本申请实施例提供了一种信息确定方法、远程终端、设备、割草机及存储介质，所述信息确定方法包括：通过待控制设备的图像采集器采集针对待识别区域的待处理图像，其中，所述待识别区域至少包括待处理区域和障碍区域；对所述待处理图像进行处理，确定所述待控制设备当前所处的待处理区域的部分边界的信息；基于所述部分边界的信息控制所述待控制设备在自动运动模式和遥控运动模式之间切换，以确定所述待处理区域的边界，其中，所述待处理区域的边界用于区分所述待处理区域和所述障碍区域。本申请提供的信息确定方法可以解决现有确定区域边界方法存在的操作繁琐，且效率低的问题。且效率低的问题。且效率低的问题。


技术研发人员：陈子冲 吕卓 俞天宁 李春红
受保护的技术使用者：未岚大陆（北京）科技有限公司
技术研发日：2023.02.28
技术公布日：2023/9/14