交互控制方法及电子设备与流程

1.本技术实施例涉及机器人技术领域，尤其涉及一种交互控制方法及电子设备。


背景技术：

2.清扫机器人作为智能家居中的一个重要设备，也在逐步向着智能化的方向发展，例如清扫机器人与人或宠物的互动越来越多。同时，随着自然语言处理技术的发展，具备语音控制功能的清扫机器人逐渐兴起。带有语音控制功能的清扫机器人能够自动识别用户讲出的语音指令，然后响应于语音指令的识别结果，执行相应的操作。
3.然而，这些交互功能单一，主要实现清洁等机械化作业，无法对其所在环境进行监测，无法提供人性化关怀服务。


技术实现要素：

4.有鉴于此，本技术一些实施例提供一种交互控制方法及电子设备，通过对环境进行监测，当监测到异常状态时，控制清洁机器人启动交互动作，以提供人性化关怀服务。
5.第一方面，本技术一些实施例中提供了一种交互控制方法，包括：
6.获取图像集，图像集包括由清洁机器人在预设时间内对其所在环境进行采集得到的图像；
7.识别图像集中图像，确定环境相比其标准状态的脏乱变化度；
8.基于脏乱变化度，确定是否发生异常状态；
9.若发生异常状态，则控制清洁机器人启动交互动作。
10.在一些实施例中，前述识别图像集中图像，确定环境相比其标准状态的脏乱变化度，包括：
11.对图像集中的图像进行语义识别，确定环境在当前状态下的物品情况；
12.将环境在当前状态下的物品情况与其在标准状态下的物品情况进行对比，确定环境相比其标准状态的脏乱变化度。
13.在一些实施例中，物品情况包括地面上垃圾的种类、数量，日常用品的位姿、数量，或，家具的位姿。
14.在一些实施例中，前述将环境在当前状态下的物品情况与其在标准状态下的物品情况进行对比，确定环境相比其标准状态的脏乱变化度，包括：
15.分别对当前状态下和标准状态下的物品情况进行统计，确定异常数量以作为脏乱变化度，其中，异常数量包括垃圾的增长数量，日常用品的增长数量、发生位姿变化的数量，或，家具发生位姿变化的数量。
16.在一些实施例中，前述基于脏乱变化度，确定是否发生异常状态，包括：
17.根据异常数量、异常数量超过数量阈值的持续时间和异常数量的变化趋势，确定是否发生异常状态。
18.在一些实施例中，前述根据异常数量、异常数量超过数量阈值的持续时间和异常
数量的变化趋势，确定是否发生异常状态，包括：
19.对异常数量、持续时间和变化趋势进行加权处理，得到异常分数；
20.若异常分数大于或等于分数阈值，则确定发生异常状态。
21.在一些实施例中，前述控制清洁机器人启动交互动作，包括：
22.控制清洁机器人发起语音问候或控制与清洁机器人关联的应用程序发起弹窗提醒；或，
23.调用音频数据，控制清洁机器人播放音频数据。
24.在一些实施例中，该方法还包括：根据历史反馈记录，确定交互方式。
25.第二方面，本技术一些实施例中提供了一种电子设备，包括：
26.至少一个处理器；
27.与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面的交互控制方法。
28.第三方面，本技术一些实施例中提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机设备执行第一方面的交互控制方法。
29.本技术实施例的有益效果：区别于现有技术的情况，本技术实施例提供的交互控制方法，首先，获取图像集，该图像集包括由清洁机器人在一段时间(例如连续几天)内对其所在环境进行采集得到的图像。对该图像集中图像进行识别，确定环境相比其标准状态的脏乱变化度。基于脏乱变化度，确定是否发生异常状态(例如，用户忙碌或者情绪低落等)。若发生异常状态，则控制清洁机器人主动启动交互动作。
30.在此实施例中，通过对环境地面进行视觉监测，收集能够反映环境脏乱变化度的图像集。对图像集进行识别处理，提取出反映脏乱变化度的关键数据(例如垃圾数量、物品摆放凌乱程度等)，对这些关键数据进行综合分析，在确定发生异常状态的情况下，控制清洁机器人启动交互动作，以提供人性化关怀服务，例如，通过语音问候或app弹窗提醒等交互方式，问候用户是否需要清洁，提供安慰鼓励，或，提醒用户清理物品等。
附图说明
31.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
32.图1为本技术一些实施例中交互控制方法的应用场景示意图；
33.图2为本技术一些实施例中交互控制方法的流程示意图；
34.图3为本技术一些实施例中物品识别定位的示意图；
35.图4为本技术一些实施例中电子设备的结构示意图。
具体实施方式
36.下面结合具体实施例对本技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本技术，但不以任何形式限制本技术。应当指出的是，对本领域的普通技术
人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进。这些都属于本技术的保护范围。
37.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
38.需要说明的是，如果不冲突，本技术实施例中的各个特征可以相互结合，均在本技术的保护范围之内。另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。此外，本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定，仅是对功能和作用基本相同的相同项或相似项进行区分。
39.除非另有定义，本说明书所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本说明书中在本技术的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是用于限制本技术。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
40.此外，下面所描述的本技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
41.如图1，其为本技术实施例的交互控制方法的应用场景示意图。该应用场景包括清洁机器人10、服务器20和终端30，清洁机器人10和服务器20之间通信连接，服务器20和终端30之间通信连接。
42.其中，服务器20可以是物理服务器或者云服务器等。终端30可以是智能手机、平板电脑等移动终端。
43.在一些实施例中，终端30下载有与清洁机器人10关联的应用程序(app)，该应用程序(app)的后端模块设置于服务器20中。从而，用户通过操控终端30上的应用程序，对清洁机器人10进行设置，例如设置使用权限等。清洁机器人10可以发送共享信息至服务器20，服务器20再下发给终端30。
44.在此应用场景中，用户能通过语音对清洁机器人10进行控制，即与清扫机器人进行语音交互。具体地，清洁机器人10中的控制器调用语音识别系统对语音信号进行语义识别和说话人识别，基于识别结果，控制清洁机器人10执行相应的任务。从而，实现人与清洁机器人10之间的语音交互。
45.在一些实施例中，该清洁机器人10上安装有激光雷达和摄像头。该激光雷达设置于清洁机器人10的机身，例如：激光雷达设置于清洁机器人10的机身的移动底盘。在一些实施例中，激光雷达包括脉冲激光雷达、连续波激光雷达等雷达，移动底盘包括全能型通用底盘、拱腰式移动底盘等机器人移动底盘。摄像头安装于清洁机器人10的机身，例如，安装于清洁机器人10的机身的顶部。
46.其中，激光雷达对清洁机器人10所在的环境进行扫描，得到激光点云。摄像头对清洁机器人10所在的环境进行拍摄，获取图像。激光雷达和摄像头分别与控制器通信连接，将激光点云和图像分别发送给控制器，控制器调用清洁机器人10的存储器内事先预置好的构建地图的程序，基于激光点云和/或图像构建地图。其中，构建地图的程序可以包括slam算法(simultaneous localization and mapping,slam)对应的程序，在此不作详细介绍。在
一些实施例中，该地图为栅格地图。将地图保存在清洁机器人10的存储器中。当机器人移动作业时，控制器调用地图作为自主定位、路径规划和避障的依据。
47.可以理解的是，slam算法同时具有定位和导航功能。在定位过程中，控制激光雷达高速旋转发射激光，测量清洁机器人与障碍物之间的距离，结合地图来判断清洁机器人与障碍物之间的相对位置，从而实现定位。在一些实施例中，清洁机器人10可基于摄像头进行视觉定位。在导航过程中，基于定位和清洁任务进行清洁路径规划，规划全覆盖清洁路径，完成相应的清洁任务。
48.清洁机器人10可以被构造成任何合适形状，以便实现清扫业务。清洁机器人10包括且不限于扫地机器人、吸尘机器人、拖地机器人或洗地机器人等。
49.在一些实施例中，清洁机器人10包括机身和驱动轮部件、摄像头、传感器以及控制器。机身的外形可以大体上呈椭圆形、三角形、d形或其他形状。控制器设置于机身，机身是清洁机器人10的主体结构，可以根据清洁机器人10的实际需要，选用相应的形状结构及制造材质(如硬质塑料或者铝、铁等金属)，例如设置为清扫机器人常见的较为扁平的圆柱形。
50.其中，驱动轮部件安装于机身，用于驱动清洁机器人10在待清扫面上移动。在一些实施例中，驱动轮部件包括左驱动轮、右驱动轮及全向轮，左驱动轮和右驱动轮分别安装于主体的相对两侧。全向轮安装于主体的底部的靠前位置，全向轮为活动脚轮，可以水平360度旋转，以使得清洁机器人10可以灵活转向。左驱动轮、右驱动轮及全向轮的安装构成三角形，以提高清洁机器人10行走的平稳性。
51.在一些实施例中，传感器用于采集清洁机器人10的一些运动参数及环境空间各类数据，传感器包括各类合适传感器，诸如陀螺仪、红外传感器、里程计、磁场计、加速度计或速度计等等。
52.在一些实施例中，控制器设置于机身内部，是清洁机器人10的电子计算核心，用于执行逻辑运算步骤以实现清洁机器人10的智能化控制。其中，控制器分别与左驱动轮、右驱动轮以及全向轮电连接。控制器作为清洁机器人10的控制核心，用于控制清洁机器人10行走、后退以及一些业务逻辑处理。例如：控制器用于接收麦克风发送的语音指令，基于语音指令控制清洁机器人10完成相应的任务。
53.可以理解的是，控制器可以为通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、单片机、arm(acorn risc machine)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。控制器还可以是任何传统处理器、控制器、微控制器或状态机。控制器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置，或者微控制单元(microcontroller unit，mcu)、现场可编程门阵列(field-programmable gate array，fpga)、系统级芯片(system on chip，soc)中的一种或多种组合。
54.可以理解的是，本技术实施例中机器人10的存储器包括但不限于：flash闪存、nand闪存、垂直nand闪存(vnand)、nor闪存、电阻随机存取存储器(rram)、磁阻随机存取存储器(mram)、铁电随机存取存储器(fram)、自旋转移扭矩随机存取存储器(stt-ram)等设备中的一种或多种。
55.需要说明的是，根据所要完成的任务，除了以上的功能模组以外，清洁机器人10的
主体上还可以搭载一个或者多个其它不同的功能模组(如储水箱、清扫装置等)，相互配合用以执行相应的任务。
56.本技术发明人所知晓的一些应用于清扫机器人的交互控制方法，交互方式单一，例如，大多数通过按键、应用程序或遥控器等进行交互控制。此外，交互功能单一，主要实现清洁等机械化作业，无法对其所在环境进行监测，无法提供人性化关怀服务。
57.针对上述问题，本技术实施例提供了一种交互控制方法及电子设备，首先，获取图像集，该图像集包括由清洁机器人在预设段时间(例如连续几天)内对其所在环境进行采集得到的图像。对该图像集中图像进行识别，确定环境相比其标准状态的脏乱变化度。基于脏乱变化度，确定是否发生异常状态(例如，用户忙碌或者情绪低落等)。若发生异常状态，则控制清洁机器人主动启动交互动作。
58.在此实施例中，通过对环境地面进行视觉监测，收集能够反映环境地面脏乱变化度的图像集。对图像集进行识别处理，提取出反映脏乱变化度的关键数据(例如垃圾数量、物品摆放凌乱程度等)，对这些关键数据进行综合分析，在确定发生异常状态的情况下，控制清洁机器人启动交互动作，以提供人性化关怀服务，例如，通过语音问候或app弹窗提醒等交互方式，问候用户是否需要清洁，提供安慰鼓励，或，提醒用户清理物品等。
59.根据上文可以理解，本技术实施例提供的交互控制方法可以由具有计算处理能力的电子设备实施执行，例如，由与清扫机器人通信连接的服务器实施执行。在一些实施例中，本技术实施例提供的交互控制方法也可以由包括麦克风的清洁机器人实施，例如由清洁机器人的控制器或处理器实施执行。
60.下面结合本技术实施例提供的服务器的示例性应用和实施，说明本技术实施例提供的交互控制方法。请参阅图2，图2是本技术实施例提供的交互控制方法的流程示意图。可以理解的是，该交互控制方法的执行主体可以是服务器的一个或多个处理器。
61.如图2所示，该方法s100具体可以包括以下步骤：
62.s10：获取图像集，该图像集包括由清洁机器人在预设时间内对其所在环境进行采集得到的图像。
63.可以理解的是，清洁机器人上安装有一个或多个摄像头，例如摄像头安装于清洁机器人的机身侧面，从而，可对环境进行图像采集。其中，环境是清洁机器人所在的空间，例如可以是用户居住的起居室或用户办公的办公场所等。清洁机器人位于环境的地面上，可在无障碍物的区域自由行走。在停留或停走的过程中，可对环境以一定的频率进行拍摄，在一段时间内拍摄得到的图像构成图像集。例如，预设时间为48小时，清洁机器人每隔4小时对环境进行一次全方位拍摄，在48小时内采集12次图像，将这12次采集的图像构成图像集。
64.可以理解的是，图像集记录了该环境在这段时间内的变化，例如地面垃圾变化，日常用品摆放变化或家具摆放等，从而，能够反映该环境地面的脏乱变化度。
65.在此实施例中，基于清洁机器人与服务器通信连接，清洁机器人将采集到的图像集发送给服务器，从而，服务器能够获取到反映环境地面脏乱变化度的图像集。
66.s20：识别图像集中图像，确定环境相比其标准状态的脏乱变化度。
67.其中，环境的标准状态是指正常情况下、大多数时间下环境中物品的情况，例如，地面上垃圾情况、日常用品摆放情况或家具摆放情况等。以用户甲进行举例说明，若用户甲注重环境整洁，不会在地面上丢放垃圾、鞋子或袜子等物品，桌面或沙发上日常用品摆放整
齐，家具摆放整齐，则地面上干净整洁、日常用品摆放整齐、家具摆放整齐为其标准状态。以用户乙进行举例说明，若用户乙注重方便，会在地面上随手丢放一些日常用户，例如将鞋子、袜子直接放在进门区域，桌面或沙发上日常用品摆放随意，椅子等家具会随意摆放，则地面上散落零星日常用品、日常用品摆放随意、家具摆放随意为其标准状态。可见，标准状态因人而异，具有个性化，并且脏乱变化度是相对于环境标准状态计算得出的，能够与用户个性相适应，有利于后续判断异常状态的准确性。
68.基于清洁机器人每隔一段时间会上传图像集至服务器，从而，服务器通过不断监测图像集，识别图像中物品进行统计，即可确定该环境的标准状态，并将表征标准状态的数据(例如图像数据或统计数据)存储于存储器中，在后续监测时可调用该表征标准状态的数据。从而，通过对图像集中图像进行识别，即可确定环境相比其标准状态的脏乱变化度。
69.在一些实施例中，前述步骤s20具体包括：
70.s21：对图像集中的图像进行语义识别，确定环境在当前状态下的物品情况。
71.s22：将环境在当前状态下的物品情况与其在标准状态下的物品情况进行对比，确定环境相比其标准状态的脏乱变化度。
72.在此实施例中，可采用训练好的语义分割模型对图像集中的各个图像进行识别，识别出图像中的物品类别。其中，语义分割模型是采用若干个图像作为训练集(图像中各个物体标注有标签)，对神经网络进行训练得到的，是机器学习领域的现有技术，在此不再详细介绍。
73.本领域技术人员可以理解的是，语义分割模型能够识别图像中各个像素区域所属的类别，从而，能够识别图像中的物品类别，例如，识别沙发、鞋子、凳子、柜子、纸巾、垃圾袋等。具体地，对于图像集中的各个图像，分别输入语义分割模型，输出语义分割图像，从语义分割图像中可知各个像素块所属的物品类别，例如，沙发、鞋子、凳子、柜子、纸巾、垃圾袋等。在一些实施例中，可基于视觉定位导航功能，确定各个物品所在的位置和位姿。本领域技术人员可以理解的是，视觉定位导航功能是本领域的现有技术，在此不进行详细介绍。
74.如图3所示，图3为物品识别定位的示意图。可以理解的，语义分割模型能够识别单帧图像中的各个物品的种类。然后，基于视觉定位功能，确定各个物品所在的位置和位姿。如图3中所示，识别定位出地面上有鞋子、袜子、手表等物品。
75.基于图像集中图像的采集具有时序性，从而，可从中分析确定环境相比其标准状态的脏乱变化度。具体地，将该环境在当前状态下的物品情况与标准状态下的物品情况进行对比，确定该脏乱变化度。
76.从而，将当前的图像集中不同采集时刻下的物品情况与标准状态下的物品情况进行对比，即可确定该脏乱变化度。在一些实施例中，脏乱变化度包括地面垃圾情况的变化程度、日常用品摆放情况的变化程度或家具摆放情况的变化程度等。
77.在一些实施例中，物品情况包括地面上垃圾的种类、数量，日常用品的位姿、数量，或，家具的位姿。
78.基于将环境在当前状态下的物品情况与其在标准状态下的物品情况进行对比，确定环境相比其标准状态的脏乱变化度。从而，当物品情况包括地面上垃圾的种类、数量，日常用品的位姿、数量，家具的位姿时，实际上是将当前状态下和标准状态，从地面上垃圾的种类、数量，日常用品的位姿、数量以及家具的位姿这几个维度进行对比，使得脏乱变化度
包括垃圾的种类变化程度、数量变化程度，日常用品的位姿变化程度、数量变化程度，家具的位姿变化程度。
79.其中，垃圾的种类变化是垃圾类别发生的改变，例如标准状态下垃圾种类是塑料袋，若监测到新增垃圾种类“纸巾”，则确定垃圾种类发生变化，新增“纸巾”，同时，监测新增垃圾种类“纸巾”的数量。可以理解的是，若用户情绪低落哭泣时，可能会产生较多的纸巾垃圾。因此，通过设置物品情况包括垃圾的种类数量，使得脏乱变化度更能精确地反映状态变化，有益于后续的交互控制的准确性。
80.垃圾的数量变化是指标准状态下已有种类的垃圾的数量发生改变。在一些实施例中，若垃圾种类未发生变化，垃圾数量发生变化，则也会监测已有种类垃圾的数量。例如标准状态下垃圾种类是塑料袋，若监测到塑料袋的数量异常增加，也可能是用户处于忙碌状态，无法及时清理。因此，通过设置物品情况包括垃圾的数量，使得脏乱变化度更能精确地反应状态变化，有益于后续的交互控制的准确性。
81.其中，日常用品的位姿变化是指其摆放位置或摆放形态发生的改变，例如，一双鞋子在标准状态下并排摆放在鞋柜附近的区域，若当前状态下，该双鞋子的两只鞋摆放在不同区域或者摆放于同一区域但相隔较远，说明鞋子的位姿发生了变化。可以理解的是，若监测到同一双鞋的两只鞋子摆放位置相隔较远，也可能是用户处于生气状态。因此，通过设置物品情况包括日用品的位姿，使得脏乱变化度更能精确地反应状态变化，有益于后续的交互控制的准确性。
82.日常用品数量变化是指日常用品的数量发生的改变，例如，标准状态下地面上有5件鞋子、袜子等日常用品，当前状态下地面上有10件鞋子、袜子等日常用品，说明日常用品的数量发生了变化。可以理解的是，若监测到环境地面中散落的日常用品增加，可能是用户处于忙碌状态。因此，通过设置物品情况包括日用品数量，使得脏乱变化度更能精确地反应状态变化，有益于后续的交互控制的准确性。
83.家具的位姿变化是指家具的摆放位置或摆放形态发生的改变，例如，标准状态下椅子整齐摆放在桌子周围，当前状态下椅子倾斜摆放在厨房门口，说明家具的位姿发生了变化。可以理解的是，若监测到环境中家具的位姿发生较大改变，可能是用户处于忙碌状态，来不及归位家具。因此，通过设置物品情况包括家具的位姿，使得脏乱变化度更能精确地反应状态变化，有益于后续的交互控制的准确性。
84.在此实施例中，通过设置物品情况包括地面上垃圾的种类、数量，日常用品的位姿、数量，或，家具的位姿，从地面上垃圾的种类、数量，日常用品的位姿、数量或家具的位姿这几个维度进行对比分析，使得相对于标准状态的脏乱变化度包括垃圾的种类变化、数量变化，日常用品的位姿变化、数量变化，家具的位姿变化，更能精确地反应状态变化，有益于后续的交互控制的准确性。
85.在一些实施例中，前述步骤s22具体包括：
86.分别对当前状态下和标准状态下的物品情况进行统计，确定异常数量以作为脏乱变化度，其中，异常数量包括垃圾的增长数量，日常用品的增长数量、发生位姿变化的数量，或，家具发生位姿变化的数量。
87.在此实施例中，将前述用于对比分析当前状态和标准状态之间的变化的物品情况进行了数值化统计，确定异常数量，用于表征脏乱变化度。从而，可以根据异常数量的大小
及其变化趋势，确定是否发生异常状态。
88.基于物品情况包括地面上垃圾的种类、数量，日常用品的位姿、数量，或，家具的位姿，从这几个维度进行统计，确定异常数量，使得异常数量包括垃圾的增长数量，日常用品的增长数量、发生位姿变化的数量，或，家具发生位姿变化的数量。
89.在此实施例中，通过对物品情况进行数值统计，采用异常数量表征脏乱变化度，通过设置异常数量包括垃圾的增长数量，日常用品的增长数量、发生位姿变化的数量，或，家具发生位姿变化的数量，使得异常数量能够更精确地反应状态变化，有益于后续的交互控制的准确性。
90.s30：基于脏乱变化度，确定是否发生异常状态。
91.可以理解的是，脏乱变化度包括地面垃圾情况的变化、日常用品摆放情况的变化或家具摆放情况的变化等。这些脏乱变化度是基于标准状态的变化，从而，可以基于脏乱变化度，确定是否发生异常状态。例如，若检测到与标准状态相差较大，则确定发生异常状态。可以理解的是，标准状态因人而异，具有个性化，并且脏乱变化度是相对于环境标准状态计算得出的，由于脏乱变化度的相对性，使得异常状态的判断结果更加准确。
92.在一些实施例中，采用异常数量表征脏乱变化度，从而，可以将异常数量与阈值进行比较，若超过阈值则确定发生异常状态。
93.在一些实施例中，前述步骤s30具体包括：
94.s31：根据异常数量、异常数量超过数量阈值的持续时间和异常数量的变化趋势，确定是否发生异常状态。
95.可以理解的是，基于图像集包括多个不同时刻拍摄得到的图像，具有时序性，从而，对于每个拍摄时刻，其具有异常数量。因此，图像集对应有异常数量序列。
96.其中，异常数量可以是异常数量序列的均值或众数。可以理解的是，均值或众数越小，说明越接近标准状态；均值或众数越大，说明越可能发生异常状态。
97.将异常数量序列中各个值与数量阈值进行对比，即可确定异常数量超过数量阈值的持续时间。可以理解的是，持续时间越短，说明用户及时对环境进行了清洁整理；持续时间越长，说明用户可能处于忙碌或情绪低落等异常状态。在一些实施例中，可将异常数量的变化趋势采用数值进行表示，例如1表示增加趋势，0表示不变，-1表示减少趋势。可以理解的是，若异常数量的变化趋势呈增加趋势，说明环境的脏乱程度在进一步恶化，用户可能处于忙碌或情绪低落等异常状态；若异常数量的变化趋势呈减少趋势，说明环境的脏乱程度在改善。
98.在此实施例中，对于异常数量序列，从异常数量、异常数量超过数量阈值的持续时间和异常数量的变化趋势，从这3个方面，能够准确确定是否发生异常状态。
99.在一些实施例中，前述步骤s31具体包括：
100.s311：对异常数量、持续时间和变化趋势进行加权处理，得到异常分数。
101.s312：若异常分数大于或等于分数阈值，则确定发生异常状态。
102.例如，给异常数量a配置权重α，持续时间b配置权重β，变化趋势c配置权重γ，则异常分数＝a*α+b*β+c*γ。在一些实施例中，权重α、β和γ不同，例如α＞β＞γ，使得异常数量和持续时间具有较大的权重，使得异常分数更加准确。
103.其中，分数阈值为用于判断是否发生异常状态的阈值。当监测到异常分数大于或
等于分数阈值时，确定发生异常状态。
104.在此实施例中，通过对异常数量、持续时间和变化趋势进行加权处理，将这些指标转化为一个异常分数，能够准确监测异常状态，并且算法简单有效。
105.s40：若发生异常状态，则控制清洁机器人启动交互动作。
106.当确定发生异常状态时，可能是用户处于忙碌或情绪低落状态，在此实施例中，服务器控制清洁机器人主动启动交互动作，为用户提供安慰、鼓励或提醒等个性化服务。其中，启动交互动作是指触发交互动作，例如，当交互动作是语音问候时，则清洁机器人接收到启动交互动作的信号后，控制喇叭播放预先设置的问候话语。
107.在一些实施例中，前述步骤s40具体包括：控制清洁机器人发起语音问候或控制与清洁机器人关联的应用程序发起弹窗提醒；或，调用音频数据，控制清洁机器人播放音频数据。
108.例如，当服务器监测到发生异常状态时，控制清洁机器人发起如下语音问候：“主人，我注意到您最近有些忙碌，需要我帮您清洁一下吗”。可以理解的是，用户收到语音问候后，会做出语音反馈，例如“我最近确实有些忙碌”，“我最近感觉有些沮丧”或“我已经解决了这个问题，谢谢关心”等。
109.再例如，服务器还可以控制与清洁机器人关联的应用程序发起弹窗提醒。可以理解的是，弹窗内容可以是文字或图案，表达关心。一般，与清洁机器人关联的应用程序下载安装于用户的移动终端(例如智能手机、平板或智能手表等)中，当发起弹窗提醒后，用户可点击该弹窗提醒做出相应的反馈。例如，弹窗提醒包括反映“我需要关心”和“谢谢，我很好”两个选项，用户可以选择选项，以做出反馈。
110.在一些实施例中，服务器还可以调用云平台上的音频数据，控制清洁机器人播放音频数据。其中，音频数据可以是相关音频设备的数据包，例如，可以是音乐、相声或小品等音频数据。具体地，服务器将相应的音频数据发送给清洁机器人，从而，清洁机器人播放该音频数据，为用户提供音乐气氛，平息安慰用户情绪。
111.在一些实施例中，交互方式可以包括主动打扫垃圾，清洁地面。在一些实施例中，若清洁机器人配置有机械臂，则交互方式也可以包括拾取日常用品放回原区域(日常放置的区域)，例如将袜子放回原区域，鞋子推挡至鞋柜区域等。通过设置这些交互方式，使得清洁机器人更加智能、人性化。
112.在一些实施例中，该方法s100还包括：根据历史反馈记录，确定交互方式。
113.这里，历史反馈记录是一段时间内累计的用户反馈。可以理解的是，历史反馈记录能够表征用户所喜欢的关心方式，例如语音问候、弹窗提醒或音乐节目等。
114.从而，根据用户的历史反馈记录，可以确定用户更喜欢的关心交互方式。例如，若用户经常反馈“为我播放一首歌”，则确定交互方式为“播放音乐”。此外，还可以根据用户的历史反馈记录，确定是否启动交互，以减少对用户形成干扰。例如，用户经常反馈“谢谢，不需要”，则停止启动交互，以免干扰用户。
115.在此实施例中，根据历史反馈记录，确定交互方式，使得关怀服务更加人性化，能够不断升级，提供更好的产品体验和服务。
116.综上所述，本技术实施例提供的交互控制方法，首先，获取图像集，该图像集包括由清洁机器人在预设时间(例如连续几天)内对其所在环境进行采集得到的图像。对该图像
集中图像进行识别，确定环境相比其标准状态的脏乱变化度。基于脏乱变化度，确定是否发生异常状态(例如，用户忙碌或者情绪低落等)。若发生异常状态，则控制清洁机器人主动启动交互动作。
117.在此实施例中，通过对环境地面进行视觉监测，收集能够反映环境地面脏乱变化度的图像集。对图像集进行识别处理，提取出反映脏乱变化度的关键数据(例如垃圾数量、物品摆放凌乱程度等)，对这些关键数据进行综合分析，在确定发生异常状态的情况下，控制清洁机器人启动交互动作，以提供人性化关怀服务，例如，通过语音问候或app弹窗提醒等交互方式，问候用户是否需要清洁，提供安慰鼓励，或，提醒用户清理物品等。
118.本技术实施例还提供了一种电子设备，请参阅图4，图4是本技术实施例提供的一种电子设备的硬件结构示意图。在一些实施例中，该电子设备是清扫机器人。在一些实施例中，该电子设备也可以是与清扫机器人通信连接的智能设备，例如服务器等。
119.如图4所示，该电子设备300包括通信连接的至少一个处理器301和存储器302(图4中以总线连接、一个处理器为例)。
120.其中，处理器301用于提供计算和控制能力，以控制电子设备300执行相应任务，例如，控制电子设备300执行上述任一方法实施例中的交互控制方法，该方法包括：获取图像集，该图像集包括由清洁机器人在预设时间(例如连续几天)内对其所在环境进行采集得到的图像。对该图像集中图像进行识别，确定环境相比其标准状态的脏乱变化度。基于脏乱变化度，确定是否发生异常状态(例如，用户忙碌或者情绪低落等)。若发生异常状态，则控制清洁机器人主动启动交互动作。
121.在此实施例中，通过对环境地面进行视觉监测，收集能够反映环境地面脏乱变化度的图像集。对图像集进行识别处理，提取出反映脏乱变化度的关键数据(例如垃圾数量、物品摆放凌乱程度等)，对这些关键数据进行综合分析，在确定发生异常状态的情况下，控制清洁机器人启动交互动作，以提供人性化关怀服务，例如，通过语音问候或app弹窗提醒等交互方式，问候用户是否需要清洁，提供安慰鼓励，或，提醒用户清理物品等。
122.处理器301可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)、硬件芯片或者其任意组合；还可以是数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、可编程逻辑器件(programmable logic device，pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device，cpld)，现场可编程逻辑门阵列(field-programmable gate array，fpga)，通用阵列逻辑(generic array logic，gal)或其任意组合。
123.存储器302作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本技术实施例中的交互控制方法对应的程序指令/模块。处理器301通过运行存储在存储器302中的非暂态软件程序、指令以及模块，可以实现上述述任一方法实施例中的交互控制方法，为避免重复，这里不再赘述。
124.具体地，存储器302可以包括易失性存储器(volatile memory，vm)，例如随机存取存储器(random access memory，ram)；存储器302也可以包括非易失性存储器(non-volatile memory，nvm)，例如只读存储器(read-only memory，rom)，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)或其他非暂
态固态存储器件；存储器302还可以包括上述种类的存储器的组合。
125.在本技术实施例中，存储器302还可以包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
126.在本技术实施例中，电子设备300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，电子设备300还可以包括其他用于实现设备功能的部件，在此不做赘述。
127.本技术实施例还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的交互控制方法。例如，该计算机可读存储介质可以是只读存储器(read-only memory,rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-only memory，cdrom)、磁带、软盘和光数据存储设备等。
128.本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括一条或多条程序代码，该程序代码存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该程序代码，处理器执行该程序代码，以完成上述实施例中提供的交互控制方法的方法步骤。
129.需要说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
130.通过以上的实施方式的描述，本领域普通技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存储记忆体(random access memory,ram)等。
131.最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；在本技术的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本技术的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种交互控制方法，其特征在于，包括：获取图像集，所述图像集包括由清洁机器人在预设时间内对其所在环境进行采集得到的图像；识别所述图像集中图像，确定所述环境相比其标准状态的脏乱变化度；基于所述脏乱变化度，确定是否发生异常状态；若发生异常状态，则控制所述清洁机器人启动交互动作。2.根据权利要求1所述的方法，其特征在于，识别所述图像集中图像，确定所述环境相比其标准状态的脏乱变化度，包括：对所述图像集中的图像进行语义识别，确定所述环境在当前状态下的物品情况；将所述环境在当前状态下的物品情况与其在标准状态下的物品情况进行对比，确定所述环境相比其标准状态的脏乱变化度。3.根据权利要求2所述的方法，其特征在于，所述物品情况包括地面垃圾的种类、数量，日常用品的位姿、数量，或，家具的位姿。4.根据权利要求3所述的方法，其特征在于，所述将所述环境在当前状态下的物品情况与其在标准状态下的物品情况进行对比，确定所述环境相比其标准状态的脏乱变化度，包括：分别对所述当前状态下和所述标准状态下的物品情况进行统计，确定异常数量以作为所述脏乱变化度，其中，所述异常数量包括垃圾的增长数量，日常用品的增长数量、发生位姿变化的数量，或，家具发生位姿变化的数量。5.根据权利要求4所述的方法，其特征在于，基于所述脏乱变化度，确定是否发生异常状态，包括：根据所述异常数量、所述异常数量超过数量阈值的持续时间和所述异常数量的变化趋势，确定是否发生异常状态。6.根据权利要求5所述的方法，其特征在于，所述根据所述异常数量、所述异常数量超过数量阈值的持续时间和所述异常数量的变化趋势，确定是否发生异常状态，包括：对所述异常数量、所述持续时间和所述变化趋势进行加权处理，得到异常分数；若所述异常分数大于或等于分数阈值，则确定发生异常状态。7.根据权利要求1所述的方法，其特征在于，所述控制所述清洁机器人启动交互动作，包括：控制所述清洁机器人发起语音问候或控制与所述清洁机器人关联的应用程序发起弹窗提醒；或，调用音频数据，控制所述清洁机器人播放所述音频数据。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：根据历史反馈记录，确定交互方式。9.一种电子设备，其特征在于，包括：至少一个处理器；与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如权利要求1-8任一项所述的交互控制方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机设备执行如权利要求1-8任一项所述的交互控制方法。

技术总结
本申请实施例涉及机器人技术领域，公开了一种交互控制方法及电子设备，首先，获取图像集，该图像集包括由清洁机器人在一段时间(例如连续几天)内对其所在环境进行采集得到的图像。对该图像集中图像进行识别，确定环境相比其标准状态的脏乱变化度。基于脏乱变化度，确定是否发生异常状态(例如，用户忙碌或者情绪低落等)。若发生异常状态，则控制清洁机器人主动启动交互动作。在此实施例中，通过对环境地面进行视觉监测，在确定发生异常状态的情况下，控制清洁机器人启动交互动作，以提供人性化关怀服务，例如，通过语音问候或app弹窗提醒等交互方式，问候用户是否需要清洁，提供安慰鼓励，或，提醒用户清理物品等。提醒用户清理物品等。提醒用户清理物品等。


技术研发人员：杨双喜 杨阳 任娟娟 劳鹏飞 叶力荣
受保护的技术使用者：深圳银星智能集团股份有限公司
技术研发日：2023.07.04
技术公布日：2023/10/15