用于使用人工智能技术在IOT环境中执行任务的方法和系统与流程

用于使用人工智能技术在iot环境中执行任务的方法和系统
技术领域
1.本公开涉及iot环境，并且特别涉及ai在iot环境中的利用。


背景技术：

2.如智能冰箱、智能电视(tv)、智能扬声器等数字电器可以使用语音个人助理(voice personal assistant，vpa)来与用户交互并回答他们的命令。对于所分配的任务，vpa设备可以经由通过文本到语音(text to speech，tts)生成系统生成的语音来响应用户。
3.目前，现有技术的vpa设备可以不考虑用户是否听到了响应。此外，可能会有这样的情况，在任务执行过程中需要另外的用户响应和指令以便进行进一步的工作，如在微波炉中烤蛋糕。当用户没有听到来自vpa设备的响应时，这通常可能导致混淆。例如，vpa设备可能已经向用户提供了响应，而用户可能认为vpa设备仍在处理任务。


技术实现要素：

4.技术问题
5.更具体地，当用户向任何一个vpa设备分配任务时，该vpa设备可以在完成任务之后向用户提供响应并结束任务，而不实际考虑用户是否听到了响应。这可能导致用户由于不在vpa设备附近或忙于其他任务而无法听到响应的情形。用户可能继续等待来自vpa设备的响应，甚至不知道任务已经完成，这至少可能降低用户的信心和针对重要任务而言vpa设备的可靠性。
6.在示例场景1中，用户可以向vpa设备指示“让我知道宝宝什么时候醒”。用户可能有两个智能设备，例如扬声器和移动电话。两个设备可以通过云计算/边缘计算进行连接。当宝宝醒来时，vpa设备向扬声器和移动电话这两个智能设备中的至少一个提供“宝宝已经醒了”的响应。用户不在接收来自vpa设备的响应的智能设备邻近。由于用户不在附近，用户错过了响应。vpa设备在不考虑设备类型的情况下提供了响应，而是在不考虑用户邻近的情况下发送响应。
7.在其他的示例场景2中，用户在家通过洗衣机洗衣服。用户将衣服放入洗衣机，然后去另一房间看电视。洗衣机遇到某一错误。洗衣机开始发出蜂鸣声，并且当用户不在机器附近时通过在屏幕上显示错误代码来指示存在某一问题。用户在两个小时之后回来，希望看到所有工作都完成，然而却失望了。总的来说，由于用户在洗衣机附近，错过了响应。用户可能希望从最近的设备(诸如电视)接收响应，使得可以修复错误。简而言之，vpa设备在不对设备类型和用户位置进行任何考虑的情况下做出响应。
8.需要一种可以在各种可能的场景中促进去往用户的响应通信的vpa设备。
9.具体来说，需要一种在可能的场景当中选择最佳场景的设施。
10.问题解决方案
11.本公开涉及一种用于使用人工智能(ai)技术在iot环境中执行任务的方法。该方
法包括：接收与用户相关的至少一个当前任务；基于预定义标准从至少一个当前任务中识别与至少一个当前任务相关联的类型和与至少一个当前任务相关联的优先级级别；基于ai模型生成iot环境内的用户偏好、用户位置、关于用户的设备使用历史以及针对用户的当前活动设备列表中的至少一个的相关性；以及基于相关性并且基于至少一个当前任务的类型或至少一个当前任务的优先级级别中的至少一个来识别用于传送任务执行状态的至少一个设备。
12.本公开涉及一种用于使用人工智能(ai)技术在iot环境中执行任务的方法，包括：接收与用户相关的至少一个当前任务；基于预定义标准从至少一个当前任务中识别至少一个当前任务的类型和与至少一个当前任务相关联的优先级级别；基于ai模型生成iot环境内的用户偏好、用户位置、设备使用历史以及设备当前操作状态中的至少一个的相关性；基于至少一个相关性，基于至少一个当前任务的类型或至少一个当前任务的优先级级别中的中的至少一个，识别用于传送任务执行状态的模式列表；在与模式列表内的一个或多个模式相关联的第一设备上提供任务执行状态；在预定义持续时间内检测来自用户的关于从第一设备提供的任务执行状态的未应答；以及在预定义持续时间之后，在与模式列表内的一个或多个模式相关联的第二设备上提供任务执行状态。
13.发明的有益效果
14.为了进一步阐明本公开的优点和特征，将参考附图中示出的本公开的具体实施例来对本公开进行更具体的描述。应当理解，这些附图仅描绘了本公开的典型实施例，因此不应被认为是对其范围的限制。将结合附图以附加的特征和细节来描述和解释本公开。
附图说明
15.当参考附图阅读以下详细描述时，本公开的这些和其他特征、方面和优点将变得更好理解，在所有附图中，相同的字符表示相同的部分，附图中：
16.图1示出了根据本公开的实施例的用于使用人工智能(ai)技术在iot环境中执行任务的方法；
17.图2示出了根据本公开的另一实施例的用于使用人工智能(ai)技术在iot环境中执行任务的方法；
18.图3示出了根据本公开的另一实施例的任务生成过程；
19.图4示出了根据本公开的实施例的执行图3的过程的任务生成器的结构；
20.图5示出了根据本公开的另一实施例的任务验证过程；
21.图6示出了根据本公开的实施例的设备和通知调度器的结构；
22.图7示出了根据本公开的实施例的图6的扩展结构，包括设备和通知调度器、任务终止标志生成器以及具有退避计时器的事件通知；
23.图8示出了根据本公开的另一实施例的包括应答检测器的图7的扩展结构；
24.图9示出了根据本公开的另一实施例的iot设备列表；
25.图10示出了根据本公开的另一实施例的借助于远程服务器服务的用户位置检测和事件通知的程序；
26.图11示出了根据本公开的另一实施例的计算机系统形式的系统的典型硬件配置。
具体实施方式
27.此外，本领域技术人员将会理解，附图中的元件是为了简单起见而示出的，并且可能不一定是按比例绘制的。例如，流程图根据所涉及的最显著的步骤来说明该方法，以帮助提高对本公开的各方面的理解。此外，就设备的构造而言，设备的一个或多个组件可能已经在附图中由常规符号表示，并且附图可以仅示出与理解本公开的实施例相关的那些具体细节，以便不会使受益于本文描述的本领域普通技术人员将容易明白的细节模糊了附图。
28.在开始下面的“具体实施方式”之前，阐述贯穿本专利文档使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”及其派生词意味着没有限制的包含；术语“或”是包含性的，意味着和/或；短语“与
……
相关联”和“与其相关联”及其派生词可能意味着包括、被包括在
……
内、与
……
互连、包含、被包含在
……
内、连接到
……
或与
……
连接、耦合到
……
或与
……
耦合、可与
……
通信、与
……
合作、交错、并置、与
……
接近、结合到
……
或与
……
结合、具有、具有
……
的特性等；术语“控制器”是指控制至少一个操作的任何设备、系统或其一部分，这样的设备可以用硬件、固件或软件或其中至少两者的某种组合来实施。应当注意，与任何特定控制器相关联的功能可以是集中式的或分布式的，无论是本地的还是远程的。
29.此外，下面描述的各种功能可以由一个或多个计算机程序实施或支持，其中每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、程序、功能、对象、类、实例、相关数据或其适于以合适的计算机可读程序代码实施的一部分。短语“计算机可读程序代码”包括任何类型的计算机代码，包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够由计算机访问的任何类型的介质，诸如只读存储器(read only memory，rom)、随机存取存储器(random access memory，ram)、硬盘驱动器、压缩光盘(compact disc，cd)、数字视频光盘(digital video disc，dvd)或任何其他类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性的电信号或其他信号的有线、无线、光学或其他通信链路。非暂时性计算机可读介质包括可以永久存储数据的介质和可以存储数据并在以后重写的介质，诸如可重写光盘或可擦除存储设备。
30.在本专利文档中提供了对某些词语和短语的定义，本领域普通技术人员应当理解，在许多情况下(如果不是大多数情况下的话)，这样的定义适用于这样定义的词语和短语的先前的以及将来的使用。
31.下面讨论的图1至图11以及在本专利文档中用于描述本公开的原理的各种实施例仅仅是说明性的，而不应以任何方式解释为限制本公开的范围。本领域技术人员将理解，本公开的原理可以在任何适当布置的系统或设备中实施。
32.为了促进对本公开的原理的理解，现在将参考附图中示出的实施例，并且将使用特定的语言来描述该实施例。然而，应当理解，由此并不意味着限制本公开的范围，在所示系统中的这种改变和进一步的修改以及其中所示的本公开的原理的这种进一步的应用被认为是本公开所涉及领域的技术人员通常会想到的。
33.本领域技术人员将会理解，前面的总体描述和下面的详细描述是对本公开的解释，而不是对本公开的限制。
34.在整个说明书中，对“一个方面”、“另一方面”或类似语言的引用意味着结合实施
例描述的特的定特征、结构或特性被包括在本公开的至少一个实施例中。因此，在整个说明书中出现的短语“在一个实施例中”、“在另一实施例中”和类似语言可以但不一定都指相同实施例。
35.术语“包括”、“包含”或其任何其他变体旨在涵盖非排他性的包含，使得包括一系列步骤的过程或方法不仅包括那些步骤，还可以包括未明确列出的或者这种过程或方法所固有的其他步骤。类似地，以“包括”开头的一个或多个设备或子系统或元件或结构或组件，在没有更多约束的情况下，不排除其他设备或其他子系统或其他元件或其他结构或其他组件或附加设备或附加子系统或附加元件或附加结构或附加组件的存在。
36.除非另有定义，否则本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常理解的相同的含义。本文提供的系统、方法和示例仅是说明性的，而不是限制性的。
37.图1示出了根据本公开的实施例的用于使用人工智能(artificial-intelligence，ai)技术在iot环境中执行任务的方法。
38.参考图1，步骤102可以对应于由任务生成器基于接收到与用户相关的至少一个当前任务的任务生成和/或任务验证。识别至少一个接收的当前任务可以包括使用预定义标准将至少一个当前任务分类为至少一个当前任务的类型和至少一个当前任务的优先级级别中的至少一个。可以创建至少一个被分类的当前任务的储存库，以便能够识别至少一个当前任务。在一个示例中，至少一个当前任务的类型可以由即时项(instant term)、短期项(short term)、长期项(long term)、连续项(continuous term)和重叠项(overlapping term)中的一个或多个来定义。然而，本公开也可以被解释为覆盖其他形式的任务。
39.至少一个当前任务的优先级级别可以与任务执行状态的传送后等待用户应答的持续时间相关。这种相关可以由具有关键级别、高级别中的一个或多个的短持续时间，具有高级别的中等大小持续时间中的一项或多项来定义。至少一个当前任务的优先级级别也可以帮助由任务终止标志生成器执行的决策制定，使得对于更高优先级的任务，标志可以长时间保持为假。至少一个当前任务的优先级级别可以至少基于以下各项而促进向用户发送应答：
40.a)如果优先级是关键，则vpa设备将等待的持续时间可能很短。vpa设备可以更快地进行重试以应答用户，以及
41.b)可以向用户进行告知的设备的数量，例如，对于诸如事故的关键优先级，可以一起通知用户的家庭成员，而不是一次通知一个。
42.至少一个当前任务的类型可以与至少一个当前任务的优先级级别进行映射，例如，长期项任务可以涉及关键级别或高级别，短期项任务和/或即时任务可以涉及高级别或普通级别中的一个或多个，并且连续和重叠任务可以涉及高级别或普通级别。
43.在基于火警的任务生成的情况下，用户可以对vpa(例如，bixby)说让他知道何时有火警。vpa可以将该信息发送到调度器(例如，图5中的设备和通知调度器506)。
44.步骤104可以对应于设备和通知调度器，并且可以涉及基于如步骤102中解释的预定义标准从至少一个接收的当前任务中识别与至少一个当前任务相关联的类型和与至少一个当前任务相关联的优先级级别。在基于火警的任务作为任务分类器结果的一部分的情况下，基于火警的任务被分类为长期项任务。作为任务优先级分类器的结果，基于火警的任
务可以被记录为最高优先级任务，并且可能需要用户应答。任务数据库可以记录火警事件，其中给用户的检测和信息可以被记录为最高优先级。
45.步骤106可以对应于将至少一个当前任务分配给vpa设备，并且可以包括ai模型(即图6中的设备偏好分析器606)，ai模型用于生成iot环境内的用户偏好、用户位置、与用户相关的设备使用历史以及针对用户的当前活动设备列表中的一个或多个的相关性。
46.在一个实施方式中，设备使用历史的相关性是基于通过实时捕捉与设备相关的用户交互和活动的设备偏好的计算。用户位置、针对用户的当前活动设备列表和用户偏好中的一个或多个的相关性包括捕捉以下中的一项或多项：针对特定设备提交的用户偏好、通过设备使用的当前用户活动检测、以及任务完成后计算的对特定设备的用户偏好。在一个示例中，vpa将任务分配给至少一个vpa设备(诸如扬声器、移动电话、可佩戴设备等)，用于检查设备优先级和任务类别。
47.步骤108可以涉及vpa设备提供响应。本步骤可以涉及基于一个或多个相关性，基于至少一个当前任务的类型或至少一个当前任务的优先级级别中的至少一个，识别用于传送任务执行状态的至少一个vpa设备。识别至少一个vpa设备还基于以下参数中的一个或多个：用户位置、设备使用历史、设备当前操作状态和用户偏好。对用于传送任务执行状态的至少一个vpa设备的识别可以由设备和通知调度器基于查明处于活动或非活动状态的任务终止标志并由此确定来自用户的应答的未决状态来执行。当标志为假时，则可以发送应答。基于查明状态，将任务执行状态作为任务通知来传送，所述传送通过选择通信模式来使能。在一个示例中，当火警响起时，诸如lux设备的vpa设备可以提供响应“起火了，起火了”。
48.步骤110可以对应于是否接收到来自用户的应答。在接收到应答的情况下，条件110a可能发生，并且过程可能结束。在一个示例中，用户可以在vpa设备(例如，使用触摸模式的可佩戴设备)上给出应答，并且可佩戴设备可以发送任务完成的信息。
49.否则，在未接收到的情况下以及在与当前设备相关的退避时间期满的情况下，条件110b可能发生，并且控制可以转移到步骤112。更具体地，当在预定义持续时间内检测到来自用户的关于从vpa设备提供的任务执行状态的未应答时，条件110b可能发生。例如，用户可能直到退避时间(10秒钟)才会利用任一模式来发送应答，vpa可以将该信息作为条件110b的一部分发送到设备通知调度器。
50.步骤112可以对应于可选地周期地重复任务执行状态的所述传送，并且已经在图2中进行了进一步解释。这样的重复的传送可以通过不同的通信模式来重新排序(resort)，并且此后步骤108和110可以重复以按照步骤112通过新识别的vpa设备来传送任务执行状态。在一个示例中，步骤112可以对应于用于将在预定义持续时间之后从生成的列表中提供任务执行状态的新vpa设备列入候选列表的决策。
51.图2示出了根据本公开的另一实施例的用于使用人工智能(ai)技术在iot环境中执行任务的方法。
52.参考图2，步骤202可以对应于从任务生成器收集关于至少一个当前任务的信息，并将其发送到设备通知调度器，从而对应于图1的步骤102。
53.步骤204可以对应于基于一个或多个相关性，基于至少一个当前任务的类型或至少一个当前任务的优先级级别中的至少一个，识别用于传送任务执行状态的模式列表。这至少基于从至少一个vpa设备收集信息或数据。例如，捕捉来自所有vpa设备的数据以进行
决策制定，诸如a)来自可佩戴设备的数据，如位置、心跳、脉搏率和活动状态，b)来自移动电话的数据，如上次活动、位置和当前用户参与，以及c)来自lux、电视、烤箱和洗衣机的其他数据。
54.步骤206可以对应于检查设备偏好，如在图5、图6和图7的描述中进一步解释的。相应地，基于在步骤204中收集的数据和设备偏好，可以选择新的vpa设备(与在图1的步骤108中选择的vpa设备相比而言)来传送任务执行状态。在一个示例中，vpa可以从智能物品检查设备信息，并且获得设备偏好。例如，当在移动电话上执行通知时，vpa可以选择可佩戴设备，并且可以检查任务终止标志。
55.步骤208可以对应于查明任务终止标志是活动的还是不活动的，如在图5、图6和图7的描述中进一步解释的。在标志为不活动的情况下，过程可以结束。在标志被设置为活动的情况下，则控制可以转移到步骤210。在标志为假的情况下，vpa可以通过vpa设备向用户发送通知。
56.步骤210可以涉及vpa设备提供响应。在步骤210，在步骤206中被列入候选列表的新vpa设备可以被允许传送任务执行状态，并且控制流程可以移回图1的步骤108。
57.图3示出了根据本公开的另一实施例的任务生成过程。图3可以对应于图1的步骤102。
58.参考图3，基于用户的语音命令、文本命令或基于事件的触发中的至少一个，自然语言处理(natural language processing，nlp)系统301可以生成至少一个任务。任务生成器302可以提供应用编程接口(application programming interface，api)来添加、更新和删除至少一个生成的任务。至少一个生成的任务的优先级和类型可以通过语音命令、文本命令或触摸命令来更新。至少一个生成的任务的优先级和类型可以帮助决策通知尝试和退避持续时间。对至少一个生成的任务的确认通过自然语言生成器304被发送到用户。
59.任务数据库或任务db 303可以具有用户已经创建的所有任务。作为关键任务的示例，多个vpa设备可以一起用于通知，并且在多次重试的情况下，退避时间可能很小。
60.图4示出了根据本公开的实施例的图3的任务生成器302的结构。任务生成器302可以收集从用户接收的关于任务的所有信息，并且可以将该信息发送到设备和通知调度器，如稍后在图5中所描绘的。
61.任务生成器302可以包括呈现用户可以将任务分配给vpa的不同方式的任务接口402。任务接口402可以包括向vpa设备给出指令以将任务委托给其他设备。模式可以是语音命令、文本命令、基于ui的选项选择等。
62.任务生成器302还可以包括用于取决于用户给出的任务类型对任务进行分类的任务分类器404。长期项任务可以包括紧急情况，如火灾和事故。短期项任务可以包括短时间段内的任务，如安排约会、宝宝啼哭和航班提醒。连续任务可以包括在某一段时间之后需要人工干预的情况，如在烤箱中烤蛋糕。即时任务可以包括来自vpa的查询、播放音乐、设置闹钟、给朋友打电话。重叠任务可以包括所有同时发生的那些任务，并且vpa设备可以取决于任务的优先级而向用户提供响应。
63.任务分类器404总体上可以概括如下：
64.【表1】
[0065][0066][0067]
任务生成器302还可以包括可以是基于机器学习/强化学习的模型的优先级分类器406，其可以将优先级分配给任务、优先于提醒的示例事故、优先于航班提醒的火警。该模型可以取决于用户的偏好随着时间的推移而不断学习。优先级分类器406可以包括：
[0068]
a)优先级预测：可以检查任务信息，并且可以取决于所调度的以及正在执行的任务来预测任务信息的优先级。
[0069]
b)优先级分配器：可以将优先级分配给任务，并且可以将该信息发送到任务生成器302。
[0070]
优先级分类器406可以具有如下三种取决于优先级的不同模式。
[0071]
a)关键模式：该模式可以具有最高优先级。该模式的退避时间可以非常短。在该模式下，用户可以在多个设备上同时获得响应。
[0072]
b)高模式：该模式可以具有中等优先级，并且可以包括重要任务。在该模式下，退避时间可以高于关键模式，并且响应可以一次向一个设备发送。
[0073]
c)普通模式：该模式可以具有最低优先级，并且该模式的退避时间可以很长。在该模式下，任务可以在尝试两三次应答之后在甚至没有应答的情况下被挂起。
[0074]
优先级分类器406总体上可以概括如下：
[0075]
【表2】
[0076]
[0077][0078]
图5示出了根据本公开的另一实施例的任务验证过程。图5可以对应于图1的步骤102。
[0079]
参考图5，基于用户的语音命令、文本命令或基于事件的触发，nlp 502系统可以生成至少一个任务。当任务验证器504能够访问图3的任务db 303时，任务验证器504可以相应地检查和验证至少一个生成的任务。如果没有找到至少一个生成的任务，则可以进行常规执行。
[0080]
如果在图3的任务db 303中找到至少一个生成的任务，则任务验证器504可以向设备和通知调度器506提供任务信息，诸如至少一个生成的任务的优先级级别、至少一个生成的任务的类型、偏好，这稍后将在图6中详细描述。任务验证器504可以相应地仅在用户具有真实请求时才充当初始化器，否则任务验证器504不会触发系统。
[0081]
图6示出了根据本公开的实施例的设备和通知调度器506的结构。图6可以对应于图1的步骤104和106。
[0082]
设备和通知调度器506的结构可以包括云服务器或远程服务器，其可以是能够帮助获得设备操作状态和能力的基于边缘的、基于设备的或基于云的服务。在一个示例中，服务器可以是智能物品服务服务器602。智能物品服务服务器602可以包含用户及其所有设备的信息。该信息可以包括最近活动的设备、活动的设备、设备模式(诸如支持vpa)、ui设备、设备在家中的位置等。设备和通知调度器506使用该信息来决策设备、模式和退避时间。例如，如果扬声器正在播放音乐或电视正在播放，那么用户显然正在使用它。如果可佩戴设备是不活动的，那么用户没有佩戴它，等等。
[0083]
设备和通知调度器506的结构还可以包括设备偏好模块604，在其中，用户可以基于任务来设置偏好设备。设备偏好模块604可以通过实时记录用户交互和活动来动态地存储用户偏好。示例是针对紧急sos情况用途的移动呼叫，针对家庭火警用途的用于大声播放消息的扬声器，针对简单的任务，如当完成1万步时进行告知、会议提醒用途的可佩戴设备通知等。
[0084]
设备和通知调度器的结构506还可以包括设备偏好分析器606，设备偏好分析器606可以计算用户在任务完成后对特定设备的偏好以及用户是否成功应答了设备响应。设备偏好分析器606可以使用设备偏好信息、用户偏好和用户活动检测，并且可以向设备和通知调度器506给出偏好设备列表。
[0085]
设备偏好分析器606可以分析用户偏好。对于许多任务，可以设置一个/多个目标用户(他自己和其他人)，例如，“当我到达办公室时通知我的妻子”、“如果我发生事故，就紧急告知我的妈妈、爸爸和妻子”、“蛋糕烤好了告知我”等等。如果目标用户是残疾人，那么可以基于用户来决定用于事件通知的设备。对于盲人而言，偏好语音响应。对于聋人而言，偏好基于ui的通知。
[0086]
设备偏好分析器606还可以分析用户活动检测。用户的当前活动可以帮助确定通知的最佳模式。如果用户的gps位置不在家，则移动电话和/或可佩戴设备可以用作第一偏好。如果用户在办公室，则使用移动电话、可佩戴设备和/或办公室设备(诸如膝上型电脑)来告知用户。如果用户在家，则可以通过正在进行操作的设备的状态(例如，电视播放、音乐、卧室中的ac等)以及智能(诸如，用户对vpa设备的上次语音命令、用户的移动电话、可佩戴设备使用等)来检测用户的位置。示例用户活动检测可以如下所述：
[0087]
移动呼叫：0.6
[0088]
移动消息：0.2
[0089]
电视弹窗：0.1
[0090]
可佩戴设备振动：0.09
[0091]
扬声器火灾声：0.01
[0092]
设备和通知调度器506可以考虑任务的优先级级别、任务的类型以及来自设备偏好分析器606的偏好设备列表和iot设备状态作为输入。作为输出，设备和通知调度器506可以创建可以向目标用户进行通知的模式列表。每个模式可以具有退避计时器和可能的应答接收模式，可以通过应答接收模式来决策用户是否已经成功地应答了响应。在一个示例中，对于诸如移动呼叫之类的模式，将退避时间选择为30秒钟。
[0093]
图7示出了根据本公开的实施例的图6的扩展结构，包括设备和通知调度器506、任务终止标志生成器702和具有退避计时器的事件通知704。图7可以对应于步骤108。
[0094]
设备和通知调度器506可以具有可以向用户进行告知的模式列表。使用来自智能物品的iot设备状态，可以更新每个模式的概率。例如，如果一些设备离线，则可以移除它们，如果一些设备是不活动的，则可以给它们分配较低的概率，而如果一些设备最近被使用或者是活动的，则可以给它们分配较高的概率。毕竟，可以准备最终模式列表的列表。设备和通知调度器506可以选取最偏好的模式，并且可以向用户的设备发送事件通知。
[0095]
任务终止标志生成器702可以将任务终止标志设置为活动或不活动：如果任务已经完成或者已经被通知给用户但是没有被用户多次应答，则该任务可能受制于任务的性质而被终止。如果用户应答，则标志可以被设置为不活动，并且不会向用户发送进一步的事件通知。
[0096]
对于关键任务，直到接收到来自用户的应答，标志才可以被重置为不活动，例如紧急sos任务。对于普通任务，如果用户在两次或三次事件通知中没有应答，那么标志可以被设置为不活动，并且不会发送进一步的事件，从而不会打扰用户。该标志的至少一个优点在
于，它可以帮助确保预期的用户接收到事件通知。作为关键任务的示例，可以计算模式，并且可以使用一个或多个设备来发送多个事件通知，直到接收到应答。
[0097]
总的来说，在接收到来自用户的应答、经过了动态配置的时间以及某一次数的任务执行状态的传送尝试的出现时，可以将该标志设置为不活动。
[0098]
可以通过基于任务的优先级级别、任务的性质和用于传送任务的vpa设备来计算所述传送的所述重复的时段，从而定义退避时间，所述时段表示响应于向用户传送任务执行状态而等待来自用户的应答的时间。退避时间可以表示应答检测器(参见图8)等待来自用户的响应的时间。退避时间可以取决于任务的性质、分配了退避时间的vpa设备以及任务的优先级级别。作为关键任务的示例，退避时间可以更短，使得可以尝试下一组事件通知，并且可以对用户进行应答。对于普通任务，退避时间可以很长。对于具有音频回放事件通知的vpa设备(诸如扬声器)，退避时间可以更短，因为在音频响应之后，用户应当立即进行应答。对于具有基于ui的事件通知的vpa设备(诸如移动电话、电视等)，退避时间可以更长，因为用户可以在更长时间内看到事件。退避时间可以通过事件通知704来计算。
[0099]
图8示出了根据本公开的另一实施例的包括应答检测器802的图7的扩展结构。
[0100]
应答检测器802可以等待来自用户的应答，直到经过了计算的时段，并且在来自用户的否定应答的情况下，可以通过对不同的通信模式重新排序来重复对任务执行状态的所述传送。应答检测器802可以将任务终止标志使能为不活动，以在接收到应答时中断进一步的通信。任务执行状态的用户应答可以通过语音响应、姿势、ui交互等中的一个或多个来接收。
[0101]
一旦事件通知被发送到用户的设备，该事件就可以在基于ui的设备中显示为通知，并且音频响应可以在vpa设备中播放。可以向移动电话进行呼叫，并且可以在用户上次活动的应用上向用户发送消息。
[0102]
用户可以用以下任一方式对响应进行应答：
[0103]
用户可以回复“嗨，谢谢”、“嗨，好的，我会检查”、“嗨，我会采取必要的动作”等等。nlp系统可以判断用户是否已经针对任务进行了应答。用户可以通过点击来自通知/弹窗等的ui选项、通过滑动通知或者通过点击ok按钮来进行应答。如果事件是通过消息传送接收的，用户可以通过文本命令来进行应答。用户可以通过诸如竖起大拇指、点头等姿势来应答事件。这些可以被相机检测到。
[0104]
应答检测器802可以等待检测，直到退避计时器期满。如果用户这次没有应答，则应答检测器802可以告知设备和通知调度器506要更新模式列表，并且可以开始下一组事件通知。如果应答检测器802检测到用户的应答，那么应答检测器802可以告知设备和通知调度器506要设置任务终止标志，并且可以停止发送进一步的事件通知。
[0105]
设备和通知调度器506总体上可以概括如下：
[0106]
【表3】
[0107]
[0108][0109]
退避时间分析器总体上可以概括如下：
[0110]
【表4】
[0111][0112]
应答检测器802总体上可以概括如下：
[0113]
【表5】
[0114][0115]
总的来说，鉴于前面的描述，本公开可以概括如下：a)可以通过任务接口402将任务分配给vpa。b)任务分类器404可以将任务分类到子类别。
[0116]
c)优先级分类器406可以取决于vpa已经在执行哪些其他任务以及哪些任务被调度用于稍晚时间来为任务分配优先级。
[0117]
d)已经根据基于设备偏好分析器604的用户设备偏好将事件分配给特定的vpa。
[0118]
e)vpa设备通过设备和通知调度器506可以处理任务，可以向用户提供响应，并且可以等待退避时间以获得应答。
[0119]
f)应答检测器802可以接收应答，vpa可以结束任务。
[0120]
g)在应答检测器802没有接收到应答的情况下，vpa设备可以将该信息发送到设备和通知调度器506。
[0121]
h)设备和通知调度器506可以指示没有接收到应答并且应答是未决的。
[0122]
i)设备和通知调度器506可以从云服务收集信息，并且通过任务终止标志生成器702来传递该信息。
[0123]
j)任务终止标志生成器702可以检查该标志是否为真。
[0124]
k)任务终止标志生成器702可以使用任务偏好、任务类型，并且可以使用机器学习来决定是继续通过不同方式将该信息发送给用户还是结束任务。
[0125]
l)在任务终止标志为真的情况下，则设备和通知调度器506可以告诉vpa要结束任务。
[0126]
m)在任务终止标志为假的情况下，则设备和通知调度器506可以检查设备偏好，并且可以分配另一设备或相一设备来向用户提供响应。
[0127]
n)vpa可能有各种方式来提供响应。当用户正在观看时在电视上弹出消息，即对可佩戴设备或电话的语音或弹窗通知、对用户的文本消息等等。
[0128]
o)用户可以取决于他的舒适度来使用语音、文本或触摸/点击提供应答。用户可以使用如“谢谢”、“好的”和“我会小心的”这样的短语。
[0129]
p)应答检测器802可以在退避时间内通过各种模式检测用户响应，并且可以将该信息发送给设备。
[0130]
q)可以使用相同的程序，直到任务终止标志为真或者没有接收到应答。
[0131]
图9示出了根据本公开的另一实施例的iot设备列表。图9可以对应于描述针对设备选择和用户位置的用户存在/活动检测的示例场景。
[0132]
在情况1中，当用户不在家时，则使用gps，用户位置可以被认为是不在家、旅行中、漫游中、在办公室等等。诸如移动电话、手表、galaxy buds等设备可以是针对事件通知所偏好的。
[0133]
在情况2中，当用户在家时，则如图9所示，家庭设备可以被分类为固定和移动。如果用户的当前/最近交互是与固定设备进行的，则可以识别该设备的房间。
[0134]
此外，可以从远程服务器或云服务执行对所支持的iot设备的识别。这可以帮助获得设备列表和事件通知能力。
[0135]
图10示出了根据本公开的另一实施例的用于借助于远程服务器服务的用户位置检测和事件通知的程序。
[0136]
基于云服务或远程服务器的服务(诸如智能物品)可以用于获得设备的所有信息及其在房间内的位置。这也可以提供当前或上次的用户与设备的交互，并且可以给予该房间的设备更大的优先权。云服务可以知道设备操作状态是处于空闲模式、工作模式还是关闭模式，这将用于设备的优先级分配。
[0137]
云服务控制可以知道设备的所有功能，因此它可以用于利用设备的最有利模式向用户通知事件。iot设备可以被分类为动态设备和固定设备。动态/移动设备可以包括移动电话、可佩戴设备、清洁器、机器人等。固定/静态设备可以包括电视、洗衣机、智能冰箱(family hub)、冰箱、微波炉等。使用移动设备的gps、通过云服务，可以识别用户的位置。用户位置对于针对事件通知对设备进行优先级排序可能是有用的。如果用户不在家，则固定设备可以被给予非常低的优先级。如果用户在家，则使用智能物品服务，可以找到用户最近与之交互或当前与之交互的设备的位置。
[0138]
如果设备是固定设备，则云可以识别放置该设备的特定房间以及该房间内的所有设备。这些设备可以获得高优先级，并且可以利用设备的有利模式将该事件通知给用户。如果设备是动态设备，则这些设备可以获得更高的优先级，并且可以通知该事件。
[0139]
使用云服务，我们可以知道家庭设备是否具有类似可视智能(安保相机等)和可听/声学场景智能(基于扬声器的音频等的用户存在识别)的系统，这样的系统可以用于确定用户位置并为该房间中的设备提供更高的优先级。
[0140]
接下来的描述以表格形式引用用例如下：
[0141]
下面的表6和表7针对图1的步骤112描绘了示例决策制定参数。
[0142]
【表6】
[0143][0144][0145]
【表7】
[0146][0147][0148]
下面的表8针对图3和图4描绘了用于任务生成的场景和用例。
[0149]
【表8】
[0150][0151][0152]
下面的表9针对图6描绘了基于设备偏好和iot设备操作状态的场景和用例。
[0153]
【表9】
[0154][0155]
下面的表10针对图6描绘了基于用户活动和用户偏好的场景和用例。
[0156]
【表10】
[0157][0158]
下面的示例表11针对图8描绘了基于用户应答的场景和用例。
[0159]
【表11】
[0160]
[0161][0162]
图11示出了根据本公开的另一实施例的计算机系统900形式的系统200的典型硬件配置。计算机系统900可以包括可以被执行以使得计算机系统900执行所公开的任何一种或多种方法的指令集。计算机系统900可以用作独立设备，或者可以例如使用网络连接到其他计算机系统或外围设备。在网络化部署中，计算机系统900可以以服务器的身份操作，或者在服务器-客户端用户网络环境中用作客户端用户计算机，或者在对等(或分布式)网络环境中用作对等计算机系统。计算机系统900也可以被实施为各种设备或在各种设备之间结合，诸如个人计算机(personal computer，pc)、平板pc、个人数字助理(personal digital assistant，pda)、移动设备、掌上计算机、膝上型计算机、台式计算机、通信设备、无线电话、陆线电话、网络电器或能够执行指定该机器要采取的动作的指令集(顺序的或其他的)的任何其他机器。此外，虽然示出了单个计算机系统900，但是术语“系统”也应当被理解为包括单独地或联合地执行一个或多个指令集以执行一个或多个计算机功能的系统或子系统的任何集合。
[0163]
计算机系统900可以包括处理器902，例如中央处理单元(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)或两者。处理器902可以是各种系统中的组件。例如，处理器902可以是标准个人计算机或工作站的一部分。处理器902可以是一个或多个通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列、服务器、网络、数字电路、模拟电路、它们的组合，或者其他现在已知或以后开发的用于分析和处理数据的设备。处理器902可以实施软件程序，诸如手动生成的(即，编程的)代码。
[0164]
计算机系统900可以包括存储器904，诸如可以经由总线908传送的存储器904。存储器904可以包括但不限于计算机可读存储介质，诸如各种类型的易失性和非易失性存储介质，包括但不限于随机存取存储器、只读存储器、可编程只读存储器、电可编程只读存储器、电可擦除只读存储器、闪存、磁带或磁盘、光学介质等。在一个示例中，存储器904包括用于处理器902的高速缓存或随机存取存储器。在替代示例中，存储器904与处理器902分离，诸如处理器的高速缓冲存储器、系统存储器或其他存储器。存储器904可以是用于存储数据的外部存储设备或数据库。存储器904可操作用于存储可由处理器902执行的指令。附图中
示出或描述的功能、动作或任务可以由经编程的处理器902执行，以执行存储在存储器904中的指令。这些功能、动作或任务独立于特定类型的指令集、存储介质、处理器或处理策略，并且可以由软件、硬件、集成电路、固件、微代码等单独地或组合地执行。同样，处理策略可以包括多处理、多任务、并行处理等。
[0165]
如图所示，计算机系统900还可以包括或者可以不包括显示单元910，诸如液晶显示器(liquid crystal display，lcd)、有机发光二极管(organic light emitting diode，oled)、平板显示器、固态显示器、阴极射线管(cathode ray tube，crt)、投影仪、打印机或其他现在已知或以后开发的用于输出确定信息的显示设备。显示器910可以充当用户用来查看处理器902的功能的接口，或者具体充当具有存储在存储器904或驱动单元916中的软件的接口。
[0166]
另外，计算机系统900可以包括输入设备912，输入设备912被配置为允许用户与系统900的任何组件进行交互。计算机系统900还可以包括盘或光驱动单元916。盘驱动单元916可以包括计算机可读介质922，在其中可以嵌入一个或多个指令集924，例如软件。此外，指令924可以体现所描述的一个或多个方法或逻辑。在特定示例中，在计算机系统900运行期间，指令924可以完全或至少部分地驻留在存储器904内或处理器902内。
[0167]
本公开设想了一种计算机可读介质，其可以包括指令924，或者可以响应于传播的信号而接收和执行指令924，使得连接到网络926的设备可以通过网络926传送语音、视频、音频、图像或任何其他数据。此外，指令924可以经由通信端口或接口920或使用总线908在网络926上发送或接收。通信端口或接口920可以是处理器902的一部分，或者可以是单独的组件。通信端口920可以在软件中创建，或者可以是硬件中的物理连接。通信端口920可以被配置为与网络926、外部介质、显示器910或系统900中的任何其他组件或者它们的组合进行连接。与网络926的连接可以是物理连接(诸如有线以太网连接)，或者可以如稍后讨论的那样无线地建立。同样，与系统900的其他组件的附加连接可以是物理连接，或者可以无线地建立。替代地，网络926可以直接连接到总线908。
[0168]
此外，网状网络的多个模块中的至少一个可以通过基于ai的ml/nlp逻辑来实施。与ai相关联的功能可以通过非易失性存储器、易失性存储器和构成第一硬件模块(即，用于基于ml/nlp的机制的专用硬件)的处理器来执行。处理器可以包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器(诸如中央处理单元(cpu)、应用处理器(application processor，ap)等)、图形专用处理单元(诸如图形处理单元(gpu)、可视处理单元(visual processing unit，vpu))和/或ai专用处理器(诸如神经处理单元(neural processing unit，npu))。前述处理器共同对应于处理器。
[0169]
一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(ai)模型来控制对输入数据的处理。通过训练或学习来提供预定义操作规则或人工智能模型。
[0170]
这里，通过学习来提供意味着，通过将学习逻辑/技术应用于多个学习数据，得到了期望特性的预定义操作规则或ai模型。“通过训练获得”意味着，通过借由训练技术利用多条训练数据训练基本人工智能模型来获得被配置为执行期望特征(或目的)的预定义操作规则或人工智能模型。学习可以在执行根据实施例的ai的设备本身中执行，和/或可以通过单独的服务器/系统来实施。
[0171]
ai模型可以由多个神经网络层组成。每一层具有多个权重值，并且通过在前一层的计算结果与多个权重的运算之间的计算来执行神经网络层运算。神经网络的示例包括但不限于卷积神经网络(convolutional neural network，cnn)、深度神经网络(deep neural network，dnn)、递归神经网络(recurrent neural network，rnn)、受限玻尔兹曼机器(restricted boltzmann machine，rbm)、深度信念网络(deep belief network，dbn)、双向递归深度神经网络(bidirectional recurrent deep neural network，brdnn)、生成对抗网络(generative adversarial network，gan)和深度q网络。
[0172]
ml/nlp逻辑是一种用于使用多个学习数据来训练预定目标设备(例如，机器人)以使得、允许或控制目标设备做出确定或预测的方法。学习技术的示例包括但不限于监督学习、非监督学习、半监督学习或强化学习。
[0173]
虽然已经使用了特定的语言来描述本公开，但是并不意图因此而产生任何限制。对于本领域技术人员显而易见的是，可以对该方法进行各种工作修改，以便实施本文教导的发明构思。
[0174]
附图和前面的描述给出了实施例的示例。本领域技术人员将理解，一个或多个所描述的元件可以很好地组合成单个功能元件。替代地，某些元件可以被划分成多个功能元件。来自一个实施例的元件可以被添加到另一实施例中。例如，本文描述的过程的次序可以改变，并且不限于本文描述的方式。
[0175]
此外，任何流程图的动作不需要按照所示的次序来实施；也不一定需要执行所有的动作。此外，那些不取决于其他动作的动作可以与其他动作并行地执行。实施例的范围决不受这些具体示例的限制。无论说明书中是否明确给出，许多变化都是可能的，诸如结构、尺寸和材料使用的不同。实施例的范围至少与所附权利要求给出的范围一样宽。
[0176]
上面已经针对具体实施例描述了益处、其他优点和问题的解决方案。然而，这些益处、优点、问题的解决方案以及可能导致任何益处、优点或解决方案出现或变得更加显著的(多个)任何组件不应被解释为任何或所有权利要求的关键的、需要的或必需的特征或组件。
[0177]
尽管已经用各种实施例描述了本公开，但是本领域技术人员可以想到各种变化和修改。本公开旨在包含落入所附权利要求的范围内的这些变化和修改。

技术特征：
1.一种使用人工智能(ai)技术在iot环境中执行任务的方法，所述方法包括：接收与用户相关的至少一个当前任务；基于预定义标准从所述至少一个当前任务中识别所述至少一个当前任务的类型和所述至少一个当前任务的优先级级别；基于ai模型生成iot环境内的用户偏好、用户位置、关于用户的设备使用历史和针对用户的当前活动设备列表中的一个或多个的相关性；以及基于所述相关性并且基于所述至少一个当前任务的类型和所述至少一个当前任务的优先级级别中的至少一个来识别用于传送任务执行状态的至少一个设备。2.根据权利要求1所述的方法，其中，识别所述至少一个当前任务包括：在历史过去中从用户接收至少一个任务；使用预定义标准将所述至少一个任务分类为所述至少一个任务的类型和所述至少一个任务的优先级级别中的至少一个；以及创建至少一个分类的任务的储存库，以识别所述至少一个当前任务。3.根据权利要求1所述的方法，其中，所述至少一个当前任务的类型由即时项、短期项、长期项、连续项和重叠项中的一个或多个来定义。4.根据权利要求1所述的方法，其中：所述至少一个当前任务的优先级级别与任务执行状态的传送后等待用户应答的持续时间相关，以及所述持续时间由以下中的一项或多项来定义：具有一个或多个关键或高级别优先级的短持续时间；具有高级别优先级的中等大小持续时间；以及具有普通级别优先级的大持续时间。5.根据权利要求1所述的方法，其中，所述至少一个设备还基于以下参数中的一个或多个来识别：用户位置、设备使用历史、设备当前操作状态和用户偏好。6.根据权利要求3所述的方法，其中，所述至少一个当前任务的类型通过以下中的至少一项来与所述至少一个当前任务的优先级级别进行映射：具有一个或多个关键级别优先级或高级别优先级的长期项任务；具有一个或多个高级别优先级或普通级别优先级的短期项任务或即时任务；以及具有高级别优先级或普通级别优先级的连续和重叠任务。7.根据权利要求3所述的方法，其中，设备使用历史的相关性是基于通过实时捕捉针对所述至少一个设备的用户交互和活动的设备偏好的计算。8.根据权利要求3所述的方法，其中：所述一个或多个的相关性包括用户位置和针对用户的当前活动设备列表，并且用户偏好包括捕捉以下中的一项或多项：针对特定设备提交的用户偏好；通过设备使用的当前用户活动检测；以及任务完成后计算的对特定设备计算的用户偏好。9.根据权利要求3所述的方法，其中，识别所述用于传送任务执行状态的至少一个设备包括执行以下步骤：
查明处于活动状态的任务终止标志，并且基于此来确定来自用户的应答的未决状态；基于查明活动状态来执行作为任务通知的对任务执行状态的传送，其中通过选择通信模式来使能传送；周期地重复对任务执行状态的传送，其中通过不同的通信模式对所重复的传送进行重新排序；以及在以下一个或多个情况下将标志设置为不活动：接收到来自用户的应答；经过了动态配置的时间；以及某一次数的任务执行状态的传送尝试的出现。10.根据权利要求9所述的方法，还包括：基于所述至少一个当前任务的优先级级别、所述至少一个当前任务的性质和用于传送所述至少一个当前任务的所述至少一个设备来计算传送的重复的时段，所述时段表示响应于向用户传送任务执行状态而等待来自用户的应答的时间。11.根据权利要求10所述的方法，还包括：等待来自用户的应答，直到经过了所述时段；在来自用户的否定应答的情况下，通过对不同的通信模式重新排序来重复对任务执行状态的传送；以及在接收到应答后，将任务终止标志使能为不活动以中断进一步的通信。12.一种用于使用人工智能(ai)技术在iot环境中执行任务的方法，所述方法包括：接收与用户相关的至少一个当前任务；基于预定义标准从所述至少一个当前任务中识别所述至少一个当前任务的类型和所述至少一个当前任务的优先级级别；基于ai模型生成iot环境内的用户偏好、用户位置、设备使用历史和设备当前操作状态中的一个或多个的相关性；基于一个或多个所述相关性，基于所述至少一个当前任务的类型或所述至少一个当前任务的优先级级别中的至少一个，识别用于传送任务执行状态的模式列表；在与模式列表内的一个或多个模式相关联的第一设备上提供任务执行状态；在预定义持续时间内检测来自用户的关于从第一设备或设备的第一集合提供的任务执行状态的未应答；以及在预定义持续时间之后，在与模式列表中的所述一个或多个模式相关联的第二设备上提供任务执行状态。13.根据权利要求12所述的方法，还包括通过语音响应、姿势和ui交互中的一个或多个接收任务执行状态的用户应答。14.一种用于使用人工智能(ai)技术在iot环境中执行任务的语音个人助理(vpa)设备，所述vpa设备包括：通信单元；以及处理器，耦合到通信单元，其中，处理器被配置为执行根据权利要求1至权利要求11中任一项所述的方法。15.一种用于使用人工智能(ai)技术在iot环境中执行任务的语音个人助理(vpa)设
备，所述vpa设备包括：通信单元；以及处理器，耦合到通信单元，其中，处理器被配置为执行根据权利要求12至权利要求13中任一项所述的方法。

技术总结
本公开提供了一种用于使用人工智能(AI)技术在IoT环境中执行任务的方法。该方法包括：接收与用户相关的至少一个当前任务；基于预定义标准从至少一个当前任务中识别至少一个当前任务的类型和至少一个当前任务的优先级级别；基于AI模型生成IoT环境内的用户偏好、用户位置、关于用户的设备使用历史以及针对用户的当前活动设备列表中的一个或多个的相关性；以及基于相关性并且基于至少一个当前任务的类型和至少一个当前任务的优先级级别中的至少一个来识别用于传送任务执行状态的至少一个设备。设备。设备。


技术研发人员：R
受保护的技术使用者：三星电子株式会社
技术研发日：2021.12.06
技术公布日：2023/8/14