一种用于联网设备的操纵方法与流程

1.本发明涉及人机交互技术领域，具体的说是涉及一种用于联网设备的操纵方法。


背景技术：

2.人对手机、电脑、平板等设备的操纵，最早是按键形式，后来发展出了触控交互技术。触控方式大大丰富了人对手机、电脑、平板等设备操纵的多样性和灵活性，引发了大量的关联衍生应用，是一场革命性的变化。
3.当前操纵设备的主要流程是，找到设备上相应的app(安装在设备上的应用程序)，通过一系列的触控，必要时调用设备键盘(包含软键盘)进行一定的文本输入，从而准确的调用相应功能。例如对于“订机票”一般包含“身份确认”、“航班查询”、“订票”、“取消订票”等几个功能，这些功能是紧密围绕机票的多个功能。类似的，“订酒店”、“订车”等app也具有类似的功能。
4.对于一个用户而言，他要完成一次出差，需要分别在这三个不同的app上完成订机票、订酒店、打车等一系列的触控和文本输入操作，并且在操纵过程中要进行信息筛选和确认工作。
5.在上述过程中，人类主要工作分为如下内容：
6.1.规划app的调用顺序，一般遵循“先订机票、再订酒店，然后订车”的顺序
7.2.找到app在设备中的位置，并触控打开
8.3.定位相应的图形化按钮，并触控打开
9.4.然后进行信息的浏览和筛选，涉及文本图片识别和触控滚动操作
10.5.最后进行触控确定，执行相应的功能
11.上述工作内容中，2、3、5都属于设备本身的调用接口，而1和4属于人类智能的一些功能即规划和选择。如果新的人工智能技术能够帮助人类进行规划和选择，或者有效的辅助人类规划和选择，那么上述所有工作可以由设备本身来执行，给与人更大的便利性。
12.以gpt为代表的自然语言大模型已经展现了，可以进行较为复杂规划，以及根据人的要求进行选择的能力，也就是可以很大程度上替代工作内容1和4。因此结合设备操纵接口、app调用接口、以及大模型的智能能力，可实现更智能化的基于日常任务的服务。相比传统的只能提供离散化的功能服务，并由人来组合搭配多个功能完成任务的方式，基于日常任务的服务可大幅提高人的工作效率。
13.现有的用人与设备的交互方式有：
14.1：物理按键方式：通过按钮、键盘、鼠标等进行设备操纵；设备上的屏幕或其他视觉显示器件展示操纵过程和效果，并通过屏幕或其他视觉显示器件向用户提供信息的展示。
15.2：触控方式：这种方式，将屏幕信息展示与操纵结合在一起，大幅减少了物理按键，简化了设备；并能在一个触控屏幕通过软件实现各类丰富多彩的操纵方式。这种方式相比第一种人机交互是一种革命性的进展。
16.现有的交互方案都是提供不太智能、程序化的功能服务，要完成一项日常任务，需要调用一个或多个app的功能才能实现。这些功能调用的顺序，以及最终确定的过程都是由人来完成的，也就是由人来进行规划、信息汇总、最终决策等较为智能的工作。
17.某种意义上，上述人机交互方法，在针对简单、标准、程序化的功能上已经做的非常便利，但是针对日常任务，需要一些常识性的智能化决策时，一定要依赖人的执行，这使得日常任务的执行切分为多个环节，将相关的智能化工作交由人来处理。


技术实现要素：

18.针对现有技术中的不足，本发明要解决的技术问题在于提供了一种用于联网设备的操纵方法，该方法基于当前已经初见端倪的人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。
19.为解决上述技术问题，本发明通过以下方案来实现：本发明的一种用于联网设备的操纵方法，该操纵方法系统架构，该系统架构包括：
20.智能大模型，具有操作脚本库及人工智能模块；
21.能够与网络建立信号连接的联网设备，所述联网设备下载并安装有多款应用程序app和一智能代理，所述多款应用程序app中，已授权app一对一的配置有操作脚本且已授权app与该已授权app对应配置的操作脚本成对的安装于所述联网设备上，所述智能大模型和所述联网设备通过网络进行双向数据交互，所述联网设备与用户通过文本、语音、图像、物理按键中的一种或组合进行交互；
22.所述操纵方法还包括由所述系统架构所配置的使用训练方法、代理授权方法、实际使用方法；
23.所述使用训练方法：是训练智能代理在联网设备中找到其中的一个或多个app，以及训练智能代理使用找到的app完成一项或多项功能的能力，训练成功能够形成操作脚本存放到操作脚本库，供用户选择下载；
24.所述代理授权方法：用户设置智能代理并调用一个或多个app的授权设置，相应被调用的app对应的操作脚本下载到本地，同时要求用户提供app对应的账户和密码信息，账户和密码信息是加密保存，仅当前用户的智能代理能够解密和读取；
25.所述实际使用方法：用户首先身份认证启动智能代理，由智能代理和人工智能模块协同处理，形成决策建议和操作，实现对用户指令的有效执行；
26.所述操纵方法还包括以下步骤：
27.s1，用户通过人机交互向联网设备上的智能代理下达用户指令，用户指令经网络传输给人工智能模块；
28.s2，人工智能模块判断用户指令需要规划后再执行，则产生搜集脚本，并发送智能代理直接调用相应app执行
29.s3，智能代理根据搜集脚本找到app，并确认操作脚本是否与app201匹配，匹配执行后序操作；
30.s4，智能代理按照搜集脚本，打开被选中的app，并通过app的身份认证操作，进入app；
31.s5，智能代理按照app对应的操作脚本，对app进行调用，完成相应的信息抓取操
作；
32.s6，智能代理将抓取的app信息传递给人工智能模块，由人工智能模块根据这些信息进行智能规划，并产生决策建议，生成的决策建议构成一组执行脚本；
33.s7，智能代理接收人工智能模块提供的一组执行脚本，提示用户由用户选择后执行该组执行脚本中的一个脚本；
34.s8，智能代理根据用户选择的执行脚本中的一个脚本调用相应的app的功能；
35.s9，在方案提供和方案执行阶段出现异常智能代理要提醒用户，并允许用户进行干预。
36.进一步的，所述操作脚本，其是联网设备状态读取和联网设备操纵动作组成的系列脚本；
37.其中，联网设备状态读取动作包含：基于联网设备屏幕截屏图片的app图标的定位、虚拟按键定位、虚拟选择框定位、虚拟输入框定位，及联网设备的声音、震动、指示灯闪烁的状态读取的一种或组合；
38.联网设备操纵动作包括：物理按键操作、虚拟按键触控、虚拟选择框触控、文本输入的一种或组合。
39.进一步的，所述操作脚本，其能够保存在智能大模型中的操作脚本库，每个操作脚本建立查询描述符，所述操作脚本的描述符至少包括app名称、app开发者/所有者、功能名称、适用app版本集合。
40.进一步的，所述智能代理，其在用户设置智能代理能够调用app后，向用户提供输入界面以输入此app对应的身份认证信息，这些身份认证信息在联网设备本地加密保存，不向外传递；
41.所述身份认证信息至少包括帐号和密码。
42.进一步的，所述智能代理，对于已配置好账号信息完成的app，从操作脚本库查询描述符查找合适的操作脚本，并下载到本地；每个app都有多种功能，用户勾选的功能才能由智能代理执行。
43.进一步的，所述人工智能模块，其能够接收由所述智能代理所接收的用户指令和从app抓取的信息，并判断用户指令是须规划并向用户提供建议，还是无须用户选择可直接执行。
44.进一步的，所述人工智能模块，当无须用户选择可直接执行的用户指令时，人工智能模块根据操作脚本生成执行脚本，以完成一个或多个app的功能；
45.当须规划并向用户提供建议的用户指令时，人工智能模块根据操作脚本生成搜集脚本，所述人工智能模块是对一个或多个app调用脚本，以抓取至少一个app中所查询出的信息；
46.当规划后向客户提供建议时，产生一组建议，每个建议对应一个根据操作脚本生成的执行脚本。
47.更进一步的，所述智能代理能够接收人工智能模块生成的搜集脚本和执行脚本，根据搜集脚本和执行脚本调用app对应的功能并执行相关操作。
48.进一步的，所述智能代理接收用户指令，并通过声纹识别手段、指纹识别手段中的一种或组合，来判断是否是授权用户。
49.进一步的，所述智能代理对app调用能够采用app开发者提供的通用接口进行交互，实现对app功能的调用和信息抓取。
50.相对于现有技术，本发明的有益效果是：本发明基于当前人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。智能大模型展示出可帮助人进行日常任务规划、信息筛选和组合等功能，将其嵌套到整个任务服务系统，将原来由人来完成的一部分工作交由智能大模型来实现，提高人机交互效率。
附图说明
51.图1为本发明用于联网设备的操纵方法原理框图。
52.图2为本发明操纵方法的实施步骤图。
53.附图中标记：用户100、联网设备200、app201、操作脚本203、人机交互300、智能大模型400、操作脚本库401、人工智能模块402、网络500、用户指令501、从app抓取的信息502、搜集脚本503、执行脚本504、训练样本600。
具体实施方式
54.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
55.实施例1：请参照附图1，本发明的一种用于联网设备的操纵方法，该操纵方法包括：
56.智能大模型400，具有操作脚本库401及人工智能模块402；
57.能够与网络建立信号连接的联网设备200，所述联网设备200下载并安装有多款应用程序app和一智能代理202，所述多款应用程序app201中，已授权的app201一对一的配置有操作脚本203且已授权app201与该已授权app201对应配置的操作脚本203成对的安装于所述联网设备200上，所述智能大模型400和所述联网设备200通过网络500进行双向数据交互，所述联网设备200与用户通过文本、语音、图像、物理按键中的一种或组合进行交互。所述app201：即安装在设备上的各类应用程序，其能够提供各种不同的服务功能。
58.所述联网设备200，其上安装了各类app201(应用程序)，智能代理202(即智能大模型的客户端)，其中部分授权可代理调用的app装有配套的操作脚本203，并可通过人机交互300与用户100进行交互。人机交互300：是指人和设备通过文本、语音，以及设备上的实体或虚拟按钮，进行人机交互的多种方式
59.所述智能代理202：安装在联网设备200上，是用户100与智能大模型400的接口，也是调用操作设备和app接口的主体；智能代理202根据操作脚本203对app201的各个功能进行调用，并通过网络500与智能大模型400产生双向数据交互。所述网络500：是连接智能大模型400和智能代理202的通信网络；在其上由智能代理202向人工智能模块402传递的数据分为用户指令501和从app(201)抓取的信息502；由人工智能模块402向智能代理202传递的数据分为搜集脚本503和执行脚本504；且智能代理202可通过网络500从操作脚本库401下载相应的操作脚本203。所述用户指令501由智能代理202转发。所述从app抓取的信息502：
很多时候进行规划和决策要首先搜集信息，基于这些信息才能正确的规划和决策；因此需要智能代理202通过操纵app201抓取信息，并传递给人工智能模块402。
60.所述操作脚本203：是引导智能代理202对app201进行正确调用的规范和指导，一个操作脚本对应的描述符一般为《app名称、app开发者/所有者、适用版本》集合；当用户100授权某些app201可由智能代理202可调用后，智能代理202根据联网设备200上安装app201的《app名称、app开发者、版本》，从401操作脚本库找到对应的操作脚本203，并通过网络500下载到联网设备200。
61.操作脚本库401：是一个由智能代理202调用app201的操作脚本文件集合，其包含的有两种类型的操作脚本，一种是协议操作脚本，即app201开发者提供的通用接口，通过这个接口的协议可实现对app201功能的调用；另一种是仿人操作脚本，即模仿人通过触控动作、观察屏幕、听取app201发出声音等方式进行app201功能的调用，其是一个融合了查看屏幕、触控操作、听取声音、物理按键操作的多种动作的脚本；它本质上是一种仿人模拟操作的脚本，人对设备的操作的是按照“看一下，动一下”循环进行的，因此操作脚本203脚本由一系列联网设备200状态读取(看一下)和操纵(动一下)的动作组成，操作脚本的脚本是通过学习人类操作app201的训练样本600获得的，它们可实现对app某个功能的仿人调用和信息呈现。
62.所述人工智能模块402：通过网络500接收智能代理202转发过来的用户指令；然后基于这些信息针对客户的任务进行智能规划、产生决策建议；最后将决策建议返回智能代理202，并由用户100最终选定，然后交由智能代理202执行用户100的决策。
63.本实施例的一种优选技术方案：所述操作脚本203，其是联网设备状态读取和联网设备操纵动作组成的系列脚本；
64.其中，联网设备状态读取动作包含：基于联网设备200屏幕截屏图片的app图标的定位、虚拟按键定位、虚拟选择框定位、虚拟输入框定位，及联网设备200的声音、震动、指示灯闪烁的状态读取的一种或组合；
65.联网设备操纵动作包括：物理按键操作、虚拟按键触控、虚拟选择框触控、文本输入的一种或组合。
66.本实施例的一种优选技术方案：所述操作脚本203，其能够保存在智能大模型400中的操作脚本库401，每个操作脚本203建立查询描述符，所述操作脚本203的描述符至少包括app名称、app开发者/所有者、功能名称、适用app版本集合。
67.本实施例的一种优选技术方案：所述智能代理202，其在用户设置智能代理202能够调用app201后，向用户提供输入界面以输入此app201对应的身份认证信息，这些身份认证信息在联网设备200本地加密保存，不向外传递；
68.所述身份认证信息至少包括帐号和密码。
69.本实施例的一种优选技术方案：所述智能代理202，对于已配置好账号信息完成的app201，从操作脚本库401查询描述符查找合适的操作脚本203，并下载到本地；每个app201都有多种功能，用户勾选的功能才能由智能代理202执行。
70.本实施例的一种优选技术方案：所述人工智能模块402，其能够接收由所述智能代理202所接收的用户指令501和从app抓取的信息502，并判断用户指令501是须规划并向用户提供建议，还是无须用户选择可直接执行。
71.本实施例的一种优选技术方案：所述人工智能模块402，当无须用户选择可直接执行的用户指令501时，人工智能模块402根据操作脚本203生成执行脚本504，以完成一个或多个app201的功能；
72.当须规划并向用户提供建议的用户指令501时，人工智能模块402根据操作脚本203生成搜集脚本503，所述人工智能模块402是对一个或多个app201调用脚本，以抓取至少一个app201中所查询出的信息；所述搜集脚本503：人工智能模块402根据用户指令，需要获得规划所须的信息，例如搜索满足要求的航班信息；因此会通过智能代理202从相应app抓取信息，这些执行信息抓取的app操纵动作脚本称为搜集规划；
73.当规划后向客户提供建议时，产生一组建议，每个建议对应一个根据操作脚本203生成的执行脚本504。所述执行脚本504：人工智能模块402向智能代理202发出的执行指令，是通过智能代理202执行相应app功能操作完成任务的脚本，例如订下航班。
74.本实施例的一种优选技术方案：所述智能代理202能够接收人工智能模块402生成的搜集脚本503和执行脚本504，根据搜集脚本503和执行脚本504调用app201对应的功能并执行相关操作。
75.本实施例的一种优选技术方案：所述智能代理202接收用户100指令，并通过声纹识别手段、指纹识别手段中的一种或组合，来判断是否是授权用户。用户100是自然人，其通过文本、语音，以及设备上的实体或虚拟按钮与联网设备200进行交互。
76.本实施例的一种优选技术方案：所述智能代理202对app201调用能够采用app开发者提供的通用接口进行交互，实现对app201功能的调用和信息抓取。
77.实施例2：
78.所述操纵方法还包括由所述系统架构所配置的使用训练方法、代理授权方法、实际使用方法；
79.所述使用训练方法：是训练智能代理在联网设备中找到其中的一个或多个app，以及训练智能代理使用找到的app完成一项或多项功能的能力，训练成功能够形成操作脚本存放到操作脚本库，供用户选择下载；
80.所述代理授权方法：用户设置智能代理并调用一个或多个app的授权设置，相应被调用的app对应的操作脚本下载到本地，同时要求用户提供app对应的账户和密码信息，账户和密码信息是加密保存，仅当前用户的智能代理能够解密和读取；
81.所述实际使用方法：用户首先身份认证启动智能代理，由智能代理和人工智能模块协同处理，形成决策建议和操作，实现对用户指令的有效执行；
82.请参照附图2，所述操纵方法还包括以下步骤：
83.s1，用户通过人机交互向联网设备上的智能代理下达用户指令，用户指令经网络传输给人工智能模块；
84.s2，人工智能模块判断用户指令需要规划后再执行，则产生搜集脚本，并发送智能代理直接调用相应app执行
85.s3，智能代理根据搜集脚本找到app，并确认操作脚本是否与app201匹配，匹配执行后序操作；
86.s4，智能代理按照搜集脚本，打开被选中的app，并通过app的身份认证操作，进入app；
87.s5，智能代理按照app对应的操作脚本，对app进行调用，完成相应的信息抓取操作；
88.s6，智能代理将抓取的app信息传递给人工智能模块，由人工智能模块根据这些信息进行智能规划，并产生决策建议，生成的决策建议构成一组执行脚本；
89.s7，智能代理接收人工智能模块提供的一组执行脚本，提示用户由用户选择后执行该组执行脚本中的一个脚本；
90.s8，智能代理根据用户选择的执行脚本中的一个脚本调用相应的app的功能；
91.s9，在方案提供和方案执行阶段出现异常智能代理要提醒用户，并允许用户进行干预。
92.使用训练方法分为两种情况，一种为接口配置，即app201开发者提供通用接口可与201智能代理交互；第二种为仿人操纵，即模仿人操纵app201的方式通过设备的触控动作进行操纵，其信息的展示为在设备屏幕上的文本、图片、图形，以及声音。对于一个app201而言，它被许多用户使用，并且操作方式是一致的；因此，上述两种调用app201的方法均可由整个系统的服务商或第三方完成接口对接和仿人操纵的训练，从而可为所有客户提供统一的操作脚本。
93.针对第一种接口配置的情况，配置流程如下：
94.1.根据app201开发者提供的通用接口，编写智能代理202调用app201相关功能的程序
95.2.智能代理202从联网设备200的app列表中选中相应授权的app201。
96.3.智能代理202输入app201所需要的账号和密码的操作。
97.4.智能代理202调用步骤1中相关程序，执行app相关的功能。
98.5.适当的时候，智能代理202提供演练模式，用于确认app201是否被正确操纵。
99.针对第二种仿人操纵的情况，训练流程如下：
100.1.对一个app201某一个单一功能，用户100操作app201演练，并伴随语音指导，同时录制整个演练过程中的屏幕变化和语音。
101.2.人工智能模块402根据录制的信息，学习形成一系列的app201调用脚本，它是一种仿人模拟操作的脚本，包含一系列联网设备200状态读取和操纵的动作流程；
102.3.脚本中包含的联网设备200状态读取动作：联网设备200屏幕显示的读取、联网设备200声音/震动/指示灯闪烁的状态读取、app图标的定位、屏幕虚拟按键定位、屏幕虚拟选择框定位、虚拟输入框定位等；
103.4.脚本中包含的联网设备200操纵动作包括：设物理按键操作、屏幕虚拟按键触控、屏幕虚拟选择框触控、文本输入等。
104.5.具体要学习，并形成脚本的功能包括：
105.1)、记录app在屏幕上的图标和文字以记住这个app。
106.2)、联网设备200屏幕界面的操纵，以实现在设备上找到并打开对应的app201。
107.3)、app身份认证信息的输入和确认过程。
108.4)、app201某个功能的操作流程。
109.5)、屏幕界面上app201信息的抓取。
110.6)、app201发出声音信息的抓取。
111.7)、对app有影响的设备其他状态信息的抓取。
112.整个系统的实际使用方法分为两类情况，一类是直接执行的指令，即人工智能模块402判断用户指令501无须进行规划可直接执行，例如用户指令为“卖sz75早上八点的航班”；另一类是需要规划，并向用户提供建议方案的指令，例如“安排明天出差北京拜访某客户，后天返回的所需的机票、酒店、打车等事项”。下面分别阐述
113.直接执行指令的操作流程如下：
114.1.用户100通过人机交互300向联网设备200上的智能代理202下达用户指令501，指令经网络500传输给人工智能模块402；这涉及用户指令501形式，一般为文本、语音、按键操作等。
115.2.人工智能模块402判断用户指令501无须规划直接执行，则产生执行脚本504，并发送给智能代理202执行。
116.3.智能代理202根据执行脚本504找到app201，并确认操作脚本203《app名称、app开发者、版本》是否与app201匹配，匹配执行后面操作。这涉及在设备屏幕上或程序列表的定位app。
117.4.智能代理202按照执行脚本504，打开被选中的app201，并通过app201的身份认证操作，进入app201。这涉及接口调用、屏幕界面信息读取、屏幕上对app的定位。
118.5.智能代理202按照app201对应的操作脚本203，对app201进行调用，完成相应的功能操作。这涉及调用app的功能接口，或设备的触控操作。
119.规划后再执行的指令，需要多一个信息搜集过程，具体流程如下：
120.1.用户100通过人机交互300向联网设备200上的智能代理202下达用户指令501，指令经网络500传输给人工智能模块402；这涉及用户指令501形式，一般为文本、语音、按键操作等。
121.2.人工智能模块402判断用户指令501需要规划后再执行，则产生搜集脚本503，并发送智能代理202直接调用相应app201执行。
122.3.智能代理202根据搜集脚本503找到app201，并确认操作脚本203《app名称、app开发者、版本》是否与app201匹配，匹配执行后面操作。这涉及在设备屏幕上或程序列表的定位app201。
123.4.智能代理202按照搜集脚本503，打开被选中的app201，并通过app201的身份认证操作，进入app201。这涉及接口调用、屏幕界面信息读取、屏幕上对app的定位。
124.5.智能代理202按照app201对应的操作脚本203，对app201进行调用，完成相应的信息抓取操作。这涉及调用app的功能接口，或设备的触控操作
125.6.智能代理202将抓取的app201信息传递给人工智能模块402，由其根据这些信息进行智能规划，并产生决策建议，这些决策建议构成一组执行脚本504；这涉及智能大模型对各类方案可行性的理解，以及优劣的判断。
126.7.智能代理202接收人工智能模块402提供的一组执行脚本504，提示用户由用户选择后执行所述执行脚本504中的某一个脚本。
127.8.智能代理202根据用户选择的执行脚本504中的一个脚本后调用相应的210app的功能；这涉及人和智能秘书的交互，一般是文本、按钮、语音形式。
128.9.在方案提供和方案执行阶段出现异常201智能代理要提醒用户100，并允许用户
100进行干预，包括中止服务、调整任务要求、取消已经执行的功能等；这涉及人和智能秘书的交互，一般是文本、按钮、语音形式。
129.综上所述，本发明基于当前人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。智能大模型展示出可帮助人进行日常任务规划、信息筛选和组合等功能，将其嵌套到整个任务服务系统，将原来由人来完成的一部分工作交由智能大模型来实现，提高人机交互效率。
130.以上所述仅为本发明的优选实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种用于联网设备的操纵方法，其特征在于，该操纵方法系统架构，该系统架构包括：智能大模型(400)，具有操作脚本库(401)及人工智能模块(402)；能够与网络建立信号连接的联网设备(200)，所述联网设备(200)下载并安装有多款应用程序app和一智能代理(202)，所述多款应用程序app中，已授权app(201)一对一的配置有操作脚本(203)且已授权app(201)与该已授权app(201)对应配置的操作脚本(203)成对的安装于所述联网设备(200)上，所述智能大模型(400)和所述联网设备(200)通过网络(500)进行双向数据交互，所述联网设备(200)与用户通过文本、语音、图像、物理按键中的一种或组合进行交互；所述操纵方法还包括由所述系统架构所配置的使用训练方法、代理授权方法、实际使用方法；所述使用训练方法：是训练智能代理(202)在联网设备(200)中找到其中的一个或多个app(201)，以及训练智能代理(202)使用找到的app(201)完成一项或多项功能的能力，训练成功能够形成操作脚本(203)存放到操作脚本库(401)，供用户选择下载；所述代理授权方法：用户(100)设置智能代理(202)并调用一个或多个app(201)的授权设置，相应被调用的app(201)对应的操作脚本(203)下载到本地，同时要求用户提供app(201)对应的账户和密码信息，账户和密码信息是加密保存，仅当前用户(100)的智能代理(202)能够解密和读取；所述实际使用方法：用户(100)首先身份认证启动智能代理(202)，由智能代理(202)和人工智能模块(402)协同处理，形成决策建议和操作，实现对用户指令的有效执行；所述操纵方法还包括以下步骤：s1，用户(100)通过人机交互(300)向联网设备(200)上的智能代理(202)下达用户指令(501)，用户指令(501)经网络(500)传输给人工智能模块(402)；s2，人工智能模块(402)判断用户指令(501)需要规划后再执行，则产生搜集脚本(503)，并发送智能代理(202)直接调用相应app(201)执行s3，智能代理(202)根据搜集脚本(503)找到app(201)，并确认操作脚本(203)是否与app201匹配，匹配执行后序操作；s4，智能代理(202)按照搜集脚本(503)，打开被选中的app(201)，并通过app(201)的身份认证操作，进入app(201)；s5，智能代理(202)按照app(201)对应的操作脚本(203)，对app(201)进行调用，完成相应的信息抓取操作；s6，智能代理(202)将抓取的app(201)信息传递给人工智能模块(402)，由人工智能模块(402)根据这些信息进行智能规划，并产生决策建议，生成的决策建议构成一组执行脚本(504)；s7，智能代理(202)接收人工智能模块(402)提供的一组执行脚本(504)，提示用户由用户选择后执行该组执行脚本(504)中的一个脚本；s8，智能代理(202)根据用户选择的执行脚本(504)中的一个脚本调用相应的app(201)的功能；s9，在方案提供和方案执行阶段出现异常智能代理(202)要提醒用户(100)，并允许用
户(100)进行干预。2.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述操作脚本(203)，其是联网设备状态读取和联网设备操纵动作组成的系列脚本；其中，联网设备状态读取动作包含：基于联网设备(200)屏幕截屏图片的app图标的定位、虚拟按键定位、虚拟选择框定位、虚拟输入框定位，及联网设备(200)的声音、震动、指示灯闪烁的状态读取的一种或组合；联网设备操纵动作包括：物理按键操作、虚拟按键触控、虚拟选择框触控、文本输入的一种或组合。3.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述操作脚本(203)，其能够保存在智能大模型(400)中的操作脚本库(401)，每个操作脚本(203)建立查询描述符，所述操作脚本(203)的描述符至少包括app名称、app开发者/所有者、功能名称、适用app版本集合。4.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述智能代理(202)，其在用户设置智能代理(202)能够调用app(201)后，向用户提供输入界面以输入此app(201)对应的身份认证信息，这些身份认证信息在联网设备(200)本地加密保存，不向外传递；所述身份认证信息至少包括帐号和密码。5.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述智能代理(202)，对于已配置好账号信息完成的app(201)，从操作脚本库(401)查询描述符查找合适的操作脚本(203)，并下载到本地；每个app(201)都有多种功能，用户勾选的功能才能由智能代理(202)执行。6.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述人工智能模块(402)，其能够接收由所述智能代理(202)所接收的用户指令(501)和从app抓取的信息(502)，并判断用户指令(501)是须规划并向用户提供建议，还是无须用户选择可直接执行。7.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述人工智能模块(402)，当无须用户选择可直接执行的用户指令(501)时，人工智能模块(402)根据操作脚本(203)生成执行脚本(504)，以完成一个或多个app(201)的功能；当须规划并向用户提供建议的用户指令(501)时，人工智能模块(402)根据操作脚本(203)生成搜集脚本(503)，所述人工智能模块(402)是对一个或多个app(201)调用脚本，以抓取至少一个app(201)中所查询出的信息；当规划后向客户提供建议时，产生一组建议，每个建议对应一个根据操作脚本(203)生成的执行脚本(504)。8.根据权利要求7所述的一种用于联网设备的操纵方法，其特征在于，所述智能代理(202)能够接收人工智能模块(402)生成的搜集脚本(503)和执行脚本(504)，根据搜集脚本(503)和执行脚本(504)调用app(201)对应的功能并执行相关操作。9.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述智能代理(202)接收用户(100)指令，并通过声纹识别手段、指纹识别手段中的一种或组合，来判断是否是授权用户。10.根据权利要求1所述的一种用于联网设备的操纵方法，其特征在于，所述智能代理
(202)对app(201)调用能够采用app开发者提供的通用接口进行交互，实现对app(201)功能的调用和信息抓取。

技术总结
本发明公开了一种用于联网设备的操纵方法，该操纵方法系统架构，该系统架构包括智能大模型、能够与网络建立信号连接的联网设备。智能大模型具有操作脚本库及人工智能模块；联网设备下载并安装有多款应用程序APP和一智能代理，多款应用程序APP中，已授权APP一对一的配置有操作脚本且已授权APP与该已授权APP对应配置的操作脚本成对的安装于联网设备上，智能大模型和联网设备通过网络进行双向数据交互，联网设备与用户通过文本、语音、图像、物理按键中的一种或组合进行交互。本发明基于当前人工智能大模型技术，来替代人进行规划和信息汇总，从而大幅提升人完成日常任务的效率。从而大幅提升人完成日常任务的效率。从而大幅提升人完成日常任务的效率。


技术研发人员：贺庆
受保护的技术使用者：贺庆
技术研发日：2023.04.21
技术公布日：2023/8/4