一种语义通信方法及计算机设备与流程

1.本技术主要涉及人工智能应用领域，更具体地说是涉及一种语义通信方法及计算机设备。


背景技术：

2.语义通信是一种可将用户的需求和信息含义融入通信过程中的全新架构，该架构有望成为未来万物智联网络的基础范式，从根本上解决基于数据的传统通信协议中存在的跨系统、跨协议、跨网络、跨人机不兼容和难互通等问题，真正实现万物透明智联通信。
3.其中，在语义通信的实际应用中，通常需要针对特定语用任务的多模态类别各自的数据集，训练对应的语义模型，将其部署到通信网络的节点上，该节点才能够使用这多个语义模型，满足多模态数据的语义处理需求。但这无疑会增大节点的存储开销和内存容量要求，也会造成通信资源的巨大开销，无法大规模普及应用。


技术实现要素：

4.为了解决上述问题，本技术提供了以下技术方案：
5.一方面，本技术提出了一种语义通信方法，所述方法包括：
6.获得语用任务输入信源的新的模态类别；
7.发送语义模型更新请求；所述语义模型更新请求包括所述语用任务的任务类别以及所述新的模态类别；
8.接收第一切片；所述第一切片是与所述任务类别和所述新的模态类别对应的部分第一语义模型；
9.利用所述第一切片，获得第二语义模型，以通过所述第二语义模型对所述输入信源执行所述语用任务。
10.可选的，在所述获得语用任务输入信源的新的模态类别之前，所述方法还包括：
11.获得待执行的任一语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别；
12.发送语义模型获取请求；所述语义模型获取请求包含所述任务类别以及所述模态类别；
13.接收第三语义模型；所述第三语义模型是已训练的与所述任务类别和所述模态类别对应的语义模型；
14.执行所述第三语义模型，以通过所述第三语义模型对所述待处理输入信源执行所述语用任务。
15.可选的，所述利用所述第一切片，获得第二语义模型，包括：
16.利用所述第一切片，替换第三语义模型中的第三切片，得到第二语义模型；所述第三语义模型是指对原有模态类别的输入信源执行所述语用任务的语义模型。
17.可选的，在所述获得语用任务输入信源的新的模态类别的情况下，所述方法还包
括：
18.确定已存储的至少一个候选切片；所述候选切片是针对所述语用任务训练得到的部分语义模型；
19.获得所述候选切片对应的候选模态类别；所述候选模态类别为用于训练对应的所述候选切片所属语义模型的数据集的模态类别；
20.将所述新的模态类别与所述候选模态类别进行比较，得到对应的比较结果；
21.确定所述比较结果为所述新的模态类别与任一所述候选模态类别相同，获得所述新的模态类别对应的所述候选切片确定为第一切片，执行所述利用所述第一切片，获得第二语义模型步骤；
22.确定所述比较结果为所述新的模态类别与所有的所述候选模态类别都不同，或者确定未存储任一所述候选切片，执行所述发送语义模型更新请求步骤。
23.一方面，本技术还提出了一种语义通信方法，所述方法包括：
24.接收语义模型更新请求；所述语义模型更新请求是包括请求更新的语义模型执行语用任务的输入信源的新的模态类别，以及所述语用任务的任务类别；
25.获得与所述任务类别和所述新的模态类别对应存储的第一切片；所述第一切片是通过属于所述新的模态类别的数据集，针对所述语用任务训练的部分第一语义模型；
26.发送所述第一切片，以使语义模型更新请求端利用所述第一切片，获得能够对具有所述新的模态类别的输入信源执行所述语用任务的第二语义模型。
27.可选的，所述方法还包括：
28.接收语义模型获取请求；所述语义模型获取请求包含请求获取的语义模型待执行的语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别；
29.获得与所述任务类别和所述模态类别对应的第三语义模型；
30.发送所述第三语义模型。
31.可选的，所述方法还包括：
32.接收多个语义模型；所述多个语义模型是针对同一任务类别的语用任务，通过不同模态类别的数据集训练得到；
33.对所述多个语义模型进行参数差异分析，得到所述多个语义模型各自包含的针对相同语用功能的切片；
34.将所述多个语义模型各自的所述切片与所述任务类别以及对应的所述模态类别进行关联后存储。
35.可选的，在接收到任一所述语义模型获取请求的情况下，所述方法还包括：
36.发送所述任务类别所关联存储的跨模态切片，以使语义模型获取请求端能够将接收到的所述跨模态切片确定为所述语用任务的候选切片进行存储；
37.其中，所述跨模态切片是指所述任务类别关联存储的多个语义模型中，除所请求获取的语义模型之外的语义模型包含的切片。
38.可选的，所述方法还包括：
39.接收语义模型训练请求；所述语义模型训练请求包括所请求训练的语义模型待执行的语用任务的不同输入信源的多个模态类别，以及所述语用任务的任务类别；
40.获得针对所述任务类别标注的所述多个模态类别各自的数据集；
41.依据所述数据集，训练得到与所述任务类别和相应的所述模态类别对应的语义模型；
42.对训练得到的多个语义模型进行参数差异分析，获得所述多个语义模型各自包含的针对相同语用功能的切片；
43.将所述多个语义模型各自的所述切片与所述任务类别和对应的所述模态类别进行关联后存储。
44.又一方面，本技术还提出了一种计算机设备，所述计算机设备包括收发器和处理器，其中：
45.在所述计算机设备被配置为通信网络中的任一边缘节点的情况下，所述处理器用于实现：
46.获得语用任务输入信源的新的模态类别；
47.发送语义模型更新请求；所述语义模型更新请求包括所述语用任务的任务类别以及所述新的模态类别；
48.接收第一切片；所述第一切片是与所述任务类别和所述新的模态类别对应的部分第一语义模型；
49.利用所述第一切片，获得第二语义模型，以通过所述第二语义模型对所述输入信源执行所述语用任务；
50.在所述计算机设备被配置为所述通信网络的云端的情况下，所述处理器用于实现：
51.接收语义模型更新请求；所述语义模型更新请求是包括请求更新的语义模型执行语用任务的输入信源的新的模态类别，以及所述语用任务的任务类别；
52.获得与所述任务类别和所述新的模态类别对应存储的第一切片；所述第一切片是通过属于所述新的模态类别的数据集，针对所述语用任务训练的部分第一语义模型；
53.发送所述第一切片，以使语义模型更新请求端利用所述第一切片，获得能够对具有所述新的模态类别的输入信源执行所述语用任务的第二语义模型。
附图说明
54.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
55.图1为本技术提出的语义通信方法的可选实施例一的流程示意图；
56.图2为本技术提出的语义通信方法中，实现相同语用任务的不同语义模型的分割处理过程示意图；
57.图3为本技术提出的语义通信方法的可选实施例二的流程示意图；
58.图4为本技术提出的语义通信方法的可选实施例三的流程示意图；
59.图5为本技术提出的语义通信方法的可选实施例四的流程示意图；
60.图6为本技术提出的语义通信方法的可选实施例五的流程示意图；
61.图7为本技术提出的语义通信方法的可选实施例六的流程示意图；
62.图8为适用于本技术提出的语义通信方法的计算机设备的一可选示例的硬件结构示意图。
具体实施方式
63.针对背景技术部分描述的内容，在多模态数据的语义通信场景下，为了降低对通信网络中各边缘节点的存储开销和内存容量要求，以及不同节点之间收发完整语义模型所造成的通信资源开销，提出调整针对单一模态的语义模型架构，通过多模态数据集，训练适用于多模态数据的一个语义模型，将多模态数据统一在一个语义空间内，实现对多模态数据处理，这样，各边缘节点可以部署这样的一个语义模型，就可以对不同模态数据执行同一语用任务。
64.然而，在这种语义通信过程中，由于所使用的针对多模态数据的语义模型的扩展能力较差，所适用处理的数据模态类别有限，且对边缘节点的存储、运算能力也有一定要求，这样，在实际通信网络中的边缘节点的配置很难保证扩展性、硬件成本开销等方面的综合性能，这也会限制这种语义通信方法的适用范围。
65.为了进一步改善上述问题，本技术提出对通过每一模态类别的数据集训练得到的语义模型进行切片，获得针对相同语用功能的跨模态切片，即确定每个模态类别的语义模型包含的切片(即该语义模型的部分)，这样，在任一语用任务的输入信源的模态更新后，可以直接获取新的模态类别对应语义模型的切片，实现语义模型更新，获得用于处理新的模态类别的输入数据的语义模型，相对于传输新的模态类别对应的完整语义模型，本技术传输的切片是部分语义模型，大大降低了通信资源开销，以及边缘节点对语义模型的存储开销和内存容量要求。
66.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
67.参照图1，为本技术提出的语义通信方法的可选实施例一的流程示意图，该方法可以适用于通信网络的任一边缘节点，该边缘节点可以支持云计算服务的边缘侧，可以是具有一定数据处理能力的终端设备或者服务器，如靠近本地终端的通信网络侧构建的业务平台，能够提供存储、计算和网络等资源，可以将部分关键业务应用下沉接入网络边缘，以减少网络传输和多级转发带来的带宽和时延损耗，本技术对通信网络的系统架构及其应用原理不做详述，本技术可以依据通信网络的应用场景确定边缘节点的设备类型。
68.基于此，在通信网络的语义通信场景下，如图1所示，任一边缘节点所执行的语义通信方法可以包括但并不局限于以下步骤：
69.步骤s11，获得语用任务输入信源的新的模态类别；
70.在边缘节点执行任一语用任务(如图像语义分割任务或语义识别任务等，本技术对语义通信场景不做限制)的情况下，用于不同任务类别的语用任务的语义模型结构差别往往比较大，可以在首次执行该任务类别的语用任务时，直接依据其任务类别以及当前的待处理输入信源的模态类别，从针对该任务类别的语用任务所训练的至少一个语义模型中，获得能够处于待处理输入信源的输入数据的语义模型，将该语义模型部署在该边缘节
点中，在接收到来自该输入信源的输入数据后，该边缘节点就可以执行该语义模型对该输入数据执行该语用任务，满足语义通信需求。
71.其中，上述输入信源可以是输入数据的来源，如数据采集设备、数据传输设备、数据存储设备、数据输入设备或支持某应用服务的通信服务器等至少一个设备，本技术对输入信源的类别及其所提供的输入数据的模态类别等不做限制，可视情况而定。
72.在上述语义通信过程中，若上述语用任务的输入信源模态更新，如针对该语用任务的当前输入信源的模态类别，与上一输入信源的模态类别不同，可以得到当前输入信源的模态类别，为了区别上一输入信源的模态类别，可以描述为该语用任务输入信源的新的模态类别。
73.可选的，在上述语义通信过程中，也可能是在语用任务的输入信源不变的情况下，来自该输入信源的当前输入数据的模态类别，与上一输入数据的模态类别不同，确定该语用任务的输入信源模态更新，可以将当前输入数据(即待执行语用任务的待处理数据)的模态类别记为该语用任务输入信源的新的模态类别。因此，本技术对上述步骤s11的语用任务输入信源的新的模态类别的确定方式不做限制，可视情况而定。
74.步骤s12，发送语义模型更新请求；该语义模型更新请求包括语用任务的任务类别以及新的模态类别；
75.继上述分析，在确定来自语用任务输入信源的输入数据的模态更新，得到对应的新的模态类别的情况下，用于处理该语用任务输入信源的原有模态类别的输入数据的语义模型，不再适用于处理该新的模态类别的输入数据，需要获得适用于处理该新的模态类别的输入数据的语义模型，因此，该边缘节点可以发送包含该语用任务的任务类别及其输入信源的新的模态类别的语义模型更新请求，以请求获得与该新的模态类别对应的语义模型。
76.可选的，边缘节点可以向通信网络的云端发送语义模型更新请求，以使得云端可以依据该语义模型更新请求包含的任务类别和新的模态类别，确定对应的第一语义模型，其可以是通过针对该语用任务标注的该新的模态类别对应的数据集进行训练得到，本技术对各模态类别的数据集一一对应的语义模型的训练实现过程不做详述。
77.在另一种可能的实现方式中，在通信网络的其他边缘节点存储有针对语用任务的新模态类别对应的第一语义模型的情况下，边缘节点也可以向该其他边缘节点发送语义模型更新请求，以请求实现对该边缘节点中不适用于处理该新的模态类别的输入数据的语义模型的更新，获得所需的语义模型。可选的，在边缘节点本地存储有针对该语用任务的不同模态类别对应的语义模型中的分片的情况下，边缘节点可以向本地存储设备发送语义模型更新请求，以请求获得新的模态类别对应的分片，构成所需的语义模型。
78.由此可见，在不同的应用场景下，边缘节点可以向不同对象发送语义模型更新请求，以请求实现对该边缘节点中不适用于处理该新的模态类别的输入数据的语义模型的更新。应该理解，边缘节点向不同对象发送该语义模型更新请求，所采用的通信方式(如传输语义模型更新请求所遵循的通信协议类别)可以不同，可以依据实际通信需求确定，本技术对步骤s12的具体实现过程不做详述。
79.步骤s13，接收第一切片；该第一切片可以是与任务类别和新的模态类别对应的部分第一语义模型；
80.如上文对本技术技术方案的相关描述，若边缘节点需要处理语用任务的某模态类别的输入数据，都获取对应的完整语义模型，将会增加该边缘节点的存储开销和内存容量要求，也会在不同边缘节点之间传输语义模型时增加通信资源开销，为了解决该技术问题，在按照上述方法请求更新语义模型的情况下，可以请求获得适用于处理该语用任务输入信源的新的模态类别的输入数据的第一语义模型中的第一切片，即用于实现该新的模态类别的输入数据的语用功能的部分第一语义模型，其区别于用于处理原有模态类别的输入数据的语义模型中，实现该原有模态类别的输入数据的相同语用功能的切片。
81.这样，边缘节点可以接收云端或其他边缘节点或本地存储设备等设备发送的第一切片，该第一切片的存储容量远小于整个第一语义模型的存储容量，相对于接收完整的第一语义模型，大大降低了数据传输资源的消耗，以及对该边缘节点的存储资源的占用。
82.在本技术实际应用中，对于训练得到的各语义模型的切割处理，得到对应的分片的实现过程，可以由云端或训练该语义模型的对象实现，本技术对各语义模型的分片获取过程及其执行对象不做限制，可视情况而定。
83.步骤s14，利用该第一切片，获得第二语义模型，以通过该第二语义模型对新的模态类别的输入信源执行语用任务。
84.在边缘节点按照上述方法获得第一切片后，可以利用该第一切片替换历史执行的针对相同语用任务的第三语义模型中的第三切片，构成针对该语用任务输入信源的新的模态类别的第二语义模型，这样，就可以执行该第二语义模型对来自该输入信源的新的模态类别的输入数据执行语用任务，满足语义通信需求。
85.示例性的，如图2所示，结合上述分析，对于每个语义模型切割后可以包括基础部分和切片，假设针对相同语用任务的不同模态类别的数据集，训练得到一一对应的语义模型a和语义模型b，经过不同语义模型的参数差异分析(如数据相关性的差异等，本技术对差异分析的内容不做限制，可视情况而定)后，语义模型a可以切割为基础部分a和切片a，语义模型b可以切割为基础部分b和切片b。
86.其中，基础部分a和基础部分b的网络结构可以相同或基本相同，能够相互替换使用，切片a和切片b可以是实现相同语用功能的部分语义模型，但两者之间的模型参数差异较大，如对应的网络结构及其参数差异较大，无法直接替换实现同一模态类别的数据的语义处理。本技术对语义模型切割得到的基础部分和切片的网络结构和参数不做详述，可视情况而定。
87.基于此，在边缘节点确定首次执行语用任务的情况下，依据当前待处理输入信源的模态类别a以及任务类别，获得对应的语义模型a后，可以通过该语义模型a对模态类别a的输入数据执行该语用任务。在获得该语用任务的输入信源的模态类别b后，即上述新的模态类别为模态类别b，若继续通过语义模型a对模态类别b的输入数据执行语用任务，无法满足语义通信要求，因此，本技术可以按照上文描述的方法，获得针对该语用任务的模态类别b对应的切片b(即上述第一切片)，之后，如图2所示，切片b可以与语义模型a中的基本部分a构成语义模型c(即上述第二语义模型)，即由切片b替换语义模型a中的切片a，得到语义模型c。
88.如上述分析，切片a和切片b能够实现相同语用功能，区别在于更适用于处于对应模态类别的数据处理，两者对应的语义模型a和语义模型b中的基础部分基本相同，所以说，
上述基础部分a和切片b构成的语义模型c的性能，与包含基础部分b和切片b的语义模型b的性能非常相近，如语义模型c和语义模型b的输出准确率之间的差值小于阈值(其可以是很小的数值，具体大小不做限制)，语义模型c可以替换语义模型b，实现对模态类别b的输入数据执行相同语用任务，满足语义通信需求。
89.可见，对于执行语用任务的边缘节点，在需要处理语用任务输入信源的输入数据的模态类别为新的模态类别的情况下，只需要按照上文描述的方法获取跨模态切片，如上述切片b，构成用于处于该新的模态类别的输入数据的第二语义模型，如上述语义模型c，相对于直接获取新的模态类别对应的完整语义模型，如上述语义模型b，在增强该边缘节点处理多模态数据能力的同时，大大降低了对边缘节点的内存容量要求以及对通信资源带来的开销。
90.参照图3，为本技术提出的语义通信方法的可选实施例二的流程示意图，本实施例仍可以从通信网络的边缘节点侧进行描述，如图3所示，该方法可以包括：
91.步骤s31，获得待执行的任一语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别；
92.步骤s32，发送语义模型获取请求；该语义模型获取请求可以包含上述任务类别以及模态类别；
93.在实际应用中，对于语义通信应用中的任一语用任务，可以预先通过不同模态类别的数据集，即针对相同语用任务标注的不同模态类别各自的数据集，训练得到对应模态类别的语义模型，经过差异分析，确定针对该语用任务的各语义模型中的切片。
94.如上述示例中，通过模态类别a的数据集a，以及模态类别b的数据集b，分别训练得到实现相同语用任务的对应语义模型a和语义模型b，再对语义模型a和语义模型b进行切割，获得语义模型a中的切片a以及语义模型b中的切片b，可以与对应的模态类别进行关联后存储。
95.应该理解，对于上述这一种语用任务的其他模态类别的数据集，也可以训练得到对应的语义模型，将其分割得到对应模态类别的切片，实现过程类似，本技术不做一一详述。由此可见，用于实现相同语用任务的不同模态类别一一对应的语义模型，可以分割得到使用相同语用功能的切片，将其与对应的模态类别进行关联后存储，以发送至通信网络中的各边缘节点，按照上文描述的方法，使得该边缘节点获得用于处理对应模态类别的输入数据的语义模型，对该模态类别的输入数据执行该语用任务。
96.且，在需要对新增模态类别的数据执行上述语用任务，可以按照上文描述的方法，通过针对该语用任务标注的该新增模态类别的数据集，训练得到新的语义模型，对其分割得到实现上述语用功能的切片，将切片发送至对应的边缘节点，快速获得针对该新增模态类别的语义模型，实现对该新增模态类别的输入数据的语义处理，即可满足语义通信需求，增加了边缘节点的语义模型扩展性。
97.基于上述分析，对于通信网络中的任一边缘节点，在其首次执行任一语用任务的情况下，即该边缘节点未部署实现该语用任务的任一语义模型的情况下，需要先在该边缘节点中部署用于实现该语用任务的语义模型，对此，为了获得能够精准处理该语用任务当前的待处理输入信源的输入数据的语义模型，可以获得语用任务的任务类别，以及当前的待处理输入信源的模态类别，发送包含该任务类别和模态类别的语义模型获取请求，即语
义模型部署请求，如向通信网络的云端或具有所请求获取的语义模型的其他边缘节点发送该语义模型获取请求等，本技术对语义模型获取请求的发送方式不做限制，可视情况而定。
98.步骤s33，接收第三语义模型；该第三语义模型可以是已训练的与上述任务类别和模态类别对应的语义模型；
99.步骤s34，执行第三语义模型，以通过第三语义模型对待处理输入信源执行语用任务；
100.继上述分析，对于未部署实现上述语用任务的任一语义模型的边缘节点，可以按照上文描述的方法，获得用于精准处理该语用任务的待处理输入信源的输入数据的完整语义模型，即上述第三语义模型，将其部署在该边缘节点中，使得该边缘节点可以执行该第三语义模型，对来自该待处理输入信源的输入数据执行语用任务，实现过程本技术不做详述。
101.在本技术提出的又一些实施例中，在边缘节点首次实现某一语用任务的情况下，所发送的语义模型获取请求也可以包含该语用任务的任务类别，接收该任务类别对应的任一语义模型，后续确定该语用任务的输入信源的模态类别后，若其与用于训练该语义模型的数据集的模态类别不同，相对于是获得该语用任务输入信源的新的模态类别，可以按照描述的方法获取跨模态切片，据此获得处理该语用任务的输入信源的输入数据的语义模型。
102.步骤s35，获得该语用任务输入信源的新的模态类别；
103.步骤s36，发送语义模型更新请求；该语义模型更新请求包括语用任务的任务类别以及新的模态类别；
104.步骤s37，接收第一切片；该第一切片可以是与上述任务类别和新的模态类别对应的部分第一语义模型；
105.关于步骤s35-步骤s37的实现过程，可以参照上文实施例对应部分的描述，本实施例不做详述。
106.示例性的，以图像语义分割任务这一种语用任务为例进行说明，实现图像语义分割的语义模型可以采用但并不局限于deeplab网络结构，结合上述图2对应示例的描述内容，上述数据集a可以是cityscapes数据集(即城市景观数据集)，数据集b可以是gta5数据集(即游戏场景数据集)，本技术对这两种模态的数据集的获取方式及其包含的数据内容不做详述。本实施例可以对同一信源域的不同数据集进行拓展，以获得用于对相应模态类别的数据进行图像语义分割处理的语义模型。
107.具体地，可以通过cityscapes数据集对deeplab网络(即一种通用初始语义模型)进行模型训练，得到对应的语义模型a；通过gta5数据集对deeplab网络进行模型训练，得到对应的语义模型b，之后，可以通过但并不局限于cca(canonical correlation analysis，典型相关分析)方式，衡量这两个数据集分别对应的网络参数差异，差异大的模型部分进行切割，得到对应语义模型中的切片，关于不同语义模型的分割实现方法本技术不做限制，可视情况而定。
108.之后，可以按照上述方法，将针对gta5数据集的语义模型a的切片a，替换通过cityscapes数据集训练得到的语义模型b的切片b，得到语义模型c后，若采用miou(mean intersection over union，平均交并比)作为语义分割评价指标，衡量语义模型的性能指标。在利用来自gta5数据集的测试数据集，对语义模型c进行图像语义分割功能的性能测
试，即：
109.通过语义模型c对gta5测试数据集进行语义分割，所得到的miou评分可以为0.507。此外，通过上述语义模型a对cityscapes测试数据集进行语义分割，得到的miou评分可以为0.693；通过语义模型a对gta5测试数据集进行语义分割，所得到的miou评分可以为0.256。其中，miou评分可以是对应测试数据标注的真实值集，与模型输出的预测值集的交集和并集之间的比值，或按照一定规则据此得到的分数，通常情况下，该miou评分越高，对应的语义分割效果越好，对应语义模型的性能越高，因此，若miou评分等于1，通过对应语义模型对相应测试数据进行语义分割处理过程中，对应的语义分割信息被完全恢复；若miou评分等于0，对应语义模型的语义分割失败。
110.经过上述语义模型性能测试结果可知，通过某一模态类别对应的语义模型，对另一模态类别的数据执行相同语用任务，所得到的语义通信结果很差，即该语义模型对该另一模态类别的数据的语义处理性能很差，所以，在相同语用任务的输入信源的模态更新的情况下，需要获得针对新的模态类别的输入信源的语义模型，在该获取过程中，为了降低对边缘节点的存储开销和内存容量的要求，可以不用直接获取针对新的模态类别的输入信源的完整语义模型，而是获取新的模态类别对应的实现相同语用功能的部分语义模型，即与实现相同语用任务的其他模态类别的语义模型的较大差异部分，记为切片。
111.如上述测试结果可知，上述利用第一切片和第三语义模型的基础部分所构成的第二语义模型的性能，与通过新模态类别的数据集训练的实现相同语用任务的第一语义模型的性能相近，如上述miou评分之间的差值小于评分阈值(其数值较小，具体大小可视情况而定)，因此，本技术通过第二语义模型对新的模态类别的输入信源执行语用任务，能够满足语义通信要求。
112.步骤s38，利用该第一切片，替换第三语义模型中的第三切片，得到第二语义模型；
113.步骤s39，执行该第二语义模型，以通过第二语义模型对新的模态类别的输入信源执行语用任务。
114.如上述分析，第三语义模型是指对原有模态类别的输入信源执行语用任务的语义模型，在确定该语用任务的输入信源的模态类别发生变化，得到该语用任务输入信源的新的模态类别的情况下，由于第三语义模型不再适用于对新的模态类别的输入数据执行语用任务，本技术可以从与该语用任务的任务类别对应的不同模态类别各自的切片(即不同部分语义模型)中，获取与该新的模态类别对应的第一切片，直接由这种跨模态切片与第三语义模型中的基础部分，直接构成第二语义模型，即适用于对新的模态类别的输入数据执行语用任务的语义模型，满足对新的模态类别的输入数据的语义通信需求。
115.由此可见，在边缘节点对不同模态数据执行相同语用任务的场景下，不需要获取针对该语用任务的不同模态类别各自对应的完整语义模型，只需要获得新的模态类别对应的切片，即跨模态切片，替换原有模态类别对应的语义模型中的切片，即可得到用于对新的模态类别的输入数据执行语用任务的完整语义模型，降低了对边缘节点的存储容量和通信资源的开销，以及对该边缘节点的内存容量要求，便于实现边缘节点的语义模型扩展，满足边缘节点上高效处理多模态数据的语义通信需求。
116.参照图4，为本技术提出的语义通信方法的可选实施例三的流程示意图，本实施例可以对上文提出的语义通信方法中，边缘节点如何获得第一切片的实现过程进行细化描
述，但并不局限于本实施例描述的细化实现方法，如图4所示，该方法可以包括：
117.步骤s41，获得该语用任务输入信源的新的模态类别；
118.步骤s42，确定是否存储针对该语用任务的候选切片，若是，进入步骤s43；若否，执行步骤s49；
119.本技术实施例中，上述候选切片可以是针对该语用任务训练得到的部分语义模型，结合上文实施例相应部分的描述，针对相同的语用任务，可以通过不同模态类别的数据集，训练得到实现该语用任务对应的语义模型，经过对实现相同语用任务的不同语义模型之间的差异分析，确定各语义模型中实现相同语用功能的切片。
120.可选的，在通信网络中云端获得实现相同语用任务的多个语义模型及其包含的切片后，可以确定通信网络的各边缘节点对应的跨模态切片，即除该语义模型之外的其他语义模型包含的切片，再将各跨模态切片发送至对应的边缘节点，边缘节点可以将接收到的跨模态切片确定为该语用任务的候选切片，将其与对应的语用任务的任务类别，以及能够执行该语用任务的输入数据的模态类别进行关联后存储。
121.步骤s43，获得该候选切片对应的候选模态类别；
122.其中，候选模态类别为用于训练对应的候选切片所属语义模型的数据集的模态类别，可以配置不同模态标识等方式来表示一一对应的模态类别，本技术对不同模态类别的表示方式不做限制。
123.步骤s44，将该新的模态类别与候选模态类别进行比较，得到对应的比较结果；
124.步骤s45，依据比较结果，确定是否存在与新的模态类别相同的任一候选模态类别相同，若存在，进入步骤s46；若否，执行步骤s47；
125.步骤s46，获得该新的模态类别对应的候选切片确定为第一切片；
126.继上述分析，边缘节点需要获得针对语用任务输入信源的新的模态类别的跨模态切片(如上述第一切片)的情况下，可以先检查本地是否存储有候选切片，若存储了候选切片，可以检测本次是否已存储该跨模态切片，可以按照但并不局限于上文描述的比较方式实现，若存储有该跨模态切片，可以直接从边缘节点的存储设备中读取该跨模态切片。
127.步骤s47，发送语义模型更新请求；该语义模型更新请求包括语用任务的任务类别以及新的模态类别；
128.步骤s48，接收第一切片；该第一切片可以是与上述任务类别和新的模态类别对应的部分第一语义模型；
129.在边缘节点未存储候选切片，或者经过对边缘节点自身存储的候选切片的候选模态类别与获得的新的模态类别之间的比较，确定边缘节点未存储该新的模态类别对应的候选切片的情况下，可以向通信网络中的云端或其他边缘节点发送语义模型更新请求，以请求获得用于对新的模态类别的输入数据实现语用任务的第一切片，实现过程可以参照上下文相应部分的描述，本实施例不做详述。
130.步骤s49，利用该第一切片，获得第二语义模型，以通过该第二语义模型对新的模态类别的输入信源执行语用任务。
131.关于步骤s49的实现过程，可以参照上文实施例相应部分的描述，本实施例不做详述。
132.结合上文从边缘节点侧描述的语义通信方法，下面将从通信网络的云端侧描述该
语义通信方法的实现过程，该云端可以是支持云计算服务的云服务器，其是边缘计算得管控端，实现通信网络中的不同边缘节点的通信管理，本技术对云端的结构及其基本功能不做详述。
133.参照图5，为本技术提出的语义通信方法的可选实施例四的流程示意图，如图5所示，云端执行的语义通信方法可以包括：
134.步骤s51，接收语义模型更新请求；该语义模型更新请求是包括请求更新的语义模型执行语用任务的输入信源的新的模态类别，以及该语用任务的任务类别；
135.本技术实施例中，在任一边缘节点(即语义模型更新请求端)获得语用任务输入信源的新的模态类别后，为了实现对该新的模态类别的输入数据的语用任务，可以向云端发送对应的语义模型更新请求，实现过程可以参照上文边缘节点侧执行的语义通信方法的描述内容，本实施例不做详述。
136.步骤s52，获得与任务类别和该新的模态类别对应存储的第一切片；第一切片是通过属于该新的模态类别的数据集，针对语用任务训练的部分第一语义模型；
137.结合上文实施例对同一语用任务的不同模态类别的多种语义模型的差异分析，获得多个语义模型各自的切片的相关描述内容，云端可以获得这多个语义模型的切片，将其与对应语用任务的任务类别和模态类别进行关联后存储，这样，云端接收到任一语义模型更新请求后，可以按照不同切片与任务类别和模态类别之间的关联关系，获得与该请求包含的任务类别和新的模态类别关联的第一切片。
138.需要说明，关于上述针对任一语用任务的不同模态类别的数据集，训练一一对应的语义模型，再进一步分割得到切片的实现过程，以及该实现过程的执行对象(如云端和/或至少一个边缘节点)，可以参照但并不局限于上下文相应部分的描述，本实施例在此不做详述。
139.步骤s53，发送该第一切片，以使语义模型更新请求端利用第一切片，获得能够对具有新的模态类别的输入信源执行语用任务的第二语义模型。
140.可见，在任一边缘节点需要对相同语用任务的输入信源的新的模态类别的输入数据进行处理的情况下，云端只需要将该新的模态类别对应的部分语义模型即第一切片反馈至该边缘节点，相对于发送整个语义模型模，大大减小了传输数据量，降低了对通信资源的消耗，同时也降低了该传输数据对接收端的存储开销和内存使用量，降低对边缘节点的存储开销和内存容量要求，增大了适用范围。
141.对于接收第一切片的边缘节点，可以直接将其替换针对原有模态类别的第三语义模型的第三切片，得到用于对新的模态类别的输入数据执行语用任务的第二语义模型，且该第二语义模型的性能，与通过该新的模态类别的数据集训练得到的第一语义模型的性能差异较小，使用第二语义模型可以满足对新的模态类别的输入数据的语义通信需求，提高了边缘节点的语义模型扩展性，满足多模态数据的语义通信。
142.参照图6，为本技术提出的语义通信方法的可选实施例五的流程示意图，该实施例仍可以从云端侧进行描述，如图6所示，该语义通信方法可以包括：
143.步骤s61，接收多个语义模型；该多个语义模型可以是针对同一任务类别的语用任务，通过不同模态类别的数据集训练得到；
144.步骤s62，对该多个语义模型进行参数差异分析，得到多个语义模型各自包含的针
对相同语用功能的切片；
145.步骤s63，将该多个语义模型各自的切片与任务类别以及对应的模态类别进行关联后存储；
146.结合上文实施例对应部分的描述，如图2所示，可以针对相同语用任务标注的不同模态类别的数据集，之后，通过每一数据集训练得到实现该语用任务的一语义模型，通过如参数相关性差异分析，确定参数差异较大的部分，据此实现对语义模型的分割，获得不同语义模型中针对相同语用功能的切片，为了方便后续边缘节点获取跨模态切片，可以将得到的针对相同语用任务的各语义模型的切片，与该语用任务的任务类型以及训练使用的数据集所属的模态类别进行关联后存储，具体存储方式本技术不做限制，可视情况而定。
147.在一些实施例中，对于上述实现相同语用任务的多个语义模型，可以由云端按照上文描述的方法训练得到，也可以由一个或多个边缘节点，和/或能够接入边缘节点的终端设备训练得到，再将训练得到的语义模型发送至云端，以使得云端可以获得多个语义模型各自的切片。其中，在云端接收多个边缘节点发送的已训练的多个语义模型的情况下，不同边缘节点可以训练相同语用任务的不同模态类别对应的语义模型，避免重复训练造成资源浪费，实现过程本技术不做详述。
148.可选的，在任一边缘节点或终端设备针对语用任务训练得到多个模态类别各自的语义模型的情况下，可以按照但并不局限于上文描述的方法，对多个语义模型进行参数差异分析，实现对多个语义模型的分割处理，得到各模态类别对应的切片，之后，再将这多个语义模型及其包含的切片发送至云端进行存储。
149.步骤s64，接收语义模型获取请求；该语义模型获取请求包含请求获取的语义模型待执行的语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别；
150.步骤s65，获得与该任务类别和模态类别对应的第三语义模型；
151.步骤s66，发送该第三语义模型，以使得语义模型获取请求端执行该第三语义模型，对待处理输入信源执行语用任务；
152.结合上文边缘节点侧实施例对应部分的描述内容，任一边缘节点需要首次执行某语用任务的情况下，由于该边缘节点中未部署实现该语用任务的任一语义模型，需要先获取能够实现该语用任务的语义模型，云端获得该边缘节点发送的语义模型获取请求后，可以解析该语义模型获取请求，得到所要实现的语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别，之后，可以从所存储的针对该语用任务的不同模态类别的语义模型中，选定该待处理输入信源的模态类别对应的语义模型，记为第三语义模型，将其发送至对应的边缘节点(即语义模型获取请求端)进行部署。
153.可选的，为了满足终端设备通过其他边缘节点，实现对待处理输入信源执行语用任务，云端也可以将获得的第三语义模型下发送至通信网络中的各边缘节点进行部署，这样，终端设备向任一边缘节点发送针对该语用任务的同一模态类别的数据，该边缘节点可以通过第三语义模型对该数据执行该语用任务。
154.在又一些实施例中，云端按照上述方法存储针对同一语用任务的不同模态类别的多个切片后，可以确定各边缘节点的跨模态切片的模态类别，即该边缘节点已部署语义模型对应的模态类别之外的其他模态类别，之后，可以发送该语用任务的任务类别关联存储的跨模态切片(即该语用任务的任务类别关联存储的多个语义模型中，除所请求获取的语
义模型之外的语义模型包含的切片)，如将该跨模态切片发送至对应的边缘节点作为候选切片进行存储。
155.步骤s67，接收语义模型更新请求；
156.继上述分析，对于上述语义模型获取请求端或其他边缘节点，确定语用任务输入信源的模态更新，得到新的模态类别后，可以向云端发送语义模型更新请求，或者是确定本地未存储该新的模态类别对应的候选切片的情况下，向云端发送该语义模型更新请求，以请求获得实现该语用任务的新的模态类别对应的切片，本技术对语义模型更新请求的发送对象及其触发条件不做限制，可视情况而定。
157.步骤s68，获得与语用任务的任务类别及其输入信源的新的模态类别对应存储的第一切片；
158.步骤s69，将第一切片发送至语义模型更新请求端，以利用第一切片，获得能够对具有新的模态类别的输入信源执行语用任务的第二语义模型。
159.通过语义模型更新请求包含的内容，云端查询到语义模型更新请求端(如任一边缘节点等)对新的模态类别的输入信源执行语用任务的第一切片后，只需要将第一切片反馈至语义模型更新请求端，使其按照上文描述的方法，获得第二语义模型，实现对新模态数据的语义处理。
160.由于第一切片是第一语用模型的部分，其数据量远小于整个第一语义模型的数据量，这样，云端向边缘节点发送第一切片，相对于发送完整的第一语义模型，大大降低了对通信资源的消耗，对于接收第一切片的边缘节点来说，也降低了存储开销和内存容量要求。
161.在本技术提出的又一些实施例中，结合上文各实施例描述的语义通信方法，通信网络中的第一节点训练实现语用任务的语义模型之前，可以查询其他边缘节点和云端是否已训练实现该语用任务的语义模型，以及已训练的语义模型训练所使用的数据集所属的模态类别等，可以通过发送语义模型查询请求实现，确定通信网络的第二节点(即区别于第一节点的至少一个边缘节点)或云服务器已经训练用于实现该语用任务的一定数量的语义模型，可以将包含已训练语义模型对应的模态类别的语义模型训练信息反馈至第一节点，以使得第一节点可以训练其他模态类别的语义模型，再发送至云端，由云端按照上述方法确定各语义模型包含的切片。
162.在确定第二节点或云端已经训练得到实现该语用任务的所有模态类别的多个语义模型，即已训练针对该语用任务的预设数量模态类别的语义模型，也就是确定接收到的语义模型的数量等于预设模态类别数量，可以向第一节点发送语义模型训练通知信息，以通知第一节点不用再训练实现该语用任务的语义模型，可以按照上文描述的方法，直接获取所需语义模型。
163.其中，对于训练得到语义模型的边缘节点或终端设备，可以直接将语义模型上报至云端进行分割处理，也可以分割得到对应的切片后，将该语义模型及其切片发送至云端进行存储，本技术对相同语用任务的不同模态类别对应的多个语义模型的训练实现过程，以及执行该训练甚至语义模型分割处理的执行对象不做限制，可以依据实际场景需求确定。
164.基于上述分析，参照图7所示，为本技术提出的语义通信方法的可选实施例六的流程示意图，该实施例可以对语义模型的训练实现过程及其分割过程进行描述，该方法可以
云端执行，如图7所示，该语义通信方法可以包括：
165.步骤s71，接收语义模型训练请求；
166.如上述分析，语义模型训练请求可以包括所请求训练的语义模型待执行的语用任务的不同输入信源的多个模态类别，以及该语用任务的任务类别，该语义模型训练请求可以由任一边缘节点发送，本技术对其生成或触发发送方式不做限制。
167.步骤s72，获得针对任务类别标注的多个模态类别各自的数据集；
168.步骤s73，依据不同的数据集，训练得到与任务类别和相应的模态类别对应的语义模型；
169.结合图2所示训练过程，针对相同语用任务标注的数据集a和数据集b，甚至是更多的数据集，可以通过同一数据集中的训练数据，对初始语义模型进行训练学习，得到用于对相应模态类别的数据实现该语用任务的语义模型，如数据集a对应的语义模型a，数据集b对应的语义模型b，训练实现过程不做详述。
170.步骤s74，对训练得到的多个语义模型进行参数差异分析，获得多个语义模型各自包含的针对相同语用功能的切片；
171.步骤s75，将多个语义模型各自的切片与任务类别和对应的模态类别进行关联后存储。
172.关于步骤s74和步骤s75的实现过程，以及依据查询跨模态切片，实现边缘节点中已有语义模型的更新，得到用于处理新模态类别的输入数据的语义模型的实现过程，可以参照上文实施例对应部分的描述，本实施例不做详述。
173.可选的，在获得针对该语用任务的新模态类别的数据集后，仍可以按照上文描述的方案训练得到对应的语义模型，将其与已训练的其他语义模型进行差异分析，得到新训练得到的语义模型包含的切片，添加到云端的存储空间中，以使得边缘节点可以支持对该新模态类别的数据执行语用任务，提高了边缘节点的语义模型的扩展性。
174.可选的，本技术还提出了一种语义通信装置，其可以适用于通信网络的任一边缘节点，该装置可以包括：
175.模态类别获得模块，用于获得语用任务输入信源的新的模态类别；
176.语义模型更新请求发送模块，用于发送语义模型更新请求；所述语义模型更新请求包括所述语用任务的任务类别以及所述新的模态类别；
177.第一切片接收模块，用于接收第一切片；所述第一切片是与所述任务类别和所述新的模态类别对应的部分第一语义模型；
178.第二语义模型获得模块，用于利用所述第一切片，获得第二语义模型，以通过所述第二语义模型对所述输入信源执行所述语用任务。
179.关于上述边缘节点中各功能模块包含的功能单元，可以参照上文从边缘节点侧描述的语义通信方法的相关描述，本实施例在此不做详述。
180.可选的，本技术还提出了一种语义通信装置，其可以适用于通信网络的云端，该装置可以包括：
181.语义模型更新请求接收模块，用于接收语义模型更新请求；所述语义模型更新请求包括请求更新的语义模型执行语用任务的输入信源的新的模态类别，以及所述语用任务的任务类别；
182.第一切片获得模块，用于获得与所述任务类别和所述新的模态类别对应存储的第一切片；所述第一切片是通过属于所述新的模态类别的数据集，针对所述语用任务训练的部分第一语义模型；
183.第一切片发送模块，用于发送所述第一切片，以使语义模型更新请求端利用所述第一切片，获得能够对具有所述新的模态类别的输入信源执行所述语用任务的第二语义模型。
184.关于上述云端的各功能模块包含的功能单元，可以参照上文从云端侧描述的语义通信方法的相关描述，本实施例在此不做详述。
185.需要说明的是，关于上述各装置实施例中的各种模块、单元等，均可以作为程序模块存储在通信网络中对应侧设备的存储器中，由该侧设备中的处理器执行存储在存储器中的上述程序模块，以实现相应的功能，关于各程序模块及其组合所实现的功能，以及达到的技术效果，可以参照上述对应侧设备执行的方法实施例相应部分的描述，本实施例不再赘述。
186.本技术还提出了一种计算机可读存储介质，其上存储有至少一个计算机指令集，该计算机指令集可以被处理器加载执行，实现上述通信网络对应侧执行的语义通信方法。
187.参照图8，为适用于本技术提出的语义通信方法的计算机设备的一可选示例的硬件结构示意图，该计算机设备可以包括收发器81和处理器82，其中：
188.收发器81可以用于实现信息的接收和发送，其可以是支持无线通信网络或有线通信网络的通信模块，如wifi模块、5g/6g(第五代移动通信网络/第六代移动通信网络)模块、无线射频模块、短距离通信模块、gprs模块等无线通信模块，或者是网络数据线等，可以依据通信网络中不同节点之间的通信方式确定，本技术对收发器81的组成结构不做限制。
189.在计算机设备被配置为通信网络中不同身份的设备的情况下，处理器82可以用于实现对应侧执行的语义通信方法。如计算机设备被配置为通信网络中的任一边缘节点的情况下，可以用于实现上述从边缘节点侧描述的语义通信方法；在计算机设备被配置为通信网络的云端的情况下，可以用于实现上述从云端侧描述的语义通信方法，实现过程参照上述对应侧实施例的描述内容，本实施例不做赘述。
190.在本技术实际应用中，上述处理器82可以为中央处理器(central processing unit，cpu)、特定应用集成电路(application-specific integrated circuit，asic)、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件等，语义通信方法的不同执行对象中的处理器82的类型可以相同，也可以不同，本技术不做限制。
191.可选的，上述语义通信方法可以通过程序代码实现，上述处理器82可以包含存储设备，用于存储实现对应侧执行的语义通信方法的程序代码，处理器82可以通过执行该程序代码，实现对应侧执行的语义通信方法。
192.在又一些实施例中，计算机设备还可以包括存储器，其是独立于处理器81的器件，如高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件或其他易失性固态存储器件等，如上文描述的方法，其可以用于存储实现对应侧执行的语义通信方法的程序代码，由处理器82加载执行该程序代码，实现对应侧执行的语义通信方法。
193.应该理解的是，图8所示的计算机设备的结构并不构成对本技术实施例中计算机
设备的限定，在实际应用中，计算机设备可以包括比图8所示的更多的部件，或者组合某些部件，如各种传感器构成的传感器模组、报警设备、电源模组等，在计算机设备为终端设备的情况下，还可以包括如感应触摸显示面板上的触摸事件的触摸感应单元、键盘、鼠标、摄像头、拾音器等至少一个输入组件，以及如显示器、扬声器、振动机构、灯等至少一个输出组件等，可以依据计算机设备的类型及其功能需求确定，本技术在此不做一一列举。
194.需要说明的是，关于上述各实施例中，诸如第一、第二等之类的关系术语仅仅用来将一个操作、单元或模块与另一个操作、单元或模块区分开来，而不一定要求或者暗示这些单元、操作或模块之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法或者系统中还存在另外的相同要素。
195.且，如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。还有，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
196.另外，本技术说明根据本技术的实施例的系统所执行的操作的流程图，其前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
197.最后，本说明书中各个实施例采用递进或并列的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置、计算机设备而言，由于其与实施例公开的方法对应，所以描述的比较简单，相关之处参见方法部分说明即可。
198.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种语义通信方法，所述方法包括：获得语用任务输入信源的新的模态类别；发送语义模型更新请求；所述语义模型更新请求包括所述语用任务的任务类别以及所述新的模态类别；接收第一切片；所述第一切片是与所述任务类别和所述新的模态类别对应的部分第一语义模型；利用所述第一切片，获得第二语义模型，以通过所述第二语义模型对所述输入信源执行所述语用任务。2.根据权利要求1所述的方法，在所述获得语用任务输入信源的新的模态类别之前，所述方法还包括：获得待执行的任一语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别；发送语义模型获取请求；所述语义模型获取请求包含所述任务类别以及所述模态类别；接收第三语义模型；所述第三语义模型是已训练的与所述任务类别和所述模态类别对应的语义模型；执行所述第三语义模型，以通过所述第三语义模型对所述待处理输入信源执行所述语用任务。3.根据权利要求1或2所述的方法，所述利用所述第一切片，获得第二语义模型，包括：利用所述第一切片，替换第三语义模型中的第三切片，得到第二语义模型；所述第三语义模型是指对原有模态类别的输入信源执行所述语用任务的语义模型。4.根据权利要求1或2所述的方法，在所述获得语用任务输入信源的新的模态类别的情况下，所述方法还包括：确定已存储的至少一个候选切片；所述候选切片是针对所述语用任务训练得到的部分语义模型；获得所述候选切片对应的候选模态类别；所述候选模态类别为用于训练对应的所述候选切片所属语义模型的数据集的模态类别；将所述新的模态类别与所述候选模态类别进行比较，得到对应的比较结果；确定所述比较结果为所述新的模态类别与任一所述候选模态类别相同，获得所述新的模态类别对应的所述候选切片确定为第一切片，执行所述利用所述第一切片，获得第二语义模型步骤；确定所述比较结果为所述新的模态类别与所有的所述候选模态类别都不同，或者确定未存储任一所述候选切片，执行所述发送语义模型更新请求步骤。5.一种语义通信方法，所述方法包括：接收语义模型更新请求；所述语义模型更新请求是包括请求更新的语义模型执行语用任务的输入信源的新的模态类别，以及所述语用任务的任务类别；获得与所述任务类别和所述新的模态类别对应存储的第一切片；所述第一切片是通过属于所述新的模态类别的数据集，针对所述语用任务训练的部分第一语义模型；发送所述第一切片，以使语义模型更新请求端利用所述第一切片，获得能够对具有所
述新的模态类别的输入信源执行所述语用任务的第二语义模型。6.根据权利要求5所述的方法，所述方法还包括：接收语义模型获取请求；所述语义模型获取请求包含请求获取的语义模型待执行的语用任务的任务类别，以及该语用任务的待处理输入信源的模态类别；获得与所述任务类别和所述模态类别对应的第三语义模型；发送所述第三语义模型。7.根据权利要求5或6所述的方法，所述方法还包括：接收多个语义模型；所述多个语义模型是针对同一任务类别的语用任务，通过不同模态类别的数据集训练得到；对所述多个语义模型进行参数差异分析，得到所述多个语义模型各自包含的针对相同语用功能的切片；将所述多个语义模型各自的所述切片与所述任务类别以及对应的所述模态类别进行关联后存储。8.根据权利要求7所述的方法，在接收到任一所述语义模型获取请求的情况下，所述方法还包括：发送所述任务类别所关联存储的跨模态切片，以使语义模型获取请求端能够将接收到的所述跨模态切片确定为所述语用任务的候选切片进行存储；其中，所述跨模态切片是指所述任务类别关联存储的多个语义模型中，除所请求获取的语义模型之外的语义模型包含的切片。9.根据权利要求5或6所述的方法，所述方法还包括：接收语义模型训练请求；所述语义模型训练请求包括所请求训练的语义模型待执行的语用任务的不同输入信源的多个模态类别，以及所述语用任务的任务类别；获得针对所述任务类别标注的所述多个模态类别各自的数据集；依据所述数据集，训练得到与所述任务类别和相应的所述模态类别对应的语义模型；对训练得到的多个语义模型进行参数差异分析，获得所述多个语义模型各自包含的针对相同语用功能的切片；将所述多个语义模型各自的所述切片与所述任务类别和对应的所述模态类别进行关联后存储。10.一种计算机设备，所述计算机设备包括收发器和处理器，其中：在所述计算机设备被配置为通信网络中的任一边缘节点的情况下，所述处理器用于实现：获得语用任务输入信源的新的模态类别；发送语义模型更新请求；所述语义模型更新请求包括所述语用任务的任务类别以及所述新的模态类别；接收第一切片；所述第一切片是与所述任务类别和所述新的模态类别对应的部分第一语义模型；利用所述第一切片，获得第二语义模型，以通过所述第二语义模型对所述输入信源执行所述语用任务；在所述计算机设备被配置为所述通信网络的云端的情况下，所述处理器用于实现：
接收语义模型更新请求；所述语义模型更新请求是包括请求更新的语义模型执行语用任务的输入信源的新的模态类别，以及所述语用任务的任务类别；获得与所述任务类别和所述新的模态类别对应存储的第一切片；所述第一切片是通过属于所述新的模态类别的数据集，针对所述语用任务训练的部分第一语义模型；发送所述第一切片，以使语义模型更新请求端利用所述第一切片，获得能够对具有所述新的模态类别的输入信源执行所述语用任务的第二语义模型。

技术总结
本申请提出了一种语义通信方法及计算机设备，在获得语用任务输入信源的新的模态类别的情况下，可以发送包括语用任务的任务类别以及新的模态类别的语义模型更新请求，接收第一切片，即与该任务类别和新的模态类别对应的部分第一语义模型，从而利用该第一切片，直接获得第二语义模型，以通过第二语义模型对该新的模态类别的输入信源执行上述语用任务。模态类别的输入信源执行上述语用任务。模态类别的输入信源执行上述语用任务。


技术研发人员：许晓东 方泽川 孙梦颖
受保护的技术使用者：联想（北京）有限公司
技术研发日：2023.05.17
技术公布日：2023/8/16