基于动作生成模型的动作生成方法、装置及设备与流程

1.本技术涉及人工智能技术领域，特别涉及一种基于动作生成模型的动作生成方法、装置及设备。


背景技术：

2.文本驱动动作生成（text-driven motion synthesis）是根据文本内容，生成人体动作序列的一类生成方法。文本内容可以涵盖人类日常生活的多种运动场景（例如走路、对话、运动等）。
3.相关技术中，先使用自编码器（auto-encoder，ae）学习输入文本的文本特征，再使用变分自编码器（variational auto encoders，vae）将输入文本的特征分布转换到低维度特征空间中的正态分布，从而在此特征空间建模扩散过程，生成文本特征对应的动作序列。
4.然而，由于低维度特征空间的表示能力不足，导致该方法生成的人体动作序列往往存在细节不丰富的问题。


技术实现要素：

5.本技术实施例提供了一种基于动作生成模型的动作生成方法、装置及设备。所述技术方案包括如下几个方面。
6.根据本技术实施例的一个方面，提供了一种基于动作生成模型的动作生成方法，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述方法包括：获取包含动作信息的输入文本；通过所述文本编码器生成所述输入文本对应的文本特征；通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述输入文本的语义相匹配的中间动作序列；通过所述进阶扩散模型在第二维度的特征空间下，对所述中间动作序列进行细节增强处理，生成与所述输入文本相匹配的输出动作序列，所述第二维度大于所述第一维度。
7.根据本技术实施例的一个方面，提供了一种动作生成模型的训练方法，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述方法包括：获取所述动作生成模型的训练样本集，所述训练样本集中包括至少一个动作文本对，每个所述动作文本对中包括具有匹配关系的一个样本文本和一个原始动作序列；通过所述文本编码器生成所述样本文本对应的文本特征；通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第一动作序列；通过所述进阶扩散模型在第二维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第二动作序列，所述第二维度大于所述第一维度；根据所述第一动作序列与所述原始动作序列之间的差异，对所述基础扩散模型的参数进行调整，以及根据所述第二动作序列与所述原始动作序列之间的差异，对所述进阶扩散模型的参数进行调整，得到训练后的动作生成模型。
8.根据本技术实施例的一个方面，提供了一种基于动作生成模型的动作生成装置，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述装置包括：文本获
取模块，用于获取包含动作信息的输入文本；文本特征生成模块，用于通过所述文本编码器生成所述输入文本对应的文本特征；中间序列生成模块，用于通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述输入文本的语义相匹配的中间动作序列；输出序列生成模块，用于通过所述进阶扩散模型在第二维度的特征空间下，对所述中间动作序列进行细节增强处理，生成与所述输入文本相匹配的输出动作序列，所述第二维度大于所述第一维度。
9.根据本技术实施例的一个方面，提供了一种动作生成模型的训练装置，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述方法包括：样本集获取模块，用于获取所述动作生成模型的训练样本集，所述训练样本集中包括至少一个动作文本对，每个所述动作文本对中包括具有匹配关系的一个样本文本和一个原始动作序列；文本特征生成模块，用于通过所述文本编码器生成所述样本文本对应的文本特征；第一序列生成模块，用于通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第一动作序列；第二序列生成模块，用于通过所述进阶扩散模型在第二维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第二动作序列，所述第二维度大于所述第一维度；参数调整模块，用于根据所述第一动作序列与所述原始动作序列之间的差异，对所述基础扩散模型的参数进行调整，以及根据所述第二动作序列与所述原始动作序列之间的差异，对所述进阶扩散模型的参数进行调整，得到训练后的动作生成模型。
10.根据本技术实施例的一个方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述基于动作生成模型的动作生成方法，或动作生成模型的训练方法。
11.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述基于动作生成模型的动作生成方法，或动作生成模型的训练方法。
12.根据本技术实施例的一个方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序由处理器加载并执行以实现上述基于动作生成模型的动作生成方法，或动作生成模型的训练方法。
13.本技术实施例提供的技术方案可以带来如下有益效果：通过基础扩散模型在第一维度的特征空间下，根据文本特征生成与输入文本的语义相匹配的中间动作序列，初步得到了与输入文本相匹配的中间动作序列；并通过进阶扩散模型在第二维度的特征空间下，对中间动作序列进行细节增强处理，进一步得到与输入文本更为匹配的输出动作序列。相较于相关技术中仅在低维度的特征空间下对输入文本建模扩散过程，而导致生成的动作序列中细节不丰富的问题，本技术提供的技术方案在高维度的特征空间下增强了输出动作序列中的细节特征，提升了输出动作序列中的细节丰富度。
附图说明
14.图1是本技术一个实施例提供的方案实施环境的示意图。
15.图2是本技术一个实施例提供的基于动作生成模型的动作生成方法的流程图。
16.图3是本技术一个实施例提供的不同变分自编码器对动作序列的重构效果与真实
动作序列之间的对比示意图。
17.图4是本技术一个实施例提供的动作生成模型的框架结构示意图。
18.图5是本技术一个实施例提供的基于动作生成模型的动作生成方法的另一流程图。
19.图6是本技术一个实施例提供的每个输入文本生成多个符合输入文本语义但各不相同的动作序列的示意图。
20.图7是本技术一个实施例提供的本技术的技术方案与其他动作序列生成方法的生成效果的对比示意图。
21.图8是本技术另一个实施例提供的动作生成模型的训练方法的流程图。
22.图9是本技术一个实施例提供的动作生成模型的使用过程的算法流程图。
23.图10是本技术一个实施例提供的基于动作生成模型的动作生成装置的框图。
24.图11是本技术另一个实施例提供的动作生成模型的训练装置的框图。
25.图12是本技术一个实施例提供的计算机设备的结构框图。
具体实施方式
26.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
27.人工智能（artificial intelligence，ai）是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
28.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
29.机器学习（machine learning，ml）是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
30.随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
31.本技术技术方案主要涉及人工智能技术中的机器学习技术，主要涉及动作生成模型的训练和使用过程。
32.请参考图1，其示出了本技术一个实施例提供的方案实施环境的示意图。该方案实
施环境可以实现成为动作生成模型的训练和使用系统。该方案实施环境可以包括：模型训练设备10和模型使用设备20。
33.模型训练设备10可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视、多媒体播放设备、车载终端、服务器、智能机器人等电子设备，或者是其他一些具有较强计算能力的电子设备。模型训练设备10用于对动作生成模型进行训练。
34.在本技术实施例中，动作生成模型是基于动作生成模型的训练方法训练得到的机器学习模型，用于根据包含动作信息的输入文本，生成与该输入文本相匹配的输出动作序列。模型训练设备10可以采用机器学习的方式对该动作生成模型进行训练，以使其具备根据输入文本生成与输入文本相匹配的输出动作序列的能力，具体的模型训练方法可以参考下述实施例。
35.动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型。文本编码器用于对输入文本进行编码，生成输入文本对应的文本特征；基础扩散模型用于在低维度的特征空间下，生成与输入文本的语义相匹配的中间动作序列；进阶扩散模型用于在高维度的特征空间下，对中间动作序列进行细节增强处理，生成与输入文本相匹配的输出动作序列。
36.其中，基础扩散模型和进阶扩散模型是人工智能领域的一类生成模型，此类生成模型使用神经网络经过多轮迭代学习，逐渐从高斯噪声分布中恢复真实数据分布。扩散模型主要包括两个扩散过程，即前向扩散过程和后向扩散过程，前向扩散过程用于将高斯噪声逐次添加到输入文本中，得到一系列具有不同噪声强度的噪声文本，这些噪声文本用于扩散网络的学习，反向扩散过程利用训练好的扩散网络，逐次对噪声文本去除噪声，以从高斯噪声中恢复出动作序列。
37.在本技术实施例中，将输入文本输入动作生成模型，首先经由文本编码器生成输入文本对应的文本特征，而后通过基础扩散模型在低维度的特征空间下，根据文本特征生成与输入文本的语义相匹配的中间动作序列，最后通过进阶扩散模型在高维度的特征空间下，对中间动作序列进行细节增强处理，生成与输入文本相匹配的输出动作序列。
38.训练后的动作生成模型可部署在模型使用设备20中使用。模型使用设备20可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视、多媒体播放设备、车载终端、智能机器人等终端设备，也可以是服务器。在需要根据输入文本生成与输入文本相匹配的输出动作序列时，模型使用设备20可以通过训练后的动作生成模型实现上述功能。
39.模型训练设备10和模型使用设备20可以是两个独立存在的设备，也可以是同一个设备。若模型训练设备10和模型使用设备20是同一个设备时，则模型训练设备10可以部署在模型使用设备20中。
40.在本技术实施例中，各步骤的执行主体可以是计算机设备，该计算机设备是指具备数据计算、处理和存储功能的电子设备。该计算机设备可以是诸如手机、平板电脑、笔记本电脑、台式电脑、智能电视、多媒体播放设备、车载终端、智能机器人等终端设备，也可以是服务器。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。计算机设备可以是如图1中的模型训练设备10，也可以是模型使用设备20。
41.请参考图2，其示出了本技术一个实施例提供的基于动作生成模型的动作生成方法的流程图。动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型。该方法各步骤
的执行主体可以是计算机设备。该方法可以包括如下步骤210~240中的至少一个步骤。
42.步骤210，获取包含动作信息的输入文本。
43.动作信息是指包含动作描述的文本内容，其中，动作描述是针对人物身体部位的运动特征的文本描述，可以涵盖日常生活中的多种运动场景。示例性地，可以是针对人物单一身体部位的运动特征的文本描述。比如，可以是针对人物腿部运动特征的文本描述，例如，走路、慢跑、踢腿、后退等描述；也可以是针对人物手部运动特征的文本描述，例如，抬手、挥手、鼓掌、握拳等描述；也可以是针对人物头部运动特征的文本描述，例如，仰头、低头、对话、微笑等描述，等等。示例性地，也可以针对人物多个身体部位的整体运动特征的文本描述，例如，挥臂跑动、弯腰捡东西、上台阶、跳舞等描述。
44.这里说的人物可以是真实存在的人物，也可以是虚拟存在的人物，若人物为虚拟存在的人物，则人物可以不限制于人类形态，可以包括动物形态、自主创作的任何虚拟形态。
45.输入文本中包含动作信息，示例性地，输入文本可以是“某某挥舞右手”，其中，“挥舞右手”为动作信息。
46.步骤220，通过文本编码器生成输入文本对应的文本特征。
47.文本编码器用于对输入文本进行编码，生成输入文本对应的文本特征。示例性地，文本编码器可以是clip文本编码器。
48.在本技术实施例中，通过文本编码器生成的文本特征可以是第一维度的文本特征。
49.步骤230，通过基础扩散模型在第一维度的特征空间下，根据文本特征生成与输入文本的语义相匹配的中间动作序列。
50.在一些实施例中，基础扩散模型包括第一变分自编码器和第一降噪器，第一变分自编码器包括第一编码器和第一解码器。
51.第一变分自编码器是任意一个变分自编码器，包括第一编码器和第一解码器，用于对编码后的特征添加高斯噪声，并对加噪后的特征进行解码。
52.在本技术实施例中，基础扩散模型是将输入文本转换为第一维度的特征空间中的隐空间分布，再在此特征空间中建模扩散过程，将该特征空间中的隐空间分布重构为与输入文本相匹配的中间动作序列。其中，第一变分自编码器的编解码过程中加入的高斯噪声是第一维度的噪声，第一编码器用于将输入文本转换为第一维度的特征空间中的隐空间分布，第一解码器用于将第一维度的隐空间分布重构为与输入文本相匹配的中间动作序列。
53.不同变分自编码器可以对应于不同维度的特征空间，而在不同维度的特征空间中，变分自编码器重构得到的动作序列不同，通常情况下，高维度的特征空间对应的变分自编码器对动作序列的重构效果，优于低维度的特征空间对应的变分自编码器对动作序列的重构效果。
54.图3示出了在不同维度的特征空间下，不同变分自编码器（vae）对动作序列的重构效果与真实动作序列之间的对比示意图。由图3可以观察到，当特征空间的维度较低时，例如，特征维度为1*256、2*256、4*256时，变分自编码器对动作序列的重构结果缺少手部动作细节，具体可以参考vae-1、vae-2和vae-4中标注框内的手部动作。当特征空间的维度较高时，例如，特征维度为8*256、12*256时，变分自编码器对动作序列的重构结果手部动作细节
较为丰富，具体可以参考vae-8和vae-12中标注框内的手部动作。与真实动作序列的手部动作细节相比，显然vae-8和vae-12中的手部动作序列更为接近真实动作序列中的手部动作细节，可见vae-8和vae-12对动作序列的重构效果，要优于vae-1、vae-2和vae-4对动作序列的重构效果。
55.步骤230包括步骤231~232（图中未示出）中的至少一个子步骤。
56.步骤231，通过第一编码器，生成随机噪声对应的第一维度的随机动作特征。
57.第一编码器是第一变分自编码器中包含的编码器。
58.随机动作特征是指随机生成的一个噪声动作特征，用于表示人物动作序列的特征信息。随机动作特征可以由随机数（或者可以称为随机种子）对应生成，不同的随机数对应于不同的随机动作特征，随机数是指任意一个数字。不同随机数对应的随机动作特征具有不同的动作特点，可以是动作风格不同的动作特点，例如，可以是动作较为夸张的动画风格，也可以是动作较为细微的传统风格，也可以是动作较为随意的休闲风格，等等。
59.步骤232，通过第一降噪器和第一解码器，根据随机动作特征和文本特征，生成与输入文本的语义相匹配的中间动作序列。
60.基础扩散模型包括前向扩散过程和后向扩散过程，通过基础扩散模型的前向扩散过程逐次向随机动作特征中添加噪声，随机动作特征则逐次失去其特征信息，进行t次加噪后，随机动作特征将变为没有任何动作特征的隐空间分布，t为正整数。基础扩散模型的后向扩散过程即为第一降噪器和第一解码器的处理过程。
61.第一降噪器是任意一个降噪器，用于在第一维度的特征空间下，根据约束条件（即文本特征），逐次对加噪后的随机动作特征去除噪声，使得经文本特征控制约束后的动作特征逐次显露出来，进行t次去噪后，加噪后的随机动作特征将变为与输入文本相匹配的动作特征。
62.第一解码器是第一变分自编码器中包含的解码器，用于将第一降噪器的输出数据重构为与输入文本的语义相匹配的中间动作序列。
63.中间动作序列是基础扩散模型的输出数据，用于表征由基础扩散模型逐步降噪得到的与输入文本的语义相匹配的中间降噪结果。
64.输入文本的语义是指输入文本对应的语义信息，用于表示输入文本所要表达的语义特征，包括动作信息的语义。中间动作序列与输入文本的语义相匹配是指在中间动作序列与输入文本的语义相匹配的基础上，重点输入文本的动作信息的语义相匹配。中间动作序列可以初步概略表示输入文本中包含的动作信息。
65.通过基础扩散模型的前向扩散过程和后向扩散过程，根据文本特征，对随机动作特征进行了约束去噪处理，初步得到与输入文本相匹配的中间动作序列，从而后续在高维度特征空间中对中间动作序列进行细节增强处理到的扩散过程会更加便捷快速。
66.步骤240，通过进阶扩散模型在第二维度的特征空间下，对中间动作序列进行细节增强处理，生成与输入文本相匹配的输出动作序列，第二维度大于第一维度。
67.中间动作序列是进阶扩散模型的输入数据，进阶扩散模型用于在基础扩散模型得到的中间动作序列的基础上，进一步地对中间动作序列中细节特征进行增强处理，以得到与输入文本相匹配的、细节更丰富的输出动作序列。
68.在一些实施例中，进阶扩散模型包括第二变分自编码器和至少两个第二降噪器，
第二变分自编码器包括第二编码器和第二解码器。
69.第二变分自编码器是任意一个变分自编码器，包括第二编码器和第二解码器，用于对编码后的特征添加高斯噪声，并对加噪后的特征进行解码。
70.在本技术实施例中，进阶扩散模型将中间动作序列转换为第二维度的特征空间中的隐空间分布，再在此特征空间中建模扩散过程，将该特征空间中的隐空间分布进一步重构为与输入文本相匹配的输出动作序列。其中，第二变分自编码器的编解码过程中加入的高斯噪声是第二维度的噪声。
71.由于第二维度大于第一维度，因此与基础扩散模型相比，进阶扩散模型对应的特征空间为高维度的特征空间，基础扩散模型对应的特征空间为低维度的特征空间，进阶扩散模型中的第二变分自编码器对动作序列的重构效果，优于基础扩散模型中的变分自编码器对动作序列的重构效果。
72.通过将基础扩散模型的输出数据作为进阶扩散模型的输入数据，采用进阶扩散模型对基础扩散模型输出的中间动作序列进行细节增强处理，使得到的输出动作序列在细节上与输入文本更为匹配，提升动作序列中的细节丰富度。
73.步骤240包括步骤241~242（图中未示出）中的至少一个子步骤。
74.步骤241，通过第二编码器，生成中间动作序列对应的第二维度的中间动作特征。
75.第二编码器是第二变分自编码器中包含的编码器，用于将中间动作序列转换为第二维度的特征空间中的隐空间分布。
76.中间动作特征是由第二编码器生成的中间动作序列对应的第二维度的隐空间分布，用于表示中间动作序列在第二维度的特征空间中的特征分布。
77.步骤242，通过至少两个第二降噪器和第二解码器，根据中间动作特征生成与输入文本相匹配的输出动作序列。
78.中间动作序列作为进阶扩散模型的输入数据，进阶扩散模型包括前向扩散过程和后向扩散过程，通过基础扩散模型的前向扩散过程逐次向中间动作特征中添加噪声，中间动作特征则逐次失去其特征信息，进行次加噪后，中间动作特征将变为没有任何动作特征的隐空间分布，为大于或等于2的整数。进阶扩散模型的后向扩散过程即为至少两个第二降噪器和第二解码器的处理过程。
79.至少两个第二降噪器是任意两个降噪器，用于在第二维度的特征空间下，根据约束条件（即文本特征），逐次对加噪后的中间动作特征去除噪声，使得经文本特征控制约束后的动作特征逐次显露出来，进行次去噪后，加噪后的中间动作特征将进一步转化为与输入文本相匹配的动作特征。
80.第二解码器是第二变分自编码器中包含的解码器，用于将至少两个第二降噪器的输出数据重构为与输入文本的语义相匹配的输出动作序列。
81.输出动作序列是进阶扩散模型的输出数据，用于表征与输入文本相匹配的动作序列，是在与输入文本的语义相匹配的基础上，与动作信息进一步匹配的动作序列，可以还原出输入文本中所描述的动作细节。
82.通过进阶扩散模型的前向扩散过程和后向扩散过程，根据文本特征，对基础扩散模型的输出数据进一步进行约束去噪处理，增强了输出动作序列中的细节特征，使得到的输出动作序列在细节上与输入文本更为匹配，提高了动作序列中的细节丰富度。
83.图4示出了动作生成模型的框架结构示意图，基础扩散模型和进阶扩散模型的实现流程是大致相同的，都是通过编码器将输入数据分布转换为变分自编码器对应的维度特征空间下的噪声分布，对该噪声分布加噪后，又将该加噪后的噪声分布转换为维度特征空间下的去噪后的特征分布，最后通过解码器将特征分布重构为动作序列。两个扩散模型的网络框架的不同之处在于基础扩散模型的维度特征空间低于进阶扩散模型的维度特征空间，且基础扩散模型中是通过一个第一降噪器对加噪后的随机动作特征进行去噪，而进阶扩散模型中是通过两个第二降噪器对加噪后的中间动作特征进行去噪。
84.图4中在第一降噪器和第二降噪器中显示的小长方块是指输入文本对应的文本特征，大长方块是指加噪后的动作特征，降噪器基于文本特征对加噪后的动作特征进行降噪，从而得到去噪后的动作特征。降噪过程中的降噪次数与加入噪声维度相关，例如，第一噪声的维度小于第二噪声，则基础扩散模型中第一降噪器的降噪次数小于进阶扩散模型中至少两个第二降噪器的降噪次数之和。
85.图4也示出了基础扩散模型与进阶扩散模型的连接关系，基础扩散模型的输出数据将作为进阶扩散模型的输入数据，进阶扩散模型是基于基础扩散模型得到的与输入文本的语义相匹配的中间动作序列，进一步对中间动作序列进行细节增强处理，从而得到与输入文本中的动作信息更为匹配的输出动作序列，输出动作序列可以更好地还原出输入文本中所描述的动作细节。
86.本技术实施例提供的技术方案，通过基础扩散模型在第一维度的特征空间下，根据文本特征生成与输入文本的语义相匹配的中间动作序列，初步得到了与输入文本相匹配的中间动作序列；并通过进阶扩散模型在第二维度的特征空间下，对中间动作序列进行细节增强处理，进一步得到与输入文本更为匹配的输出动作序列。相较于相关技术中仅在低维度的特征空间下对输入文本建模扩散过程，而导致生成的动作序列中细节不丰富的问题，本技术提供的技术方案在高维度的特征空间下增强了输出动作序列中的细节特征，提升了输出动作序列中的细节丰富度。
87.请参考图5，其示出了本技术一个实施例提供的基于动作生成模型的动作生成方法的另一流程图。该方法各步骤的执行主体可以是计算机设备。该方法可以包括如下步骤510~590中的至少一个步骤。
88.步骤510，获取包含动作信息的输入文本，并通过文本编码器生成输入文本对应的文本特征。
89.步骤520，通过第一编码器，生成随机噪声对应的第一维度的随机动作特征。
90.上述步骤510和步骤520中的相关内容可以参考上文实施例，此处不再进行赘述。
91.步骤530，对随机动作特征加入第一维度的第一噪声，得到加噪后的随机动作特征。
92.第一噪声是指第一维度的高斯噪声，随机动作特征是第一维度的特征分布。可选地，可以将第一噪声分为t次逐次向随机动作特征中添加噪声，也可以将第一噪声一次全部加入随机动作特征，从而得到加噪后的随机动作特征。加噪后的随机动作特征是不具有特征信息的第一维度的噪声分布。
93.步骤540，根据文本特征，通过第一降噪器对加噪后的随机动作特征进行去噪，得到第一维度的去噪后的随机动作特征。
94.根据文本特征，通过第一降噪器逐次对加噪后的随机动作特征去除噪声，经过t次去噪后，得到第一维度的去噪后的随机动作特征。去噪后的随机动作特征是与文本特征的语义信息相匹配的动作特征，其中包含动作信息对应的动作特征。
95.可选地，第一降噪器的数量可以是一个，也可以是多个。在本技术实施例中，为了提高基础扩散模型的运行效率，将第一降噪器的数量设置为1，即图4所示的单个降噪器网络框架。
96.步骤550，通过第一解码器对去噪后的随机动作特征进行解码，生成与输入文本的语义相匹配的中间动作序列。
97.通过第一解码器对去噪后的随机动作特征进行解码，将去噪后的随机动作特征重构为与输入文本的语义相匹配的中间动作序列。
98.通过在第一维度的特征空间下对随机动作特征建模扩散过程，对加噪后的随机动作特征进行去噪处理，初步得到了与输入文本相匹配的中间动作序列，由于低维度的特征空间分布较为简单，更容易实现从噪声分布到特征分布的转换，处理过程较为便捷。
99.步骤560，通过第二编码器，生成中间动作序列对应的第二维度的中间动作特征。
100.步骤560中的相关内容可以参考上文实施例，此处不再进行赘述。
101.步骤570，对中间动作特征加入第二维度的第二噪声，得到加噪后的中间动作特征。
102.第二噪声是指第二维度的高斯噪声，中间动作特征是第二维度的特征分布。可选地，可以将第二噪声分为次逐次向中间动作特征中添加噪声，也可以将第二噪声一次全部加入随机动作特征，从而得到加噪后的中间动作特征。加噪后的中间动作特征是不具有特征信息的第二维度的噪声分布。
103.步骤580，通过至少两个第二降噪器依次对加噪后的中间动作特征进行去噪，得到第二维度的去噪后的中间动作特征。
104.根据文本特征，通过至少两个第二降噪器逐次对加噪后的随机动作特征去除噪声，经过次去噪后，得到第二维度的去噪后的中间动作特征。去噪后的中间动作特征是在与文本特征的语义信息相匹配的基础上，与动作信息的细节特征进一步匹配的动作特征。
105.在一些实施例中，第二降噪器的数量为n，n为大于或等于2的整数。
106.则第i个第二降噪器对加噪后的中间动作特征进行次去噪，n个第二降噪器对加噪后的中间动作特征共进行次去噪，为正整数。示例性地，第1个第二降噪器对加噪后的中间动作特征进行次去噪，第2个第二降噪器对加噪后的中间动作特征进行次去噪，则。
107.在本技术实施例中，为了实现运行效率和生成效果两方面的协调性，避免由于第二降噪器的数量过多而导致运行效率降低，将第二降噪器的数量设置为2，即图4所示的多降噪器网络框架。其中，第1个第二降噪器对加噪后的中间动作特征进行次去噪，第2个第二降噪器对加噪后的中间动作特征进行次去噪，则。
108.步骤580包括步骤581~583（图中未示出）中的至少一个子步骤。
109.步骤581，通过第i个第二降噪器对加噪后的中间动作特征进行次去噪，得到第i
次去噪后的中间动作特征，i为小于或等于n的正整数，且i的初始值为1，为正整数。
110.步骤582，若i小于n，则令i=i+1，并再次从步骤581开始执行。
111.若i小于n，则表示尚未对加噪后的中间动作特征去噪完成，需要继续对第i次去噪后的中间动作特征进行去噪。令i=i+1，通过第i+1个第二降噪器对加噪后的中间动作特征进行次去噪，得到第i+1次去噪后的中间动作特征。
112.步骤583，若i等于n，则将第i次去噪后的中间动作特征，确定为去噪后的中间动作特征。
113.若i等于n，则表示已经对加噪后的中间动作特征去噪完成，第n次去噪后的中间动作特征，即为至少两个第二降噪器依次对加噪后的中间动作特征进行去噪得到第二维度的去噪后的中间动作特征。
114.通过在进阶扩散模型中设置多个第二降噪器对加噪后的中间动作特征进行去噪，使得每个第二降噪器分别负责特定时间段内的降噪过程，降噪过程更加细致，从而增强了输出动作序列中的细节特征，提升了输出动作序列中的细节丰富度。
115.步骤590，通过第二解码器对去噪后的中间动作特征进行解码，生成与输入文本相匹配的输出动作序列。
116.通过第二解码器对去噪后的随机动作特征进行解码，将去噪后的中间动作特征重构为与输入文本相匹配的输出动作序列。
117.本技术实施例提供的技术方案，通过基础扩散模型在低维度的特征空间下，基于第一降噪器的降噪过程，初步生成与输入文本的语义相匹配的中间动作序列，又通过进阶扩散模型在高维度的特征空间下，基于至少两个第二降噪器的降噪过程，在与输入文本的语义相匹配的基础上，与输入文本的动作信息进一步匹配的输出动作序列，增强了输出动作序列中的细节特征，并提升了输出动作序列中的细节丰富度。
118.本技术提供的基于动作生成模型的动作生成方法，结合了低维度特征空间的基础扩散模型和高维度特征空间的进阶扩散模型各自的优势，让基础扩散模型和进阶扩散模型分别负责反向扩散过程的不同阶段，最后生成与输入文本的语义相匹配且动作信息的细节丰富的运动序列。
119.图6示出了每个输入文本生成多个符合输入文本语义但各不相同的动作序列的示意图。通过图6可以看出，根据本技术实施例提出的基于动作生成模型的动作生成方法，可以对每个输入文本生成多个符合输入文本的语义但动作信息的细节特征各不相同的动作序列。
120.如图6中的（1）图所示的动作序列1和动作序列2，两者都是根据“一个人和某人跳舞”的输入文本而生成的动作序列，其中，动作序列1虽与真实动作序列存在差别，但是与输入文本的语义是相匹配的，因此，该动作序列1和动作序列2都可以作为输入文本“一个人和某人跳舞”对应的动作序列。图6中的（2）图和（3）图也是相同的理由，（2）图所示的动作序列2与真实动作序列存在差别，（3）图所示的动作序列1与真实动作序列存在差别，但是，（2）图中的动作序列1和动作序列2都可以作为输入文本“一个人正在挥舞右手”对应的动作序列，（3）图中的动作序列1和动作序列2都可以作为输入文本“一个人后退并将双臂放在两侧坐在椅子上，而后从椅子上站起来”对应的动作序列。
121.根据图6所示，可以看出本技术提出的技术方案在保证生成效果的同时，也具备了
生成多样性结果的能力。
122.图7示出了本技术的技术方案与其他动作序列生成方法的生成效果的对比示意图。
123.通过对比可知，本技术提出的方法，即基于层次化扩散模型的精细的文本驱动动作生成方法（basic-to-advanced hierarchical diffusion model，b2a-hdm）能够更好生成与输入文本的语义相匹配且细节更丰富的动作序列。例如，根据图7的（1）图、（2）图、（3）图和（4）图，可以看出motion diffuse和mdm无法生成与输入文本的语义相匹配的运动序列，而t2m-gpt和mld对动作细节的生成不到位，本技术提出的b2a-hdm能同时兼顾生成结果与输入文本的匹配度，以及对动作细节的还原度。
124.下表1展示了本技术提出的b2a-hdm与其他动作序列生成方法在humanml3d数据集上的定量结果对比，其中最佳的结果均以加粗形式呈现。
125.表1
126.对比的评价指标包括r-precision、fid、mm dist、diversity和mmodality。其中，p-precision和mm dist用来衡量生成结果与输入文本的匹配度；fid用来衡量生成结果的还原度，即生成结果与真实样本是否接近；diversity和mmodality用来衡量生成结果的多样性。
127.下表2展示了本技术提出的b2a-hdm与其他动作序列生成方法在kit-ml数据集上的定量结果对比。
128.表2
129.上表1和表2的对比结果均表明，本技术提出的b2a-hdm方法在生成结果与输入文本的匹配度以及生成结果的还原度的指标上，明显优于其他动作序列生成方法。与此同时，在多样性指标上，b2a-hdm也取得了有不错的结果，说明了b2a-hdm具备生成多样性结果的能力。
130.请参考图8，其示出了本技术一个实施例提供的动作生成模型的训练方法的流程图。动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型。该方法各步骤的执行主体可以是计算机设备。该方法可以包括如下步骤810~850中的至少一个步骤。
131.步骤810，获取动作生成模型的训练样本集，训练样本集中包括至少一个动作文本对，每个动作文本对中包括具有匹配关系的一个样本文本和一个原始动作序列。
132.一个样本文本可以对应于多个原始动作序列，根据每个样本文本与对应的其中一个原始动作序列构建一个动作文本对，则每个样本文本可以构建至少一个动作文本对。
133.步骤820，通过文本编码器生成样本文本对应的文本特征。
134.步骤830，通过基础扩散模型在第一维度的特征空间下，根据文本特征生成与样本文本相匹配的第一动作序列。
135.在一些实施例中，基础扩散模型包括经过预训练的第一变分自编码器和第一降噪器，第一变分自编码器包括第一编码器和第一解码器。
136.在一些实施例中，通过第一编码器，生成第一随机噪声对应的第一维度的第一动
作特征；通过第一降噪器和第一解码器，根据第一动作特征和文本特征，生成与样本文本相匹配的第一动作序列。
137.在一些实施例中，对第一动作特征加入第一维度的第一噪声，得到加噪后的第一动作特征；根据文本特征，通过第一降噪器对加噪后的第一动作特征进行去噪，得到第一维度的去噪后的第一动作特征；通过第一解码器对去噪后的第一动作特征进行解码，生成与样本文本相匹配的第一动作序列。
138.上述步骤820和步骤830中的相关内容可以参考上文实施例，此处不再进行赘述。
139.步骤840，通过进阶扩散模型在第二维度的特征空间下，根据文本特征生成与样本文本相匹配的第二动作序列，第二维度大于第一维度。
140.在一些实施例中，基础扩散模型包括经过预训练的第一变分自编码器和第一降噪器，第一变分自编码器包括第一编码器和第一解码器。
141.在一些实施例中，通过第二编码器，生成第二随机噪声对应的第二维度的第二动作特征；通过至少两个第二降噪器和第二解码器，根据第二动作特征和文本特征，生成与样本文本相匹配的第二动作序列。
142.在一些实施例中，对第二动作特征加入第二维度的第二噪声，得到加噪后的第二动作特征；根据文本特征，通过至少两个第二降噪器依次对加噪后的第二动作特征进行去噪，得到第二维度的去噪后的第二动作特征；通过第二解码器对去噪后的第二动作特征进行解码，生成与样本文本相匹配的第二动作序列。
143.在一些实施例中，通过第i个第二降噪器对加噪后的第二动作特征进行次去噪，得到第i次去噪后的第二动作特征，i为小于或等于n的正整数，且i的初始值为1，为正整。
144.在一些实施例中，若i小于n，则令i=i+1，并再次从通过第i个第二降噪器对加噪后的第二动作特征进行次去噪，得到第i次去噪后的第二动作特征的步骤开始执行；若i等于n，则将第i次去噪后的第二动作特征，确定为去噪后的第二动作特征。
145.上述步骤840中的相关内容可以参考步骤830对应的上文实施例，此处不再进行赘述。
146.动作生成模型对进阶扩散模型的训练方法与对基础扩散模型的训练方法是相同的，都是基于训练样本集中的动作文本对，对随机噪声对应的动作特征进行训练，差别在于基础扩散模型是在第一维度的特征空间下建模扩散过程，而进阶扩散模型是在第二维度的特征空间下建模扩散过程。
147.步骤850，根据第一动作序列与原始动作序列之间的差异，对基础扩散模型的参数进行调整，以及根据第二动作序列与原始动作序列之间的差异，对进阶扩散模型的参数进行调整，得到训练后的动作生成模型。
148.动作生成模型的训练方法采用的是分别对基础扩散模型和进阶扩散模型进行训练，即将基础扩散模型和进阶扩散模型分别作为独立的扩散模型进行训练。在基于动作生成模型生成动作序列时，再将基础扩散模型的输出数据作为进阶扩散模型的输入数据，将两个模型关联起来。
149.因此，步骤850需要分别对基础扩散模型和进阶扩散模型的参数进行调整，分别调整完成之后，即可得到训练后的动作生成模型。
150.由于第一变分自编码器和第二变分自编码器都是经过预训练的自编码器，因此，
对基础扩散模型和进阶扩散模型的参数进行调整，可以转化为对第一降噪器和至少两个第二降噪器的参数进行调整。进一步地，可以根据转化为根据第一变分自编码器和第二变分自编码器中分别加入的噪声与动作样本对中对应的噪声之间的差异，分别对第一降噪器和至少两个第二降噪器的参数进行调整。
151.示例性地，以基础扩散模型的训练过程为例进行介绍说明，进阶扩散模型的训练过程可以参考基础扩散模型的训练过程。
152.第一降噪器负责在第一维度的特征空间中建模反向扩散过程，即通过多轮迭代，逐渐从高斯噪声中还原出第一维度的特征空间中的动作特征。为了训练第一降噪器，需要借助前向扩散过程在第一动作特征上进行逐步加噪以得到第一降噪器的输入数据。逐步加噪的过程符合马尔可夫链属性，可以用以下数学公式表示。
153.。
154.。
155.其中，表示基础扩散模型的前向扩散过程的加噪总次数，表示第t次加噪后的第一动作特征，是与加噪次数相关的噪声权重超参数，的取值范围为（0,1），表示全1向量或者单位矩阵，的呈现形式与加入噪声的呈现形式相关联，表示加入噪声是符合高斯分布的噪声，表示在第t-1次加噪后的第一动作特征的基础上，得到第t次加噪后的第一动作特征的概率。
156.通过使用重参数技巧，在任意加噪次数中加入的噪声，可以通过更简洁的表示形式采样得到。
157.。
158.其中，，表示第t次加噪过程中加入的符合高斯分布的噪声。
159.步骤850包括步骤851~853（图中未示出）中的至少一个子步骤。
160.步骤851，根据原始动作序列，确定原始动作序列对应的预测噪声。
161.预测噪声是指根据原始动作序列，预测基于样本文本得到该原始动作序列的扩散过程中所要添加的噪声。
162.步骤852，根据第一噪声和预测噪声之间的差异，计算第一损失函数值，并根据第二噪声和预测噪声之间的差异，计算第二损失函数值。
163.示例性地，可以采用mse（mean squared error，均方误差）损失计算第一噪声和预测噪声之间的差异，第一损失函数值可以表示为如下公式。
164.。
165.其中，表示第一噪声，表示预测噪声，表示文本编码器对样本文本进行编码得到的文本特征。
166.此外，为了尽可能让基础扩散模型能在更高维度的特征空间上建模扩散过程，对上述第一损失函数值的计算做了改进，使其在降噪早期（更大时）对模型预测误差的惩罚大，而在降噪后期（更小时）对预测误差惩罚小。具体可以表示为。
167.。
168.其中，和是权重超参数，和为正数，用于将第一损失函数值的取值范围，约束在阈值范围内，示例性地，可以将取值范围约束在0.5到5之间，则和可以分别设置为4.5和0.5。
169.步骤853，根据第一损失函数值对第一降噪器的参数进行调整，得到训练后的基础扩散模型，并根据第二损失函数值对至少两个第二降噪器的参数进行调整，得到训练后的进阶扩散模型。
170.示例性地，以基础扩散模型的训练过程为例，根据上述第一损失函数值，对第一降噪器的参数进行调整，得到训练后的基础扩散模型。并根据第二损失函数值，对至少两个第二降噪器的参数进行调整，得到训练后的进阶扩散模型，从而得到训练后的运动生成模型。
171.图9示出了动作生成模型的使用过程的算法流程图，先使用基础扩散模型的第一降噪器在第一维度的特征空间下，根据输入文本，执行完整步的反向扩散过程，得到第一维度的特征空间中的运动特征。随后，使用基础扩散模型中的第一解码器将运动特征还原回动作序列。
172.将基础扩散模型的输出数据作为进阶扩散模型的输入数据，使用进阶扩散模型的第二编码器将基础扩散模型生成的运动序列映射到第二维度的特征空间下，并进行步的前向扩散加噪过程，得到加噪后的动作特征。而后，再使用进阶扩散模型的降噪器和依次完成剩余的反向扩散降噪过程，得到第二维度特征空间中运动特征，最后，再使用进阶扩散模型的第二解码器，将还原回动作序列。
173.本技术实施例提供的技术方案，通过分别对基础扩散模型和进阶扩散模型进行训练，使得基础扩散模型和进阶扩散模型都能达到较好的训练效果，从而可以对不同维度的扩散模型进行搭配，以生成与样本文本相匹配的动作序列。避免联合训练时无法对进阶扩散模型的参数做出较大的调整，从而限制进阶扩散模型的使用用途，仅能作为该次训练模型中的进阶扩散模型进行使用。
174.下述为本技术装置实施例，可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节，请参照本技术方法实施例。
175.请参考图10，其示出了本技术一个实施例提供的基于动作生成模型的动作生成装置的框图。动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型。该装置具有实现上述基于动作生成模型的动作生成方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图10所示，该装置1000可以包括：文本获取模块1010、文本特征生成模块1020、中间序列生成模块1030和输出序列生成模块1040。
176.文本获取模块1010，用于获取包含动作信息的输入文本。
177.文本特征生成模块1020，用于通过所述文本编码器生成所述输入文本对应的文本特征。
178.中间序列生成模块1030，用于通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述输入文本的语义相匹配的中间动作序列。
179.输出序列生成模块1040，用于通过所述进阶扩散模型在第二维度的特征空间下，对所述中间动作序列进行细节增强处理，生成与所述输入文本相匹配的输出动作序列，所述第二维度大于所述第一维度。
180.在一些实施例中，所述基础扩散模型包括第一变分自编码器和第一降噪器，所述第一变分自编码器包括第一编码器和第一解码器；所述中间序列生成模块1030，包括随机特征生成单元和中间序列生成单元。
181.随机特征生成单元，用于通过所述第一编码器，生成随机噪声对应的所述第一维度的随机动作特征。
182.中间序列生成单元，用于通过所述第一降噪器和所述第一解码器，根据所述随机动作特征和所述文本特征，生成与所述输入文本的语义相匹配的中间动作序列。
183.在一些实施例中，所述中间序列生成单元，用于对所述随机动作特征加入所述第一维度的第一噪声，得到加噪后的随机动作特征；根据所述文本特征，通过所述第一降噪器对所述加噪后的随机动作特征进行去噪，得到所述第一维度的去噪后的随机动作特征；通过所述第一解码器对所述去噪后的随机动作特征进行解码，生成与所述输入文本的语义相匹配的中间动作序列。
184.在一些实施例中，所述进阶扩散模型包括第二变分自编码器和至少两个第二降噪器，所述第二变分自编码器包括第二编码器和第二解码器；所述输出序列生成模块1040，包括中间特征生成单元和输出序列生成单元。
185.中间特征生成单元，用于通过所述第二编码器，生成所述中间动作序列对应的所述第二维度的中间动作特征。
186.输出序列生成单元，用于通过所述至少两个第二降噪器和所述第二解码器，根据所述中间动作特征生成与所述输入文本相匹配的输出动作序列。
187.在一些实施例中，所述输出序列生成单元，用于对所述中间动作特征加入所述第二维度的第二噪声，得到加噪后的中间动作特征；通过所述至少两个第二降噪器依次对所述加噪后的中间动作特征进行去噪，得到所述第二维度的去噪后的中间动作特征；通过所述第二解码器对所述去噪后的中间动作特征进行解码，生成与所述输入文本相匹配的输出动作序列。
188.在一些实施例中，所述第二降噪器的数量为n，n为大于或等于2的整数；所述输出序列生成单元，用于通过第i个第二降噪器对所述加噪后的中间动作特征进行次去噪，得到第i次去噪后的中间动作特征，i为小于或等于n的正整数，且i的初始值为1，为正整数；若i小于n，则令i=i+1，并再次从所述通过第i个第二降噪器对所述加噪后的中间动作特征进行次去噪，得到第i次去噪后的中间动作特征的步骤开始执行；若i等于n，则将所述第i次去噪后的中间动作特征，确定为所述去噪后的中间动作特征。
189.本技术实施例提供的技术方案，通过基础扩散模型在第一维度的特征空间下，根据文本特征生成与输入文本的语义相匹配的中间动作序列，初步得到了与输入文本相匹配的中间动作序列；并通过进阶扩散模型在第二维度的特征空间下，对中间动作序列进行细节增强处理，进一步得到与输入文本更为匹配的输出动作序列。相较于相关技术中仅在低
维度的特征空间下对输入文本建模扩散过程，而导致生成的动作序列中细节不丰富的问题，本技术提供的技术方案在高维度的特征空间下增强了输出动作序列中的细节特征，提升了输出动作序列中的细节丰富度。
190.请参考图11，其示出了本技术另一个实施例提供的动作生成模型的训练装置的框图。动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型。该装置具有实现上述基于动作生成模型的动作生成方法的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的计算机设备，也可以设置在计算机设备中。如图11所示，该装置1100可以包括：样本集获取模块1110、文本特征生成模块1120、第一序列生成模块1130、第二序列生成模块1140和参数调整模块1150。
191.样本集获取模块1110，用于获取所述动作生成模型的训练样本集，所述训练样本集中包括至少一个动作文本对，每个所述动作文本对中包括具有匹配关系的一个样本文本和一个原始动作序列。
192.文本特征生成模块1120，用于通过所述文本编码器生成所述样本文本对应的文本特征。
193.第一序列生成模块1130，用于通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第一动作序列。
194.第二序列生成模块1140，用于通过所述进阶扩散模型在第二维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第二动作序列，所述第二维度大于所述第一维度。
195.参数调整模块1150，用于根据所述第一动作序列与所述原始动作序列之间的差异，对所述基础扩散模型的参数进行调整，以及根据所述第二动作序列与所述原始动作序列之间的差异，对所述进阶扩散模型的参数进行调整，得到训练后的动作生成模型。
196.在一些实施例中，所述基础扩散模型包括经过预训练的第一变分自编码器和第一降噪器，所述第一变分自编码器包括第一编码器和第一解码器；所述第一序列生成模块1130，包括第一特征生成单元和第一序列生成单元。
197.第一特征生成单元，用于通过所述第一编码器，生成第一随机噪声对应的所述第一维度的第一动作特征。
198.第一序列生成单元，用于通过所述第一降噪器和所述第一解码器，根据所述第一动作特征和所述文本特征，生成与所述样本文本相匹配的第一动作序列。
199.在一些实施例中，所述第一序列生成单元，用于对所述第一动作特征加入所述第一维度的第一噪声，得到加噪后的第一动作特征；根据所述文本特征，通过所述第一降噪器对所述加噪后的第一动作特征进行去噪，得到所述第一维度的去噪后的第一动作特征；通过所述第一解码器对所述去噪后的第一动作特征进行解码，生成与所述样本文本相匹配的第一动作序列。
200.在一些实施例中，所述进阶扩散模型包括经过预训练的第二变分自编码器和至少两个第二降噪器，所述第二变分自编码器包括第二编码器和第二解码器；所述第二序列生成模块1140，包括第二特征生成单元和第二序列生成单元。
201.第二特征生成单元，用于通过所述第二编码器，生成第二随机噪声对应的所述第二维度的第二动作特征。
unit，中央处理器）；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1201可以在集成有gpu（graphics processing unit，图像处理器），gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1201还可以包括ai处理器，该ai处理器用于处理有关机器学习的计算操作。
211.存储器1202可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1202还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1202中的非暂态的计算机可读存储介质用于存储计算机程序，所述计算机程序经配置以由一个或者一个以上处理器执行，以实现上述基于动作生成模型的动作生成方法，或动作生成模型的训练方法。
212.本领域技术人员可以理解，图12中示出的结构并不构成对计算机设备1200的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
213.在示意性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，所述计算机程序在被计算机设备的处理器执行时实现上述基于动作生成模型的动作生成方法，或动作生成模型的训练方法。可选地，上述计算机可读存储介质可以是rom（read-only memory，只读存储器）、ram（random access memory，随机存取存储器）、cd-rom（compact disc read-only memory，只读光盘）、磁带、软盘和光数据存储设备等。
214.在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行上述基于动作生成模型的动作生成方法，或动作生成模型的训练方法。
215.需要说明的是，本技术在收集用户的相关数据之前以及在收集用户的相关数据的过程中，都可以显示提示界面、弹窗或输出语音提示信息，该提示界面、弹窗或语音提示信息用于提示用户当前正在搜集其相关数据，使得本技术仅仅在获取到用户对该提示界面或者弹窗发出的确认操作后，才开始执行获取用户相关数据的相关步骤，否则（即未获取到用户对该提示界面或者弹窗发出的确认操作时），结束获取用户相关数据的相关步骤，即不获取用户的相关数据。换句话说，本技术所采集的所有用户数据，处理严格根据相关国家法律法规的要求，获取个人信息主体的知情同意或单独同意都是在用户同意并授权的情况下进行采集的，并在法律法规及个人信息主体的授权范围内，开展后续数据使用及处理行为且相关用户数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
216.应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本技术实施例对此不作限定。
217.以上所述仅为本技术的示例性实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于动作生成模型的动作生成方法，其特征在于，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述方法包括：获取包含动作信息的输入文本；通过所述文本编码器生成所述输入文本对应的文本特征；通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述输入文本的语义相匹配的中间动作序列；通过所述进阶扩散模型在第二维度的特征空间下，对所述中间动作序列进行细节增强处理，生成与所述输入文本相匹配的输出动作序列，所述第二维度大于所述第一维度。2.根据权利要求1所述的方法，其特征在于，所述基础扩散模型包括第一变分自编码器和第一降噪器，所述第一变分自编码器包括第一编码器和第一解码器；所述通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述输入文本的语义相匹配的中间动作序列，包括：通过所述第一编码器，生成随机噪声对应的所述第一维度的随机动作特征；通过所述第一降噪器和所述第一解码器，根据所述随机动作特征和所述文本特征，生成与所述输入文本的语义相匹配的中间动作序列。3.根据权利要求2所述的方法，其特征在于，所述通过所述第一降噪器和所述第一解码器，根据所述随机动作特征和所述文本特征，生成与所述输入文本的语义相匹配的中间动作序列，包括：对所述随机动作特征加入所述第一维度的第一噪声，得到加噪后的随机动作特征；根据所述文本特征，通过所述第一降噪器对所述加噪后的随机动作特征进行去噪，得到所述第一维度的去噪后的随机动作特征；通过所述第一解码器对所述去噪后的随机动作特征进行解码，生成与所述输入文本的语义相匹配的中间动作序列。4.根据权利要求1至3任一项所述的方法，其特征在于，所述进阶扩散模型包括第二变分自编码器和至少两个第二降噪器，所述第二变分自编码器包括第二编码器和第二解码器；所述通过所述进阶扩散模型在第二维度的特征空间下，对所述中间动作序列进行细节增强处理，生成与所述输入文本相匹配的输出动作序列，包括：通过所述第二编码器，生成所述中间动作序列对应的所述第二维度的中间动作特征；通过所述至少两个第二降噪器和所述第二解码器，根据所述中间动作特征生成与所述输入文本相匹配的输出动作序列。5.根据权利要求4所述的方法，其特征在于，所述通过所述至少两个第二降噪器和所述第二解码器，根据所述中间动作特征生成与所述输入文本相匹配的输出动作序列，包括：对所述中间动作特征加入所述第二维度的第二噪声，得到加噪后的中间动作特征；通过所述至少两个第二降噪器依次对所述加噪后的中间动作特征进行去噪，得到所述第二维度的去噪后的中间动作特征；通过所述第二解码器对所述去噪后的中间动作特征进行解码，生成与所述输入文本相匹配的输出动作序列。6.根据权利要求5所述的方法，其特征在于，所述第二降噪器的数量为n，n为大于或等
于2的整数；所述通过所述至少两个第二降噪器依次对所述加噪后的中间动作特征进行去噪，得到所述第二维度的去噪后的中间动作特征，包括：通过第i个第二降噪器对所述加噪后的中间动作特征进行次去噪，得到第i次去噪后的中间动作特征，i为小于或等于n的正整数，且i的初始值为1，为正整数；若i小于n，则令i=i+1，并再次从所述通过第i个第二降噪器对所述加噪后的中间动作特征进行次去噪，得到第i次去噪后的中间动作特征的步骤开始执行；若i等于n，则将所述第i次去噪后的中间动作特征，确定为所述去噪后的中间动作特征。7.一种动作生成模型的训练方法，其特征在于，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述方法包括：获取所述动作生成模型的训练样本集，所述训练样本集中包括至少一个动作文本对，每个所述动作文本对中包括具有匹配关系的一个样本文本和一个原始动作序列；通过所述文本编码器生成所述样本文本对应的文本特征；通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第一动作序列；通过所述进阶扩散模型在第二维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第二动作序列，所述第二维度大于所述第一维度；根据所述第一动作序列与所述原始动作序列之间的差异，对所述基础扩散模型的参数进行调整，以及根据所述第二动作序列与所述原始动作序列之间的差异，对所述进阶扩散模型的参数进行调整，得到训练后的动作生成模型。8.根据权利要求7所述的方法，其特征在于，所述基础扩散模型包括经过预训练的第一变分自编码器和第一降噪器，所述第一变分自编码器包括第一编码器和第一解码器；所述通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第一动作序列，包括：通过所述第一编码器，生成第一随机噪声对应的所述第一维度的第一动作特征；通过所述第一降噪器和所述第一解码器，根据所述第一动作特征和所述文本特征，生成与所述样本文本相匹配的第一动作序列。9.根据权利要求8所述的方法，其特征在于，所述通过所述第一降噪器和所述第一解码器，根据所述第一动作特征和所述文本特征，生成与所述样本文本相匹配的第一动作序列，包括：对所述第一动作特征加入所述第一维度的第一噪声，得到加噪后的第一动作特征；根据所述文本特征，通过所述第一降噪器对所述加噪后的第一动作特征进行去噪，得到所述第一维度的去噪后的第一动作特征；通过所述第一解码器对所述去噪后的第一动作特征进行解码，生成与所述样本文本相匹配的第一动作序列。10.根据权利要求7所述的方法，其特征在于，所述进阶扩散模型包括经过预训练的第二变分自编码器和至少两个第二降噪器，所述第二变分自编码器包括第二编码器和第二解码器；
所述通过所述进阶扩散模型在第二维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第二动作序列，包括：通过所述第二编码器，生成第二随机噪声对应的所述第二维度的第二动作特征；通过所述至少两个第二降噪器和所述第二解码器，根据所述第二动作特征和所述文本特征，生成与所述样本文本相匹配的第二动作序列。11.根据权利要求10所述的方法，其特征在于，所述通过所述至少两个第二降噪器和所述第二解码器，根据所述第二动作特征和所述文本特征，生成与所述样本文本相匹配的第二动作序列，包括：对所述第二动作特征加入所述第二维度的第二噪声，得到加噪后的第二动作特征；根据所述文本特征，通过所述至少两个第二降噪器依次对所述加噪后的第二动作特征进行去噪，得到所述第二维度的去噪后的第二动作特征；通过所述第二解码器对所述去噪后的第二动作特征进行解码，生成与所述样本文本相匹配的第二动作序列。12.根据权利要求11所述的方法，其特征在于，所述第二降噪器的数量为n，n为大于或等于2的整数；所述根据所述文本特征，通过所述至少两个第二降噪器依次对所述加噪后的第二动作特征进行去噪，得到所述第二维度的去噪后的第二动作特征，包括：通过第i个第二降噪器对所述加噪后的第二动作特征进行次去噪，得到第i次去噪后的第二动作特征，i为小于或等于n的正整数，且i的初始值为1，为正整数；若i小于n，则令i=i+1，并再次从所述通过第i个第二降噪器对所述加噪后的第二动作特征进行次去噪，得到第i次去噪后的第二动作特征的步骤开始执行；若i等于n，则将所述第i次去噪后的第二动作特征，确定为所述去噪后的第二动作特征。13.根据权利要求7至12任一项所述的方法，其特征在于，所述根据所述第一动作序列与所述原始动作序列之间的差异，对所述基础扩散模型的参数进行调整，以及根据所述第二动作序列与所述原始动作序列之间的差异，对所述进阶扩散模型的参数进行调整，得到训练后的动作生成模型，包括：根据所述原始动作序列，确定所述原始动作序列对应的预测噪声；根据第一噪声和所述预测噪声之间的差异，计算第一损失函数值，并根据第二噪声和所述预测噪声之间的差异，计算第二损失函数值；根据所述第一损失函数值对所述第一降噪器的参数进行调整，得到训练后的基础扩散模型，并根据所述第二损失函数值对至少两个第二降噪器的参数进行调整，得到所述训练后的进阶扩散模型。14.一种基于动作生成模型的动作生成装置，其特征在于，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述装置包括：文本获取模块，用于获取包含动作信息的输入文本；文本特征生成模块，用于通过所述文本编码器生成所述输入文本对应的文本特征；中间序列生成模块，用于通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述输入文本的语义相匹配的中间动作序列；
输出序列生成模块，用于通过所述进阶扩散模型在第二维度的特征空间下，对所述中间动作序列进行细节增强处理，生成与所述输入文本相匹配的输出动作序列，所述第二维度大于所述第一维度。15.一种动作生成模型的训练装置，其特征在于，所述动作生成模型包括文本编码器、基础扩散模型和进阶扩散模型，所述装置包括：样本集获取模块，用于获取所述动作生成模型的训练样本集，所述训练样本集中包括至少一个动作文本对，每个所述动作文本对中包括具有匹配关系的一个样本文本和一个原始动作序列；文本特征生成模块，用于通过所述文本编码器生成所述样本文本对应的文本特征；第一序列生成模块，用于通过所述基础扩散模型在第一维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第一动作序列；第二序列生成模块，用于通过所述进阶扩散模型在第二维度的特征空间下，根据所述文本特征生成与所述样本文本相匹配的第二动作序列，所述第二维度大于所述第一维度；参数调整模块，用于根据所述第一动作序列与所述原始动作序列之间的差异，对所述基础扩散模型的参数进行调整，以及根据所述第二动作序列与所述原始动作序列之间的差异，对所述进阶扩散模型的参数进行调整，得到训练后的动作生成模型。16.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至6任一项所述的基于动作生成模型的动作生成方法，或者实现如权利要求7至13任一项所述的动作生成模型的训练方法。17.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至6任一项所述的基于动作生成模型的动作生成方法，或者实现如权利要求7至13任一项所述的动作生成模型的训练方法。

技术总结
本申请公开了一种基于动作生成模型的动作生成方法、装置及设备，涉及人工智能技术领域。所述方法包括：获取包含动作信息的输入文本；通过文本编码器生成输入文本对应的文本特征；通过基础扩散模型在第一维度的特征空间下，根据文本特征生成与输入文本的语义相匹配的中间动作序列；通过进阶扩散模型在第二维度的特征空间下，对中间动作序列进行细节增强处理，生成与输入文本相匹配的输出动作序列，第二维度大于第一维度。本申请通过基础扩散模型初步生成与输入文本的语义相匹配的中间动作序列，并通过进阶扩散模型对中间动作序列进行细节增强处理，提升了输出动作序列中的细节丰富度。富度。富度。


技术研发人员：伍洋 谢震宇 孙钟前 杨巍 梁小丹
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2023.08.03
技术公布日：2023/9/7