图像翻译方法和装置、设备及存储介质与流程

1.本技术涉及金融科技(fi ntech)技术领域，尤其涉及一种图像翻译方法和装置、设备及存储介质。


背景技术：

2.随着计算机技术的发展，越多越多的技术(例如：人机交互、深度学习)应用在金融领域，以在金融领域结合人机交互技术构建虚拟机器人与客户进行沟通。其中，虚拟机器人生成涉及到图像技术中的图像合成。
3.相关技术中，图像合成领域设计包括图像翻译、图像生成、图像检索等技术，其中图像翻译是将语义图像经过风格转换得到与参考图像风格一致的目标图像。相关技术中，图像翻译依赖于整体卷积与归一化手段来引导语义图像关注参考图像中的图像特征，虽然能够生成与参考图像风格近似的目标图像，但是缺少参考图像和语义图像之间的局部细节，生成目标图像较为粗糙。


技术实现要素：

4.本技术实施例的主要目的在于提出一种图像翻译方法和装置、设备及存储介质，旨在生成精确度更高的目标图像。
5.为实现上述目的，本技术实施例的第一方面提出了一种图像翻译方法，所述方法包括：
6.获取样本数据；其中，样本数据包括：原始图和参考图像；
7.将所述原始图和所述参考图像输入至预设的原始图像翻译模型；其中，所述原始图像翻译模型包括：特征提取网络、注意力网络和解码器，每一所述特征提取网络具有预设切分尺度，任意两个所述预设切分尺度不相同；
8.通过所述特征提取网络对所述原始图进行切分处理得到形状特征信息，通过所述特征提取网络对所述参考图像进行切分处理得到内容特征信息；
9.根据所述形状特征信息和所述内容特征信息构建特征信息对；其中，所述特征信息对中的所述形状特征信息和所述内容特征信息具有相同的所述预设切分尺度；
10.通过所述注意力网络对所述特征信息对进行注意力处理，得到目标特征信息；
11.通过所述解码器对所述目标特征信息进行解码处理，得到目标样本图像；
12.根据所述目标样本图像和所述参考图像对所述原始图像翻译模型进行参数调整，得到目标图像翻译模型；
13.将待翻译的目标图像数据输入至所述目标图像翻译模型进行图像翻译，得到目标图像。
14.在一些实施例，所述特征提取网络包括：至少两个网络层，所述形状特征信息包括：轮廓特征信息和区域特征信息；所述通过所述特征提取网络对所述原始图进行切分处理得到形状特征信息，包括：
15.通过所述特征提取网络的每一所述网络层对所述原始图进行平均切分处理，得到原始图像块；
16.通过所述特征提取网络的每一所述网络层对所述原始图像块进行轮廓特征提取得到所述轮廓特征信息，通过所述特征提取网络的每一网络层对所述原始图像块进行区域特征提取得到所述区域特征信息。
17.在一些实施例，所述注意力网络包括两个注意力层，所述特征信息对包括第一信息对和第二信息对，所述预设切分尺度包括：第一切分尺度和第二切分尺度，所述第一切分尺度为所述第一信息对的尺度，所述第二切分尺度为所述第二信息对的尺度，所述第一切分尺度大于所述第二切分尺度；所述通过所述注意力网络对所述特征信息对进行注意力处理，得到目标特征信息，包括：
18.通过其中一个所述注意力层根据所述第一信息对进行注意力处理，得到参考特征信息；
19.对所述参考特征信息进行特征度量计算，得到特征度量数据；
20.根据所述特征度量数据从所述参考特征信息筛选出选定特征信息；
21.通过另一个所述注意力层对所述选定特征信息和所述第二信息对进行注意力处理，得到所述目标特征信息。
22.在一些实施例，所述注意力层包括：卷积层和归一化层；所述通过另一个所述注意力层对所述选定特征信息和所述第二信息对进行注意力处理，得到所述目标特征信息，包括：
23.通过所述卷积层对所述选定特征信息和所述第二信息对进行卷积处理，得到候选特征信息；
24.通过所述归一化层对所述候选特征信息进行归一化处理，得到所述目标特征信息。
25.在一些实施例，所述对所述参考特征信息进行特征度量计算，得到特征度量数据，包括：
26.根据预设的评分规则对所述参考特征信息进行评分处理，得到所述特征度量数据；
27.或者，
28.根据预设特征信息对所述参考特征信息进行最近邻计算，得到所述特征度量数据。
29.在一些实施例，所述根据所述目标样本图像和所述参考图像对所述原始图像翻译模型进行参数调整，得到目标图像翻译模型，包括：
30.通过预设的损失函数对所述目标样本图像和所述参考图像进行损失计算，得到目标损失值；
31.根据所述目标损失值对所述原始图像翻译模型进行参数调整，得到所述目标图像翻译模型。
32.在一些实施例，所述损失函数包括：风格损失函数和内容损失函数；所述通过预设的损失函数对所述目标样本图像和参考图像进行损失计算，得到目标损失值，包括：
33.通过所述风格损失函数对所述目标样本图像和所述参考图像进行风格损失计算，
得到风格损失值；
34.通过所述内容损失函数对所述目标样本图像和所述参考图像进行内容损失计算，得到内容损失值；
35.根据预设权值将所述风格损失值和所述内容损失值进行求和计算，得到所述目标损失值。
36.为实现上述目的，本技术实施例的第二方面提出了一种图像翻译装置，所述装置包括：
37.数据获取模块，用于获取样本数据；其中，样本数据包括：原始图和参考图像；
38.图像输入模块，用于将所述原始图和所述参考图像输入至预设的原始图像翻译模型；其中，所述原始图像翻译模型包括：特征提取网络、注意力网络和解码器，每一所述特征提取网络具有预设切分尺度，任意两个所述预设切分尺度不相同；
39.切分处理模块，用于通过所述特征提取网络对所述原始图进行切分处理得到形状特征信息，通过所述特征提取网络对所述参考图像进行切分处理得到内容特征信息；
40.构建模块，用于根据所述形状特征信息和所述内容特征信息构建特征信息对；其中，所述特征信息对中的所述形状特征信息和所述内容特征信息具有相同的预设切分尺度；
41.注意力模块，用于通过所述注意力网络对所述特征信息对进行注意力处理，得到目标特征信息；
42.解码处理模块，用于通过所述解码器对所述目标特征信息进行解码处理，得到目标样本图像；
43.参数调整模块，用于根据所述目标样本图像和所述参考图像对所述原始图像翻译模型进行参数调整，得到目标图像翻译模型；
44.图像翻译模块，用于将待翻译的目标图像数据输入至所述目标图像翻译模型进行图像翻译，得到目标图像。
45.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
46.为实现上述目的，本技术实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
47.本技术提出的一种图像翻译方法和装置、设备及存储介质，其通过构建多个不同的预设切分尺度的特征提取网络，以得到不同预设切分尺度的特征信息对，则注意力网络对特征信息对进行注意力处理得到目标特征信息，以实现从粗糙到精细的图像特征匹配，最后通过解码器对目标特征信息进行解码得到更加逼真的目标样本图像。同时，根据目标样本图像和参考图像对原始图像翻译模型进行参数调整得到目标图像翻译模型，则目标图像翻译模型对待翻译的目标图像进行图像翻译生成目标图像更加精细，以生成与参考图像风格更加匹配的目标图像。因此，基于目标翻译模型输出更加精细的目标图像，那么基于目标图像生成服务于保险咨询沟通的虚拟机器人更加精细，以提高用户与虚拟机器人沟通时的体验感。
附图说明
48.图1是本技术实施例提供的图像翻译方法的流程图；
49.图2是本技术另一实施例提供的图像翻译方法的流程图；
50.图3是本技术另一实施例提供的图像翻译方法的流程图；
51.图4是图1中的步骤s105的流程图；
52.图5是图4中的步骤s404的流程图；
53.图6是图1中的步骤s107的流程图；
54.图7是图6中的步骤s601的流程图；
55.图8是本技术实施例提供的图像翻译方法在一应用场景中的示意图；
56.图9是本技术实施例提供的图像翻译装置的结构示意图；
57.图10是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
58.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
59.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
60.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
61.首先，对本技术中涉及的若干名词进行解析：
62.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
63.图像翻译：图像翻译技术能够将图像中内容从一个图像域转换到另一个图像域，可以看作是将原始图像的某种属性移除，重新赋予其新的属性，也即是图像间的跨域转换。
64.深度学习(deep learning，dl)：深度学习是机器学习(machine learning，ml)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标—人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。
65.注意力机制(attention mechanism，am)：注意力机制源于人类视觉的研究。人类视网膜不同的部位处理信息能力具有强弱之分，即敏锐度。在视觉信息处理资源不够的情况下，通过注意力机制特别关注视觉区域中的突出部分。
66.多尺度特征：在目标检测和分割的任务中，我们都喜欢用多尺度特征融合操作来提高准确率。检测和分割网络基本用卷积神经网络通过逐层抽象的方式来提取目标的特征，高层网络的感受野比较大，语义信息表征能力强，但是特征图的分辨率低，几何信息的表征能力弱。低层网络的感受野比较小，几何细节信息表征能力强，虽然分辨率高，但是语义信息表征能力弱。
67.批标准化(batch normalization，bn)：批标准化就是通过方法将该层特征值分布重新拉回标准正态分布，特征值将落在激活函数对于输入较为敏感的区间，输入的小变化可导致损失函数较大的变化，使得梯度变大，避免梯度消失，同时也可加快收敛。
68.随着人工智能的快速发展，以金融领域为例，在金融领域结合人机交互技术构建虚拟机器人与客户进行沟通。其中，虚拟机器人生成涉及到图像技术中的图像合成。其中，图像合成领域涉及图像翻译、图像生成、图像检索等技术。其中，图像翻译被广泛研究。图像翻译是指定一个参考图像与目标图像的语义图，通过深度学习算法及图像处理技术获得目标图像，常见的图像翻译主要是素描图到真实图像的翻译和动作迁移任务。因此，通过图像翻译能够构建类型相同但是具体特征不同的目标图像，以构建多个虚拟机器人应用于各个金融领域中。
69.相关技术中，图像翻译主要依赖于整体卷积和归一化手段来引导输入语义关注参考图像中适当的上下文，这些方法虽然在全局式迁移方面有了良好的结果和良好的效率，但图像翻译忽略了细粒度的局部细节，导致生成粗糙的目标图像。
70.基于此，本技术实施例提供了一种图像翻译方法和装置、设备及存储介质，通过设置任意两个预设切分尺度不同的特征提取网络，以通过特征提取网络对原始图进行切分处理得到形状特征信息，通过特征提取网络对参考图像进行切分处理得到内容特征信息，并将形状特征信息和内容特征信息构建特征信息对，以通过注意力网络对特征信息对进行注意力处理得到目标特征信息，再通过解码器对目标特征信息进行解码处理得到目标样本图像，根据目标样本图像和参考图像对原始图像翻译模型进行参数调整得到目标图像翻译模型，构建不同预设切分尺度的特征提取网络和注意力网络，目标图像翻译模型对待翻译的目标图像数据进行图像翻译生成更加精细的目标图像，以增加目标图像的细节特征。因此，通过构建特征更细致的目标图像，若基于目标图像所构建的虚拟机器人也更加“拟人”化，以该虚拟机器人进行金融业务服务能够提高客户在服务过程中的体验感。
71.本技术实施例提供的图像翻译方法和装置、设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的图像翻译方法。
72.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
73.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机
视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
74.本技术实施例提供的图像翻译方法，涉及人工智能及金融科技技术领域。本技术实施例提供的图像翻译方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像翻译方法的应用等，但并不局限于以上形式。
75.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
76.需要说明的是，在本技术的各个具体实施方式中，当涉及到需要根据用户信息、用户行为数据，用户历史数据以及用户位置信息等与用户身份或特性相关的数据进行相关处理时，都会先获得用户的许可或者同意，而且，对这些数据的收集、使用和处理等，都会遵守相关法律法规和标准。此外，当本技术实施例需要获取用户的敏感个人信息时，会通过弹窗或者跳转到确认页面等方式获得用户的单独许可或者单独同意，在明确获得用户的单独许可或者单独同意之后，再获取用于使本技术实施例能够正常运行的必要的用户相关数据。
77.图1是本技术实施例提供的图像翻译方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s108。
78.步骤s101，获取样本数据；其中，样本数据包括：原始图和参考图像；
79.步骤s102，将原始图和参考图像输入至预设的原始图像翻译模型；其中，原始图像翻译模型包括：特征提取网络、注意力网络和解码器，每一特征提取网络具有预设切分尺度，任意两个预设切分尺度不相同；
80.步骤s103，通过特征提取网络对原始图进行切分处理得到形状特征信息，通过特征提取网络对参考图像进行切分处理得到内容特征信息；
81.步骤s104，根据形状特征信息和内容特征信息构建特征信息对；其中，特征信息对中的形状特征信息和内容特征信息具有相同的预设切分尺度；
82.步骤s105，通过注意力网络对特征信息对进行注意力处理，得到目标特征信息；
83.步骤s106，通过解码器对目标特征信息进行解码处理，得到目标样本图像；
84.步骤s107，根据目标样本图像和参考图像对原始图像翻译模型进行参数调整，得到目标图像翻译模型；
85.步骤s108，将待翻译的目标图像数据输入至目标图像翻译模型进行图像翻译，得
到目标图像。
86.本技术实施例所示意的步骤s101至步骤s108，通过设置任意两个预设切分尺度不同的特征提取网络、注意力网络和解码器组成的原始图像翻译模型，然后将原始图和参考图输入至特征提取网络，通过特征提取网络对原始图进行特征提取得到形状特征信息，且通过特征提取网络对参考图像进行特征提取得到内容特征信息，并将形状特征信息和内容特征信息构建特征信息对，通过注意力网络对特征信息对进行注意力处理得到目标特征信息，通过解码器对目标特征信息进行解码处理得到目标样本图像。根据目标样本图像和参考图像对原始图像翻译模型进行参数调整得到目标图像翻译模型，以通过目标图像翻译模型对待翻译的目标图像进行图像翻译得到目标图像。因此，通过构建多个不同的预设切分尺度的特征提取网络，以得到不同预设切分尺度的特征信息对，以提高图像特征的精细度，则注意力网络对特征信息对进行注意力处理得到目标特征信息，则通过解码器对目标特征信息进行解码得到更加逼真的目标样本图像。同时，根据目标样本图像和参考图像对原始图像翻译模型进行参数调整得到目标图像翻译模型，则目标图像翻译模型对待翻译的目标图像进行图像翻译生成目标图像更加精细，以生成与参考图像风格更加匹配的目标图像。
87.需要说明的是，若将目标图像翻译模型应用于虚拟机器人生成的领域，基于目标图像翻译模型输出与参考图像风格更加匹配的目标图像，且目标图像更加精细，那么基于目标图像构建金融服务领域的虚拟机器人也更加精细，以生成类型相同且面部特征不同、更加精细的虚拟机器人进行金融服务内容播放、拟人实时对话，或者将更加精细的虚拟机器人应用于保险或者银行回访中，能够为客户带来拟真的形象交互，使客户体验到“真人服务”的临场感。
88.在一些实施例的步骤s101中，可以从预设样本数据库获取样本数据，或者实时采集原始图和参考图像，以将原始图和参考图像组合形成样本图像。也可以通过其他方式获取，不限于此。原始图的图像类型包括：黑白图、框架图、线条草图、素描图、彩色图、轮廓图，且在本实施例对原始图的图像类型不做限制。同一组样本数据中原始图的图像类型一致，且参考图像则选择同一图像类型的一张，以将多组样本数据中的原始图以参考图进行图像翻译，得到与参考图像的风格一致的原始图。若原始图为线条草图，而参考图像为彩色图，则构建线条草图和彩色图的样本数据，将线条草图进行图像翻译得到与参考图像一样的彩色图。
89.在一些实施例的步骤s102中，通过构建特征提取网路、注意力网络和解码器组成的原始图像翻译模型，每一个特征提取网络具有预设切分尺度，且任意两个预设切分尺度不相同。因此，通过设置任意两个预设切分尺度不相同的特征提取网络，则特征提取网络以不同的预设切分尺度切分原始图或参考图像，以得到不同尺寸的特征信息，则通过注意力网络将不同尺寸的特征信息进行注意力处理，以使用多尺度的注意力机制来生成更加精细的目标样本图像。
90.请参阅图2，在一些实施例中，特征提取网络包括：至少两个网络层，形状特征信息包括：轮廓特征信息和区域特征信息；通过特征提取网络对原始图进行切分处理得到形状特征信息，可以包括但不限于包括步骤s201至步骤s202：
91.步骤s201，通过特征提取网络的每一网络层对原始图进行平均切分处理，得到原始图像块；
92.步骤s202，通过特征提取网络的每一网络层对原始图像块进行轮廓特征提取得到轮廓特征信息，通过特征提取网络的每一网络层对原始图像块进行区域特征提取得到区域特征信息。
93.在一些实施例的步骤s201中，特征提取网络包括至少两个网络层，通过每一网络层对原始图进行平均切分处理得到原始图像块，每一网络层根据预设的切分尺度对原始图进行平均切分处理得到原始图像块。其中，网络层采用vi t算法将原始图切分成原始图像块，且不同网络层得到原始图像块的尺度不同。vi t算法采用卷积将原始图打成块以得到原始图像块，使得原始图像切分操作简易。
94.例如，若特征提取网络包括三个网络层，第一个网络层的预设切分尺度为2*2，第二个网络层的预设切分尺度为4*4，第三个网络层的预设切分尺度为8*8，则第一个网络层对原始图进行平均切分处理得到2*2的原始图像块，第二个网络层对原始图进行平均切分处理得到4*4的原始图像块，第三个网络层对原始图进行平均切分处理得到8*8的原始图像块。因此，通过不同的网络层根据不同的预设切分尺度对原始图进行平均切分处理，以得到不同尺度的原始图像块，则可以获取不同尺度原始图像块的特征，有利于目标样本图像与参考图像的精准匹配。
95.在一些实施例的步骤s202中，通过网络层输出原始图像块后，通过网络层对每一原始图像块进行轮廓特征提取得到轮廓特征信息，再通过网络层对每一原始图像块进行区域特征提取得到区域特征信息。因此通过轮廓特征信息和区域特征信息即可确定原始图的轮廓特征和区域特征，以便于基于原始图的轮廓特征和区域特征生成与参考图像风格一致的目标样本图像。
96.在本实施例所示意的步骤s201至步骤s202中，通过每一网络层对原始图进行平均切分处理得到原始图像块，由于每一网络层进行切分处理采用的预设切分尺度不同，即可得到多种尺度的原始图像块，再通过每一网络层对原始图像块进行轮廓特征提取得到轮廓特征信息，通过每一网络层对原始图像块进行区域特征提取得到区域特征信息。因此，能够获取不同尺度原始图像块的轮廓特征信息和区域特征信息，以便于根据对原始图进行图像翻译生成更加精细的目标样本图像。
97.请参照图3，在一些实施例中，通过特征提取网络对参考图像进行切分处理得到内容特征信息，可以包括但不限于包括步骤s301至步骤s302：
98.步骤s301：通过特征提取网络的每一网络层对参考图像进行平均切分处理，得到参考图像块；
99.步骤s302：通过特征提取网络的每一网络层对参考图像块进行特征提取，得到内容特征信息。
100.在一些实施例的步骤s301中，通过特征提取网络的每一网络层对参考图像进行平均切分处理得到参考图像块，且每一网络层的预设切分尺度不同，则每一网络层切分处理得到参考图像块的尺度不同。通过切分得到不同尺度的参考图像块，有利于获取参考图像更加精细的特征，以提高图像翻译的精度。
101.在一些实施例的步骤s302中，内容特征信息包括：全局特征信息和局部特征信息，全局特征信息包括：结构特征信息、纹理特征信息、颜色特征信息，局部特征信息包括：特殊点特征信息、特殊局部特征信息，特殊点包括：角点、边缘和斑点。因此，通过每一网络层对
不同预设切分尺度的参考图像块进行特征提取，以得到全局特征信息和局部特征信息，以便于根据不同预设切分尺度的全局特征信息和局部特征信息进行注意力处理时，生成的目标样本图像关注到更加精细的结构特征、纹理特征、颜色特征、特殊点特征，从而生成更加与参考图像风格更加匹配的目标样本图像。
102.在本实施例所示意的步骤s301至步骤s302中，通过每一网络层对参考图像进行平局切分处理得到参考图像块，再通过每一网络层对不同预设切分尺度的参考图像块进行特征提取得到全局特征信息和局部特征信息。因此，将多种尺度的全局特征信息和局部特征信息作为目标样本图像的内容特征信息，则生成的目标样本图像与参考图像的风格也更加匹配。
103.在一些实施例的步骤s104中，获取具有相同预设切分尺度的形状特征信息和内容特征信息，并将同一预设切分尺度的形状特征信息和内容特征信息进行信息对构建得到特征信息对。因此，通过将相同预设切分尺度的形状特征信息和内容特征信息构建成特征信息对，以便于同一种预设切分尺度的特征信息对进行注意力处理时，以实现不同尺度的特征匹配，从而生成更加精细的目标样本图像。
104.需要说明的是，网络层设置三个，则输出三种预设切分尺度的特征信息对，也即可以分为第一信息对、第二信息对和第二信息对，第一信息对的尺度为第一切分尺度，第二信息对的尺度为第二切分尺度，第三信息对的尺度为第三切分尺度，且第一切分尺度大于第二切分尺度，第二切分尺度大于第三切分尺度，在本实施例中对于特征信息对的数量不做具体限制。第一信息对能够关注图像整体形状和轮廓，第二信息对能够关注图像纹理特征，而第三信息对能够关注更加精细的点特征。因此，通过设置不同预设切分尺度的特征信息对以进行注意力处理时，以使目标样本图像关注不同尺度的特征，则生成的目标样本图像更加精细。
105.请参阅图4，在一些实施例中，注意力网络包括两个注意力层，特征信息对包括第一信息对和第二信息对，预设切分尺度包括：第一切分尺度和第二切分尺度，第一切分尺度为第一信息对的尺度，第二切分尺度为第二信息对的尺度，第一切分尺度大于第二切分尺度。步骤s105可以包括但不限于包括步骤s401至步骤s404：
106.步骤s401，通过其中一个注意力层根据第一信息对进行注意力处理，得到参考特征信息；
107.步骤s402，对参考特征信息进行特征度量计算，得到特征度量数据；
108.步骤s403，根据特征度量数据从参考特征信息筛选出选定特征信息；
109.步骤s404，通过另一个注意力层对选定特征信息和第二信息对进行注意力处理，得到目标特征信息。
110.在一些实施例的步骤s401中，若注意力网络包括两个注意力层，则获取两组特征信息对以分别为第一信息对和第二信息对，且第一信息对的第一切分尺度大于第二信息对的第二切分尺度。因此，对不同切分尺度的特征信息对进行注意力处理，以提高目标样本图像的特征关注的精细度。第一信息对输入其中一个注意力层进行注意力处理得到参考特征信息，参考特征信息能够关注参考图像和原始图的整体形状、轮廓的匹配度。同时输出的参考特征信息也作为第二信息对进行注意力处理的参考信息，以进一步提高图像特征的精细度。
111.在一些实施例的步骤s402中，对参考特征信息进行特征度量计算，得到特征度量数据，以通过特征度量数据表征参考特征信息对生成目标样本图像的精细度，以便于根据特征度量数据对参考特征信息进行筛选。
112.在一些实施例的步骤s403中，通过计算得到特征度量数据，再根据特征度量数据对参考特征信息进行筛选，以筛选出特征度量数据满足预设要求的参考特征信息作为选定特征信息，使得候选特征信息筛选简易。具体地，根据特征度量数据对参考特征信息进行排序以得到排序顺序，并获取排序顺序前预设个数的参考特征信息作为选定特征信息。或者，通过获取特征度量数据位于预设度量数据范围内的参考特征信息作为选定特征信息，使得选定特征信息筛选简易，且能够提升目标样本图像的精度。
113.在一些实施例的步骤s404中，通过另一个注意力层对选定特征信息和第二信息对进行注意力处理，也即将选定特征信息作为注意力处理的参考数据，然后对第二信息对进行注意力处理，以得到初步特征信息，再将初步特征信息和参考注意力特征信息进行拼接得到目标特征信息。其中，第二信息对的第二切分尺度小于第一信息对的第二切分尺度，所以对第二信息对和选定参考信息进行注意力处理得到的目标特征信息，不仅能够关注图像的整体形状特征和轮廓特征，进一步关注图像的纹理特征、颜色特征，也即能够关注更加细节的特征。因此，根据目标特征信息生成的目标样本图像与参考图像的风格更加匹配，精细度也更高。其中，纹理特征包括唇部纹理特征、眼睛纹理特征，那么生成目标图像时也可以仅是唇部纹理特征、眼睛纹理特征变化的图像，那么基于目标图像生成虚拟机器人在金融服务沟通过程中更加真实。
114.需要说明的是，注意力网络不限于包括两个注意力层。若注意力网络包括三个注意力层，特征信息对包括第一信息对、第二信息对和第二信息对，且第一切分尺度大于第二切分尺度，第二切分尺度大于第三切分尺度。通过第一个注意力层对第一信息对进行注意力处理得到初级特征信息，并根据对初级特征信息进行特征度量计算得到特征度量数据，并根据特征度量数据从初级特征信息筛选出第一特征信息，通过第二个注意力层对第一特征信息和第二信息对进行注意力处理得到次级特征信息，并计算次级特征信息的特征度量数据，以根据特征度量数据从次级特征信息筛选出第二特征信息，然后通过第三个注意力层对第二特征信息和第三信息对进行注意力处理得到终级特征信息，然后将初级特征信息、次级特征信息和终级特征信息进行汇集处理得到目标特征信息。因此，通过设置三个注意力层，且预设切分尺度小的注意层需要获取预设切分尺度大的特征信息作为注意力处理的参考特征信息，进行注意力处理能够提高特征关注的准确性，生成的目标特征信息包括不同切分尺度的特征，所以根据目标特征信息生成的目标样本图像与参考图像的风格更加匹配，使得目标样本图像也更加精细。
115.在本实施例所示意的步骤s401至步骤s404，通过其中一个注意力层对第一信息对进行注意力处理得到参考特征信息，对参考特征信息进行特征度量计算得到特征度量数据，再根据特征度量数据从参考特征信息筛选出选定特征信息，然后通过另一个注意力层对选定特征信息和第二信息对进行注意力处理以得到目标特征信息。因此，先计算预设切分尺度大的特征信息对后，再筛选出可以作为参考特征的选定特征信息，将选定特征信息和预设切分尺度小的特征信息对进行注意力处理，不仅保留大尺度的特征匹配，还进一步提升更小尺度特征的关注，以得到多种尺度特征的目标特征信息，根据目标特征信息进行
解码后得到目标样本图像也更加精细。
116.在一些实施例中，对参考特征信息进行特征度量计算，得到特征度量数据，包括：
117.根据预设的评分规则对参考特征信息进行评分处理，得到特征度量数据；
118.或者，
119.根据预设特征信息对参考特征信息进行最近邻计算，得到特征度量数据。
120.需要说明的是，通过预设的评分规则对参考特征信息进行评分处理，也即对每一个参考特征信息按照评分规则进行打分，以得到每一参考特征信息的评分值，以评分值作为特征度量数据。除此之外，从参考特征信息中选中其中一个参考特征信息作为预设特征信息，然后根据预设特征信息和参考特征信息进行最近邻计算。最近邻计算则是将预设特征信息转换为预设特征向量，参考特征信息转换为参考特征向量，然后对每一参考特征向量与预设特征向量进行距离计算以得到特征距离，以特征距离作为特征度量数据。若特征度量数据为评分值，则根据评分值对参考特征信息进行排序，并获取排序前预设个数的参考特征信息作为选定特征信息。若特征度量数据为特征距离，则获取特征距离位于与预设距离范围内的参考特征信息作为选定特征信息。因此，计算出每一参考特征信息的特征度量数据，以便于根据特征度量数据筛选出选定特征信息。
121.请参阅图5，在一些实施例中，注意力层包括：卷积层和归一化层，步骤s404包括但不限于包括步骤s501至步骤s502：
122.步骤s501，通过卷积层对选定特征信息和第二信息对进行卷积处理，得到候选特征信息；
123.步骤s502，通过归一化层对候选特征信息进行归一化处理，得到目标特征信息。
124.在一些实施例的步骤s501中，通过卷积层对选定特征信息和第二信息对进行卷积处理，也即对选定特征信息和第二信息对中的参考特征信息、形状特征信息进行卷积处理，得到候选特征信息。其中，在将选定特征信息和第二信息对输入卷积层之前，需要对选定特征信息和第二信息对进行平均池化处理以得到预设维度大小的特征信息，然后通过卷积层进行卷积处理。
125.在一些实施例的步骤s502中，通过归一化层对候选特征信息进行归一化处理，且具体为对候选特征信息对进行批归一化处理，批归一化处理可以加快注意力网络梯度下降训练过程的收敛速度，以输出相同且稳定分布的目标特征信息。
126.需要说明的是，在输出目标特征信息之前，根据预设的超参数对归一化层输出的特征信息进行特征平滑处理，以得到特征平滑性更优的目标特征信息。
127.具体地，通过卷积层对选定特征信息和第二信息对进行卷积处理得到候选特征信息，再通过归一化层对候选特征信息进行数据归一化处理得到目标特征信息，且得到目标特征信息后通过softmax层进行激活处理得到最终的目标特征信息。因此整个注意力层对选定特征信息和第二信息对进行注意力处理具体的计算公式如公式(1)所示：
[0128][0129]
式中，bn为batch normalization，也即为数据归一化处理，α,β为卷积处理，softmax为激活函数进行激活处理，τ为一个预设的超参数，控制目标特征信息中特征分布的平滑性。为选定特征信息。为内容特征信息，为形状特征信息。
[0130]
其中，注意力层对第一信息对进行注意力处理的计算公式如公式(2)所示：
[0131][0132]
因此，通过公式(1)和公式(2)对不同尺度的特征信息进行注意力处理，使得目标样本图像能够关注到不同尺度特征，以生成目标样本图像更加精细。因此，构建更加精细的目标样本图像，那么构建虚拟机器人进行金融服务时能够给客户一种“真人服务”的临场感。
[0133]
在本实施例所示意的步骤s501至步骤s502，通过卷积层对选定特征信息和第二信息对进行卷积处理得到候选特征信息，再通过归一化层对候选特征信息进行归一化处理，得到特征稳定分布的目标特征信息。因此，通过对不同尺度的特征信息进行注意力处理，以使目标样本图像能够关注到参考图像的整体形状特征、轮廓特征，还能够关注到参考图像的纹理特征、细节特征，从而提高目标样本图像和参考图像风格的匹配度，以生成更加精细的目标样本图像。
[0134]
在一些实施例的步骤s106中，通过上述步骤对不同尺度的特征信息进行注意力处理得到目标特征信息，也即将不同尺度的内容特征信息和形状特征信息进行匹配，实现了从粗糙到精细的图像特征匹配。最后将不同尺度的目标特征信息输入至解码器进行解码处理得到目标样本图像，以生成更加精细的目标样本图像。其中，解码器由不同尺度的神经网络构建，通过对目标特征信息进行卷积处理以生成目标样本图像。
[0135]
请参阅图6，在一些实施例中，步骤s107包括但不限于包括步骤s601至步骤s602：
[0136]
步骤s601，通过预设的损失函数对目标样本图像和参考图像进行损失计算，得到目标损失值；
[0137]
步骤s602，根据目标损失值对原始图像翻译模型进行参数调整，得到目标图像翻译模型。
[0138]
在一些实施例的步骤s601中，通过损失函数对目标样本图像和参考图像进行损失值计算得到目标损失值，以通过目标损失值来表征目标样本图像和参考图像之间的图像损失程度。
[0139]
在一些实施例的步骤s602中，根据目标损失值对原始图像翻译模型进行参数调整，直至目标损失值收敛，则停止原始图像翻译模型的参数调整以得到目标图像翻译模型，以构建图像翻译更加精确的目标图像翻译模型。
[0140]
需要说明的是，构建能够生成更加精细的目标图像翻译模型，那么将目标图像翻译模型和虚拟人生成模型组合构建更加精细的虚拟机器人，以提供客户在进行金融沟通过程中“真人服务”的临场感。
[0141]
在本实施例的步骤s601至步骤s602，通过损失函数计算目标样本图像和参考图像之间的目标损失值，再根据目标损失值对原始图像翻译模型进行参数调整得到目标图像翻译模型，以构建使用多尺度注意力机制的目标图像翻译模型，则目标图像翻译模型能够生成与参考图像风格更加匹配，精确度更高的目标图像。
[0142]
请参阅图7，在一些实施例中，损失函数包括：风格损失函数和内容损失函数，步骤s601包括但不限于包括步骤s701至步骤s703：
[0143]
步骤s701，通过风格损失函数对目标样本图像和参考图像进行风格损失计算，得
到风格损失值；
[0144]
步骤s702，通过内容损失函数对目标样本图像和参考图像进行内容损失计算，得到内容损失值；
[0145]
步骤s703，根据预设权值将风格损失值和内容损失值进行求和计算，得到目标损失值。
[0146]
在一些实施例的步骤s701中，通过设置两种不同的损失函数，也即为风格损失函数和内容损失函数，以更加准确地判断目标样本图像和参考图像之间的内容损失和风格损失。先通过风格损失函数对目标样本图像和参考图像进行风格损失计算得到风格损失值，且风格损失值表征目标样本图像和参考图像之间的风格损失程度。具体地，先将目标样本图像转换为目标风格图像，再对目标风格图像进行风格特征提取得到目标风格特征信息，再对参考图像进行风格特征提取得到参考风格特征，然后对目标风格特征信息和参考风格特征信息进行均值和方差计算，然后对均值和方差进行l2距离计算得到风格损失值。因此，通过风格损失值能够知晓目标样本图像和参考图像之间的图像风格损失程度。
[0147]
在一些实施例的步骤s702中，通过内容损失函数对目标样本图像和参考图像进行内容计算得到内容计算值，内容计算值表征目标样本图像和参考图像之间的内容损失程序。具体地，将目标样本图像转换为目标内容图像，对目标内容图像进行内容特征提取得到目标内容特征信息，再对参考图像进行内容特征提取得到参考内容特征信息，然后对目标内容特征信息和参考内容特征信息进行l2距离计算得到内容损失值。因此，通过内容损失值可以知晓目标样本图像和参考图像之间的内容损失。
[0148]
在一些实施例的步骤s703中，根据预设权值将风格损失值和内容损失值进行求和计算得到目标损失值，且具体计算公式如公式(3)所示：
[0149][0150]
式中，lc表示内容损失值，ls表示风格损失值，i
ref
表示参考图像，s
tgt
表示目标风格图像，n
tgt
表示目标内容图像，φ
i_1
()表示vgg-19网络的第i层的激活层特征，μ表示每个特征通道的均值，σ表示每个特征通道的标准差。
[0151]
在本实施例所示意的步骤s701至步骤s703中，通过计算目标样本图像和参考图像之间的风格损失值和内容损失值，再根据预设权重对风格损失值和内容损失值进行求和计算得到目标损失值，以便于根据目标损失值对原始图像翻译模型进行参数调整得到目标图像翻译模型，使得目标图像翻译模型能够与参考图像的风格和内容都更加匹配的目标图像。
[0152]
需要说明的是，基于目标图像翻译模型生成与参考图像风格和内容都更加匹配的目标图像，若针对同一款金融软件的多个虚拟人物生成时，构建同类型但是面部特征不同的多个虚拟机器人，实现用户在做金融服务沟通时的丰富体验。
[0153]
在一些实施例的步骤s108中，通过构建目标图像翻译模型后，则目标图像翻译模型能够生成与参考图像风格、内容一致的目标图像。则将待翻译的目标图像数据输入目标
图像翻译模型，且目标图像数据包括待翻译图和目标参考图，待翻译图与原始图的图像类型相同，且目标参考图也与参考图像的图像类型相同。因此，通过目标图像翻译模型将待翻译图进行图像翻译以生成与目标参考图风格一致的目标图像，使得图像翻译简易。其中，目标图像翻译模型由原始图像翻译模型训练得到，且目标图像翻译模型与原始图像翻译模型的系统框架相同，目标图像翻译模型包括：特征提取网络、注意力网络和解码器，以通过特征提取网络对待翻译图进行特征提取得到形状特征信息，通过特征提取网络对目标参考图进行特征提取得到内容特征信息，由于特征提取网络包括至少两个网络层，且任意两个网络层的预设切分尺度不同，则每一网络层输出切分尺度不同的形状特征信息和内容特征信息。通过将相同预设切分尺度的形状特征信息和内容特征信息构建特征信息对，再通过注意力网络中每一注意力层对每一个预设切分尺度的特征信息对进行注意力处理，以实现从粗糙到精细的图像特征匹配以生成不同尺度特征结合的目标特征信息。最后通过解码器对目标特征信息进行解码处理得到目标图像，以生成与参考图像风格更加匹配的目标图像，且目标图像的精细度也提高。因此，若基于精细度更高的目标图像构建虚拟机器人进行金融服务，能够提升金融服务过程中用户的体验感。
[0154]
请参照图8，图8是本技术实施例所示意的图像翻译方法的流程示意图，本技术实施例通过获取原始图和参考图像，将原始图和参考图像输入至特征提取网络，通过每一网络层对原始图进行平均切分处理得到原始图像块，不同网络层得到原始图像块的尺度不同。通过网络层对每一原始图像块进行轮廓特征提取得到轮廓特征信息，通过网络层对每一原始图像块进行区域特征提取得到区域特征信息。通过每一网络层对参考图像进行平局切分处理得到参考图像块，且不同网络层输出的参考图像块尺度不同，通过每一网络层对参考图像块进行特征提取得到内容特征信息。将同一预设切分尺度的形状特征信息和内容特征信息进行信息对构建得到特征信息对。通过其中一个注意力层对第一信息对进行注意力处理得到参考特征信息，再对参考特征信息进行特征度量计算得到特征度量数据，根据特征度量数据从参考特征信息筛选出来选定特征信息，然后通过另一个注意力层对选定特征信息和第二信息对进行注意力处理以得到目标特征信息。将不同尺度的目标特征信息输入至解码器进行解码处理得到目标样本图像，以生成更加精细的目标样本图像。通过损失函数计算目标样本图像和参考图像之间的目标损失值，再根据目标损失值对原始图像翻译模型进行参数调整得到目标图像翻译模型，以构建使用多尺度的注意力机制的目标图像翻译模型，则目标图像翻译模型能够生成与参考图像风格更加匹配，精确度更高的目标图像。因此，通过将待翻译的目标图像数据输入目标图像翻译模型，目标图像翻译模型对待翻译的目标图像数据进行图像翻译以生成精度更高的目标图像。
[0155]
请参阅图9，本技术实施例还提供一种图像翻译装置，可以实现上述图像翻译方法，该装置包括：
[0156]
数据获取模块901，用于获取样本数据；其中，样本数据包括：原始图和参考图像；
[0157]
图像输入模块902，用于将原始图和参考图像输入至预设的原始图像翻译模型；其中，原始图像翻译模型包括：特征提取网络、注意力网络和解码器，每一特征提取网络具有预设切分尺度，任意两个预设切分尺度不相同；
[0158]
切分处理模块903，用于通过特征提取网络对原始图进行切分处理得到形状特征信息，通过特征提取网络对参考图像进行切分处理得到内容特征信息；
[0159]
构建模块904，用于根据形状特征信息和内容特征信息构建特征信息对；其中，特征信息对中的形状特征信息和内容特征信息具有相同的预设切分尺度；
[0160]
注意力模块905，用于通过注意力网络对特征信息对进行注意力处理，得到目标特征信息；
[0161]
解码处理模块906，用于通过解码器对目标特征信息进行解码处理，得到目标样本图像；
[0162]
参数调整模块907，用于根据目标样本图像和参考图像对原始图像翻译模型进行参数调整，得到目标图像翻译模型；
[0163]
图像翻译模块908，用于将待翻译的目标图像数据输入至目标图像翻译模型进行图像翻译，得到目标图像。
[0164]
该图像翻译装置的具体实施方式与上述图像翻译方法的具体实施例基本相同，在此不再赘述。
[0165]
本技术实施例还提供了一种电子设备，电子设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述图像翻译方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0166]
请参阅图10，图10示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0167]
处理器1001，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0168]
存储器1002，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器1002可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行本技术实施例的图像翻译方法；
[0169]
输入/输出接口1003，用于实现信息输入及输出；
[0170]
通信接口1004，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0171]
总线1005，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息；
[0172]
其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
[0173]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述图像翻译方法。
[0174]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0175]
本技术实施例提供的图像翻译方法和装置、设备及存储介质，其通过构建任意两个预设切分尺度不同的特征提取网络、注意力网络和解码器组成的原始图像翻译模型，然后通过特征提取网络对原始图进行切分处理得到形状特征信息，通过特征提取网络对参考图像进行切分处理得到内容特征信息，再将相同预设切分尺度的形状特征信息和内容特征信息构建成特征信息对，以得到多种预设切分尺度的特征信息对。通过注意力网络对特征信息对进行注意力处理得到目标特征信息，以实现不同尺度的图像特征进行匹配，进而实现从粗糙到精细的图像特征匹配，则通过解码器对目标特征信息进行解码生成精细度更高的目标样本图像。最后根据目标样本图像和参考图像对原始图像翻译模型进行参数调整得到目标图像翻译模型，则将待翻译的目标图像数据输入至目标图像翻译模型进行图像翻译，即可生成精细度更高的目标图像。
[0176]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0177]
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0178]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0179]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0180]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0181]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0182]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通
信连接，可以是电性，机械或其它的形式。
[0183]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0184]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0185]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-on ly memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0186]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。

技术特征：
1.一种图像翻译方法，其特征在于，所述方法包括：获取样本数据；其中，样本数据包括：原始图和参考图像；将所述原始图和所述参考图像输入至预设的原始图像翻译模型；其中，所述原始图像翻译模型包括：特征提取网络、注意力网络和解码器，每一所述特征提取网络具有预设切分尺度，任意两个所述预设切分尺度不相同；通过所述特征提取网络对所述原始图进行切分处理得到形状特征信息，通过所述特征提取网络对所述参考图像进行切分处理得到内容特征信息；根据所述形状特征信息和所述内容特征信息构建特征信息对；其中，所述特征信息对中的所述形状特征信息和所述内容特征信息具有相同的所述预设切分尺度；通过所述注意力网络对所述特征信息对进行注意力处理，得到目标特征信息；通过所述解码器对所述目标特征信息进行解码处理，得到目标样本图像；根据所述目标样本图像和所述参考图像对所述原始图像翻译模型进行参数调整，得到目标图像翻译模型；将待翻译的目标图像数据输入至所述目标图像翻译模型进行图像翻译，得到目标图像。2.根据权利要求1所述的方法，其特征在于，所述特征提取网络包括：至少两个网络层，所述形状特征信息包括：轮廓特征信息和区域特征信息；所述通过所述特征提取网络对所述原始图进行切分处理得到形状特征信息，包括：通过所述特征提取网络的每一所述网络层对所述原始图进行平均切分处理，得到原始图像块；通过所述特征提取网络的每一所述网络层对所述原始图像块进行轮廓特征提取得到所述轮廓特征信息，通过所述特征提取网络的每一所述网络层对所述原始图像块进行区域特征提取得到所述区域特征信息。3.根据权利要求1所述的方法，其特征在于，所述注意力网络包括两个注意力层，所述特征信息对包括第一信息对和第二信息对，所述预设切分尺度包括：第一切分尺度和第二切分尺度，所述第一切分尺度为所述第一信息对的尺度，所述第二切分尺度为所述第二信息对的尺度，所述第一切分尺度大于所述第二切分尺度；所述通过所述注意力网络对所述特征信息对进行注意力处理，得到目标特征信息，包括：通过其中一个所述注意力层根据所述第一信息对进行注意力处理，得到参考特征信息；对所述参考特征信息进行特征度量计算，得到特征度量数据；根据所述特征度量数据从所述参考特征信息筛选出选定特征信息；通过另一个所述注意力层对所述选定特征信息和所述第二信息对进行注意力处理，得到所述目标特征信息。4.根据权利要求3所述的方法，其特征在于，所述注意力层包括：卷积层和归一化层；所述通过另一个所述注意力层对所述选定特征信息和所述第二信息对进行注意力处理，得到所述目标特征信息，包括：通过所述卷积层对所述选定特征信息和所述第二信息对进行卷积处理，得到候选特征信息；
通过所述归一化层对所述候选特征信息进行归一化处理，得到所述目标特征信息。5.根据权利要求3所述的方法，其特征在于，所述对所述参考特征信息进行特征度量计算，得到特征度量数据，包括：根据预设的评分规则对所述参考特征信息进行评分处理，得到所述特征度量数据；或者，根据预设特征信息对所述参考特征信息进行最近邻计算，得到所述特征度量数据。6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述目标样本图像和所述参考图像对所述原始图像翻译模型进行参数调整，得到目标图像翻译模型，包括：通过预设的损失函数对所述目标样本图像和所述参考图像进行损失计算，得到目标损失值；根据所述目标损失值对所述原始图像翻译模型进行参数调整，得到所述目标图像翻译模型。7.根据权利要求6所述的方法，其特征在于，所述损失函数包括：风格损失函数和内容损失函数；所述通过预设的损失函数对所述目标样本图像和参考图像进行损失计算，得到目标损失值，包括：通过所述风格损失函数对所述目标样本图像和所述参考图像进行风格损失计算，得到风格损失值；通过所述内容损失函数对所述目标样本图像和所述参考图像进行内容损失计算，得到内容损失值；根据预设权值将所述风格损失值和所述内容损失值进行求和计算，得到所述目标损失值。8.一种图像翻译装置，其特征在于，所述装置包括：数据获取模块，用于获取样本数据；其中，样本数据包括：原始图和参考图像；图像输入模块，用于将所述原始图和所述参考图像输入至预设的原始图像翻译模型；其中，所述原始图像翻译模型包括：特征提取网络、注意力网络和解码器，每一所述特征提取网络具有预设切分尺度，任意两个所述预设切分尺度不相同；切分处理模块，用于通过所述特征提取网络对所述原始图进行切分处理得到形状特征信息，通过所述特征提取网络对所述参考图像进行切分处理得到内容特征信息；构建模块，用于根据所述形状特征信息和所述内容特征信息构建特征信息对；其中，所述特征信息对中的所述形状特征信息和所述内容特征信息具有相同的预设切分尺度；注意力模块，用于通过所述注意力网络对所述特征信息对进行注意力处理，得到目标特征信息；解码处理模块，用于通过所述解码器对所述目标特征信息进行解码处理，得到目标样本图像；参数调整模块，用于根据所述目标样本图像和所述参考图像对所述原始图像翻译模型进行参数调整，得到目标图像翻译模型；图像翻译模块，用于将待翻译的目标图像数据输入至所述目标图像翻译模型进行图像翻译，得到目标图像。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有
计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的图像翻译方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的图像翻译方法。

技术总结
本申请实施例提供了一种图像翻译方法和装置、设备及存储介质，属于金融科技技术领域。该方法包括：将原始图和参考图像输入至预设的原始图像翻译模型；原始图像翻译模型包括特征提取网络、注意力网络和解码器，特征提取网络具有不同的预设切分尺度，通过特征提取网络对原始图进行切分得到形状特征信息，通过特征提取网络对参考图像进行切分得到内容特征信息；将形状特征信息和内容特征信息构建特征信息对；通过注意力网络对特征信息对进行注意力处理得到目标特征信息；根据目标特征信息和参考图像将原始图像翻译模型转换为目标图像翻译模型；通过目标图像翻译模型对目标图像数据进行图像翻译得到目标图像。本申请实施例能够生成精度更高的图像。成精度更高的图像。成精度更高的图像。


技术研发人员：瞿晓阳 王健宗 吴建汉
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.05.31
技术公布日：2023/8/13