广告推荐用的数据对齐方法、装置、设备及存储介质与流程

1.本技术涉及广告推荐技术领域，尤其涉及一种广告推荐用的数据对齐方法、装置、设备及存储介质。


背景技术：

2.现在大部分电商平台存在的商品信息普遍具有商品的多模态特征，即商品信息或内容等为主的商品特征，以及以商品图片，广告素材等以图像为主的视频特征。在常用的广告推荐系统中，特征方面主要使用的是传统广告特征。而对于广告点击影响最直观的文本信息(例如标题)以及图像信息(例如广告素材图片)等多模态数据的embedding(嵌入化向量表示，包括全图信息、图像级特征等)并未对齐，导致同一条广告中的文本信息以及图像信息并不能够被充分应用到广告推荐系统的ctr(click-through-rate，广告点击率)模型中，所以使得广告推荐系统推荐的广告可能并不足够准确。


技术实现要素：

3.本技术提供了一种广告广告推荐用的数据对齐方法、装置、设备及存储介质，以将同一条广告的全图信息和图像级特征相对齐，并运用于ctr模型中，从而使广告推荐系统推荐的广告更加准确。
4.第一方面，本技术提供了一种广告推荐用的数据对齐方法，所述方法包括：
5.获取广告的文本信息以及图像信息；
6.基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；
7.将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；
8.通过所述图像识别模型，将所述全图信息和所述图像级特征相对齐，并输出对齐数据。
9.第二方面，本技术还提供了一种广告推荐用的数据对齐装置，所述装置包括：
10.获取模块，用于获取广告的文本信息以及图像信息；
11.转换模块，用于基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；
12.输入模块，用于将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；
13.对齐模块，用于通过所述图像识别模型，通过所述图像识别模型，将所述全图信息、所述图像级特征相对齐，并输出对齐数据。
14.第三方面，本技术还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的广告推荐用的数据对齐方法。
15.第四方面，本技术还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的广告推荐用的数据对齐方法。
16.本技术公开了一种广告推荐用的数据对齐方法、装置、计算机设备及存储介质，本技术基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；通过所述图像识别模型，将所述全图信息和所述图像级特征相对齐，对齐数据可以运用于广告推荐系统，使得广告推荐更加准确。
附图说明
17.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本技术的实施例提供的一种广告推荐用的数据对齐系统的示意图；
19.图2是本技术的实施例提供的一种广告推荐用的数据对齐方法的示意流程图；
20.图3为本技术的实施例提供的一种广告推荐用的数据对齐方法的子步骤示意性框图；
21.图4为本技术的实施例提供的另一种广告推荐用的数据对齐装置的示意性框图；
22.图5为本技术的实施例提供的一种计算机设备的结构示意性框图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
25.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
26.还应当进理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
27.为方便理解本技术实施例，下面对一些相关词汇进行简单说明：
28.图是由顶点集v和顶点间的关系集合e(边的集合)组成的一种数据结构，或者称为图数据。图在数据结构中是中一对多的关系，一般分为无向图与无向图。
29.其中，有向图是指一副具有方向性的图，是由一组顶点和一组有方向的边组成的，每条方向的边都连着一对有序的顶点。而无向图可以理解为边没有方向的图。
30.邻接矩阵(adjacency matrix)可以是表示顶点之间相邻关系的矩阵。
31.在图的边或弧中给出相关的数，可以称为权重或者权。权可以代表一个顶点到另一个顶点的距离，耗费等。
32.同质图(homogeneous graph)，主要是指顶点和边都只有一种类型的图。
33.异质图(heterogeneous graph)，主要是指顶点和边的类型大于或等于两种的图。
34.gnn(graph neural network)网络，即图神经网络。图神经网络是一类基于深度学习的图域信息处理方法，用于学习包含大量连接的图的联结主义模型。当信息在图的节点之间传播时gnn会捕捉到图的独立性。
35.一般来说，现有技术中，可以通过自然语言处理(natural language processing，nlp)获取广告的文本信息。常规做法是：使用基于转换器的双向编码表征(bidirectional encoder representation from transformers,bert)类预训练模型作为encoder(编码器)进行编码。这里需要考虑的是bert类预训练模型权重的选择问题；然后获取到向量表示的文本信息的全图信息后；需要考虑是否要进行降维操作，还可能会影响其他特征。
36.在现有技术中，还可以通过一定的策略获取广告中素材图片的图像级特征。因为一个广告可能会对应多个素材图片，而同一个广告中多个素材图片获取图像级特征的方式可以是根据一定的策略选择一个素材图片的embedding，还可以将同一个广告下多个素材图片得到图像级特征取均值。
37.但以上两种方式，并不能够将广告中文本信息的全图信息和图像信息的图像级特征对齐，也就无法使具有ctr模型的广告推荐系统推荐的广告更加准确。
38.有鉴于此，本技术的实施例提供了一种广告推荐用的数据对齐方法、装置、计算机设备及存储介质。其中，该广告推荐用的数据对齐方法可以应用于服务器中，通过对广告中文本信息的全图信息和图像信息的图像级特征进行对齐。所以，将对齐后的数据应用于广告推荐系统中的ctr模型中，广告推荐系统能够更加准确地向用户推荐广告。其中，该服务器可以为独立的服务器，也可以为服务器集群。
39.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
40.请参阅图1，图1是本技术的实施例提供的一种广告推荐用的数据对齐系统的示意图。该系统包括终端和服务器，所述终端和服务器通信连接，通过服务器可以推荐广告，并在终端中显示。
41.其中，所述终端包括手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。
42.其中，所述服务器包括独立一台服务器，或者服务器集群。
43.如图2所示，图2是本技术的实施例提供的一种广告推荐用的数据对齐方法的示意流程图；该广告推荐用的数据对齐方法，可以应用于服务器。广告推荐系统具体包括步骤s101至步骤s104。
44.步骤s101、获取广告的文本信息以及图像信息。
45.其中，该广告可以是用户曾观看过或者操作过的广告，比如点击过的广告。一般来说，同一条广告中包括了标题、口号等文字信息，这些文字信息即为文本信息；同一条广告中还包括了多张素材图片，多张素材图片即为图像信息。
46.在一些平台中，例如一些主平台，斗鱼、虎牙等直播平台中，以及大部分电商平台,都会向用户推荐一些广告。但是，大部分平台所运用的广告推荐系统中，在向用户推荐广告时，往往只使用了传统广告特征。传统广告特征包括但是不限于：用户曾点击过的广告种类及/或内容信息、用户信息、用户点击广告的频率、时序等。
47.为了能够使广告推荐系统能够准确地向用户推荐广告，一般用户都会事先准备大量的传统广告特征样本，将这些传统广告特征样本输入至广告推荐系统中的ctr模型，以训练广告推荐系统中的ctr模型。在实际应用的过程中，广告推荐系统也是通过ctr模型向用户推荐广告。
48.但是影响用户点击广告的因素，是最直观的的文本信息以及图像信息等多模态数据；这些多模态数据并没有被应用到ctr模型中。
49.所以本技术实施例中，可以获取广告的文本信息以及图像信息等多模态数据，这就为后续训练ctr模型提供了更加丰富的训练样本，使广告推荐系统可以更加准确地推荐广告。
50.在本技术一个实施例中，用户可以通过人工标记同一条广告中的文本信息，从而实现将文本信息剥离出来。
51.在本技术一个实施例中，还可以通过一些视频编辑软件，从同一条广告中提取出文本信息以及图像信息。
52.当然，也可以用一些其他方式，从同一条广告中获取文本信息与图像信息，本技术实施例不再详细说明。
53.步骤s102、基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息。
54.其中，抽象语义表示图即amr(abstract meaning representation)图。amr图是有根、有标注、有向、无环的图，它被广泛用于表示非结构化自然文本的抽象概念之间的高级语义关系。与句法上的特异性不同，amr是图高层次的语义抽象。更具体地说，在语义上相似的不同句子可能共享相同的amr图解析结果，所以amr图的句子语义表示方法，基本具备较完整、较准确地表示一个句子语义的能力，能够使语义表达更加准确。
55.在步骤s102中，可以先针对文本信息部分，将文本信息构建为amr图；例如可以直接通过amr解析器，将文本信息构建为amr图。
56.得到了amr图后，可以对所述抽象语义表示图进行预处理，并将预处理后的所述抽象语义表示图由异质图转换成同质图；而同质图的拓扑结构可以表示为统一的第一邻接矩阵。
57.其中，所述预处理的步骤可以包括：丢弃所述抽象语义表示图的边类型信息，保留所述抽象语义表示图的边连接信息。
58.需要说明的是，本技术实施例中，图像识别模型可以包括gnn网络(图神经网络)。
59.其中，所述图神经网络可以包括池化层、readout层、输出层。
60.进一步的，如图3所示，图3为本技术的实施例提供的一种广告推荐用的数据对齐方法的子步骤示意性框图。在本技术实施例中，所述将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息，包括：
61.步骤s1021、通过所述池化层对所述第一邻接矩阵进行池化处理，得到的池化子
图，并将所述池化子图中的节点、所述节点的重要度的标准正切函数点乘，以得到缩放变换后的池化子图。
62.步骤s1022、通过所述readout层，对所述缩放变换后的池化子图进行聚合，以输出聚合池化子图；通过所述输出层，将所述聚合池化子图进行相加，以全图表示所述文本序列，得到所述全图信息。
63.需要强调的是，在本技术实施例中，图神经网络使用了基于topk的池化机制。topk的池化机制是一个不断丢弃节点的过程，该过程能够抓住图不同尺度的信息。和卷积神经网络(convolutional neural network，cnn)中基于局部滑窗的池化操作不同的是，topk的池化机制可以将作用域放到全图节点上。
64.具体来说，基于topk的池化机制可以包括：首先可以给图神经网络设置一个表示池化率的超参数k，k∈(0，1)，接着通过图神经网络学习出一个表示节点重要度z，并对其进行降排序，然后将全图中n个节点下采样至kn个节点，最终得到经过topk处理选取之后的池化子图。具体公式可以如下：
[0065][0066]
其中，向量表示topk选取之后的池化子图，top-rank指的是选取排序最大的kn个元素，其中k为0-1之间的数字，n为节点总数，z表示节点重要度。
[0067]
此外，公式(1)中的节点重要度z的获取方法可以如下：
[0068]
可以设置了一个全局的基向量将节点特征向量在该基向量上的投影当作节点重要度z。获取节点重要度z的具体公式如下：
[0069][0070]
其中，||表示向量拼接，x表示向量中的节点。
[0071]
进一步地，还可以利用公式(3)定义gpool层(图池化层)，也即得到缩放变换后的池化子图x；
[0072][0073]
其中，tanh(z)就是对重要度z进行tanh函数计算，tanh表示标准的正切函数。
[0074]
在公式(3)中，通过点乘一个tanh(z)，相当于利用节点的重要度对节点特征做了一次收缩变换，进一步强化了对重要度高的节点的梯度学习。
[0075]
本技术实施例中，在gpool层后面可以再加上一个readout层；通过readout层对所述缩放变换后的池化子图进行聚合，以输出聚合池化子图，进而实现对该尺度下的图的全局信息的一次性聚合。readout层的具体实现方式是将全局平均池化与全局最大池化拼接起来，公式如下：
[0076][0077]
其中，s
(l)
表示表示第l个输出层的输出，x
l
表示表示第l个输出层输出的池化子图x，||表示向量拼接，l、n为正整数。
[0078]
为了得到全图的表示，可以通过所述输出层，将各层的s
(l)
相加，得到全图表示s，如公式(5)所示：
[0079][0080]
其中，y表示正整数。
[0081]
步骤s103、将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征。
[0082]
其中，所述图像识别模型还包括gcn(图卷积网络)，图卷积网络包括卷积层、全局最大池化层以及gcn层。可以通过卷积层对所述图像信息进行处理，得到所述图像信息的特征图；通过全局最大池层对所述特征图和所述图像识别模型中gcn层的非线性函数进行池化处理，得到图像级特征。
[0083]
具体而言，本技术实施例中，可以通过在图卷积网络的节点之间传播信息来更新节点表示。与标准卷积不同的是，标准卷积作用于图像中的局部欧几里得结构，本技术中的gcn网络的目标是学习图g上的函数f。gcn网络可以采用特征描述以及相应的第二邻接矩阵a2，且第二邻接矩阵a2为gcn网络的输入；其中n为节点数，d为节点特征的维数，也就是标签嵌入后的特征维数，更新节点特征为h
l+1
∈rn×d，r
nxd
即为第二邻接矩阵的特征空间。每一个gcn层的节点表示都可以写成一个非线性函数f，如公式(6)所示：
[0084]hl+1
＝f(h
l
，a2)
ꢀꢀ
(6)
[0085]
其中，h
l
表示gcn网络中第l层的节点表示，f(h
l
，a2)为第l层的节点表示的非线性函数。
[0086]
由公式(6)，可以计算出f
gmp
，f
gmp
表示全局最大池化层的函数。
[0087]
此外，本技术实施例中，可以使用resnet-101作为实验的基础模型。在得到节点表示的非线性函数后，可以通过所述图像识别模型中的全局最大池层，对所述特征图和所述图像识别模型中gcn层的非线性函数进行池化处理，得到图像级特征p。具体公式可以如下：
[0088]
p＝f
gmp
(f
cnn
(i，θ
cnn
))∈rdꢀꢀ
(7)
[0089]
其中，θ
cnn
为模型参数，d为输出维数，f
cnn
表示cnn网络的函数，该函数是已知的，i表示图片，rd表示图像级特征空间。
[0090]
因此，如果输入图像的分辨率为448
×
448，从conv5_x层中得到2048
×
14
×
14个feature maps，然后利用公式(7)即可获得图像级特征。
[0091]
步骤s104、通过所述图像识别模型，将所述全图信息和所述图像级特征相对齐，并输出对齐数据。
[0092]
图识别可以将全图信息、图像级特征进行处理，实现将全图信息、图像级特征相对齐。
[0093]
本技术实施例中，图像识别模型包括gnn(图神经网络)。其训练步骤可以包括：
[0094]
获取广告的全图信息样本、图像级特征样本，其中，每条广告包括至少一个以上的所述全图信息样本、所述图像级特征样本；将所述全图信息样本输入所述图神经网络中进行训练，将所述图像级特征样本输入所述图卷积网络中进行训练，以得到所述图像识别模型；通过所述图像识别模型中的感知机层输出二分类信息，所述二分类信息用于判断所述全图信息、所述图像级特征是否对齐。
[0095]
上述方案，可以通过用户点击过或者观看过的广告，获取对齐的数据，对齐的数据也就是对齐的全图信息或者图像级特征，该部分数据可以运用于广告推荐系统中，从而使广告推荐系统后续推荐广告会更加准确，提升用户的体验感。
[0096]
此外，由于广告中不同模态数据的表现方式不同，例如，有的是图像信息，有的是文本信息。故通过多模态学习，可以更好的处理多模态信息，并能够得到更丰富的特征信息。而本技术的图像识别模型中具有gnn网络以及gcn网络，能够实现多模态学习。
[0097]
请参阅图4，图4是本技术的实施例提供一种广告推荐用的数据对齐装置的示意性框图，该广告推荐用的数据对齐装置用于执行前述的广告推荐用的数据对齐方法。其中，该广告推荐用的数据对齐装置可以配置于服务器。
[0098]
如图4所示，该广告推荐用的数据对齐装置400，包括：获取模块401、转换模块402、输入模块403、对齐模块404。
[0099]
其中，获取模块401，用于获取广告的文本信息以及图像信息；
[0100]
转换模块402，用于基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；
[0101]
输入模块403，用于将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；
[0102]
对齐模块404，用于通过所述图像识别模型，通过所述图像识别模型，将所述全图信息、所述图像级特征相对齐，并输出对齐数据。
[0103]
在一实施例中，所述转换模块402还用于：对所述文本信息进行抽象语义处理，得到所述抽象语义表示图。
[0104]
在一实施例中，所述转换模块402还用于：对所述抽象语义表示图进行预处理，并将预处理后的所述抽象语义表示图由异质图转换成同质图，其中，所述预处理包括丢弃所述抽象语义表示图的边类型信息，保留所述抽象语义表示图的边连接信息；基于所述同质图，获取表示所述同质图的拓扑结构，得到第一邻接矩阵。
[0105]
在一实施例中，所述图像识别模型包括池化层、readout层、输出层；所述转换模块402还用于：通过池化层对第一邻接矩阵进行池化处理，得到的池化子图，并将池化子图中的节点、节点的重要度的标准正切函数点乘，以得到缩放变换后的池化子图；通过readout层，对缩放变换后的池化子图进行聚合，以输出聚合池化子图；通过输出层，将聚合池化子图进行相加，以全图表示文本序列，得到全图信息。
[0106]
在一实施例中，所述图像识别模型包括卷积层、全局最大池化层、gcn层；所述输入模块403还用于：通过卷积层对图像信息进行处理，得到图像信息的特征图；通过全局最大池层，对特征图和图像识别模型中gcn层的非线性函数进行池化处理，得到图像级特征。
[0107]
在一实施例中，所述输入模块403还用于：获取所述图像信息的第二邻接矩阵；基于所述第二邻接矩阵，将所述图像识别模型中gcn层构造为非线性函数，得到非线性函。
[0108]
在一实施例中，所述广告推荐用的数据对齐装置还用于：获取广告的全图信息样本、图像级特征样本，其中，每条广告包括至少一个以上的所述全图信息样本、所述图像级特征样本；将所述全图信息样本输入所述图神经网络中进行训练，将所述图像级特征样本输入所述图卷积网络中进行训练，以得到所述图像识别模型；通过所述图像识别模型中的
感知机层输出二分类信息，所述二分类信息用于判断所述全图信息、所述图像级特征是否对齐。
[0109]
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0110]
上述的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的计算机设备上运行。
[0111]
本技术所提供的广告推荐用的数据对齐装置400，可以得到对齐的数据，对齐的数据也就是对齐的全图信息或者图像级特征，该部分数据可以运用于广告推荐系统中，从而使广告推荐更加准确，提升用户的体验。
[0112]
此外，由于广告中不同模态数据的表现方式不同，例如有的是图像信息，有的是文本信息。故通过多模态学习，可以更好的处理多模态信息，并能够得到更丰富的特征信息。而本技术的图像识别模型中具有gnn网络以及gcn网络，能够实现多模态学习。
[0113]
请参阅图5，图5是本技术的实施例提供的一种计算机设备的结构示意性框图。该计算机设备可以是服务器。
[0114]
参阅图5，该计算机设备包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
[0115]
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种广告推荐用的数据对齐方法。
[0116]
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
[0117]
内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行任意一种广告推荐用的数据对齐方法。
[0118]
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0119]
应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0120]
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现如下步骤：
[0121]
获取广告的文本信息以及图像信息；基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；通过所述图像识别模型，将所述全图信息和所述图像级特征相对齐，并输出对齐数据。
[0122]
在一个实施例中，所述处理器在实现广告推荐用的数据对齐方法时，用于实现：对所述文本信息进行抽象语义处理，得到所述抽象语义表示图。
[0123]
在一个实施例中，所述处理器在实现广告推荐用的数据对齐方法时，用于实现：对所述抽象语义表示图进行预处理，并将预处理后的所述抽象语义表示图由异质图转换成同质图，其中，所述预处理包括丢弃所述抽象语义表示图的边类型信息，保留所述抽象语义表示图的边连接信息；基于所述同质图，获取表示所述同质图的拓扑结构，得到第一邻接矩阵。
[0124]
在一个实施例中，所述处理器在实现广告推荐用的数据对齐方法时，用于实现：所述图像识别模型包括池化层、readout层、输出层；所述将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息，包括：
[0125]
通过池化层对第一邻接矩阵进行池化处理，得到的池化子图，并将池化子图中的节点、节点的重要度的标准正切函数点乘，以得到缩放变换后的池化子图；通过readout层，对缩放变换后的池化子图进行聚合，以输出聚合池化子图；
[0126]
通过输出层，将聚合池化子图进行相加，以全图表示文本序列，得到全图信息。
[0127]
在一个实施例中，所述处理器在实现广告推荐用的数据对齐方法时，用于实现：所述图像识别模型包括卷积层、全局最大池化层、gcn层；将所述图像信息输入所述图像识别模型，获取图像信息的图像级特征，包括：通过卷积层对图像信息进行处理，得到图像信息的特征图；通过全局最大池层，对特征图和图像识别模型中gcn层的非线性函数进行池化处理，得到图像级特征。
[0128]
在一个实施例中，所述处理器在实现广告推荐用的数据对齐方法时，用于实现：获取所述图像信息的第二邻接矩阵；基于所述第二邻接矩阵，将所述图像识别模型中gcn层构造为非线性函数，得到非线性函数。
[0129]
在一个实施例中，所述处理器在实现广告推荐用的数据对齐方法时，用于实现:获取广告的全图信息样本、图像级特征样本，其中，每条广告包括至少一个以上的所述全图信息样本、所述图像级特征样本；将所述全图信息样本输入所述图神经网络中进行训练，将所述图像级特征样本输入所述图卷积网络中进行训练，以得到所述图像识别模型；通过所述图像识别模型中的感知机层输出二分类信息，所述二分类信息用于判断所述全图信息、所述图像级特征是否对齐。
[0130]
上述方案，可以得到对齐的数据，对齐的数据也就是对齐的全图信息或者图像级特征，该部分数据可以运用于广告推荐系统中，从而使广告推荐更加准确，提升用户的体验。
[0131]
本技术的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本技术实施例提供的任一项广告推荐用的数据对齐方法。
[0132]
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
[0133]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种广告推荐用的数据对齐方法，其特征在于，包括：获取广告的文本信息以及图像信息；基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；通过所述图像识别模型，将所述全图信息和所述图像级特征相对齐，并输出对齐数据。2.如权利要求1所述的广告推荐用的数据对齐方法，其特征在于，所基于所述文本信息获取抽象语义表示图，包括：对所述文本信息进行抽象语义处理，得到所述抽象语义表示图。3.如权利要求1所述的广告推荐用的数据对齐方法，其特征在于，所述将所述抽象语义表示图的边信息转换为第一邻接矩阵，包括：对所述抽象语义表示图进行预处理，并将预处理后的所述抽象语义表示图由异质图转换成同质图，其中，所述预处理包括丢弃所述抽象语义表示图的边类型信息，保留所述抽象语义表示图的边连接信息；基于所述同质图，获取表示所述同质图的拓扑结构，得到第一邻接矩阵。4.如权利要求1所述的广告推荐用的数据对齐方法，其特征在于，所述图像识别模型包括池化层、readout层、输出层；所述将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息，包括：通过池化层对第一邻接矩阵进行池化处理，得到的池化子图，并将池化子图中的节点、节点的重要度的标准正切函数点乘，以得到缩放变换后的池化子图；通过readout层，对缩放变换后的池化子图进行聚合，以输出聚合池化子图；通过输出层，将聚合池化子图进行相加，以全图表示文本序列，得到全图信息。5.如权利要求1所述的广告推荐用的数据对齐方法，其特征在于，所述图像识别模型包括卷积层、全局最大池化层、gcn层；将所述图像信息输入所述图像识别模型，获取图像信息的图像级特征，包括：通过卷积层对图像信息进行处理，得到图像信息的特征图；通过全局最大池层，对特征图和图像识别模型中gcn层的非线性函数进行池化处理，得到图像级特征。6.如权利要求5所述的广告推荐用的数据对齐方法，其特征在于，所述方法还包括：获取所述图像信息的第二邻接矩阵；基于所述第二邻接矩阵，将所述图像识别模型中gcn层构造为非线性函数，得到非线性函数。7.如权利要求1-6中任一项所述的广告推荐用的数据对齐方法，其特征在于，所述方法还包括：获取广告的全图信息样本、图像级特征样本，其中，每条广告包括至少一个以上的所述全图信息样本、所述图像级特征样本；将所述全图信息样本输入所述图神经网络中进行训练，将所述图像级特征样本输入所述图卷积网络中进行训练，以得到所述图像识别模型；通过所述图像识别模型中的感知机层输出二分类信息，所述二分类信息用于判断所述
全图信息、所述图像级特征是否对齐。8.一种广告推荐用的数据对齐装置，其特征在于，包括：获取模块，用于获取广告的文本信息以及图像信息；转换模块，用于基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；输入模块，用于将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；对齐模块，用于通过所述图像识别模型，通过所述图像识别模型，将所述全图信息、所述图像级特征相对齐，并输出对齐数据。9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的广告推荐用的数据对齐方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的广告推荐用的数据对齐方法。

技术总结
本申请涉及广告推荐技术领域，具体公开了一种广告推荐用的数据对齐方法、装置、设备及存储介质。其中，该方法包括：获取广告的文本信息以及图像信息；基于所述文本信息获取抽象语义表示图，将所述抽象语义表示图的边信息转换为第一邻接矩阵，并输入预训练的图像识别模型中，以得到文本序列的全图信息；将所述图像信息输入所述图像识别模型，获取所述图像信息的图像级特征；通过所述图像识别模型，将所述全图信息和所述图像级特征相对齐，并输出对齐数据。本申请能够将同一条广告的全图信息和图像级特征相对齐，并将对齐后的全图信息和图像级特征相对齐运用于CTR模型中，从而使广告推荐系统推荐的广告更加准确。系统推荐的广告更加准确。系统推荐的广告更加准确。


技术研发人员：王晶
受保护的技术使用者：中国平安财产保险股份有限公司
技术研发日：2022.09.06
技术公布日：2023/7/11