一种基于动态图神经网络的序列推荐算法

1.本发明属于计算机序列推荐技术领域，具体涉及一种基于动态图神经网络的序列推荐算法。


背景技术：

2.随着互联网的快速发展和数据的爆炸式增长，个性化推荐系统在各个领域中得到广泛的应用。序列推荐是推荐系统中的重要任务之一，它可以基于用户历史行为序列来预测用户未来的行为，并向用户提供相应的商品或服务建议。相对于传统的推荐算法，序列推荐算法不仅考虑用户当前的兴趣和偏好，还利用用户历史行为序列的时间和顺序信息，从而提高推荐结果的准确性和推荐的多样性。
3.推荐系统经历浅层模型阶段、神经网络模型阶段和基于图神经网络的模型阶段的发展。基于浅层模型的协同过滤方法，如矩阵分解和分解机，在面对用户行为和数据输入的复杂性时存在一些挑战。为解决这些问题，基于神经网络的模型被提出，如神经网络协同过滤和深度分解机。然而，这些方法仍然存在一定的局限性，因为它们的预测和训练模式忽略数据中的高阶结构信息。例如，深度学习协同过滤的优化目标是预测用户与物品的交互，训练样本包括观察到的正面用户与物品的交互和未观察到的负面用户与物品的交互。这意味着对于特定用户的参数更新仅涉及用户交互过的物品，忽略更高层次的信息。
4.近年来，图神经网络在推荐系统中的应用引起广泛的关注。图神经网络是一种基于图的神经网络模型，能够对节点和边进行端到端的学习，具有良好的可扩展性和泛化能力。在推荐系统中，图神经网络可以用于学习用户和物品之间的复杂关系，从而提高推荐的准确性。图神经网络的快速发展为解决上述的问题提供一个有效的方案。图神经网络(gnn)采用嵌入传播算法来迭代地聚合节点的邻居嵌入信息，从而使得每个节点能够获取高阶邻居的信息。相较于传统方法仅获取一阶邻居信息的方式，实现对于高阶邻居信息的获取。由于处理结构化数据和探索结构化信息方面的优势，基于gnn的方法已成为推荐系统中最先进的新方法。然而，现有的gnn方法在序列推荐任务中存在一些问题。首先，大多数方法将用户行为序列视为静态图，忽略序列的时序性。其次，这些方法通常使用基于随机游走的采样方法来构建图，存在采样偏差的问题。
5.基于上述问题，本发明提出基于动态图神经网络的序列推荐模型，该模型将所有的用户序列转换成动态图，并在边上标注时间信息，从而使购买相同物品的用户序列通过用户和物品的连接而相互关联；接着模型改进子图采样策略，动态地提取包含用户序列和相关序列的子图。最后，为从子图中编码用户的偏好，模型使用一个图推荐网络，分别捕捉用户的长短期偏好与物品的长短期特征，从而更好地利用每个用户和每个物品节点的高阶邻居信息。


技术实现要素：

6.本发明的目的在于克服现有技术的不足，提供一种基于动态图神经网络的序列推
荐算法，可以解决现有的基于传统推荐方法和神经网络方法中忽略数据中的高阶结构信息从而无法充分利用邻居信息进行推荐的问题。
7.本发明解决其技术问题是通过以下技术方案实现的：
8.一种基于动态图神经网络的序列推荐算法，其特征在于：所述算法的步骤为：
9.s1、动态图构建
10.当用户在某个时间对某个物品交互时，用户和物品之间建立一条边，这条边可以用三元组(用户u，物品i，时间t)来表示，由于大量的用户序列与相同的物品进行交互，因此，数据集的所有三元组形成一个动态图：
[0011][0012]
由于动态图记录用户和物品之间的交互时间，将时间t的动态图定义为g
t
∈g，它是由所有用户在时间t和t之前交互序列组成的动态图；
[0013]
对于用户序列su＝(i1,i2,
…
,ik)和时间戳序列tu＝(t1,t2,
…
,tk)，预测序列su的下一个物品就相当于预测图中与节点u相关的物品；
[0014]
s2、子图采样策略
[0015]
随着用户序列su的扩展，它的邻居序列的数量也在增长，同样，由所有用户组成的图神经网络的规模也在逐渐扩大，它会增加计算成本并在目标序列su中引入过多的噪声；为有效的训练和推荐，提出一种子图采样策略：
[0016]
首先，以用户节点u为锚节点，在图中选择其最近的n个一阶邻居，即u与之交互过的历史物品，并将其记为nu，其中n为用户序列的最大长度；
[0017]
然后，对于每个物品i∈nu，采用它们中的每一个作为锚节点来采样与它们交互的用户集，记为ni，为避免重复采样，已被用作锚节点的用户和物品节点将被记录下来，依次类推，可以得到节点u的多跳邻居，从而形成u的m阶子图su中的其中m为超参数，用于控制子图的大小；
[0018]
采样后，每个子图包含序列su及其关联序列的节点，这些序列中的用户和物品节点通过在中堆叠用户到物品和物品到用户的关系相互链接；
[0019]
s3、图推荐网络
[0020]
图推荐网络组件由信息传播和节点更新组件组成，信息传播机制旨在分别学习中用户到物品和物品到用户的消息传播信息，困难在于如何分别从用户和物品的角度对邻居的顺序信息进行编码；静态图神经网络，如图卷积神经网络和图注意力网络无法为每个用户和物品捕获适当的邻居的顺序信息，一些序列模型，如循环神经网络和变换神经网络，广泛用于对用户长期和短期兴趣进行建模，但它们不能直接处理图结构数据；为此，结合图神经网络和递归神经网络来设计信息传播机制：
[0021]
用户节点u的邻居节点集合是u购买过的物品，为更新每一层的用户节点表示，需要从每个用户节点的邻居中提取两类信息，分别是长期信息和短期信息；用户的长期信息反映其内在特征和一般偏好，可以从用户的所有历史物品中推断出来，用户的短期信息反映最近的兴趣；
[0022]
信息传播机制，包括长期和短期信息的编码；
[0023]
长期信息：为从其邻居中捕获每个节点的长期信息，使用图神经网络和递归神经网络的方法，其中，图神经网络直接聚合所有邻居节点的嵌入以捕获节点与邻居之间的关系；递归神经网络，如门控循环单元(gate recurrent unit,gru)，可以有效地建模序列依赖性：
[0024]
(1)图卷积神经网络，一种直接聚合所有邻居节点嵌入的直观方法
[0025][0025][0026][0027][0028]
其中：，和是第l-1层中物品和用户的编码矩阵参数，维度均为d
×
d；
[0029]
和分别表示节点u和i的邻居节点数目；
[0030]
(2)递归神经网络，如门控循环单元，是对序列依赖性建模的有效网络，模型利用门控循环单元来计算用户/物品节点与其邻居的长期偏好/特征，其计算方式为：
[0031][0032][0033]
模型将和输入到门控循环单元中；
[0034]
短期信息：在推荐系统中，用户的短期信息反映其最新的兴趣，许多工作将最后一个交互物品嵌入作为用户的短期嵌入，但忽略对历史信息的依赖，因此，考虑使用注意机制来建模最后一次交互与历史交互之间的明确有效性；
[0035]
(1)注意力机制，考虑最后一个物品/用户与每个历史物品/用户之间的注意力机制：
[0036][0037][0038]
注意力系数和可以通过以下公式计算：
[0039]
[0040][0040][0041]
参数w3和w4属于d维矩阵，用于控制最后一次交互的权重；
[0042]
节点更新：模型汇集长期嵌入、短期嵌入和上一层嵌入来更新的节点表示，
[0043]
(1)用户节点更新：对于用户节点，从第l-1层到第l层的表示更新规则可以表示为：
[0044][0045]
其中，用于控制的信息更新；
[0046]
(2)物品节点更新：对物品节点，从第l-1层到第l层的表示更新规则可以表示为：
[0047][0048]
其中：是一个物品更新矩阵，控制的信息保留；
[0049]
s4、预测用户u下一次交互的物品序列su当于预测子图的用户节点u的链接
[0050]
设计链接预测功能来确定用户接下来可能与之交互的物品，在对应用图推荐网络后，得到用户节点u的多重嵌入其中包含用户嵌入在每一层的信息，不同层的用户嵌入突出不同的用户偏好，将连接用户的多个嵌入以获得节点u的最终嵌入表示：
[0051][0052]
对于给定的候选物品i∈i，链接函数被定义为：
[0053][0054]
为学习模型参数，优化交叉熵损失函数，用户u对候选物品的评分的归一化向量为：
[0055][0056]
目标函数如下：
[0057][0058]
其中：yu表示su的下一次交互的实际物品的独热编码向量；
[0059]
θ表示所有模型参数；
[0060]
||θ||2是l2范数；
[0061]
λ是控制正则化强度的超参数。
[0062]
本发明的优点和有益效果为：
[0063]
1、本发明基于动态图神经网络的序列推荐算法，可以解决现有的基于传统推荐方法和神经网络方法中忽略数据中的高阶结构信息从而无法充分利用邻居信息进行推荐的问题。
[0064]
2、本发明基于动态图神经网络的序列推荐算法，改进子图采样策略，动态地提取包含用户序列和相关序列的子图，有效缓解使用传统方法进行训练，面临较高计算和存储成本的问题与现有图神经网络方法在序列推荐任务中存在采样偏差的问题。
[0065]
3、本发明基于动态图神经网络的序列推荐算法，使用动态图建模用户行为序列，并采用基于子图采样的方法提高计算效率。同时，模型利用注意力机制学习不同节点之间的权重，以更好地捕捉节点之间的复杂关系，从而更好地利用邻居信息进行预测。
附图说明
[0066]
图1为本发明的流程图；
[0067]
图2为本发明的动态图神经网络的构建图；
[0068]
图3为本发明的图推荐网络图。
具体实施方式
[0069]
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
[0070]
一种基于动态图神经网络的序列推荐算法，如图1所示，其创新之处在于：所述算法的步骤为：
[0071]
步骤1：当用户在某个时间对某个物品交互时，用户和物品之间建立一条边，这条边可以用三元组(用户u，物品i，时间t)来表示，如图2左所示。其中图的节点表示用户和物品，边表示物品之间的关系。
[0072]
由于大量的用户序列与相同的物品进行交互，因此，数据集的所有三元组形成一个动态图:
[0073][0074]
由于动态图记录用户和物品之间的交互时间，因此更适合于序列推荐任务。将时间t的动态图定义为g
t
∈g，它是由所有用户在时间t和t之前交互序列组成的动态图。
[0075]
对于用户序列su＝(i1,i2,
…
,ik)和时间戳序列tu＝(t1,t2,
…
,tk)，预测序列su的下一个物品就相当于预测图中与节点u相关的物品。
[0076]
步骤2：随着用户序列su的扩展，它的邻居序列的数量也在增长。同样，由所有用户组成的图神经网络的规模也在逐渐扩大。它会增加计算成本并在目标序列su中引入过多的噪声。
[0077]
为有效的训练和推荐，提出一种子图采样策略，如图2右所示。首先以用户节点u为锚节点，在图中选择其最近的n个一阶邻居，即u与之交互过的历史物品，并将其记为nu，其中n为用户序列的最大长度。然后，对于每个物品i∈nu，采用它们中的每一个作为锚节点来采样与它们交互的用户集，记为ni。为避免重复采样，已被用作锚节点的用户和物品节点将被记录下来。依次类推，可以得到节点u的多跳邻居，从而形成u的m阶子图su中的(其
中m为超参数，用于控制子图的大小)。采样后，每个子图包含序列su及其关联序列的节点。这些序列中的用户和物品节点通过在中堆叠用户到物品和物品到用户的关系相互链接。
[0078]
此方法有效地利用子图采样的策略来提高计算效率，同时保留图的局部结构信息，为序列推荐提供一种新的思路。
[0079]
步骤3：图推荐网络组件由信息传播和节点更新组件组成，如图3所示。信息传播机制旨在分别学习中用户到物品和物品到用户的消息传播信息。困难在于如何分别从用户和物品的角度对邻居的顺序信息进行编码。静态图神经网络，如图卷积神经网络和图注意力网络无法为每个用户和物品捕获适当的邻居的顺序信息。一些序列模型，如循环神经网络和变换神经网络，广泛用于对用户长期和短期兴趣进行建模，但它们不能直接处理图结构数据。为此，结合图神经网络和递归神经网络来设计信息传播机制。
[0080]
用户节点u的邻居节点集合是u购买过的物品。为更新每一层的用户节点表示，需要从每个用户节点的邻居中提取两类信息，分别是长期信息和短期信息。用户的长期信息反映其内在特征和一般偏好，可以从用户的所有历史物品中推断出来。用户的短期信息反映最近的兴趣。
[0081]
信息传播机制，包括长期和短期信息的编码。
[0082]
长期信息。为从其邻居中捕获每个节点的长期信息，使用图神经网络和递归神经网络的方法。其中，图神经网络直接聚合所有邻居节点的嵌入以捕获节点与邻居之间的关系；递归神经网络，如门控循环单元(gate recurrent unit,gru)，可以有效地建模序列依赖性。
[0083]
(1)图卷积神经网络，一种直接聚合所有邻居节点嵌入的直观方法：
[0084][0085][0086]
其中，和是第l-1层中物品和用户的编码矩阵参数，维度均为d
×
d，和分别表示节点u和i的邻居节点数目。
[0087]
(2)递归神经网络，如门控循环单元，是对序列依赖性建模的有效网络。模型利用门控循环单元来计算用户/物品节点与其邻居的长期偏好/特征，其计算方式为：
[0088][0089][0090]
模型将和输入到门控循环单元中。
[0091]
短期信息。在推荐系统中，用户的短期信息反映其最新的兴趣，许多工作将最后一个交互物品嵌入作为用户的短期嵌入，但忽略对历史信息的依赖。因此，考虑使用注意机制来建模最后一次交互与历史交互之间的明确有效性。
[0092]
(1)注意力机制,考虑最后一个物品/用户与每个历史物品/用户之间的注意力机
制：
[0093][0094][0095]
注意力系数和可以通过以下公式计算：
[0096][0097][0098]
参数w3和w4属于d维矩阵，用于控制最后一次交互的权重。
[0099]
节点更新。模型汇集长期嵌入、短期嵌入和上一层嵌入来更新的节点表示。
[0100]
(1)用户节点更新：对于用户节点，从第l-1层到第l层的表示更新规则可以表示为：
[0101][0102]
其中，用于控制的信息更新。
[0103]
(2)物品节点更新:对物品节点，从第l-1层到第l层的表示更新规则可以表示为：
[0104][0105]
其中，是一个物品更新矩阵，控制的信息保留。
[0106]
步骤4：在模型中，预测用户u下一次交互的物品序列su＝(i1,i2,
…
,ik)，当于预测子图的用户节点u的链接。设计链接预测功能来确定用户接下来可能与之交互的物品。在对应用图推荐网络后，得到用户节点u的多重嵌入其中包含用户嵌入在每一层的信息。不同层的用户嵌入突出不同的用户偏好。因此，将连接用户的多个嵌入以获得节点u的最终嵌入表示：
[0107][0108]
对于给定的候选物品i∈i，链接函数被定义为：
[0109][0110]
为学习模型参数，优化交叉熵损失函数。用户u对候选物品的评分的归一化向量为：
[0111][0112]
目标函数如下：
[0113][0114]
其中，yu表示su的下一次交互的实际物品的独热编码向量。θ表示所有模型参数,||θ||2是l2范数。λ是控制正则化强度的超参数。
[0115]
尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。

技术特征：
1.一种基于动态图神经网络的序列推荐算法，其特征在于：所述算法的步骤为：s1、动态图构建当用户在某个时间对某个物品交互时，用户和物品之间建立一条边，这条边可以用三元组(用户u，物品i，时间t)来表示，由于大量的用户序列与相同的物品进行交互，因此，数据集的所有三元组形成一个动态图：由于动态图记录用户和物品之间的交互时间，将时间t的动态图定义为g
t
∈g，它是由所有用户在时间t和t之前交互序列组成的动态图；对于用户序列s
u
＝(i1,i2,
…
,i
k
)和时间戳序列t
u
＝(t1,t2,
…
,t
k
)，预测序列s
u
的下一个物品就相当于预测图中与节点u相关的物品；s2、子图采样策略随着用户序列s
u
的扩展，它的邻居序列的数量也在增长，同样，由所有用户组成的图神经网络的规模也在逐渐扩大，它会增加计算成本并在目标序列s
u
中引入过多的噪声；为有效的训练和推荐，提出一种子图采样策略：首先，以用户节点u为锚节点，在图中选择其最近的n个一阶邻居，即u与之交互过的历史物品，并将其记为n
u
，其中n为用户序列的最大长度；然后，对于每个物品i∈n
u
，采用它们中的每一个作为锚节点来采样与它们交互的用户集，记为n
i
，为避免重复采样，已被用作锚节点的用户和物品节点将被记录下来，依次类推，可以得到节点u的多跳邻居，从而形成u的m阶子图s
u
中的其中m为超参数，用于控制子图的大小；采样后，每个子图包含序列s
u
及其关联序列的节点，这些序列中的用户和物品节点通过在中堆叠用户到物品和物品到用户的关系相互链接；s3、图推荐网络图推荐网络组件由信息传播和节点更新组件组成，信息传播机制旨在分别学习中用户到物品和物品到用户的消息传播信息，困难在于如何分别从用户和物品的角度对邻居的顺序信息进行编码；静态图神经网络，如图卷积神经网络和图注意力网络无法为每个用户和物品捕获适当的邻居的顺序信息，一些序列模型，如循环神经网络和变换神经网络，广泛用于对用户长期和短期兴趣进行建模，但它们不能直接处理图结构数据；为此，结合图神经网络和递归神经网络来设计信息传播机制：用户节点u的邻居节点集合是u购买过的物品，为更新每一层的用户节点表示，需要从每个用户节点的邻居中提取两类信息，分别是长期信息和短期信息；用户的长期信息反映其内在特征和一般偏好，可以从用户的所有历史物品中推断出来，用户的短期信息反映最近的兴趣；信息传播机制，包括长期和短期信息的编码；长期信息：为从其邻居中捕获每个节点的长期信息，使用图神经网络和递归神经网络的方法，其中，图神经网络直接聚合所有邻居节点的嵌入以捕获节点与邻居之间的关系；递归神经网络，如门控循环单元(gate recurrent unit,gru)，可以有效地建模序列依赖性：(1)图卷积神经网络，一种直接聚合所有邻居节点嵌入的直观方法
其中：，和是第l-1层中物品和用户的编码矩阵参数，维度均为d
×
d；和分别表示节点u和i的邻居节点数目；(2)递归神经网络，如门控循环单元，是对序列依赖性建模的有效网络，模型利用门控循环单元来计算用户/物品节点与其邻居的长期偏好/特征，其计算方式为：循环单元来计算用户/物品节点与其邻居的长期偏好/特征，其计算方式为：模型将和输入到门控循环单元中；短期信息：在推荐系统中，用户的短期信息反映其最新的兴趣，许多工作将最后一个交互物品嵌入作为用户的短期嵌入，但忽略对历史信息的依赖，因此，考虑使用注意机制来建模最后一次交互与历史交互之间的明确有效性；(1)注意力机制，考虑最后一个物品/用户与每个历史物品/用户之间的注意力机制：(1)注意力机制，考虑最后一个物品/用户与每个历史物品/用户之间的注意力机制：注意力系数和可以通过以下公式计算：可以通过以下公式计算：参数w3和w4属于d维矩阵，用于控制最后一次交互的权重；节点更新：模型汇集长期嵌入、短期嵌入和上一层嵌入来更新的节点表示，(1)用户节点更新：对于用户节点，从第l-1层到第l层的表示更新规则可以表示为：其中，用于控制的信息更新；(2)物品节点更新：对物品节点，从第l-1层到第l层的表示更新规则可以表示为：其中：是一个物品更新矩阵，控制的信息保留；
s4、预测用户u下一次交互的物品序列s
u
当于预测子图的用户节点u的链接设计链接预测功能来确定用户接下来可能与之交互的物品，在对应用图推荐网络后，得到用户节点u的多重嵌入其中包含用户嵌入在每一层的信息，不同层的用户嵌入突出不同的用户偏好，将连接用户的多个嵌入以获得节点u的最终嵌入表示：对于给定的候选物品i∈i，链接函数被定义为：为学习模型参数，优化交叉熵损失函数，用户u对候选物品的评分的归一化向量为：目标函数如下：其中：y
u
表示s
u
的下一次交互的实际物品的独热编码向量；θ表示所有模型参数；||θ||2是l2范数；λ是控制正则化强度的超参数。

技术总结
本发明涉及一种基于动态图神经网络的序列推荐算法，包括S1、动态图构建；S2、子图采样策略；S3、图推荐网络；S4、汇总从推荐网络中得到的用户嵌入，并预测最有可能与用户节点发生联系的物品节点。本发明可以解决现有的基于传统推荐方法和神经网络方法中忽略数据中的高阶结构信息从而无法充分利用邻居信息进行推荐的问题；使用动态图建模用户行为序列，并采用基于子图采样的方法提高计算效率；同时，模型利用注意力机制学习不同节点之间的权重，以更好地捕捉节点之间的复杂关系，从而更好地利用邻居信息进行预测。用邻居信息进行预测。用邻居信息进行预测。


技术研发人员：喻梅 刘凯杰 于健 赵满坤 张文彬 赵越
受保护的技术使用者：天津大学
技术研发日：2023.05.10
技术公布日：2023/9/5