基于特征空间语义增强的对比学习推荐方法

1.本发明涉及推荐系统及深度学习技术领域，具体涉及基于特征空间语义增强的对比学习推荐方法。


背景技术：

2.推荐系统在电商、社交网络等领域中扮演着重要的角色，协同过滤是推荐系统中常用的技术之一，基于协同过滤（collaborative filtering ，cf）的隐式反馈中学习用户偏好学术界和工业界的重要课题。近年来，图神经网络（graph neural network，gnn）为开发cf方法提供了一种新的技术途径，基于gnn的cf模型在推荐性能上取得了实质性的改进。近期，基于结构增强和特征增强的对比学习方法在推荐系统中取得了显著的性能提升，结构增强方法通过对用户物品交互图施加不同的增强操作，如随机进行边扰动。然而，结构增强容易受到数据稀疏性的影响，特征增强的主流方法是使用高斯分布噪声注入节点嵌入，以学习更具有鲁棒性的特征表示。
3.尽管上述方法取得了成功，但是对比学习任务中的噪声等问题可能会对下游任务产生不利影响。因此，我们提出了一种简单且高效的数据增强方法，旨在特征增强，该方法与现有的增强策略相辅相成。我们选择在特征映射的谱特征中进行扰动，因为这种谱特征增强不会改变特征映射的正交基，从而有助于保持语义相关性，同时我们通过降维获得矩阵特征的近似表示，有利于减少存储空间和计算复杂度，可以有效过滤掉原始用户和物品嵌入表示中的噪声和冗余信息。我们的方法与其他增强策略和对比损失兼容，并且可以提高推荐系统模型的泛化能力和准确度。
4.因此，针对上述问题，提出基于特征空间语义增强的对比学习推荐方法来解决上述问题。


技术实现要素：

5.针对现有技术中存在的问题，本发明提供了基于特征空间语义增强的对比学习推荐方法，该方法对特征矩阵的谱特征进行干扰，可以有效过滤掉原始用户和物品嵌入表示中的噪声和冗余信息，提高推荐系统模型的泛化能力和准确度。
6.为实现上述目的，本发明提供如下技术方案：本发明提供了基于特征空间语义增强的对比学习推荐方法，包括以下步骤：（a）通过预处理将电子商务数据集划分为训练集、验证集和测试集，训练集中包括用户信息和物品信息，利用训练集信息构建用户和物品的购买交互二部图，对用户和物品的节点进行嵌入参数初始化，生成用户和物品的节点嵌入信息；（b）根据用户和物品的节点嵌入信息，进行节点相似度计算并设置阈值，通过运算去除交互图边缘得分较低的噪声信息；（c）通过建立基于特征空间语义增强的对比学习推荐方法模型进行对节点的嵌入学习，得到用户和物品的最终表示，根据学习到的最终表示，对用户和物品特征矩阵的谱特
征进行干扰, 生成用户和物品增强的样本矩阵；（d）利用学习推荐系统中的bpr损失函数和基于对比度的infonce对比损失函数进行迭代次，得到训练后的基于特征空间语义增强的对比学习推荐方法模型；（e）通过公式计算得到用户对物品的预测得分，使用内积计算用户和物品之间的得分，然后根据得分排序来对用户进行物品推荐。
7.进一步地，步骤（a）中，对于电子商务数据集，将用户所交互的物品按照8：1：1比例进行随机划分，生成训练集、验证集和测试集；在训练集中构建一组用户集合和一组物品集合的交互矩阵，其中和分别是用户和物品的数量,表示用户和物品交互,表示用户和物品不交互；对用户节点和物品节点分别进行嵌入参数xavier初始化，嵌入维度为64，生成用户节点的嵌入信息和物品节点的嵌入信息，xavier初始化是一种解决随机问题的初始化方法。
8.进一步地，步骤（b）中，通过公式计算用户和物品节点的相似度值，式中表示原始交互矩阵中存在交互的用户嵌入信息,表示原始交互矩阵中交互用户所对应的物品嵌入信息，是sigmoid激活函数,和是两个可训练的参数矩阵，和分别表示用户和物品的数量，表示维度，对节点特征进行映射变换，表示向量的内积运算，表示用户和物品的相似度值；通过公式去除图结构交互信息中低可靠度的交互，式中为为判断真假的二元指示函数，表示用户和物品的相似度值，是用于与用户和物品的相似度比较的阈值，表示最后生成降噪图的交互边缘信息。
9.进一步地，步骤（c）中，通过公式和分别得到用户节点和物品节点在第层的图卷积结果和，式中表示卷积的第层，表示需要图卷积的层数，为与用户交互的物品集合，为与物品交互的用户集合；通过公式和分别得到用户的最终嵌入和物品的最终嵌入，
式中表示用户节点在当前层学习到的嵌入信息，表示物品节点在当前层学习到的嵌入信息，表示当前层嵌入信息的重要程度；通过公式进行原始特征矩阵分解得到原始矩阵的谱特征，式中表表示将学习到的用户和物品嵌入信息，和分别表示原始特征矩阵的左奇异向量矩阵和右奇异向量矩阵，是是一个对角矩阵，元素满足条件，其对角线上的元素是原始矩阵的特征值，表示转置，表示对矩阵进行奇异值分解；通过公式得到近似分解矩阵，式中和表示降维后的分解矩阵，表示原始维度降维至维度，是一个降维后的对角矩阵，元素满足条件，表示矩阵的近似分解；通过公式和分别对原始的特征添加干扰，两矩阵元素满足条件，，式中，为一个递减序列且，，满足为一个递减序列且，通过公式和分别获得扰动后的用户和物品的节点嵌入表示和，和分别表示干扰后的谱特征。
10.进一步地，步骤（d）中，通过公式计算得到bpr损失，式中为与用户交互的物品集合，表示与用户交互的正样本物品，表示与用户的负样本物品，表示用户的最终嵌入的转置，表示sigmoid激活函数，表示bpr损失函数，是一种用于学习推荐系统中用户个性化偏好的函数；通过公式
计算得到对比损失函数，在两个同本质的嵌入矩阵中同一用户增强节点（，）视为锚点和正样本，另一个嵌入中其他用户的增强嵌入视为负样本（，），其中，是温度超参数，是余弦相似度函数；通过公式进行优化，式中表示bpr损失函数，表示infonce对比损失函数，是一种基于对比度的函数，是正则化强度，是模型参数集，为范数，是对比损失函数的参数，是正则化强度的超参数；利用bpr损失和infonce对比损失通过adam优化基于特征空间语义增强的对比学习推荐方法模型中的参数，adam是一种基于一阶梯度来优化随机目标函数的算法。
11.进一步地，步骤（e）中，通过公式计算得到用户对物品的预测得分，式中为转置，和分别表示用户和物品的最终嵌入，使用内积计算用户和物品之间的得分，根据得分排序来对用户进行物品推荐。
12.本发明的有益效果：本发明提出了基于特征空间语义增强的对比学习推荐方法，在特征映射的谱特征中进行扰动，因为这种谱特征增强不会改变特征映射的正交基，从而有助于保持语义相关性，同时通过降维获得矩阵特征的近似表示,可以有效过滤掉原始用户和物品嵌入表示中的噪声和冗余信息，并且可以提高推荐系统模型的泛化能力和准确度。
附图说明
13.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
14.图1为本发明的方法流程图；图2为本发明基于特征空间语义增强的对比学习推荐方法模型图。
具体实施方式
15.以下对本发明的实施例进行详细说明，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
16.实施例1 基于特征空间语义增强的对比学习推荐方法，包括以下步骤：（a）通过预处理将电子商务数据集划分为训练集、验证集和测试集，训练集中包括用户信息和物品信息，利用训练集信息构建用户和物品的购买交互二部图，对用户和物品的节点进行嵌入参数初始化，生成用户和物品的节点嵌入信息；（b）根据用户和物品的节点嵌入信息，进行节点相似度计算并设置阈值，通过运算
去除交互图边缘得分较低的噪声信息；（c）通过建立基于特征空间语义增强的对比学习推荐方法模型进行对节点的嵌入学习，得到用户和物品的最终表示，根据学习到的最终表示，对用户和物品特征矩阵的谱特征进行干扰, 生成用户和物品增强的样本矩阵；（d）利用学习推荐系统中的bpr损失函数和基于对比度的infonce对比损失函数进行迭代次，得到训练后的基于特征空间语义增强的对比学习推荐方法模型；（e）通过公式计算得到用户对物品的预测得分，使用内积计算用户和物品之间的得分，然后根据得分排序来对用户进行物品推荐。
17.根据实施例1所述，步骤（a）包括如下步骤，对于电子商务数据集，将用户所交互的物品按照8：1：1比例进行随机划分，生成训练集、验证集和测试集；在训练集中构建一组用户集合和一组物品集合的交互矩阵，其中和分别是用户和物品的数量,表示用户和物品交互,表示用户和物品不交互；对用户节点和物品节点分别进行嵌入参数xavier初始化，嵌入维度为64，生成用户节点的嵌入信息和物品节点的嵌入信息，xavier初始化是本技术领域公知的方法，是一种解决随机问题的初始化方法，且是一种很有效的神经网络初始化方法，本发明是基于特征空间语义增强的对比学习推荐方法，涉及推荐系统及深度学习技术领域，所述方法在深度网络中经常被使用。
18.根据实施例1所述，步骤（b）包括如下步骤，通过公式计算用户和物品节点的相似度值，式中表示原始交互矩阵中存在交互的用户嵌入信息,表示原始交互矩阵中交互用户所对应的物品嵌入信息，是sigmoid激活函数,和是两个可训练的参数矩阵，和分别表示用户和物品的数量，表示维度，对节点特征进行映射变换，表示向量的内积运算，表示用户和物品的相似度值；通过公式去除图结构交互信息中低可靠度的交互，式中为判断真假的二元指示函数，表示用户和物品的相似度值，是用于与用户和物品的相似度比较的阈值，当用户与物品的相似度值低于设置的阈值，交互边缘信息的数值置为0，即直接去除被认为是噪声的交互信息，反之用相似度的值替换原交互边缘的值，体现出交互的不同重要程度，表示最后生成降噪图的交互边缘信息。通过sigmoid激活函数对激活频率有良好的解释，从完全不激活的0状态到在求和后的最大频率出的完全饱和的1状态，使相似度的取值范围控制在之间，且sigmoid函数适用于深度学习领域。
19.根据实施例1所述，步骤（c）包括如下步骤，通过公式和分别得到用户节点和物品节点在第层的图卷积结果和，
式中表示卷积的第层，表示需要图卷积的层数，为与用户交互的物品集合，为与物品交互的用户集合；通过公式和分别得到用户的最终嵌入和物品的最终嵌入，式中表示用户节点在当前层学习到的嵌入信息，表示物品节点在当前层学习到的嵌入信息，将用户和物品在所有层的嵌入信息汇总，生成最终的用户和物品节点嵌入表示，表示当前层嵌入信息的重要程度；通过公式进行原始特征矩阵分解得到原始矩阵的谱特征，式中表示将学习到的用户和物品嵌入信息，在维度0处进行拼接，和分别表示原始特征矩阵的左奇异向量矩阵和右奇异向量矩阵，且都是正交矩阵，表示原始矩阵对应的行特征向量和列特征向量，是一个对角矩阵，元素满足条件，其对角线上的元素是原始矩阵的特征值，即叫奇异值特征也称谱特征，表示转置，表示对矩阵进行奇异值分解；通过公式得到近似分解矩阵，式中和表示降维后的分解矩阵，表示原始维度降维至维度，其值远小于和，是一个降维后的对角矩阵，元素满足条件，表示矩阵的近似分解；通过公式和分别对原始的特征添加干扰，两矩阵元素满足条件，，式中，为一个递减序列且，，满足为一个递减序列且，通过公式和分别获得扰动后的用户和物品的节点嵌入表示和，此处仍使用原始矩阵的正交矩阵，不改变矩阵的本质特性，和分别表示干扰后的谱特征，保留，的先决条件，保持矩阵的本质不变，保留原始
矩阵中的本质信息。
20.根据实施例1所述，步骤（d）包括如下步骤，通过公式计算得到bpr损失，式中为与用户交互的物品集合，表示与用户交互的正样本物品，表示与用户的负样本物品，表示用户的最终嵌入的转置，表示sigmoid激活函数，表示bpr损失函数，是一种用于学习推荐系统中用户个性化偏好的函数；通过公式计算得到对比损失函数，在两个同本质的嵌入矩阵中同一用户增强节点（，）视为锚点和正样本，另一个嵌入中其他用户的增强嵌入视为负样本（，），其中，是温度超参数，是余弦相似度函数；通过公式进行优化，式中表示bpr损失函数，表示infonce对比损失函数，是一种基于对比度的函数，是正则化强度，是模型参数集，为范数，是对比损失函数的参数，是正则化强度的超参数；利用bpr损失和infonce对比损失通过adam优化基于特征空间语义增强的对比学习推荐方法模型中的参数，adam是一种基于一阶梯度来优化随机目标函数的算法；利用bpr损失和infonce对比损失通过adam优化基于特征空间语义增强的对比学习推荐方法模型中的参数，adam是一种基于一阶梯度来优化随机目标函数的算法。在推荐系统中，用户的历史行为数据通常是以隐式反馈形式存在的，bpr损失函数就是为了解决隐式反馈数据下的推荐问题而提出的，与其他推荐算法相比，bpr具有较好的性能和可扩展性，并且可以处理大规模的隐式反馈数据，通过对比损失函数infonce来指导模型进行学习并处理所述的正负样本对。
21.根据实施例1所述，步骤（e）包括如下步骤，通过公式计算得到用户对物品的预测得分，式中为转置，和分别表示用户和物品的最终嵌入，使用内积计算用户和物品之间的得分，根据得分排序来对用户进行物品推荐。
22.通过采用上述技术方案，本发明提供一种简单且高效的数据增强方法，旨在特征增强，该方法与现有的增强策略相辅相成，选择在特征映射的谱特征中进行扰动，改变谱特征值的大小使正交基中每个向量所描述的特征重要性发生改变，影响矩阵的表示的重要程度，合理控制谱特征的范围，保持矩阵的本质不变，保留原始矩阵中的本质信息，谱特征增强不会改变特征映射的正交基，有助于保持语义相关性。具体步骤是：对用户购买物品的数
据集进行预处理，构建交互图，去除交互图信息中噪声和干扰信息，提升模型的准确度，对学到的特征矩阵进行谱特征干扰，生成两个增强的样本矩阵，多任务学习策略集成原始特征矩阵，以及对增强后的特征样本同一化，提高节点嵌入的鲁棒性，使用内积来计算用户和物品嵌入之间的得分，通过得分排序来对用户进行物品推荐。因此，采用本发明的方法对特征矩阵的谱特征进行干扰，可以有效过滤掉原始用户和物品嵌入表示中的噪声和冗余信息，提高推荐系统模型的泛化能力和准确度。
23.虽然本发明已以较佳实施例公开如上，但其并非用以限定本发明，任何熟悉此技术的人，在不脱离本发明的精神和范围内，都可做各种的改动与修饰，因此本发明的保护范围应该以权利要求书所界定的为准。

技术特征：
1.一种基于特征空间语义增强的对比学习推荐方法，其特征是，包括如下步骤：（a）通过预处理将电子商务数据集划分为训练集、验证集和测试集，训练集中包括用户信息和物品信息，利用训练集信息构建用户和物品的购买交互二部图，对用户和物品的节点进行嵌入参数初始化，生成用户和物品的节点嵌入信息；（b）根据用户和物品的节点嵌入信息，进行节点相似度计算并设置阈值，通过运算去除交互图边缘得分较低的噪声信息；（c）通过建立基于特征空间语义增强的对比学习推荐方法模型进行对节点的嵌入学习，得到用户和物品的最终表示，根据学习到的最终表示，对用户和物品特征矩阵的谱特征进行干扰, 生成用户和物品增强的样本矩阵；（d）利用学习推荐系统中的bpr损失函数和基于对比度的infonce对比损失函数进行迭代次，得到训练后的基于特征空间语义增强的对比学习推荐方法模型；（e）通过公式计算得到用户对物品的预测得分，使用内积计算用户和物品之间的得分，然后根据得分排序来对用户进行物品推荐。2.根据权利要求1所述的基于特征空间语义增强的对比学习推荐方法，其特征在于，步骤（a）包括如下步骤：（a-1）对于电子商务数据集，将用户所交互的物品按照8：1：1比例进行随机划分，生成训练集、验证集和测试集；（a-2）在训练集中构建一组用户集合和一组物品集合的交互矩阵，其中和分别是用户和物品的数量,表示用户和物品交互,表示用户和物品不交互；（a-3）对用户节点和物品节点分别进行嵌入参数xavier初始化，嵌入维度为64，生成用户节点的嵌入信息和物品节点的嵌入信息，xavier初始化是一种解决随机问题的初始化方法。3.根据权利要求1所述的基于特征空间语义增强的对比学习推荐方法，其特征在于，步骤(b)包括如下步骤：（b-1）通过公式计算用户和物品节点的相似度值，式中表示原始交互矩阵中存在交互的用户嵌入信息,表示原始交互矩阵中交互用户所对应的物品嵌入信息，是sigmoid激活函数,和是两个可训练的参数矩阵，和分别表示用户和物品的数量，表示维度，对节点特征进行映射变换，表示向量的内积运算，表示用户和物品的相似度值；（b-2）通过公式去除图结构交互信息中低可靠度的交互，式中为判断真假的二元指示函数，表示用户和物品的相似度值，是用于与用户和物品的相似度比较的阈值，表示最后生成降噪图的交互边缘信息。4.根据权利要求1所述的基于特征空间语义增强的对比学习推荐方法，其特征在于，步骤（c）包括如下步骤：
（c-1）通过公式和分别得到用户节点和物品节点在第层的图卷积结果和，式中表示卷积的第层，表示需要图卷积的层数，为与用户交互的物品集合，为与物品交互的用户集合；（c-2）通过公式和分别得到用户的最终嵌入和物品的最终嵌入，式中表示用户节点在当前层学习到的嵌入信息，表示物品节点在当前层学习到的嵌入信息，表示当前层嵌入信息的重要程度；（c-3）通过公式进行原始特征矩阵分解得到原始矩阵的谱特征，式中表示将学习到的用户和物品嵌入信息，和分别表示原始特征矩阵的左奇异向量矩阵和右奇异向量矩阵，是一个对角矩阵，元素满足条件，其对角线上的元素是原始矩阵的特征值，表示转置，表示对矩阵进行奇异值分解；（c-4）通过公式得到近似分解矩阵，式中和表示降维后的分解矩阵，表示原始维度降维至维度，是一个降维后的对角矩阵，元素满足条件，表示矩阵的近似分解；（c-5）通过公式和分别对原始的特征添加干扰，两矩阵元素满足条件，，式中，为一个递减序列且，，为一个递减序列且，通过公式获和分别获得扰动后的用户和物品的节点嵌
入表示和，和分别表示干扰后的谱特征。5.根据权利要求1所述的基于特征空间语义增强的对比学习推荐方法，其特征在于，步骤（d）包括如下步骤：（d-1）通过公式计算得到bpr损失，式中为与用户交互的物品集合，表示与用户交互的正样本物品，表示与用户的负样本物品，表示用户的最终嵌入的转置，表示sigmoid激活函数，表示bpr损失函数，是一种用于学习推荐系统中用户个性化偏好的函数；（d-2）通过公式计算得到对比损失函数，在两个同本质的嵌入矩阵中同一用户增强节点（，）视为锚点和正样本，另一个嵌入中其他用户的增强嵌入视为负样本，其中,是温度超参数，是余弦相似度函数；（d-3）通过公式进行优化，式中表示bpr损失函数，表示infonce对比损失函数，是一种基于对比度的函数，是正则化强度，是模型参数集，为范数，是对比损失函数的参数，是正则化强度的超参数；（d-4）利用bpr损失和infonce对比损失通过adam优化基于特征空间语义增强的对比学习推荐方法模型中的参数，adam是一种基于一阶梯度来优化随机目标函数的算法。6.根据权利要求1所述的基于特征空间语义增强的对比学习推荐方法，其特征在于，步骤(e)包括如下步骤：通过公式计算得到用户对物品的预测得分，式中为转置，和分别表示用户和物品的最终嵌入，使用内积计算用户和物品之间的得分，根据得分排序来对用户进行物品推荐。

技术总结
本发明涉及推荐系统及深度学习技术领域，具体涉及基于特征空间语义增强的对比学习推荐方法。该方法包括以下步骤：首先对用户购买物品的数据集进行预处理，构建交互图，去除交互图信息中噪声和干扰信息，提升模型的准确度，然后对学到的特征矩阵进行谱特征干扰，生成两个增强的样本矩阵，多任务学习策略集成原始特征矩阵，以及对增强后的特征样本同一化，提高节点嵌入的鲁棒性，最后使用内积来计算用户和物品嵌入之间的得分，通过得分排序来对用户进行物品推荐。采用本发明的方法对特征矩阵的谱特征进行干扰，可以有效过滤掉原始用户和物品嵌入表示中的噪声和冗余信息，提高推荐系统模型的泛化能力和准确度。统模型的泛化能力和准确度。统模型的泛化能力和准确度。


技术研发人员：程志勇 赵帅 张宇 刘帆 卓涛 高赞
受保护的技术使用者：齐鲁工业大学（山东省科学院）
技术研发日：2023.08.02
技术公布日：2023/9/7