基于可穿戴设备多模态数据的多媒体信息推荐方法及装置与流程

1.本技术涉及人工智能技术及信息推荐技术领域，尤其涉及一种基于可穿戴设备多模态数据的多媒体信息推荐方法及装置。


背景技术：

2.相关技术中，向用户个体推荐多媒体信息时，通常需要获取目标用户多媒体信息偏好的二维矩阵，基于不同用户间偏好的相似性，将与目标用户偏好相似性最大的，其它用户的偏好多媒体信息作为待推荐多媒体信息；或基于不同多媒体信息间的相似性，将与目标用户的偏好多媒体信息相似性最大的若干多媒体信息作为待推荐多媒体信息。然而，当用户偏好随着时间发生变化时，上述推荐方法的速度及准确度也会受到影响。


技术实现要素：

3.本技术提供了一种基于可穿戴设备多模态数据的多媒体信息推荐方法及装置。可以基于可穿戴设备获取多模态数据，实现对个体兴趣改变趋势的追踪，从而提升对个体进行多媒体信息推荐的准确性。
4.第一方面，本技术提供一种基于可穿戴设备多模态数据的多媒体信息推荐方法，包括：获取个体多媒体信息播放记录，并获取基于所述可穿戴设备采集的环境数据和所述个体的状态数据；根据所述多媒体信息播放记录生成对应的历史多媒体信息表征；根据所述历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据所述状态数据和所述环境数据生成对应的多媒体信息偏好矫正向量；根据所述多媒体信息偏好向量和所述多媒体信息偏好矫正向量生成所述个体的多媒体信息兴趣向量；根据所述多媒体信息兴趣向量和所述历史多媒体信息表征生成所述个体的多媒体信息兴趣表征；基于所述多媒体信息兴趣表征，从多个候选多媒体信息中向所述个体推荐多媒体信息。
5.在一种实现方式中，所述根据所述历史多媒体信息表征生成对应的多媒体信息偏好向量，包括：将所述历史多媒体信息表征输入至预设的多媒体信息偏好权重学习模型，生成所述多媒体信息偏好向量；其中，所述偏好权重学习模型已经预先学习得到所述历史多媒体信息表征与所述多媒体信息偏好向量之间的映射关系。
6.在一种可选的实现方式中，所述根据所述状态数据和所述环境数据生成对应的多媒体信息偏好矫正向量，包括：将所述状态数据和所述环境数据输入至预设的环境偏好矫正模型，生成所述多媒体信息偏好矫正向量；其中，所述环境偏好矫正因子学习模型已经预先学习得到所述状态数据和所述环境数据与所述多媒体信息偏好矫正向量之间的映射关系。
7.可选地，所述多媒体信息偏好权重学习模型和所述环境偏好矫正模型间采用十字绣单元共享信息。
8.在一种实现方式中，所述根据所述多媒体信息偏好向量和所述多媒体信息偏好矫正向量生成所述个体的多媒体信息兴趣向量，包括：将所述多媒体信息偏好向量与所述多
媒体信息偏好矫正向量点对点相乘，生成所述个体的多媒体信息兴趣向量。
9.在一种实现方式中，所述基于所述多媒体信息兴趣表征，从多个候选多媒体信息中向所述个体推荐多媒体信息，包括：获取每个所述候选多媒体信息的多媒体信息表征；将所述多媒体信息兴趣表征分别与每个所述候选多媒体信息的多媒体信息表征进行相似匹配，获得每个所述候选多媒体信息的推荐概率；从所述多个候选多媒体信息中选取所述推荐概率满足预设推荐条件的候选多媒体信息；将所述推荐概率满足预设推荐条件的候选多媒体信息推荐给所述个体。
10.通过本技术技术方案，可以基于环境数据及个体状态数据的多模态数据，得到考虑到个体多媒体信息兴趣漂移的个体多媒体兴趣表征，从而对个体的多媒体信息偏好的改变进行追踪，提升多媒体信息推荐的准确性。
11.第二方面，本技术提供一种基于可穿戴设备多模态数据的多媒体信息推荐装置，包括：获取模块，用于获取个体多媒体信息播放记录，并获取基于所述可穿戴设备采集的环境数据和所述个体的状态数据；第一处理模块，用于根据所述多媒体信息播放记录生成对应的历史多媒体信息表征；第二处理模块，用于根据所述历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据所述状态数据和所述环境数据生成对应的多媒体信息偏好矫正向量；第三处理模块，用于根据所述多媒体信息偏好向量和所述多媒体信息偏好矫正向量生成所述个体的多媒体信息兴趣向量第四处理模块，用于根据所述多媒体信息兴趣向量和所述历史多媒体信息表征生成所述个体的多媒体信息兴趣表征；推荐模块，用于基于所述多媒体信息兴趣表征，从多个候选多媒体信息中向所述个体推荐多媒体信息。
12.在一种实现方式中，所述第二处理模块具体用于：将所述历史多媒体信息表征输入至预设的多媒体信息偏好权重学习模型，生成所述多媒体信息偏好向量；其中，所述偏好权重学习模型已经预先学习得到所述历史多媒体信息表征与所述多媒体信息偏好向量之间的映射关系。
13.在一种可选地实现方式中，所述第二处理模块具体用于：将所述状态数据和所述环境数据输入至预设的环境偏好矫正模型，生成所述多媒体信息偏好矫正向量；其中，所述环境偏好矫正因子学习模型已经预先学习得到所述状态数据和所述环境数据与所述多媒体信息偏好矫正向量之间的映射关系。
14.可选地，所述多媒体信息偏好权重学习模型和所述环境偏好矫正模型间采用十字绣单元共享信息。
15.在一种实现方式中，所述第三处理模块具体用于：将所述多媒体信息偏好向量与所述多媒体信息偏好矫正向量点对点相乘，生成所述个体的多媒体信息兴趣向量。
16.在一种实现方式中，所述推荐模块具体用于：获取每个所述候选多媒体信息的多媒体信息表征；将所述多媒体信息兴趣表征分别与每个所述候选多媒体信息的多媒体信息表征进行相似匹配，获得每个所述候选多媒体信息的推荐概率；从所述多个候选多媒体信息中选取所述推荐概率满足预设推荐条件的候选多媒体信息；将所述推荐概率满足预设推荐条件的候选多媒体信息推荐给所述个体。
17.通过本技术技术方案，可以基于生成的多媒体信息兴趣表征，获得候选多媒体信息的推荐概率，对候选多媒体信息进行推荐，提升对候选对媒体信息推荐的准确性。
18.第三方面，本技术提供一种电子设备，包括：至少一个处理器；以及与所述至少一
个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的基于可穿戴设备多模态数据的多媒体信息推荐方法。
19.第四方面，本技术提供一种计算机可读存储介质，用于存储有指令，其特征在于，当所述指令被执行时，使如第一方面所述的方法被实现。
20.第五方面，本技术提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的基于可穿戴设备多模态数据的多媒体信息推荐方法的步骤。
21.应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.附图用于更好地理解本方案，不构成对本技术的限定。其中：
23.图1为本技术实施例提供的一种基于可穿戴设备多模态数据的多媒体信息推荐方法的流程图；
24.图2为本技术实施例提供的另一种基于可穿戴设备多模态数据的多媒体信息推荐方法的流程图；
25.图3为本技术实施例提供的一种基于可穿戴设备多模态数据的多媒体信息推荐系统的结构示意图；
26.图4为本技术实施例提供的一种基于可穿戴设备多模态数据的多媒体信息推荐装置的示意图；
27.图5为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
28.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.其中，在本技术的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本技术实施例的范围，也不表示先后顺序。
30.请参见图1，图1为本技术实施例提供的一种基于可穿戴设备多模态数据的多媒体信息推荐方法的流程图。需要说明的是，本技术实施例的多媒体信息推荐方法可应用于电子设备。如图1所示，该基于可穿戴设备多模态数据的多媒体信息推荐方法可以包括以下步骤。
31.步骤s101，获取个体多媒体信息播放记录，并获取基于可穿戴设备采集的环境数据和个体的状态数据。
32.在本技术一些实施例中，个体多媒体信息播放记录的来源可以是个体佩戴的可穿戴设备(也叫可穿戴式设备)，还可以是该个体的移动终端，或者该个体的智能音箱等外部音视频播放设备。其中，可穿戴设备可以是手表、或vr(virtual reality，虚拟现实)眼镜等。例如，以可穿戴设备为例，可穿戴设备可以将个体播放的多媒体信息播放记录上传给电子设备进行存储，使得电子设备可以获得该个体的多媒体信息播放记录。
33.可以理解，由于可穿戴设备通常具有用于采集环境数据的传感器，以及采集生物特征数据的传感器。在一种实现方式中，可穿戴设备可将采集的环境数据和个体的状态数据发送给电子设备进行存储，以使得电子设备可以获得该个体所处的环境数据和个体的状态数据。
34.需要说明的是，在本技术的一些实施例中，多媒体信息可以包括但不限于音频及视频信息等，比如音乐、短视频、mv(music video，音乐短片)，或者，还可以是有声新闻、有声小说等；环境数据可以包括但不限于：个体在一段时间内所处环境的天气、温度、湿度、光照等中的一种或多种；个体的状态数据可以包括但不限于个体在一段时间内所处环境的个体运动量、个体心率、pai(personal activity intelligence，个人机能运动指数)值、个体睡眠情况等中的一种或多种。
35.在本技术一些实施例中，个体多媒体信息播放记录中包含的具体多媒体信息的条目数，与每个具体类别的环境数据及个体的状态数据的条目数相同。
36.作为一种示例，以环境数据包含温度，状态数据包括个体心率和个体睡眠情况为例，假设获取的个体多媒体信息播放记录为30条，则获取的环境数据中的温度数据可以为过去30天中，个体所处地理位置每天的天气情况；获取的个体的状态数据可以为过去30天中个体每天的心率变化状态及每天的睡眠状况。
37.举例而言，可基于待推荐多媒体信息的类别，获取相同类别的可穿戴设备上传的个体播放的多媒体信息记录，并获取可穿戴设备采集和上传的环境数据和个体的状态数据。
38.步骤s102，根据多媒体信息播放记录生成对应的历史多媒体信息表征。
39.举例而言，可根据多媒体信息播放记录，获取每一条播放记录对应的多媒体信息，基于每一条多媒体信息的具体特征，生成对应的多媒体信息表征，将每一条多媒体信息表征组合，即可得到历史多媒体信息表征。
40.其中，在本技术的实施例中，多媒体信息表征是由多个符号组成的符号集，其中多个符号可表征多媒体信息的多个不同维度特征。例如，多媒体信息为音频信息时，多媒体信息的维度特征可以包括但不限于音频信息的伴舞度、能量、响度、原音乐度、乐器度、愉悦度、音乐速度、现场直播度、语音度、音调、调式等一种或多种。
41.作为一种示例，假设共有m条多媒体信息播放记录，每条多媒体信息可生成一条包含n个符号的多媒体信息表征，每个符号代表该多媒体信息的一个维度的特征，则根据多媒体信息播放记录生成的历史多媒体信息表征可表示如下。
42.43.其中，r为多媒体信息表征，r
m,1
,r
m,2
,...r
m,n
代表第m条多媒体信息的n个符号。
44.步骤s103，根据历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据状态数据和环境数据生成对应的多媒体信息偏好矫正向量。
45.需要说明的是，在本技术的实施例中，生成的多媒体信息偏好向量的向量维度及多媒体信息偏好矫正向量的向量维度，与多媒体信息播放记录的数目相同，以便进行后续计算。
46.作为一种示例，假设共有m条多媒体信息播放记录，则生成的多媒体信息偏好向量的向量维度及多媒体信息偏好矫正向量的向量维度都为m。
47.在一种实现方式中，根据历史多媒体信息表征生成对应的多媒体信息偏好向量，包括：将历史多媒体信息表征输入至预设的多媒体信息偏好权重学习模型，生成多媒体信息偏好向量；其中，偏好权重学习模型已经预先学习得到历史多媒体信息表征与个体多媒体信息偏好向量之间的映射关系。
48.作为一种示例，在本技术的实施例中，偏好权重学习模型可以是resnet(residual network，残差网络)50模型。
49.在一种可选地实现方式中，根据状态数据和环境数据生成对应的多媒体信息偏好矫正向量，包括：将状态数据和环境数据输入至预设的环境偏好矫正模型，生成多媒体信息偏好矫正向量；其中，环境偏好矫正因子学习模型已经预先学习得到状态数据和环境数据与多媒体信息偏好矫正向量之间的映射关系。
50.作为一种示例，在本技术的实施例中，环境偏好矫正模型可以是bilstm(bi-directional long-short term memory，双向长短期记忆)模型。
51.举例而言，将历史多媒体信息表征输入至预设的多媒体信息偏好权重学习模型，即可得到对应的多媒体信息偏好向量；将状态数据和环境数据输入至预设的环境偏好矫正模型即可得到对应的多媒体信息偏好矫正向量。
52.可选地，多媒体信息偏好权重学习模型和环境偏好矫正模型间采用十字绣单元共享信息。
53.举例而言，在使用匹配概率和已知的用户历史多媒体信息偏好间的交叉熵作为损失函数，对多媒体信息偏好权重学习模型和环境偏好矫正模型的初始模型进行训练时，上述两种模型间可进行信息交换，以互相学习对各自的模型系数进行调整。在通过多媒体信息偏好权重学习模型，得到对应的多媒体信息偏好向量，及通过环境偏好矫正模型得到对应的多媒体信息偏好矫正向量时，上述两种模型间可进行信息交换，以根据情况实时调整各自模型的权重系数，提升各自模型输出结果的准确性。
54.步骤s104，根据多媒体信息偏好向量和多媒体信息偏好矫正向量生成个体的多媒体信息兴趣向量。
55.在一种实现方式中，根据多媒体信息偏好向量和多媒体信息偏好矫正向量生成个体的多媒体信息兴趣向量，包括：将多媒体信息偏好向量与多媒体信息偏好矫正向量点对点相乘，生成个体的多媒体信息兴趣向量。
56.举例而言，假设多媒体信息偏好向量为p＝|p1,p2,...pm|，多媒体信息偏好矫正向量为c＝|c1,c2,...cm|，则多媒体信息兴趣向量可表示如下。
57.i＝p
×
c＝|p1×
c1,p2×
c2,...pm×cm
|＝|i1,i2,...im|
58.其中，i为多媒体信息向量，i1,i2,...im为多媒体信息向量中的元素。
59.步骤s105，根据多媒体信息兴趣向量和历史多媒体信息表征生成个体的多媒体信息兴趣表征。
60.举例而言，将多媒体信息兴趣向量与历史多媒体信息表征相乘，即可得到对应个体的多媒体信息兴趣表征，可表示如下。
[0061][0062]
其中，ir为多媒体信息兴趣表征，ir1,ir2,...irm为多媒体信息兴趣表征中的多个符号。
[0063]
步骤s106，基于多媒体信息兴趣表征，从多个候选多媒体信息中向个体推荐多媒体信息。
[0064]
举例而言，可基于多媒体信息兴趣表征确定个体的多媒体信息兴趣偏好，分别得到每个候选多媒体信息与个体的多媒体信息兴趣偏好的相似性，按相似性从高到低向个体推荐多媒体信息。
[0065]
通过实施本技术实施例，可以基于环境数据及个体状态数据的多模态数据，得到考虑到个体多媒体信息兴趣漂移的个体多媒体兴趣表征，从而对个体的多媒体信息偏好的改变进行追踪，提升多媒体信息推荐的准确性。
[0066]
请参见图2，图2为本技术实施例提供的另一种基于可穿戴设备多模态数据的多媒体信息推荐方法的流程图。本技术实施例可基于生成的多媒体信息兴趣表征，获得候选多媒体信息的推荐概率，从而对候选多媒体信息进行推荐。如图2所示，该基于可穿戴设备多模态数据的多媒体信息推荐方法可以包括以下步骤。
[0067]
步骤s201，获取个体多媒体信息播放记录，并获取基于可穿戴设备采集的环境数据和个体的状态数据。
[0068]
在本技术的实施例中，步骤s201可分别采用本技术的各实施例中的任一种方式实现，本技术实施例并不对此作出限定，也不再赘述。
[0069]
步骤s202，根据多媒体信息播放记录生成对应的历史多媒体信息表征。
[0070]
在本技术的实施例中，步骤s202可分别采用本技术的各实施例中的任一种方式实现，本技术实施例并不对此作出限定，也不再赘述。
[0071]
步骤s203，根据历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据状态数据和环境数据生成对应的多媒体信息偏好矫正向量。
[0072]
在本技术的实施例中，步骤s203可分别采用本技术的各实施例中的任一种方式实现，本技术实施例并不对此作出限定，也不再赘述。
[0073]
步骤s204，根据多媒体信息偏好向量和多媒体信息偏好矫正向量生成个体的多媒体信息兴趣向量。
[0074]
在本技术的实施例中，步骤s204可分别采用本技术的各实施例中的任一种方式实现，本技术实施例并不对此作出限定，也不再赘述。
[0075]
步骤s205，根据多媒体信息兴趣向量和历史多媒体信息表征生成个体的多媒体信
息兴趣表征。
[0076]
在本技术的实施例中，步骤s205可分别采用本技术的各实施例中的任一种方式实现，本技术实施例并不对此作出限定，也不再赘述。
[0077]
步骤s206，获取每个候选多媒体信息的多媒体信息表征。
[0078]
在本技术的实施例中，步骤s206可分别采用本技术的各实施例中的任一种方式实现，本技术实施例并不对此作出限定，也不再赘述。
[0079]
步骤s207，将多媒体信息兴趣表征分别与每个候选多媒体信息的多媒体信息表征进行相似匹配，获得每个候选多媒体信息的推荐概率。
[0080]
举例而言，可将多媒体信息兴趣表征与每个候选多媒体信息的多媒体信息表征进行余弦计算，获得每个候选多媒体信息的匹配度，将所有候选音乐的匹配度进行归一化处理，即可获得每个候选多媒体信息的推荐概率。
[0081]
作为一种示例，假设共有b个候选多媒体信息，则第a(a≤b)个候选多媒体信息的匹配度可表示如下。
[0082]
da＝(ir
×rat
)/(|ir|
×
|ra|)
[0083]
其中，da为第a个候选多媒体信息的匹配度。
[0084]
则第a个候选多媒体信息的推荐概率为：
[0085][0086]
其中，da为第a个候选多媒体信息的推荐概率。
[0087]
步骤s208，从多个候选多媒体信息中选取推荐概率满足预设推荐条件的候选多媒体信息。
[0088]
举例而言，可从多个候选多媒体信息中，选取推荐概率最大的候选多媒体信息，或推荐概率排序靠前的若干候选多媒体信息，作为待推荐的多媒体信息。
[0089]
步骤s209，将推荐概率满足预设推荐条件的候选多媒体信息推荐给个体。
[0090]
通过实施本技术实施例，可以基于生成的多媒体信息兴趣表征，获得候选多媒体信息的推荐概率，提升对候选对媒体信息推荐的准确性。
[0091]
请参见图3，图3为本技术实施例提供的一种基于可穿戴设备多模态数据的多媒体信息推荐系统的结构示意图。如图3所示，该基于可穿戴设备多模态数据的多媒体信息推荐系统包括兴趣追踪模块及兴趣匹配模块。其中，兴趣追踪模块将个体的多媒体信息记录输入预设的偏好权重学习模型，得到多媒体信息偏好向量，将环境数据及个体的状态数据输入预设的环境偏好矫正模型，得到多媒体信息偏好矫正向量，进而基于多媒体信息偏好向量及多媒体信息偏好矫正向量，得到个体的多媒体兴趣向量；继而，兴趣匹配模块基于多媒体兴趣向量及历史多媒体信息表征得到个体的多媒体兴趣表征，将个体的多媒体兴趣表征和候选多媒体信息的多媒体信息表征做余弦相似匹配，得到候选多媒体信息的推荐概率。下面以多媒体信息为音乐为例，给出该多媒体信息推荐系统进行多媒体信息推荐时的具体实现方式：
[0092]
s1：获取个体历史的三十条音乐收听记录，基于每一条音乐记录生成一个11维度的音乐表征，得到30
×
11维度的历史音乐表征r，表示如下；
[0093][0094]
s2：将代表音乐收听历史记录的30
×
11的历史音乐表征输入到预设的偏好权重学习模型，此模型按照resnet50的主干网络构造，输出为个体的音乐偏好向量p，维度为30，表示如下；
[0095]
p＝|p1,p2,...p
30
|
[0096]
s3:将个体30天内的天气、温度、湿度、光照、个体运动量、个体心率、个体pai值、个体睡眠情况组合成30
×
8的环境及个体状态数据；
[0097]
s4:将30
×
8的环境及个体状态数据输入到预设的环境偏好矫正模型，此模型按照bilstm架构构造，得到音乐偏好矫正向量c，维度为30，表示如下；
[0098]
c＝|c1,c2,...c
30
|
[0099]
s5:将个体的音乐偏好向量p和音乐偏好矫正向量c合成为个体音乐兴趣向量i，合成的方式为点对点乘法，表示如下；
[0100]
i＝p
×
c＝|p1×
c1,p2×
c2,...p
30
×c30
|＝|i1,i2,...i
30
|
[0101]
s6:将维度为30的音乐兴趣向量i乘以30
×
11维度的历史音乐表征r得到个体的音乐兴趣表征ir，维度为11，表示如下；
[0102][0103]
s7:将个体的音乐兴趣表征ir和每一首候选音乐的表征r做余弦相似计算，得到的每一首候选音乐的匹配度d，将所有候选音乐的匹配度归一化处理，得到每一首候选音乐的推荐概率d，表示如下。
[0104][0105]
由此可见，该基于可穿戴设备多模态数据的多媒体信息推荐系统可以基于环境数据及个体状态数据的多模态数据，得到考虑到个体多媒体信息兴趣漂移的个体多媒体兴趣表征，基于个体多媒体兴趣表征及候选多媒体信息的表征得到候选多媒体信息推荐概率，从而实现对个体的多媒体信息偏好的改变进行追踪，提升多媒体信息推荐的准确性。
[0106]
请参见图4，图4为本技术实施例提供的一种基于可穿戴设备多模态数据的多媒体信息推荐装置的示意图，如图4所示，该基于可穿戴设备多模态数据的多媒体信息推荐装置可以包括获取模块401、第一处理模块402、第二处理模块403、第三处理模块404、第四处理模块405及推荐模块406。
[0107]
其中，获取模块401，用于获取个体多媒体信息播放记录，并获取基于可穿戴设备采集的环境数据和个体的状态数据；第一处理模块402，用于根据多媒体信息播放记录生成对应的历史多媒体信息表征；第二处理模块403，用于根据历史多媒体信息表征生成对应的
memory，rom)502中的计算机程序或者从存储单元508加载到随机访问存储器(random access memory，ram)503中的计算机程序，来执行各种适当的动作和处理。在ram 503中，还可存储设备500操作所需的各种程序和数据。计算单元501、rom 502以及ram 503通过总线504彼此相连。输入/输出(input/output，i/o)接口505也连接至总线504。
[0119]
设备500中的多个部件连接至i/o接口505，包括：输入单元506，例如键盘、鼠标等；输出单元507，例如各种类型的显示器、扬声器等；存储单元508，例如磁盘、光盘等；以及通信单元509，例如网卡、调制解调器、无线通信收发机等。通信单元509允许设备500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0120]
计算单元501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元501的一些示例包括但不限于中央处理单元(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(digital signal process，dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元501执行上文所描述的各个方法和处理，例如基于可穿戴设备多模态数据的多媒体信息推荐方法。例如，在一些实施例中，基于可穿戴设备多模态数据的多媒体信息推荐方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元508。在一些实施例中，计算机程序的部分或者全部可以经由rom 502和/或通信单元509而被载入和/或安装到设备500上。当计算机程序加载到ram 503并由计算单元501执行时，可以执行上文描述的基于可穿戴设备多模态数据的多媒体信息推荐方法的一个或多个步骤。备选地，在其他实施例中，计算单元501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于可穿戴设备多模态数据的多媒体信息推荐方法。
[0121]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(field programmable gate array，fpga)、专用集成电路(application specificintegrated circuit，asic)、专用标准产品(application specific standard parts，assp)、芯片上系统的系统(system on chip，soc)、负载可编程逻辑设备(complex programmable logic device，cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0122]
用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0123]
在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器((erasable programmable read-only memory，eprom)或快闪存储器)、光纤、便捷式紧凑盘只读存储器(compact disc read-only memory，cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0124]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，阴极射线管(cathode ray tube，crt)或者lcd(liquid crystal display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
[0125]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(local area network，lan)、广域网(wide area network，wan)、互联网和区块链网络。
[0126]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps(virtual private server虚拟专用服务器)服务中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0127]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术的技术方案所期望的结果，本文在此不进行限制。
[0128]
上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。

技术特征：
1.一种基于可穿戴设备多模态数据的多媒体信息推荐方法，其特征在于，包括：获取个体多媒体信息播放记录，并获取基于所述可穿戴设备采集的环境数据和所述个体的状态数据；根据所述多媒体信息播放记录生成对应的历史多媒体信息表征；根据所述历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据所述状态数据和所述环境数据生成对应的多媒体信息偏好矫正向量；根据所述多媒体信息偏好向量和所述多媒体信息偏好矫正向量生成所述个体的多媒体信息兴趣向量；根据所述多媒体信息兴趣向量和所述历史多媒体信息表征生成所述个体的多媒体信息兴趣表征；基于所述多媒体信息兴趣表征，从多个候选多媒体信息中向所述个体推荐多媒体信息。2.根据权利要求1所述的方法，其特征在于，所述根据所述历史多媒体信息表征生成对应的多媒体信息偏好向量，包括：将所述历史多媒体信息表征输入至预设的多媒体信息偏好权重学习模型，生成所述多媒体信息偏好向量；其中，所述偏好权重学习模型已经预先学习得到所述历史多媒体信息表征与所述多媒体信息偏好向量之间的映射关系。3.根据权利要求2所述的方法，其特征在于，所述根据所述状态数据和所述环境数据生成对应的多媒体信息偏好矫正向量，包括：将所述状态数据和所述环境数据输入至预设的环境偏好矫正模型，生成所述多媒体信息偏好矫正向量；其中，所述环境偏好矫正因子学习模型已经预先学习得到所述状态数据和所述环境数据与所述多媒体信息偏好矫正向量之间的映射关系。4.根据权利要求3所述的方法，其特征在于，所述多媒体信息偏好权重学习模型和所述环境偏好矫正模型间采用十字绣单元共享信息。5.根据权利要求1所述的方法，其特征在于，所述根据所述多媒体信息偏好向量和所述多媒体信息偏好矫正向量生成所述个体的多媒体信息兴趣向量，包括：将所述多媒体信息偏好向量与所述多媒体信息偏好矫正向量点对点相乘，生成所述个体的多媒体信息兴趣向量。6.根据权利要求1所述的方法，其特征在于，所述基于所述多媒体信息兴趣表征，从多个候选多媒体信息中向所述个体推荐多媒体信息，包括：获取每个所述候选多媒体信息的多媒体信息表征；将所述多媒体信息兴趣表征分别与每个所述候选多媒体信息的多媒体信息表征进行相似匹配，获得每个所述候选多媒体信息的推荐概率；从所述多个候选多媒体信息中选取所述推荐概率满足预设推荐条件的候选多媒体信息；将所述推荐概率满足预设推荐条件的候选多媒体信息推荐给所述个体。7.一种基于可穿戴设备多模态数据的多媒体信息推荐装置，其特征在于，包括：
获取模块，用于获取个体多媒体信息播放记录，并获取基于所述可穿戴设备采集的环境数据和所述个体的状态数据；第一处理模块，用于根据所述多媒体信息播放记录生成对应的历史多媒体信息表征；第二处理模块，用于根据所述历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据所述状态数据和所述环境数据生成对应的多媒体信息偏好矫正向量；第三处理模块，用于根据所述多媒体信息偏好向量和所述多媒体信息偏好矫正向量生成所述个体的多媒体信息兴趣向量第四处理模块，用于根据所述多媒体信息兴趣向量和所述历史多媒体信息表征生成所述个体的多媒体信息兴趣表征；推荐模块，用于基于所述多媒体信息兴趣表征，从多个候选多媒体信息中向所述个体推荐多媒体信息。8.根据权利要求7所述的装置，其特征在于，所述第二处理模块具体用于：将所述历史多媒体信息表征输入至预设的多媒体信息偏好权重学习模型，生成所述多媒体信息偏好向量；其中，所述偏好权重学习模型已经预先学习得到所述历史多媒体信息表征与所述多媒体信息偏好向量之间的映射关系。9.根据权利要求8所述的装置，其特征在于，所述第二处理模块具体用于：将所述状态数据和所述环境数据输入至预设的环境偏好矫正模型，生成所述多媒体信息偏好矫正向量；其中，所述环境偏好矫正因子学习模型已经预先学习得到所述状态数据和所述环境数据与所述多媒体信息偏好矫正向量之间的映射关系。10.根据权利要求9所述的装置，其特征在于，所述多媒体信息偏好权重学习模型和所述环境偏好矫正模型间采用十字绣单元共享信息。11.根据权利要求7所述的装置，其特征在于，所述第三处理模块具体用于：将所述多媒体信息偏好向量与所述多媒体信息偏好矫正向量点对点相乘，生成所述个体的多媒体信息兴趣向量。12.根据权利要求7所述的装置，其特征在于，所述推荐模块具体用于：获取每个所述候选多媒体信息的多媒体信息表征；将所述多媒体信息兴趣表征分别与每个所述候选多媒体信息的多媒体信息表征进行相似匹配，获得每个所述候选多媒体信息的推荐概率；从所述多个候选多媒体信息中选取所述推荐概率满足预设推荐条件的候选多媒体信息；将所述推荐概率满足预设推荐条件的候选多媒体信息推荐给所述个体。13.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至6中任一项所述的基于可穿戴设备多模态数据的多媒体信息推荐方法。
14.一种计算机可读存储介质，用于存储有指令，其特征在于，当所述指令被执行时，使如权利要求1至6中任一项所述的方法被实现。15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现权利要求1至6中任一项所述的基于可穿戴设备多模态数据的多媒体信息推荐方法的步骤。

技术总结
本申请公开了一种基于可穿戴设备多模态数据的多媒体信息推荐方法及装置，其中，该方法包括：获取个体多媒体信息播放记录，并获取基于可穿戴设备采集的环境数据和个体的状态数据；根据多媒体信息播放记录生成对应的历史多媒体信息表征；根据历史多媒体信息表征生成对应的多媒体信息偏好向量，并根据状态数据和环境数据生成对应的多媒体信息偏好矫正向量；根据多媒体信息偏好向量和多媒体信息偏好矫正向量生成个体的多媒体信息兴趣向量；根据多媒体信息兴趣向量和历史多媒体信息表征生成个体的多媒体信息兴趣表征；基于多媒体信息兴趣表征，从多个候选多媒体信息中向个体推荐多媒体信息。本申请可以基于多模态数据，提升多媒体信息推荐的准确性。媒体信息推荐的准确性。媒体信息推荐的准确性。


技术研发人员：张聪 孟孜 俞轶 朱国康
受保护的技术使用者：安徽华米健康科技有限公司
技术研发日：2022.03.25
技术公布日：2023/10/6