内容生成方法、装置及电子设备与流程

1.本技术涉及信息流技术领域，尤其涉及一种内容生成方法、装置及电子设备。


背景技术：

2.信息流有广义和狭义两种，信息流的广义定义是指人们采用各种方式来实现信息交流，从面对面的直接交谈直到采用各种现代化的传递媒介，包括信息的收集、传递、处理、储存、检索、分析等渠道和过程。信息流的狭义定义是从现代信息技术研究、发展、应用的角度看，指的是信息处理过程中信息在计算机系统和通信网络中的流动。
3.随着社会的信息化和信息大量涌现，以及人们对信息要求的激增，信息流形成了错综复杂、瞬息万变的形态。在社会经济生活中，随着商流、物流与资金流的分离，信息流的作用越来越重要，其功能主要体现在沟通连接、引导调控、辅助决策以及经济增值等方面。
4.信息流在人们的日常生活中的作用也越来越重要。目前常见的信息流产品包括浏览器、提供浏览器功能的社交应用等，用户使用信息流产品最常用的一个场景是浏览信息流产品展示的各个形态的内容，如文章、图片、视频等，目前信息流产品在展示内容时，通常会进行相关内容推荐，这些被推荐的相关内容，通常是基于对展示的当前内容的整体进行相似性匹配计算得到。
5.然而，上述基于当前内容的整体匹配并推荐相关内容的方式并无法为准确推荐用户感兴趣的内容，且推荐的内容容易与用户已经浏览过的内容重复或相似性过高，进而影响了用户的浏览体验。


技术实现要素：

6.本技术实施例提供了一种内容生成方法、装置及电子设备，以提高生成内容的准确性和多样性。
7.本技术实施例采用下述技术方案：
8.第一方面，本技术实施例提供一种内容生成方法，其中，所述内容生成方法包括：
9.获取用户在当前浏览内容中的感兴趣信息；
10.根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；
11.利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；
12.基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。
13.可选地，所述获取用户在当前浏览内容中的感兴趣信息包括：
14.获取用户的画像信息和用户的浏览行为信息，并根据所述用户的画像信息和所述用户的浏览行为信息，确定所述用户在当前浏览内容中的感兴趣信息；和/或，
15.确定用户在当前浏览内容中触发的操作事件信息，并根据所述用户在当前浏览内容中触发的操作事件信息，确定所述用户在当前浏览内容中的感兴趣信息。
16.可选地，所述根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息包括：
17.根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度；
18.根据所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度，确定所述感兴趣信息对应的关联信息。
19.可选地，所述利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：
20.根据所述感兴趣信息与所述关联信息的相关性程度，确定所述关联信息的多样性程度；
21.根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。
22.可选地，所述根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：
23.对所述感兴趣信息与所述关联信息的相关性程度和多样性程度进行加权融合，得到加权融合结果；
24.根据所述加权融合结果确定所述当前浏览内容对应的聚合信息。
25.可选地，所述利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：
26.获取用户的画像信息；
27.基于所述用户的画像信息，利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。
28.可选地，所述基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容包括：
29.获取用户的画像信息；
30.根据所述当前浏览内容对应的聚合信息和所述用户的画像信息，利用所述预定义提示信息模板生成预定义提示信息；
31.将所述预定义提示信息输入所述预设动态更新多模态内容生成模型，生成目标内容。
32.可选地，所述预设动态更新多模态内容生成模型通过如下方式训练得到：
33.获取内容样本数据；
34.利用预设拆分策略对所述内容样本数据中的各个内容样本进行拆分，得到拆分后的内容样本数据；
35.利用所述拆分后的内容样本数据训练所述预设动态更新多模态内容生成模型；
36.在获取到新的内容样本数据且新的内容样本数据量达到预设数据量时，重复拆分和训练过程，以持续动态更新所述预设动态更新多模态内容生成模型。
37.第二方面，本技术实施例还提供一种内容生成装置，其中，所述内容生成装置包
括：
38.获取单元，用于获取用户在当前浏览内容中的感兴趣信息；
39.确定单元，用于根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；
40.聚合单元，用于利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；
41.生成单元，用于基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。
42.第三方面，本技术实施例还提供一种电子设备，包括：
43.处理器；以及
44.被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述之任一所述内容生成方法。
45.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述之任一所述内容生成方法。
46.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：本技术实施例的内容生成方法，先获取用户在当前浏览内容中的感兴趣信息；然后根据感兴趣信息和预设动态更新信息数据库，确定感兴趣信息对应的关联信息；之后利用预设聚合策略对感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；最后基于当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，目标内容与当前浏览内容属于相同模态或者不同模态。本技术实施例的内容生成方法在确定了用户对当前浏览内容的感兴趣信息的基础上，进一步利用事先训练好的动态更新多模态内容生成模型为用户生成兼具相关性和多样性且符合用户自身个性化需求的新内容，同时丰富了新内容的模态，相比于传统的内容推荐方式，生成的内容更加准确且更符合用户的浏览需求。
附图说明
47.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
48.图1为本技术实施例中一种内容生成方法的流程示意图；
49.图2为本技术实施例中一种内容生成流程示意图；
50.图3为本技术实施例中一种内容生成装置的结构示意图；
51.图4为本技术实施例中一种电子设备的结构示意图。
具体实施方式
52.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.以下结合附图，详细说明本技术各实施例提供的技术方案。
54.本技术实施例提供了一种内容生成方法，如图1所示，提供了本技术实施例中一种内容生成方法的流程示意图，所述内容生成方法至少包括如下的步骤s110至步骤s140：
55.步骤s110，获取用户在当前浏览内容中的感兴趣信息。
56.本技术实施例的内容生成方法在为用户生成新内容时，需要先获取用户在当前浏览内容中的感兴趣信息，用户当前浏览的内容可以有多种不同形态，例如可以是文字、图片、视频或者声音等，当前浏览内容中的感兴趣信息可以是某个文章中的一个词语、一个句子或者一个段落，也是可以是一段视频中的某一个视频片段或视频帧，具体如何确定用户在当前浏览内容中的感兴趣信息，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。
57.步骤s120，根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息。
58.本技术实施例利用爬虫技术和实时更新技术事先搜集了各个领域、各种形态的信息并以此构成了预设动态更新信息数据库，预设动态更新信息数据库中存储的海量信息能够为用户的感兴趣信息的拓展和丰富提供有力的支撑，当然，不同领域的信息特征可能存在较大差异，因此也可以针对不同领域分别构建相应的预设动态更新信息数据库，从而提高后续的检索匹配效率和准确性。预设动态更新信息数据库中具体存储的信息形式，本领域技术人员可以根据实际需求灵活定义，例如可以存储为特征向量的形式，从而便于后续预设动态更新多模态内容生成模型的处理。当有新的数据时，预设动态更新信息数据库持续动态更新。
59.基于预设动态更新信息数据库，可以根据用户当前的感兴趣信息在预设动态更新信息数据库中进行检索匹配，从而检索出与用户当前的感兴趣信息相关联的其它信息，关联信息可以基于相似度匹配算法得到，具体如何计算，本领域技术人员可以结合现有技术灵活确定，在此不作具体限定。
60.步骤s130，利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。
61.前述步骤得到的用户当前的感兴趣信息对应的关联信息包含的是所有与用户当前的感兴趣信息相关联的信息，但这些信息仅仅能够满足内容生成的相关性需求，如果直接依据相关性进行内容的选择，容易导致选择的内容过于单调，容易与用户当前浏览的内容重复或者相似度较高，从而影响用户的浏览体验。
62.基于此，本技术实施例需要在上述检索匹配结果的基础上，进一步利用事先定义的聚合策略对所有与用户当前的感兴趣信息相关联的信息进行聚合处理，得到当前浏览内容对应的聚合信息。聚合处理的目的是不仅仅要考虑关键信息与用户感兴趣信息之间的相关性，还需要考虑关联信息的丰富性以及用户的个性化浏览需求。
63.步骤s140，基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。
64.前述步骤得到的聚合信息涵盖了与用户当前浏览的内容具有相关性的信息的同
时，又具有内容多样性和符合用户个性化需求的信息，基于这些聚合信息以及事先定义好的预定义提示信息模板，即可确定出预设动态更新多模态内容生成模型的输入，将其输入到预设动态更新多模态内容生成模型中，利用预设动态更新多模态内容生成模型的理解能力和生成能力生成新内容。
65.上述新内容可以是与用户当前浏览的内容具有相同模态的内容，当然也可以是不同模态的内容，例如可以根据用户当前浏览的文章中的感兴趣信息，利用预设动态更新多模态内容生成模型生成新的文章，或者还可以生成新的图片和视频，从而大大拓展和丰富用户浏览内容的形式，提高用户的浏览体验。当然，具体生成何种模态的内容，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。
66.预设动态更新多模态内容生成模型可以通过对现有的开源的大型语言模型(large language models，简称llm)进行继续训练和/或微调后得到，例如可以采用llama、falcon、bloom、glm、dolly等，当然，具体如何训练多模态内容生成模型，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。
67.本技术实施例的内容生成方法在确定了用户对当前浏览内容的感兴趣信息的基础上，进一步利用事先训练好的多模态内容生成模型为用户生成兼具相关性和多样性且符合用户自身个性化需求的新内容，同时丰富了新内容的模态，相比于传统的内容推荐方式，生成的内容更加准确且更符合用户的浏览需求。
68.在本技术的一些实施例中，所述获取用户在当前浏览内容中的感兴趣信息包括：获取用户的画像信息和用户的浏览行为信息，并根据所述用户的画像信息和所述用户的浏览行为信息，确定所述用户在当前浏览内容中的感兴趣信息；和/或，确定用户在当前浏览内容中触发的操作事件信息，并根据所述用户在当前浏览内容中触发的操作事件信息，确定所述用户在当前浏览内容中的感兴趣信息。
69.本技术实施例在获取用户在当前浏览内容中的感兴趣信息时，可以通过如下方式中的任意一种或多种来实现：第一种方式可以看作是被动确定感兴趣信息的方式，第二种方式可以看作是主动确定感兴趣信息的方式。“被动”和“主动”主要是相较于用户的操作行为而言，如果用户在当前浏览的内容中通过主动点击或者触摸屏幕触发了预定义的操作事件，例如点击了某个句子、某个段落或者某个图片，则此种方式为用户主动触发的确定感兴趣信息的方式。相反，如果用户在浏览过程中没有触发上述预定义的操作事件，则可以通过被动方式确定用户在当前浏览内容中的感兴趣信息的方式，
70.在通过被动方式确定用户在当前浏览内容中的感兴趣信息的方式时，可以先获取当前用户的画像信息和当前的浏览行为信息，根据用户的画像信息可以确定出用户的浏览偏好以及职业、教育水平等用户属性特征，根据用户当前的浏览行为信息可以确定出用户在当前浏览内容中的各个章节、各个段落或者各个视频帧等的浏览时长，根据用户在各个内容节点的浏览时长也可以间接判断出用户感兴趣的内容的倾向，因此结合用户的画像信息和用户当前的浏览行为信息，即可精准分析出用户在当前浏览内容中的感兴趣信息。
71.上述用户的画像信息可以事先分析得到，例如可以基于用户的人物特征属性、兴趣喜好以及用户的历史浏览行为等分析得到，当然，具体如何确定用户画像，本领域技术人员可以结合现有技术灵活确定，在此不作具体限定。
72.上述两种确定感兴趣信息的方式可以相互配合使用，也可以独立使用，相互配合
使用即同时执行上述两种方式，当既检测到用户触发的预定义的操作事件，又获取到了用户的画像信息和浏览行为信息时，可以将两种方式确定的感兴趣信息相融合，或者以用户主动触发的操作事件所确定的感兴趣信息为准。独立使用即采用上述两种方式中的任意一种。
73.在本技术的一些实施例中，所述根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息包括：根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度；根据所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度，确定所述感兴趣信息对应的关联信息。
74.本技术实施例在预设动态更新信息数据库中检索感兴趣信息对应的关联信息时，可以先计算感兴趣信息与预设动态更新信息数据库中的信息的相关性程度，这里通过现有的相似度算法计算得到，根据相似度的大小确定出与用户当前的感兴趣信息较为关联的信息。
75.当然，也可以通过事先训练好的搜索模型来搜索预设动态更新信息数据库中与用户当前的感兴趣信息相关联的信息。在训练搜索模型时，可以先将不同形态的内容样本数据拆分为多个片段，具体拆分的颗粒度大小可以根据实际需求灵活定义，例如可以将一篇文章拆分成多个章节、多个段落或者多个句子，将一段视频切成多个视频片段，对拆分后的片段生成向量，作为神经元网络的输入，训练得到搜索模型，这里的训练策略相当于改变了模型的embedding(嵌入)层，使得搜索结果能更好的辅助预设动态更新多模态内容生成模型的生成质量。
76.在本技术的一些实施例中，所述利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：根据所述感兴趣信息与所述关联信息的相关性程度，确定所述关联信息的多样性程度；根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。
77.感兴趣信息与关联信息之间的相关性程度反映了该关联信息是否是与用户的兴趣点相关的内容，但如果感兴趣信息与关联信息之间的相关性程度过高，会导致后续预设动态更新多模态内容生成模型生成的内容与用户当前浏览的内容重复度或者相似度过高，进而影响了用户的浏览体验。
78.基于此，本技术实施例的聚合策略在考虑信息之间的相关性程度的基础上，进一步考虑了信息之间的多样性程度，这里的“多样性”可以理解该信息与用户当前的感兴趣信息有关联，但是是从不同的角度进行的描述或者呈现，例如一个文章主题下可能对应有多个不同的观点或者论点，多个不同的观点或者论点就可以看作是内容多样性的体现。一个信息与用户当前的感兴趣信息之间的相似度越高，那么对应的多样性程度应该越低，因此需要在相关性程度和多样性程度这两个维度进行权衡，从而使聚合后的信息既满足相关性的要求，又满足多样性的要求。
79.在本技术的一些实施例中，所述根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：对所述感兴趣信息与所述关联信息的相关性程度和多样性程度进行加权
融合，得到加权融合结果；根据所述加权融合结果确定所述当前浏览内容对应的聚合信息。
80.本技术实施例在根据感兴趣信息与关联信息的相关性程度和多样性程度进行信息聚合时，可以采用加权融合的策略，例如可以表示为如下形式：
81.p＝α*x1+β*x282.x2＝1-x183.其中，x1为相关性程度，x2为多样性程度，α和β分别为相关性程度和多样性程度的权重，且α+β＝1。
84.在本技术的一些实施例中，所述根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息包括：获取用户的画像信息；基于所述用户的画像信息，利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。
85.前述实施例中直接基于用户的感兴趣信息和对应的关联信息进行聚合，虽然可以得到兼具相关性和多样性的聚合信息，但是可能会无法充分满足用户的个性化浏览需求，尤其是在前述实施例中基于用户主动触发的预定义的操作事件而确定的用户感兴趣信息的方式，并没有参考用户的画像信息，也即确定出的感兴趣信息并没有考虑用户的个人属性信息和行为信息，导致生成的聚合信息可能无法满足用户的个性化浏览需求。
86.基于此，本技术实施例进一步获取用户的画像信息，具体可以根据用户的行为信息和用户的属性信息如自然属性信息和社会属性信息等来确定用户的画像。用户的行为信息例如可以是用户的历史的点击、收藏、分享、评论、下载等浏览行为，用户的自然属性信息例如可以包括年龄、籍贯等，用户的社会属性信息例如可以包括家庭人数、工作地点、公司行业、职业等。当然，具体如何分析用户的画像信息，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。
87.基于上述用户的画像信息，再利用前述实施例中的预设聚合策略对感兴趣信息和对应的关联信息进行聚合，从而使得到的聚合信息既满足了相关性和多样性的要求，同时又满足了每个用户的个性化浏览需求。
88.在本技术的一些实施例中，所述基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容包括：获取用户的画像信息；根据所述当前浏览内容对应的聚合信息和所述用户的画像信息，利用所述预定义提示信息模板生成预定义提示信息；将所述预定义提示信息输入所述预设动态更新多模态内容生成模型，生成目标内容。
89.本技术实施例在利用预设动态更新多模态内容生成模型生成新的内容时，可以先确定预设动态更新多模态内容生成模型的输入，为了提高预设动态更新多模态内容生成模型的生成效率和生成内容的准确性，这里的输入可以限定为符合一定形式要求，按照llm中的提示工程(prompt engineering)的做法，定制一个提示信息(prompt)模板，模板中具体可以包括如下维度的内容：
90.1)当前浏览内容对应的聚合信息，包括用户的感兴趣信息和与用户的感兴趣信息兼具相关性和多样性的其它信息；
91.2)用户的画像信息，包括用户的行为和属性信息，还可以进一步根据用户的画像信息预测用户喜欢或者偏好的内容风格，如严肃、有趣等风格。
92.除了上述维度的信息，还可以进一步定义生成的新内容的模态，例如可以是文字、图片、视频、声音等任意一种或多种。当然，prompt中具体包含哪些维度的信息，本领域技术人员可以根据实际需求灵活设置，在此不作具体限定。
93.基于上述预定义好的prompt，结合当前用户的画像信息和实际的聚合信息即可生成预定义提示信息，以此作为预设动态更新多模态内容生成模型的输入，从而使预设动态更新多模态内容生成模型输出新生成的多模态内容。
94.在本技术的一些实施例中，所述预设动态更新多模态内容生成模型通过如下方式训练得到：获取内容样本数据；利用预设拆分策略对所述内容样本数据中的各个内容样本进行拆分，得到拆分后的内容样本数据；利用所述拆分后的内容样本数据训练所述预设动态更新多模态内容生成模型；在获取到新的内容样本数据且新的内容样本数据量达到预设数据量时，重复拆分和训练过程，以持续动态更新所述预设动态更新多模态内容生成模型。
95.本技术实施例在训练预设动态更新多模态内容生成模型时，可以先采集内容样本数据，这里可以借助现有的爬虫技术从各大网站上爬取各个领域的优质内容，然后采取一定的拆分策略将原始采集的内容打散，这里的拆分策略可以根据内容形态的不同以及拆分颗粒度要求的不同进行设置，例如可以将一篇文章拆分为多个章节、多个段落或者多个句子，将一段视频拆分为多个视频片段、多个视频帧等，具体如何进行内容拆分，本领域技术人员可以根据实际需求灵活设置。
96.在得到拆分后的内容样本数据后，可以基于现有的开源的大型语言模型如llama、falcon、bloom、glm、dolly等进行继续训练和/或微调，即将其拆分后的内容样本数据作为模型的输入，以此训练多模态内容生成模型。当有新的内容样本数据，并且新的内容样本数据量达到一定数据量时，重复上述拆分和训练过程，从而持续动态更新预设动态更新多模态内容生成模型。
97.在本技术的一些实施例中，所述预设动态更新多模态内容生成模型通过如下方式训练得到：获取各个领域的内容样本数据；利用预设拆分策略对各个领域的内容样本数据中的各个内容样本分别进行拆分，得到各个领域的拆分后的内容样本数据；利用各个领域的拆分后的内容样本数据分别训练各个领域的预设动态更新多模态内容生成模型。
98.考虑到不同领域的信息差异较大，本技术实施例可以针对不同领域分别训练对应的预设动态更新多模态内容生成模型。例如，目前一些公司会通过app矩阵的形式来推广产品，基于此，本技术实施例除了可以适用于通用的基于新闻的头条app，也可以同时兼容垂直领域的其他apps，如科研论文、教育、投资、健康、娱乐、体育等不同领域的app，不同领域的app的内容生成，可以由训练得到的不同领域的预设动态更新多模态内容生成模型来支持，这样一方面保障了在垂直领域的深度内容生成，另一方面也减少了用户幻觉。
99.在本技术的一些实施例中，在利用预设拆分策略对所述内容样本数据中的各个内容样本进行拆分，得到拆分后的内容样本数据之后，所述方法还包括：将拆分后的内容样本数据转化为特征向量存储至预设动态更新信息数据库中。
100.为了便于对本技术各实施例的理解，如图2所示，提供了本技术实施例中一种内容生成流程示意图。本技术的内容生成流程主要分为两个阶段，第一个阶段是模型训练阶段，第二个阶段是模型应用阶段。
101.在模型训练阶段，需要先采集内容样本数据，可以针对不同领域分别采集，然后利
用一定的拆分策略对内容样本数据中的各个内容样本进行打散，得到拆分后的内容样本数据，最后再基于现有的开源的大型语言模型，利用拆分后的内容样本数据进行训练，得到预设动态更新多模态内容生成模型。
102.在模型应用阶段，需要先获取当前用户在正在浏览的内容中的感兴趣信息，然后根据感兴趣信息和事先建立的信息数据库，检索匹配出感兴趣信息对应的关联信息，之后利用预设聚合策略对感兴趣信息和对应的关联信息进行聚合处理，使得聚合后的信息既能够满足内容相关性的要求，又能够满足多样性的要求，同时还能够符合用户的个性化浏览需求，最后基于当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成相同模态的新内容或者一个/多个不同模态的新内容。
103.综上所述，本技术的内容生成方法至少取得了如下的技术效果：
104.1)本技术实施例基于爬虫技术和实时更新技术，能够快速吸收网上的优质内容，以此更新预设动态更新多模态内容生成模型，使得预设动态更新多模态内容生成模型能够生成更符合人们浏览需求、更新颖的动态内容；
105.2)不同于传统的基于整个文本或视频进行相关推荐的方案，本技术实施例通过对现有的开源的大型语言模型进行继续训练和/或微调，采用打散、聚合、生成的理念，智能化生成多模态且满足用户兴趣的个性化内容并展示，大大提高了用户的浏览体验。
106.本技术实施例还提供了一种内容生成装置300，如图3所示，提供了本技术实施例中一种内容生成装置的结构示意图，所述内容生成装置300包括：获取单元310、确定单元320、聚合单元330以及生成单元340，其中：
107.获取单元310，用于获取用户在当前浏览内容中的感兴趣信息；
108.确定单元320，用于根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；
109.聚合单元330，用于利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；
110.生成单元340，用于基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。
111.在本技术的一些实施例中，所述获取单元310具体用于：获取用户的画像信息和用户的浏览行为信息，并根据所述用户的画像信息和所述用户的浏览行为信息，确定所述用户在当前浏览内容中的感兴趣信息；和/或，确定用户在当前浏览内容中触发的操作事件信息，并根据所述用户在当前浏览内容中触发的操作事件信息，确定所述用户在当前浏览内容中的感兴趣信息。
112.在本技术的一些实施例中，所述确定单元320具体用于：根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度；根据所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度，确定所述感兴趣信息对应的关联信息。
113.在本技术的一些实施例中，所述聚合单元330具体用于：根据所述感兴趣信息与所述关联信息的相关性程度，确定所述关联信息的多样性程度；根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得
到当前浏览内容对应的聚合信息。
114.在本技术的一些实施例中，所述聚合单元330具体用于：对所述感兴趣信息与所述关联信息的相关性程度和多样性程度进行加权融合，得到加权融合结果；根据所述加权融合结果确定所述当前浏览内容对应的聚合信息。
115.在本技术的一些实施例中，所述聚合单元330具体用于：获取用户的画像信息；基于所述用户的画像信息，利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。
116.在本技术的一些实施例中，所述生成单元340具体用于：获取用户的画像信息；根据所述当前浏览内容对应的聚合信息和所述用户的画像信息，利用所述预定义提示信息模板生成预定义提示信息；将所述预定义提示信息输入所述预设动态更新多模态内容生成模型，生成目标内容。
117.在本技术的一些实施例中，所述预设动态更新多模态内容生成模型通过如下方式训练得到：获取内容样本数据；利用预设拆分策略对所述内容样本数据中的各个内容样本进行拆分，得到拆分后的内容样本数据；利用所述拆分后的内容样本数据训练所述预设动态更新多模态内容生成模型；在获取到新的内容样本数据且新的内容样本数据量达到预设数据量时，重复拆分和训练过程，以持续动态更新所述预设动态更新多模态内容生成模型。
118.在本技术的一些实施例中，所述装置还包括：存储单元，用于在利用预设拆分策略对所述内容样本数据中的各个内容样本进行拆分，得到拆分后的内容样本数据之后，将拆分后的内容样本数据转化为特征向量存储至预设动态更新信息数据库中。
119.能够理解，上述内容生成装置，能够实现前述实施例中提供的内容生成方法的各个步骤，关于内容生成方法的相关阐释均适用于内容生成装置，此处不再赘述。
120.图4是本技术的一个实施例电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
121.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
122.存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
123.处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成内容生成装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
124.获取用户在当前浏览内容中的感兴趣信息；
125.根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；
126.利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；
127.基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。
128.上述如本技术图1所示实施例揭示的内容生成装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
129.该电子设备还可执行图1中内容生成装置执行的方法，并实现内容生成装置在图1所示实施例的功能，本技术实施例在此不再赘述。
130.本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图1所示实施例中内容生成装置执行的方法，并具体用于执行：
131.获取用户在当前浏览内容中的感兴趣信息；
132.根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；
133.利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；
134.基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。
135.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
136.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程
图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
137.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
138.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
139.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
140.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
141.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
142.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
143.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
144.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种内容生成方法，其中，所述内容生成方法包括：获取用户在当前浏览内容中的感兴趣信息；根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。2.如权利要求1所述内容生成方法，其中，所述获取用户在当前浏览内容中的感兴趣信息包括：获取用户的画像信息和用户的浏览行为信息，并根据所述用户的画像信息和所述用户的浏览行为信息，确定所述用户在当前浏览内容中的感兴趣信息；和/或，确定用户在当前浏览内容中触发的操作事件信息，并根据所述用户在当前浏览内容中触发的操作事件信息，确定所述用户在当前浏览内容中的感兴趣信息。3.如权利要求1所述内容生成方法，其中，所述根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息包括：根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度；根据所述感兴趣信息与所述预设动态更新信息数据库中的信息的相关性程度，确定所述感兴趣信息对应的关联信息。4.如权利要求1所述内容生成方法，其中，所述利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：根据所述感兴趣信息与所述关联信息的相关性程度，确定所述关联信息的多样性程度；根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。5.如权利要求4所述内容生成方法，其中，所述根据所述感兴趣信息与所述关联信息的相关性程度和多样性程度，对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：对所述感兴趣信息与所述关联信息的相关性程度和多样性程度进行加权融合，得到加权融合结果；根据所述加权融合结果确定所述当前浏览内容对应的聚合信息。6.如权利要求1所述内容生成方法，其中，所述利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息包括：获取用户的画像信息；基于所述用户的画像信息，利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息。7.如权利要求1所述内容生成方法，其中，所述基于所述当前浏览内容对应的聚合信息
和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容包括：获取用户的画像信息；根据所述当前浏览内容对应的聚合信息和所述用户的画像信息，利用所述预定义提示信息模板生成预定义提示信息；将所述预定义提示信息输入所述预设动态更新多模态内容生成模型，生成目标内容。8.如权利要求1～7之任一所述内容生成方法，其中，所述预设动态更新多模态内容生成模型通过如下方式训练得到：获取内容样本数据；利用预设拆分策略对所述内容样本数据中的各个内容样本进行拆分，得到拆分后的内容样本数据；利用所述拆分后的内容样本数据训练所述预设动态更新多模态内容生成模型；在获取到新的内容样本数据且新的内容样本数据量达到预设数据量时，重复拆分和训练过程，以持续动态更新所述预设动态更新多模态内容生成模型。9.一种内容生成装置，其中，所述内容生成装置包括：获取单元，用于获取用户在当前浏览内容中的感兴趣信息；确定单元，用于根据所述感兴趣信息和预设动态更新信息数据库，确定所述感兴趣信息对应的关联信息；聚合单元，用于利用预设聚合策略对所述感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；生成单元，用于基于所述当前浏览内容对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，所述目标内容与所述当前浏览内容属于相同模态或者不同模态。10.一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行所述权利要求1～8之任一所述内容生成方法。

技术总结
本申请公开了一种内容生成方法、装置及电子设备，该方法包括：获取用户在当前浏览内容中的感兴趣信息；根据感兴趣信息和预设动态更新信息数据库确定感兴趣信息对应的关联信息；利用预设聚合策略对感兴趣信息和对应的关联信息进行聚合，得到当前浏览内容对应的聚合信息；基于对应的聚合信息和预定义提示信息模板，利用预设动态更新多模态内容生成模型生成目标内容，目标内容与当前浏览内容属于相同模态或者不同模态。本申请在确定了用户对当前浏览内容的感兴趣信息的基础上，利用预设动态更新多模态内容生成模型为用户生成兼具相关性和多样性的新内容，并丰富了新内容的模态，相比于传统的内容推荐方式，生成内容更加准确且更符合用户的浏览需求。更符合用户的浏览需求。更符合用户的浏览需求。


技术研发人员：陈利人 张成 陈安迪
受保护的技术使用者：陈利人
技术研发日：2023.07.03
技术公布日：2023/9/14