基于知识图谱的大型语言模型训练方法及装置与流程

1.本发明属于语言模型技术领域，具体涉及一种基于知识图谱的大型语言模型训练方法及装置。


背景技术：

2.大型语言模型（large language model，llm）是利用庞大的文本语料库中对仅使用解码器的transformer模型进行预训练（使用语言建模目标）构建的。只要预先训练足够大的模型，llm就能在少量样本学习方面具有极强的能力。
3.相关技术中，现有的训练自定义模型可以根据特定需求和要求进行调整，包括平台特定功能、术语和上下文，然而这些在通用模型如gpt-4甚至代码特定模型如codex中都无法被很好支持的。其次，虽然，目前超大规模的生成式大语言模型具有较好的理解和生成能力，但这些模型都集中在少数ai提供商手中。这对于特定领域或者从服务的可延续性和稳定性来说，存在不可控性，必须摆脱对ai提供商的依赖。除此之外，llm的训练成本极高。为降低成本，需训练定制的大型语言模型，使用特定领域的数据，使其更小、更高效，并且可以大幅降低托管成本。
4.而llm能够解决上述技术问题，实现定制化需求、降低依赖性，还能够降低托管成本，但是虽然llm具有强大的功能，但在解决金融相关推理问题上仍然存在困难。


技术实现要素：

5.有鉴于此，本发明的目的在于克服现有技术的不足，提供一种基于知识图谱的大型语言模型训练方法及装置，以解决现有技术中大型语言模型在解决金融相关推理问题上仍然存在困难的问题。
6.为实现以上目的，本发明采用如下技术方案：一种基于知识图谱的大型语言模型训练方法，包括：基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；对所述逻辑联通子图进行简化处理，得到简化逻辑子图；利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；
根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。
7.进一步的，所述以历史实体和历史事件为节点、历史关系为边构建金融知识图谱，包括：采集大量金融历史实体数据、历史事件数据和历史关系数据；对所述历史事件数据进行分类，得到多种类型的事件；利用预训练的大型语言模型分别提取所述历史实体数据、历史事件数据和历史关系数据中的实体、事件和关系；其中，所述预训练的大型语言模型提取的事件为分类后的事件；以所述实体、事件作为节点，关系作为边构建金融知识图谱，并存储于图数据库。
8.进一步的，基于所述相似事件簇确定推理目标事件，包括：计算所述相似事件簇中事件在所述金融知识图谱中的pr值，并计算相似事件簇中所有事件pr值的平均值；基于所述平均值计算所有相似事件簇中的pr值的标准差；将所述标准差低于预设值的相似事件簇中的事件确定为推理目标事件。
9.进一步的，基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图，包括：利用所述金融知识图谱识别与每个推理目标事件存在关系的实体、事件及关系；其中，所述关系包括事件与机构、人之间的关系，企业间的关系，企业与人的关系；基于预设时间范围内的时序属性，构建具有推理目标事件、推理目标事件相关的实体、事件及关系的逻辑联通子图。
10.进一步的，对所述逻辑联通子图进行简化处理，包括：计算所述逻辑联通子图中所有事件向量与所述推理目标事件之间的第二相似度；保留所述第二相似度高于第二预设阈值的事件。
11.进一步的，所述根据预设的预警事件对所述事件链条进行处理，得到逻辑链，包括：根据预设预警事件，对存在预警事件的事件链条，将事件链条从预警事件后断开；对无预警事件的事件链条进行舍弃。
12.进一步的，所述基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，包括：利用所述向量矩阵与所述向量矩阵的转置矩阵相乘，得到乘积矩阵；利用所述乘积矩阵确定两个事件的第一相似度。
13.进一步的，所述第一预设阈值为0.9，第二预设阈值为0.5。
14.本技术实施例提供一种基于知识图谱的大型语言模型训练装置，包括：第一构建模块，用于基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；转化模块，用于获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；
确定模块，用于基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；第二构建模块，用于基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；简化模块，用于对所述逻辑联通子图进行简化处理，得到简化逻辑子图；第一处理模块，用于利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；第二处理模块，用于根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；训练模块，用于利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。
15.本发明采用以上技术方案，能够达到的有益效果包括：本发明提供一种基于知识图谱的大型语言模型训练方法及装置，本技术通过构建金融知识图谱，获取与事件关联的事件，并转化为向量，得到事件向量，从而构成向量矩阵，基于向量矩阵确定推理目标事件，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图，简化后得到简化逻辑子图，基于简化逻辑子图形成事件链条，处理后得到逻辑链，根据推理目标事件、逻辑链对样本数据进行处理，得到训练样本，利用训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；金融事件预测模型用于金融事件推理。本技术通过构建知识图谱，生成有逻辑关系的训练样本，训练大型语言模型，使其具备金融垂直方向的思维推理能力，除此之外，还能大大节省人工整理训练样本成本。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明基于知识图谱的大型语言模型训练方法的步骤示意图；图2为本发明提供的向量矩阵的结构示意图；图3为本发明基于知识图谱的大型语言模型训练装置的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。
19.下面结合附图介绍本技术实施例中提供的一个具体的基于知识图谱的大型语言
模型训练方法及装置。
20.如图1所示，本技术实施例中提供的基于知识图谱的大型语言模型训练方法，包括：s101，基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；一些实施例中，所述以历史实体和历史事件为节点、历史关系为边构建金融知识图谱，包括：采集大量金融历史实体数据、历史事件数据和历史关系数据；对所述历史事件数据进行分类，得到多种类型的事件；利用预训练的大型语言模型分别提取所述历史实体数据、历史事件数据和历史关系数据中的实体、事件和关系；其中，所述预训练的大型语言模型提取的事件为分类后的事件；以所述实体、事件作为节点，关系作为边构建金融知识图谱，并存储于图数据库。
21.具体的，实体包括人、公司和机构，本技术中从企业工商数据、企业变更、诉讼司法和金融资讯等来源收集相关数据。也可以考虑从证券交易所、金融监管机构的公告，以及社交媒体上的相关信息中获取数据。
22.本技术中对历史事件数据进行分类具体为，历史事件数据包括结构化数据和非结构化数据，其中，对结构化数据进行分类：利用业务专家的知识和经验，对结构化数据进行分类。对非结构化数据进行分类：使用预训练的bert模型将文本转化为向量表示，然后使用聚类算法对这些向量进行聚类，根据聚类结果进行事件分类。整合结构化数据和非结构化数据的分类：将业务专家对结构化数据的分类和对非结构化数据的聚类结果进行整合，形成一个统一的数据分类体系。然后，采用自然语言处理方法从采集的大量金融历史实体数据、历史事件数据和历史关系数据中提取实体、事件和关系，将实体（人、公司、机构）、事件表示为节点，关系表示为边，构建金融知识图谱。使用图数据库（如nebulagraph）存储。关系包括事件与机构、人的“相关关系”；企业间的关系（分支机构、投资、供应链等）、企业与人的关系（任职、股东等）等。
23.可以理解的是，在使用预训练的大型语言模型进行实体和关系的抽取时，确保模型能够正确处理已经分类的事件，还可以使用规则或模板方法来辅助抽取。
24.需要说明的是，在实际应用中，模型能分析出关键事件的发展过程或者影响因素。因此本技术将关键事件称为“预警事件”，这里预警事件从统一的事件分类中挑选出，例如“企业违约”、“股价暴跌”、“企业破产”等。
25.s102，获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；本技术通过金融知识图谱将事件导出，并根据其事件关联的关系和关系关联的其他实体导出。按照 (node1, node2, timestamp, node1_type, node2_type) 的格式进行组织。其中，包括源节点id（node1）、目标节点id（node2）、时间戳（timestamp）、源节点类型编码（node1_type）和目标节点类型编码（node2_type），id为图谱全局唯一id。
26.初始化jodie模型。设置jodie模型的参数，如隐藏层的大小、学习率、向量长度m等，开始训练得到jodie模型。
27.使用训练好的jodie模型将导出的事件转成固定长度的向量表示。
28.具体的，步骤s102将金融知识图谱中的节点和边转化为向量表示，从而方便进行机器学习和深度学习等任务。
29.s103，基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；一些实施例中，基于所述相似事件簇确定推理目标事件，包括：计算所述相似事件簇中事件在所述金融知识图谱中的pr值，并计算相似事件簇中所有事件pr值的平均值；基于所述平均值计算所有相似事件簇中的pr值的标准差；将所述标准差低于预设值的相似事件簇中的事件确定为推理目标事件。
30.一些实施例中，所述基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，包括：利用所述向量矩阵与所述向量矩阵的转置矩阵相乘，得到乘积矩阵；利用所述乘积矩阵确定两个事件的第一相似度。其中，第一相似度为0.9。
31.具体的，本技术基于事件向量构建向量矩阵，将事件的向量堆叠在一起形成一个n
×
m的数值矩阵m。n为事件个数，m为向量长度。利用向量矩阵乘以其转置矩阵，，形成一个n
×
n矩阵，n为事件个数。取矩阵的一半，如图2中阴影部分：每个元素代表两个事件的相似度。使用相似度大于0.9的作为事件的相似关系，利用相似关系可以构建事件的相似关系图，将联通事件聚合形成相似事件簇。
32.对每个相似事件簇中事件计算在原始图谱中的pagerank值，并取得pagerank值簇内的平均值。对所有相似事件簇的pagerank值进行计算标准差，保留一个标准差内的相似事件簇内的事件确定为推理目标事件，以确保事件在金融知识图谱中的稳定性。
33.s104，基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；一些实施例中，基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图，包括：利用所述金融知识图谱识别与每个推理目标事件存在关系的实体、事件及关系；其中，所述关系包括事件与机构、人之间的关系，企业间的关系，企业与人的关系；基于预设时间范围内的时序属性，构建具有推理目标事件、推理目标事件相关的实体、事件及关系的逻辑联通子图。
34.具体的，针对每个推理目标事件，使用数据库查询语言找到与目标事件有关系的实体、事件及其关系，关系包括事件与机构、人“相关关系”；企业间的关系（分支机构、投资、供应链等）、企业与人的关系（任职、股东等）等，深度为3度。选择三度的原因是事件与其他实体，以及其他实体与其他事件的关系。
35.包含以下情况，例如：a事件-（一度）-a企业-（二度）-b事件a事件-（一度）-a企业-（二度）-b企业-（三度）-b事件
本技术中预设时间范围为一年，确保构建的逻辑联通子图所有事件具有时序属性，构建包含这些元素的逻辑子图。本技术采用时间窗口限制逻辑联通子图中事件的时间范围（主要由于公司每年公布一次年报，对齐情况进行披露）。
36.s105，对所述逻辑联通子图进行简化处理，得到简化逻辑子图；一些实施例中，对所述逻辑联通子图进行简化处理，包括：计算所述逻辑联通子图中所有事件向量与所述推理目标事件之间的第二相似度；保留所述第二相似度高于第二预设阈值的事件。
37.具体的，利用步骤s102的事件向量可以计算各事件向量之间的第二相似度。设置第二预设阈值为0.5，只保留与目标事件相似度超过该阈值的事件，从而简化逻辑联通子图，得到简化逻辑子图。
38.s106，利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；一些实施例中，所述根据预设的预警事件对所述事件链条进行处理，得到逻辑链，包括：根据预设预警事件，对存在预警事件的事件链条，将事件链条从预警事件后断开；对无预警事件的事件链条进行舍弃。
39.具体的，本技术通过简化逻辑子图中的事件，按照时间属性排序形成事件链条，在事件类型中，根据专家设置的“预警事件”类型，将事件链条从预警事件后断开，以及将无“预警事件”类型的链条舍弃。
40.一些实施例中，所述根据预设的预警事件对所述事件链条进行处理，得到逻辑链，包括：根据预设预警事件，对存在预警事件的事件链条，将事件链条从预警事件后断开；对无预警事件的事件链条进行舍弃。
41.s107，根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；具体的，通过推理目标事件、逻辑链对事件链条进行识别，已经识别出大量的事件链条，每个事件链条都是以一个预警事件类型作为结尾。将数据整理成如下格式：[输入，思维链，输出]。
[0042]
输入：指以预警事件为核心的疑问句；思维链：是事件链条中的事件描述；及关联实体及关系输出：对于预警事件为结论的描述；例如：时间链：a公司法人变更-》a公司裁员-》b公司股权变更=》a公司合同纠纷-》a公司出现债务违约（预警事件）；输入：a公司最近出现债务违约，之前有什么迹象；思维链：a公司法人变更；a公司裁员；b公司股权变更；a公司合同纠纷；a公司是b公司分支机构。
[0043]
输出：在a公司出现债务违约之前，出现了法人变更、裁员、合同纠纷等事件。
[0044]
然后整理成训练样本：q：a公司最近出现债务违约，之前有什么迹象；a: a公司出现了一系列事件：法人变更、裁员、合同纠纷；其母公司出现股权变动。
在a公司出现债务违约之前，已经出现了以上事件。
[0045]
最后将训练样本整理成训练需要的格式。
[0046]
s108，利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。
[0047]
利用上述整理好的训练样本对预训练的大型语言模型进行微调训练，得到具有金融事件推理能力的金融事件预测模型，将待预测数据输入金融事件预测模型即可得到预测结果。
[0048]
基于知识图谱的大型语言模型训练方法的工作原理为：利用金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；获取用于训练的事件，并基于金融知识图谱将与事件关联的事件导出，得到事件集合，将事件集合转化为事件向量；基于事件向量构建向量矩阵，并基于向量矩阵计算事件集合中两两事件之间的第一相似度，将第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于相似事件簇确定推理目标事件；基于金融知识图谱，确定与推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；对逻辑联通子图进行简化处理，得到简化逻辑子图；利用时间属性对简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对事件链条进行处理，得到逻辑链；根据推理目标事件、逻辑链对样本数据进行处理，得到训练样本；利用训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；金融事件预测模型用于金融事件推理。
[0049]
本技术通过不断尝试训练模型所需参数的优化，只需要较少的投入，使模型学习到垂直领域事件的逻辑关系和推理能力。本技术提供的技术方案能够减少数据的整理、人工整理、标注的工作量。除此之外，本技术可快速利用，知识图谱的时序时间快速生成垂直领域训练样本集，本技术还对样本进行生成优化，提高了样本的泛化能力。
[0050]
如图3所示，本技术实施例提供一种基于知识图谱的大型语言模型训练装置，包括：第一构建模块201，用于基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；转化模块202，用于获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；确定模块203，用于基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；第二构建模块204，用于基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；简化模块205，用于对所述逻辑联通子图进行简化处理，得到简化逻辑子图；第一处理模块206，用于利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；第二处理模块207，用于根据所述推理目标事件、逻辑链对样本数据进行处理，得
到训练样本；训练模块208，用于利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。
[0051]
本技术实施例提供的基于知识图谱的大型语言模型训练装置的工作原理为，第一构建模块201基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；转化模块202获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；确定模块203基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；第二构建模块204基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；简化模块205对所述逻辑联通子图进行简化处理，得到简化逻辑子图；第一处理模块206利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；第二处理模块207根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；训练模块208利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。
[0052]
可以理解的是，上述提供的方法实施例与上述的装置实施例对应，相应的具体内容可以相互参考，在此不再赘述。
[0053]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器和光学存储器等）上实施的计算机程序产品的形式。
[0054]
本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0055]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0056]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0057]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何
熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

技术特征：
1.一种基于知识图谱的大型语言模型训练方法，其特征在于，包括：基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；对所述逻辑联通子图进行简化处理，得到简化逻辑子图；利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。2.根据权利要求1所述的方法，其特征在于，所述以历史实体和历史事件为节点、历史关系为边构建金融知识图谱，包括：采集大量金融历史实体数据、历史事件数据和历史关系数据；对所述历史事件数据进行分类，得到多种类型的事件；利用预训练的大型语言模型分别提取所述历史实体数据、历史事件数据和历史关系数据中的实体、事件和关系；其中，所述预训练的大型语言模型提取的事件为分类后的事件；以所述实体、事件作为节点，关系作为边构建金融知识图谱，并存储于图数据库。3.根据权利要求1或2所述的方法，其特征在于，基于所述相似事件簇确定推理目标事件，包括：计算所述相似事件簇中事件在所述金融知识图谱中的pr值，并计算相似事件簇中所有事件pr值的平均值；基于所述平均值计算所有相似事件簇中的pr值的标准差；将所述标准差低于预设值的相似事件簇中的事件确定为推理目标事件。4.根据权利要求1所述的方法，其特征在于，基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图，包括：利用所述金融知识图谱识别与每个推理目标事件存在关系的实体、事件及关系；其中，所述关系包括事件与机构、人之间的关系，企业间的关系，企业与人的关系；基于预设时间范围内的时序属性，构建具有推理目标事件、推理目标事件相关的实体、事件及关系的逻辑联通子图。5.根据权利要求1所述的方法，其特征在于，对所述逻辑联通子图进行简化处理，包括：计算所述逻辑联通子图中所有事件向量与所述推理目标事件之间的第二相似度；保留所述第二相似度高于第二预设阈值的事件。
6.根据权利要求1所述的方法，其特征在于，所述根据预设的预警事件对所述事件链条进行处理，得到逻辑链，包括：根据预设预警事件，对存在预警事件的事件链条，将事件链条从预警事件后断开；对无预警事件的事件链条进行舍弃。7.根据权利要求2所述的方法，其特征在于，所述基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，包括：利用所述向量矩阵与所述向量矩阵的转置矩阵相乘，得到乘积矩阵；利用所述乘积矩阵确定两个事件的第一相似度。8.根据权利要求5所述的方法，其特征在于，所述第一预设阈值为0.9，第二预设阈值为0.5。9.一种基于知识图谱的大型语言模型训练装置，其特征在于，包括：第一构建模块，用于基于金融历史实体数据、历史事件数据和历史关系数据，以历史实体和历史事件为节点、历史关系为边构建金融知识图谱；转化模块，用于获取用于训练的事件，并基于所述金融知识图谱将与所述事件关联的事件导出，得到事件集合，将所述事件集合转化为事件向量；确定模块，用于基于所述事件向量构建向量矩阵，并基于所述向量矩阵计算事件集合中两两事件之间的第一相似度，将所述第一相似度高于第一预设阈值对应的事件聚合，得到多个相似事件簇，基于所述相似事件簇确定推理目标事件；第二构建模块，用于基于所述金融知识图谱，确定与所述推理目标事件相关的实体、事件和关系，基于预设时间范围、推理目标事件相关的实体、事件和关系构建逻辑联通子图；简化模块，用于对所述逻辑联通子图进行简化处理，得到简化逻辑子图；第一处理模块，用于利用时间属性对所述简化逻辑子图中的所有事件进行排序，形成事件链条，并根据预设的预警事件对所述事件链条进行处理，得到逻辑链；第二处理模块，用于根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本；训练模块，用于利用所述训练样本对预训练的大型语言模型进行微调训练，得到金融事件预测模型；所述金融事件预测模型用于金融事件推理。

技术总结
本发明涉及一种基于知识图谱的大型语言模型训练方法及装置，所述方法包括构建金融知识图谱，导出事件关联的事件，得到事件集合，将所述事件集合转化为事件向量，确定推理目标事件及相关的实体、事件和关系，构建逻辑联通子图，对逻辑联通子图进行简化处理，得到简化逻辑子图，对简化逻辑子图中的所有事件进行排序，形成事件链条，得到逻辑链；根据所述推理目标事件、逻辑链对样本数据进行处理，得到训练样本，对预训练的大型语言模型进行微调训练，得到金融事件预测模型；本申请通过知识图谱，生成有逻辑关系的训练样本，训练大型语言模型，使其具备金融垂直方向的思维推理能力，除此之外，还能大大节省人工整理训练样本成本。还能大大节省人工整理训练样本成本。还能大大节省人工整理训练样本成本。


技术研发人员：贾承斌 莫倩 智德 蔡锦森 靳许 艾青 石雨
受保护的技术使用者：网智天元科技集团股份有限公司
技术研发日：2023.08.02
技术公布日：2023/8/31