基于多模态数据的治疗方案推送方法及装置、介质、设备与流程

1.本技术涉及人工智能技术领域以及数字医疗技术领域，特别是涉及一种基于多模态数据的治疗方案推送方法及装置、介质、设备。


背景技术：

2.在针对抑郁症患者的治疗中，对抑郁症患者进行药物治疗往往是医生的首选治疗手段。但是，由于药物治疗手段并非对所有抑郁症患者均有疗效，并且存在着一定的副作用，因此，在确定采用药物治疗手段之前需要根据抑郁症患者的病情进行药物疗效的评估，在确定药物治疗手段对该抑郁症患者确实有效的基础上再进行实施，以避免药物副作用对抑郁症患者造成的二次伤害。
3.目前，在临床实践中，一般是根据抑郁症患者的临床表现以及医学辅助检查来确定是否采用药物治疗方案的。然而，由于上述评估方案大多是依赖医生的经验完成的，主观性较强，难以保证评估结果的准确性，从而导致推送的治疗方案疗效不佳。因此，亟需一种治疗方案的推送方法，以提高推送的治疗方案的准确性。


技术实现要素：

4.有鉴于此，本技术提供一种基于多模态数据的治疗方案推送方法及装置、介质、设备，主要目的在于改善现有依赖医生经验进行药物疗效的评估，由于主观性较强，难以保证评估结果的准确性，从而导致推送的治疗方案疗效不佳的技术问题。
5.依据本技术一个方面，提供了一种基于多模态数据的治疗方案推送方法，包括：
6.获取目标用户的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；
7.基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；
8.向所述目标用户推送与所述预测结果相匹配的治疗方案。
9.优选的，所述基因数据包括全基因组测序数据以及遗传基因甲基化测序数据；
10.所述基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理之前，所述方法还包括：
11.基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型。
12.优选的，所述基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型之前，所述方法还包括：
13.获取多个历史用户的多模态数据，所述多模态数据包括人口统计学数据、全基因
组测序数据以及遗传基因甲基化测序数据；
14.基于多个所述历史用户的全基因组测序数据生成历史用户全基因组测序数据集；
15.根据所述历史用户全基因组测序数据集构建历史用户全基因组测序数据二分图；
16.基于图神经网络聚合所述历史用户全基因组测序数据二分图中各个全基因组测序位点的点位信息，生成多个所述历史用户的全基因组测序数据的表征向量。
17.优选的，所述方法还包括：
18.基于多个所述历史用户的遗传基因甲基化测序数据生成历史用户遗传基因甲基化测序数据集；
19.基于所述历史用户遗传基因甲基化测序数据集构建历史用户甲基化共表达网络；
20.基于图神经网络，根据所述历史用户甲基化共表达网络确定多个所述历史用户的遗传基因甲基化测序数据的表征向量。
21.优选的，所述方法还包括：
22.分别对所述历史用户的人口统计学数据进行归一化处理，生成多个所述历史用户的人口统计学数据的表征向量。
23.优选的，所述方法还包括：
24.基于多个所述历史用户的所述全基因组测序数据的表征向量、所述遗传基因甲基化测序数据的表征向量、所述人口统计学数据的表征向量以及全连接层、归一化指数函数建立初始药物疗效预测模型；
25.基于所述初始药物疗效预测模型分别对所述历史用户的人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据进行药物疗效预测处理，得到多个针对所述历史用户实施药物治疗是否有效的历史预测结果。
26.优选的，所述方法还包括：
27.获取多个所述历史用户的药物疗效标签，所述药物疗效标签至少包括有效以及无效中的一种；
28.确定所述药物疗效标签与所述历史预测结果之间的交叉熵损失，并基于最小损失函数对所述初始药物疗效预测模型进行优化处理，得到优化处理后的药物疗效预测模型。
29.依据本技术另一个方面，提供了一种基于多模态数据的治疗方案推送装置，包括：
30.获取模块，用于获取目标用户的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；
31.预测模块，用于基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；
32.推送模块，用于向所述目标用户推送与所述预测结果相匹配的治疗方案。
33.优选的，所述基因数据包括全基因组测序数据以及遗传基因甲基化测序数据；
34.所述预测模块之前，所述装置还包括：
35.建立模块，用于基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型。
36.优选的，所述建立模块之前，所述装置还包括：
37.所述获取模块，还用于获取多个历史用户的多模态数据，所述多模态数据包括人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据；
38.生成模块，用于基于多个所述历史用户的全基因组测序数据生成历史用户全基因组测序数据集；
39.构建模块，用于根据所述历史用户全基因组测序数据集构建历史用户全基因组测序数据二分图；
40.聚合模块，用于基于图神经网络聚合所述历史用户全基因组测序数据二分图中各个全基因组测序位点的点位信息，生成多个所述历史用户的全基因组测序数据的表征向量。
41.优选的，所述装置还包括：
42.所述生成模块，还用于基于多个所述历史用户的遗传基因甲基化测序数据生成历史用户遗传基因甲基化测序数据集；
43.所述构建模块，还用于基于所述历史用户遗传基因甲基化测序数据集构建历史用户甲基化共表达网络；
44.确定模块，用于基于图神经网络，根据所述历史用户甲基化共表达网络确定多个所述历史用户的遗传基因甲基化测序数据的表征向量。
45.优选的，所述装置还包括：
46.归一化模块，用于分别对所述历史用户的人口统计学数据进行归一化处理，生成多个所述历史用户的人口统计学数据的表征向量。
47.优选的，所述装置还包括：
48.所述建立模块，还用于基于多个所述历史用户的所述全基因组测序数据的表征向量、所述遗传基因甲基化测序数据的表征向量、所述人口统计学数据的表征向量以及全连接层、归一化指数函数建立初始药物疗效预测模型；
49.所述预测模块，还用于基于所述初始药物疗效预测模型分别对所述历史用户的人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据进行药物疗效预测处理，得到多个针对所述历史用户实施药物治疗是否有效的历史预测结果。
50.优选的，所述装置还包括：
51.所述获取模块，还用于获取多个所述历史用户的药物疗效标签，所述药物疗效标签至少包括有效以及无效中的一种；
52.优化模块，用于确定所述药物疗效标签与所述历史预测结果之间的交叉熵损失，并基于最小损失函数对所述初始药物疗效预测模型进行优化处理，得到优化处理后的药物疗效预测模型。
53.根据本技术的又一方面，提供了一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述基于多模态数据的治疗方案推送方法对应的操作。
54.根据本技术的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
55.所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述基于多模态数据的治疗方案推送方法对应的操作。
56.借由上述技术方案，本技术实施例提供的技术方案至少具有下列优点：
57.本技术提供了一种基于多模态数据的治疗方案推送方法及装置、介质、设备，首先获取目标用户的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；其次基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；最后向所述目标用户推送与所述预测结果相匹配的治疗方案。与现有技术相比，本技术实施例利用多个历史用户的人口统计学数据以及基因数据预先建立用于进行药物疗效预测的药物疗效预测模型对目标用户进行预测，通过对能够全面反应用户信息的多模态数据进行融合，并以此为根据对药物效果进行预测，以提高对药物效果预测的准确性；进一步的，再根据预测结果向用户推送与预测结果相匹配的治疗方法，实现了治疗方案的自动化推送，避免了对医生经验的依赖，从而提高了推送的治疗方案的准确性。
58.上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。
附图说明
59.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
60.图1示出了本技术实施例提供的一种基于多模态数据的治疗方案推送方法流程图；
61.图2示出了本技术实施例提供的二分图样式示意图；
62.图3示出了本技术实施例提供的甲基化共表达网络示意图；
63.图4示出了本技术实施例提供的一种基于多模态数据的治疗方案推送装置组成框图；
64.图5示出了本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
65.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
66.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
67.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
68.基于此，在一个实施例中，如图1所示，提供了一种基于多模态数据的治疗方案推送方法，以该方法应用于服务器等计算机设备为例进行说明，其中，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器，如智能医疗系统、数字医疗平台等。上述方法包括以下步骤：
69.101、获取目标用户的的多模态数据。
70.其中，多模态数据包括人口统计学数据以及基因数据；人口统计学数据包括但不限于目标用户的年龄、性别、婚姻关系等基本信息以及发病时间、是否尝试自杀等临床诊断信息；基因数据包括但不限于目标用户的全基因组测序数据snp、dna甲基化测序数据等基因相关数据。本技术实施例中，当前执行端可以是医疗机构或互联网医院的智能医疗系统，目标用户可以是待治疗的患者等。
71.需要说明的是，用户的人口统计学数据可以通过让目标用户填写包含基本信息以及健康测评等内容的题目使用户主动进行提交；还可以在取得用户授权后，通过互联网获取用户的基本信息，以及历史购药记录、历史问诊记录等相关数据进行获取。用户的基因数据可以首先在当前执行端搜索是否存储有目标用户的历史基因检测数据，若有，则直接进行获取；若无，则需要目标用户到具有基因检测资质的机构进行采集。
72.102、基于优化处理后的药物疗效预测模型对人口统计学数据以及基因数据进行药物疗效预测处理，得到针对目标用户实施药物治疗是否有效的预测结果。
73.其中，药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的。
74.可以理解的是，现阶段对于大多数疾病来说，药物治疗仍占有较为重要的地位，但是由于不同个体在表观遗传及基因突变方面存在差异，使得同一种药物对于患有相同疾病的不同用户的疗效并不相同，因此，在对目标用户进行治疗之前，预先根据用户的实际数据预测药物治疗对当前目标患者是否有效，可以有效避免无效药物治疗对用户造成的二次伤害。
75.本技术实施例中，预测药物疗效所使用的预测模型是基于多个历史用户的人口统计学数据以及基因数据等多模态数据预先建立的，通过将基因数据与包含基本信息以及临床诊断信息的人口统计学数据进行融合能够更全面的反应用户的信息，从而更准确预测药物治疗对用户是否有效。
76.103、向目标用户推送与预测结果相匹配的治疗方案。
77.本技术实施例中，若步骤102中得到的预测结果为有效，则可以向目标用户推送药物治疗的相关方案，包括药物种类、用量、注意事项等；若步骤102中得到的预测结果为无效，则可以向目标用户推送其他治疗方案，如心理咨询治疗等治疗方案。
78.需要说明的是，基于步骤102中得到的预测结果向目标用户推送更适合用户自身
的治疗方案。若当前执行端为医疗机构的智能医疗系统，则当前执行端可以作为医生看诊时的辅助系统，通过获取目标患者的人口统计学数据以及基因数据，预测药物治疗对其是否有效，医生可以根据预测结果为当前目标患者定制化治疗方案；若当前执行端为互联网医院的智能医疗系统，则在得到预测结果后，可以以邮件或短信等通讯方式向当前目标用户推送相关治疗方案，以供用户参考。
79.与现有技术相比，本技术实施例利用多个历史用户的人口统计学数据以及基因数据预先建立用于进行药物疗效预测的药物疗效预测模型对目标用户进行预测，通过对能够全面反应用户信息的多模态数据进行融合，并以此为根据对药物效果进行预测，以提高对药物效果预测的准确性；进一步的，再根据预测结果向用户推送与预测结果相匹配的治疗方法，实现了治疗方案的自动化推送，避免了对医生经验的依赖，从而提高了推送的治疗方案的准确性。
80.为了进一步说明以及限定，本技术实施例中，基因数据包括全基因组测序数据以及遗传基因甲基化测序数据；基于优化处理后的药物疗效预测模型对人口统计学数据以及基因数据进行药物疗效预测处理之前，实施例方法还包括：基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型。
81.其中，全基因组测序数据，即全基因组序列，是指人类基因组的核苷酸序列，包含人体的全部遗传信息，由24条双链的dna分子组成(包括1～22号染色体dna与x、y染色体dna)，携带有30亿个碱基对，构成了人类基因组精确序列；由于遗传基因甲基化是蛋白质和核酸的一种重要的修饰，能够调节基因的表达和关闭，以及引起染色质结构、dna构象、dna稳定性及dna与蛋白质相互作用方式的改变，从而控制基因表达，因此与许多疾病密切相关。本技术实施例中，结合用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立的药物疗效预测模型，通过基于多模态数据对药物疗效进行全面的预测，使得预测结果更准确。
82.为了进一步说明以及限定，本技术实施例中，基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型之前，实施例方法还包括：获取多个历史用户的多模态数据；基于多个历史用户的全基因组测序数据生成历史用户全基因组测序数据集；根据历史用户全基因组测序数据集构建历史用户全基因组测序数据二分图；基于图神经网络聚合历史用户全基因组测序数据二分图中各个全基因组测序位点的点位信息，生成多个历史用户的全基因组测序数据的表征向量。
83.其中，多模态数据包括人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据。具体的，首先选取预设数量的历史用户，并获取其多模态数据，可以从当前执行端的病例数据库中进行获取；再基于上述历史用户的全基因组测序数据生成历史用户全基因组测序数据集，其中包含上述历史用户的全部全基因组测序数据；进一步的，基于历史用户全基因组测序数据集构建如图2所示的历史用户全基因组测序数据二分图，其中，a1、a2、a3表示历史用户a1、历史用户a2、历史用户a3；b1、b2、b3、b4表示基因突变点位b1、基因突变点位b2、基因突变点位b3、基因突变点位b4。具体的，如果历史用户a1在基因突变点位b1发生了基因突变，则在a1和b1之间形成一条连线，另外，如果在基因突变点位b1发生的基因突
变为纯合突变，则a1和b1之间连线的权重值为2；如果在基因突变点位b1发生的基因突变为杂合突变，则a1和b1之间连线的权重值为1。可以理解的是，原基因为aa，若基因突变为aa，则为基因纯合突变；若基因突变为aa，则为基因杂合突变。最后，可以基于图神经网络聚合历史用户全基因组测序数据二分图中各个全基因组测序位点的点位信息，最终生成多个历史用户的全基因组测序数据的表征向量，即实现端对端的计算。
84.为了进一步说明以及限定，本技术实施例中，实施例方法还包括：基于多个历史用户的遗传基因甲基化测序数据生成历史用户遗传基因甲基化测序数据集；基于历史用户遗传基因甲基化测序数据集构建历史用户甲基化共表达网络；基于图神经网络，根据历史用户甲基化共表达网络确定多个历史用户的遗传基因甲基化测序数据的表征向量。
85.具体的，首先基于上述历史用户的遗传基因甲基化测序数据生成历史用户遗传基因甲基化测序数据集，其中包含上述历史用户的全部遗传基因甲基化测序数据；进一步的，基于历史用户遗传基因甲基化测序数据集构建如图3所示的历史用户遗传基因甲基化共表达网络，其中，每个点表示一个甲基化点位，并计算每两个甲基化点位之间的相关性，例如，通过可斯皮尔曼相关性计算方法进行计算，若两个甲基化点位之间的相关性值的绝对值大于0.3，则在两个甲基化点位之间构建一条连线，并以相关性值作为该条连线的权重值；若两个甲基化点位之间的相关性值的绝对值小于0.3，则无需构建连线。最后，可以基于图神经网络聚合每个甲基化点位周边点位的信息，得到每个甲基化点位的表征向量，并利用每位历史用户的甲基化值与上述的到的表征向量的乘积进行加和聚合，从而得到每位历史用户的遗传基因甲基化测序数据的表征向量。
86.为了进一步说明以及限定，本技术实施例中，实施例方法还包括：分别对历史用户的人口统计学数据进行归一化处理，生成多个历史用户的人口统计学数据的表征向量。
87.具体的，可以根据归一化公式：x归一化值＝(x原始值-min)/(max-min)，得到每一个特征的归一化结果，再将所有特征的归一化结果进行组合，从而得到各个历史用户的人口统计学数据的表征向量。
88.进一步的，本技术实施例中，实施例方法还包括：基于多个历史用户的全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量、人口统计学数据的表征向量以及全连接层、归一化指数函数建立初始药物疗效预测模型；基于初始药物疗效预测模型分别对历史用户的人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据进行药物疗效预测处理，得到多个针对历史用户实施药物治疗是否有效的历史预测结果。
89.具体的，将上述得到的三个表征向量进行组合再与全连接层、归一化指数函数相连，以建立初始药物疗效预测模型，并基于该初始药物疗效预测模型，预测药物治疗对各个历史用户是否有效。得到历史预测结果。
90.可选的，本技术实施例中，实施例方法还包括：获取多个历史用户的药物疗效标签；确定药物疗效标签与历史预测结果之间的交叉熵损失，并基于最小损失函数对初始药物疗效预测模型进行优化处理，得到优化处理后的药物疗效预测模型。
91.其中，药物疗效标签至少包括有效以及无效中的一种。需要说明的是，由于历史用户均为已采用药物治疗方案的历史用户，因此，可以在历史用户用药前后各进行一次临床诊断，以判断药物治疗实际对其是否有效。例如，分别在历史用户基线时间(即未服用药物前)以及服用药物一定时间后(如4周)，基于汉密顿抑郁量表(hamd)对历史用户进行临床诊
断，如果4周后的分值相比于基线降低了50％以上，则认为药物对当前用户有效，反之则认为无效。并通过计算药物疗效标签与历史预测结果之间的交叉熵损失，结合最小损失函数对初始药物疗效预测模型进行优化处理，最终得到优化后的药物疗效预测模型。
92.本技术提供了一种基于多模态数据的治疗方案推送方法，首先获取目标用户的的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；其次基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；最后向所述目标用户推送与所述预测结果相匹配的治疗方案。与现有技术相比，本技术实施例利用多个历史用户的人口统计学数据以及基因数据预先建立用于进行药物疗效预测的药物疗效预测模型对目标用户进行预测，通过对能够全面反应用户信息的多模态数据进行融合，并以此为根据对药物效果进行预测，以提高对药物效果预测的准确性；进一步的，再根据预测结果向用户推送与预测结果相匹配的治疗方法，实现了治疗方案的自动化推送，避免了对医生经验的依赖，从而提高了推送的治疗方案的准确性。
93.进一步的，作为对上述图1所示方法的实现，本技术实施例提供了一种基于多模态数据的治疗方案推送装置，如图4所示，该装置包括：
94.获取模块21，预测模块22，推送模块23。
95.获取模块21，用于获取目标用户的的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；
96.预测模块22，用于基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；
97.推送模块23，用于向所述目标用户推送与所述预测结果相匹配的治疗方案。
98.优选的，所述基因数据包括全基因组测序数据以及遗传基因甲基化测序数据；
99.所述预测模块之前，所述装置还包括：
100.建立模块，用于基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型。
101.优选的，所述建立模块之前，所述装置还包括：
102.所述获取模块，还用于获取多个历史用户的多模态数据，所述多模态数据包括人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据；
103.生成模块，用于基于多个所述历史用户的全基因组测序数据生成历史用户全基因组测序数据集；
104.构建模块，用于根据所述历史用户全基因组测序数据集构建历史用户全基因组测序数据二分图；
105.聚合模块，用于基于图神经网络聚合所述历史用户全基因组测序数据二分图中各个全基因组测序位点的点位信息，生成多个所述历史用户的全基因组测序数据的表征向量。
106.优选的，所述装置还包括：
107.所述生成模块，还用于基于多个所述历史用户的遗传基因甲基化测序数据生成历史用户遗传基因甲基化测序数据集；
108.所述构建模块，还用于基于所述历史用户遗传基因甲基化测序数据集构建历史用户甲基化共表达网络；
109.确定模块，用于基于图神经网络，根据所述历史用户甲基化共表达网络确定多个所述历史用户的遗传基因甲基化测序数据的表征向量。
110.优选的，所述装置还包括：
111.归一化模块，用于分别对所述历史用户的人口统计学数据进行归一化处理，生成多个所述历史用户的人口统计学数据的表征向量。
112.优选的，所述装置还包括：
113.所述建立模块，还用于基于多个所述历史用户的所述全基因组测序数据的表征向量、所述遗传基因甲基化测序数据的表征向量、所述人口统计学数据的表征向量以及全连接层、归一化指数函数建立初始药物疗效预测模型；
114.所述预测模块，还用于基于所述初始药物疗效预测模型分别对所述历史用户的人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据进行药物疗效预测处理，得到多个针对所述历史用户实施药物治疗是否有效的历史预测结果。
115.优选的，所述装置还包括：
116.所述获取模块，还用于获取多个所述历史用户的药物疗效标签，所述药物疗效标签至少包括有效以及无效中的一种；
117.优化模块，用于确定所述药物疗效标签与所述历史预测结果之间的交叉熵损失，并基于最小损失函数对所述初始药物疗效预测模型进行优化处理，得到优化处理后的药物疗效预测模型。
118.本技术提供了一种基于多模态数据的治疗方案推送装置，首先获取目标用户的的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；其次基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；最后向所述目标用户推送与所述预测结果相匹配的治疗方案。与现有技术相比，本技术实施例利用多个历史用户的人口统计学数据以及基因数据预先建立用于进行药物疗效预测的药物疗效预测模型对目标用户进行预测，通过对能够全面反应用户信息的多模态数据进行融合，并以此为根据对药物效果进行预测，以提高对药物效果预测的准确性；进一步的，再根据预测结果向用户推送与预测结果相匹配的治疗方法，实现了治疗方案的自动化推送，避免了对医生经验的依赖，从而提高了推送的治疗方案的准确性。
119.根据本技术一个实施例提供了一种存储介质，所述存储介质存储有至少一条可执行指令，该计算机可执行指令可执行上述任意方法实施例中的基于多模态数据的治疗方案推送方法。
120.基于这样的理解，本技术的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令
用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施场景所述的方法。
121.图5示出了根据本技术一个实施例提供的一种终端的结构示意图，本技术具体实施例并不对终端的具体实现做限定。
122.如图5所示，该终端可以包括：处理器(processor)302、通信接口(communications interface)304、存储器(memory)306、以及通信总线308。
123.其中：处理器302、通信接口304、以及存储器306通过通信总线308完成相互间的通信。
124.通信接口304，用于与其它设备比如客户端或其它服务器等的网元通信。
125.处理器302，用于执行程序310，具体可以执行上述基于多模态数据的治疗方案推送方法实施例中的相关步骤。
126.具体地，程序310可以包括程序代码，该程序代码包括计算机操作指令。
127.处理器302可能是中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本技术实施例的一个或多个集成电路。终端包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。
128.存储器306，用于存放程序310。存储器306可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
129.程序310具体可以用于使得处理器302执行以下操作：
130.获取目标用户的的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；
131.基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；
132.向所述目标用户推送与所述预测结果相匹配的治疗方案。
133.存储介质中还可以包括操作系统、网络通信模块。操作系统是管理上述基于多模态数据的治疗方案推送的实体设备硬件和软件资源的程序，支持信息处理程序以及其它软件和/或程序的运行。网络通信模块用于实现存储介质内部各组件之间的通信，以及与信息处理实体设备中其它硬件和软件之间通信。
134.本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
135.可能以许多方式来实现本技术的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本技术的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本技术的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本技术实施为记录在记录介质中的程序，这些程序包括用于实现根据本技术的方法的机器可读指令。因而，本技术还覆盖存储用于执行根据本技术的方法的程序的记录介质。
136.显然，本领域的技术人员应该明白，上述的本技术的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本技术不限制于任何特定的硬件和软件结合。
137.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本技术的保护范围之内。

技术特征：
1.一种基于多模态数据的治疗方案推送方法，其特征在于，包括：获取目标用户的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；向所述目标用户推送与所述预测结果相匹配的治疗方案。2.根据权利要求1所述的方法，其特征在于，所述基因数据包括全基因组测序数据以及遗传基因甲基化测序数据；所述基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理之前，所述方法还包括：基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型。3.根据权利要求2所述的方法，其特征在于，所述基于多个历史用户的人口统计学数据的表征向量、全基因组测序数据的表征向量、遗传基因甲基化测序数据的表征向量以及全连接层、归一化指数函数建立药物疗效预测模型之前，所述方法还包括：获取多个历史用户的多模态数据，所述多模态数据包括人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据；基于多个所述历史用户的全基因组测序数据生成历史用户全基因组测序数据集；根据所述历史用户全基因组测序数据集构建历史用户全基因组测序数据二分图；基于图神经网络聚合所述历史用户全基因组测序数据二分图中各个全基因组测序位点的点位信息，生成多个所述历史用户的全基因组测序数据的表征向量。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于多个所述历史用户的遗传基因甲基化测序数据生成历史用户遗传基因甲基化测序数据集；基于所述历史用户遗传基因甲基化测序数据集构建历史用户甲基化共表达网络；基于图神经网络，根据所述历史用户甲基化共表达网络确定多个所述历史用户的遗传基因甲基化测序数据的表征向量。5.根据权利要求3所述的方法，其特征在于，所述方法还包括：分别对所述历史用户的人口统计学数据进行归一化处理，生成多个所述历史用户的人口统计学数据的表征向量。6.根据权利要求3-5任一所述的方法，其特征在于，所述方法还包括：基于多个所述历史用户的所述全基因组测序数据的表征向量、所述遗传基因甲基化测序数据的表征向量、所述人口统计学数据的表征向量以及全连接层、归一化指数函数建立初始药物疗效预测模型；基于所述初始药物疗效预测模型分别对所述历史用户的人口统计学数据、全基因组测序数据以及遗传基因甲基化测序数据进行药物疗效预测处理，得到多个针对所述历史用户实施药物治疗是否有效的历史预测结果。7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
获取多个所述历史用户的药物疗效标签，所述药物疗效标签至少包括有效以及无效中的一种；确定所述药物疗效标签与所述历史预测结果之间的交叉熵损失，并基于最小损失函数对所述初始药物疗效预测模型进行优化处理，得到优化处理后的药物疗效预测模型。8.一种基于多模态数据的治疗方案推送装置，其特征在于，包括：获取模块，用于获取目标用户的的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；预测模块，用于基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；推送模块，用于向所述目标用户推送与所述预测结果相匹配的治疗方案。9.一种存储介质，所述存储介质中存储有至少一条可执行指令，其特征在于，所述可执行指令使处理器执行如权利要求1-7中任一项所述的基于多模态数据的治疗方案推送方法对应的操作。10.一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一条可执行指令，其特征在于，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的基于多模态数据的治疗方案推送方法对应的操作。

技术总结
本申请公开了一种基于多模态数据的治疗方案推送方法及装置、介质、设备，涉及人工智能技术领域以及数字医疗技术领域，主要目的在于改善现有依赖医生经验进行药物疗效的评估，由于主观性较强，难以保证评估结果的准确性，从而导致推送的治疗方案疗效不佳的技术问题。包括：获取目标用户的的多模态数据，所述多模态数据包括人口统计学数据以及基因数据；基于优化处理后的药物疗效预测模型对所述人口统计学数据以及所述基因数据进行药物疗效预测处理，得到针对所述目标用户实施药物治疗是否有效的预测结果，所述药物疗效预测模型是基于多个历史用户的人口统计学数据以及基因数据预先建立的；向所述目标用户推送与所述预测结果相匹配的治疗方案。相匹配的治疗方案。相匹配的治疗方案。


技术研发人员：刘小双
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.04.23
技术公布日：2023/7/25