一种基于区块链和联邦学习的四网融合数据共享方法与流程

1.本发明涉及四网融合数据共享技术领域，具体涉及一种基于区块链和联邦学习的四网融合数据共享方法。


背景技术：

2.轨道交通“四网融合”是指通过推动干线铁路网、城际铁路网、市域(郊)铁路网、城市轨道交通网“四网融合”，打造轨道上的城市群都市圈，起到推动都市圈发展的作用。为了提高轨道交通的连接性贯通性，建立一个功能定位精准、网络层次清晰、衔接一体高效的现代轨道交通系统，需要更精准的旅客的出行轨迹预测和交通流量时空分析，通过合理的换乘规划和列车调度等行为，提高干线铁路网、城际铁路网、市域(郊)铁路网、城市轨道交通的服务质量和旅客出行体验。然而，干线铁路网、城际铁路网、市域(郊)铁路网、城市轨道交通的有关数据隐私性强，甚至涉及机密，难以进行直接的共享，由此造成“数据孤岛”现象，导致上述协同工作无法进行。


技术实现要素：

3.针对现有技术中的上述不足，本发明提供了一种基于区块链和联邦学习的四网融合数据共享方法。
4.为了达到上述发明目的，本发明采用的技术方案为：
5.一种基于区块链和联邦学习的四网融合数据共享系统，包括：
6.数据设备，用于向证书颁发机构服务器发送设备注册请求以获取颁发机构服务器分发的证书、公钥和密钥；根据获取的证书加入区块链网络，接收区块链网络发送的初始全局模型；利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；
7.证书颁发机构服务器，用于响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；
8.区块链网络，由每台数据设备作为节点组成，并具有对新加入设备发送初始全局模型的责任；基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。
9.可选地，所述数据设备根据共享行为划分为数据请求设备和数据提供设备，其中向共享系统请求数据的设备为数据请求设备，响应数据请求的设备为数据提供设备；
10.所述数据请求设备用于向共享系统发送数据请求，所述数据请求包括设备id、请求有效时长、交易预算、加密的初始全局模型和请求状态信息；基于数据提供设备的响应信息根据交易预算选择其中的一部分交易，并向响应的数据提供设备发送fabric通道配置，所述fabric通道配置允许所有响应的数据提供设备加入相同的任务通道以形成一个临时
协作组；
11.所述数据提供设备用于对接收的数据请求设备发送的数据请求进行验证，并根据区块链网络上的记录搜索数据请求设备的历史记录，向数据请求设备发送响应信息，通过响应信息提出交易；所述响应信息包括设备id、数据大小、本设备工作持续时间、计算能力和本设备的公钥信息。
12.可选地，所述数据设备具体用于：
13.所述数据提供设备利用数据请求设备的公钥对区块链网络发送的初始全局模型进行解密，同时通过比较初始全局模型的hash值，对初始全局模型进行验证，并对验证通过的初始全局模型进行训练；
14.并且利用数据提供设备的本地数据集，在训练参数中加入高斯差分隐私，采用基于高斯差分隐私的联邦平均算法训练本地模型，并采用自适应裁剪方法训练联邦学习模型。
15.可选地，所述数据设备具体用于：
16.数据提供设备采用下式计算本地梯度：
[0017][0018]
其中，g
t
表示第t轮的本地梯度，l(w
i,t
,di)表示，w
i,t
表示设备ei的在第t轮的基于本地数据集di的本地模型参数；
[0019]
并调用区块链网络中部署的带有数字签名的智能合约上传本地梯度；
[0020]
数据请求设备收到关于梯度的交易后，通过验证数字签名来验证数据提供设备的合法性，并在验证通过后将交易打包成区块并广播给其他节点。
[0021]
可选地，所述数据设备具体用于：
[0022]
数据请求设备根据数据设备的在线状态，从当前一轮训练中成功上传本地梯度且始终在线的数据设备中选择一部分数据设备，将所选择的数据设备上传的本地梯度采用下式在当前轮进行梯度聚合：
[0023][0024]
其中，表示第t轮的平均梯度，s
t
表示数据请求设备在第t轮选择的数据设备的设备id，g(w
i,t,σ
)表示第t轮加入高斯差分隐私的本地梯度。
[0025]
可选地，所述区块链网络具体用于：
[0026]
采用基于梯度熵的贡献评价模型评价数据请求设备所选择的数据设备的贡献，表示为：
[0027][0028]
其中，c
i,t
表示第t轮中数据设备的贡献评价值，e
i,t
(g(w
i,t,σ
))表示第t轮中数据设备上传的本地梯度g(w
i,t,σ
)的信息量，s
t
表示数据请求设备在第t轮选择的数据设备的设备
id。
[0029]
可选地，所述区块链网络具体用于：
[0030]
根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，表示为：
[0031][0032]
其中，w
t+1
表示更新后的全局模型参数，w
t
表示全局模型参数，η表示本轮学习率，表示第t轮的平均梯度。
[0033]
可选地，所述区块链网络具体用于：
[0034]
调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新，表示为：
[0035]wt+1
＝(1-αi(t))w
i,old
+αi(t)w
new
[0036]
其中，w
t+1
表示更新后的全局模型参数，αi(t)表示最新的权重系数，w
i,old
表示临时设备存储的最新的全局模型参数，w
new
表示本轮最新的全局模型参数。
[0037]
一种应用于上述系统的基于区块链和联邦学习的四网融合数据共享方法，包括以下步骤：
[0038]
s1、利用数据设备向证书颁发机构服务器发送设备注册请求；
[0039]
s2、利用证书颁发机构服务器响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；
[0040]
s3、利用数据设备根据获取的证书加入区块链网络；
[0041]
s4、利用区块链网络对新加入设备发送初始全局模型；
[0042]
s5、利用数据设备利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；
[0043]
s6、利用区块链网络基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。
[0044]
本发明具有以下有益效果：
[0045]
本发明通过将联邦学习集成到区块链网络中，且不要求参与方总是保持在线，弥补了传统联邦学习要求设备一直在线的缺点，更符合实际场景，能够提高数据共享与融合的效率、安全性，同时做到事务处理智能化。
附图说明
[0046]
图1为本发明实施例中一种基于区块链和联邦学习的四网融合数据共享系统的架构示意图；
[0047]
图2为本发明实施例中一种基于区块链和联邦学习的四网融合数据共享系统的时序示意图；
[0048]
图3为本发明实施例中一种基于区块链和联邦学习的四网融合数据共享系统的工作流程示意图；
[0049]
图4为本发明实施例中一种基于区块链和联邦学习的四网融合数据共享方法的流程示意图。
具体实施方式
[0050]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0051]
联邦学习是一种在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算节点之间开展高效率的机器学习的新兴人工智能基础技术。
[0052]
区块链作为一个去中心化、数据加密、不可篡改的分布式共享数据库，可以为联邦学习的数据交换提供数据机密性，以此来对用户隐私以及各参与方之间的数据安全进行保障，同时也可以保证多参与方提供数据进行模型训练的数据一致性，区块链的价值驱动激励机制也能够增加各参与方之间提供数据、更新网络模型参数的积极性。
[0053]
联邦学习与区块链结合，可满足四网各部门协同工作和数据共享的部分情形的需求，如乘客出行规律预测和铁路设备故障诊断等场景。打破数据孤岛，避免了因缺少足量数据特征而导致模型泛化能力不足的问题，同时也不会泄露数据隐私，对四网数据的互联互通和安全高效利用有重要意义。
[0054]
本发明将联邦学习集成到区块链中，且不要求参与方总是保持在线，弥补了传统联邦学习要求设备一直在线的缺点，更符合实际场景，能够提高数据共享与融合的效率、安全性，同时做到事务处理智能化。
[0055]
实施例1
[0056]
如图1至图3所示，本发明实施例提供了一种基于区块链和联邦学习的四网融合数据共享系统，包括：
[0057]
数据设备，用于向证书颁发机构服务器发送设备注册请求以获取颁发机构服务器分发的证书、公钥和密钥；根据获取的证书加入区块链网络，接收区块链网络发送的初始全局模型；利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；
[0058]
证书颁发机构服务器，用于响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；
[0059]
区块链网络，由每台数据设备作为节点组成，并具有对新加入设备发送初始全局模型的责任；基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。
[0060]
在本发明的一个可选实施例中，所述数据设备根据共享行为划分为数据请求设备和数据提供设备，其中向共享系统请求数据的设备为数据请求设备，响应数据请求的设备为数据提供设备；
[0061]
所述数据请求设备用于向共享系统发送数据请求；基于数据提供设备的响应信息根据交易预算选择其中的一部分交易，并向响应的数据提供设备发送fabric通道配置，所述fabric通道配置允许所有响应的数据提供设备加入相同的任务通道以形成一个临时协作组；
[0062]
所述数据提供设备用于对接收的数据请求设备发送的数据请求进行验证，并根据区块链网络上的记录搜索数据请求设备的历史记录，向数据请求设备发送响应信息，通过响应信息提出交易。
[0063]
所述数据请求包括设备id、请求有效时长、交易预算、加密的初始全局模型和请求状态信息。
[0064]
所述响应信息包括设备id、数据大小、本设备工作持续时间、计算能力和本设备的公钥信息。
[0065]
具体而言，本实施例中数据设备是指部署在网络中的各种设备，具有一定的数据处理能力和存储能力，可以请求其他用户的数据或者向其他用户提供数据。例如系统被用于设备风险和故障预测，那么设备就可以是传感器，如果系统被用于乘客出行规律预测，那么设备就可以是数据服务器。设备既是区块链网络的组件，也是系统的用户。计算资源丰富的设备可以被选为全节点，计算资源受限的设备作为区块链网络的客户端节点。
[0066]
为了保证安全性，系统基于联盟区块链设计，只有被允许的用户才能加入区块链。设备ei在加入系统前需要通过ca服务器申请证书。ca服务器负责验证申请者的身份并颁发证书。验证通过后的设备才能加入区块链网络。ei加入后，根据自身计算能力，选择成为全节点还是轻节点，也就是客户端。只有全节点有权利打包和验证区块。
[0067]
设备注册时必须质押一定数量的代币。如有恶意行为，质押的代币将被没收。同时设备应拥有本地数据，称为本地数据集。
[0068]
每一个成功加入并注册到区块链的实体都是系统用户，根据行为可划分为不同的角色。如向系统请求数据的用户称为数据请求者。数据请求者ej准备向系统发出数据请求r，r包括设备id、请求有效时长、交易预算、加密的初始全局模型和请求状态等信息。该请求在通过共识节点验证后被记录为区块链中的事务。数据请求存储在状态数据库中。
[0069]
响应数据请求的用户称为数据提供者，收到数据请求r后，数据提供者首先验证请求，并根据区块链上的记录搜索请求者的历史记录。数据提供者发送响应信息，通过响应信息提出交易。响应信息包括设备id、数据大小、本设备工作持续时间、计算能力和公钥等。
[0070]
在收到响应后，数据请求者将根据预算选择其中的一部分交易，并向他们发送fabric通道配置，该配置允许他们加入相同的任务通道以形成一个临时协作组。fabric通道本质上是一个私有的原子广播通道，其目的是防止交易信息泄露给未授权的节点，从而使通道外的实体无法访问通道内的数据，提高交易的私密性和安全性。
[0071]
假设恶意节点数量不超过拜占庭容错的最大值，即在系统是安全的情况下，每个任务通道选择部分贡献度良好的节点作为领导者，负责共识验证。
[0072]
在本发明的一个可选实施例中，所述数据设备具体用于：
[0073]
所述数据提供设备利用数据请求设备的公钥对区块链网络发送的初始全局模型进行解密，同时通过比较初始全局模型的hash值，对初始全局模型进行验证，并对验证通过的初始全局模型进行训练；
[0074]
并且利用数据提供设备的本地数据集，在训练参数中加入高斯差分隐私，采用基于高斯差分隐私的联邦平均算法训练本地模型，并采用自适应裁剪方法训练联邦学习模型。
[0075]
具体而言，假设有n个设备的集合e响应一个数据共享请求r，其中e＝{e1,e2，
…
，en}。设备ei有一个本地数据集di，其中每个数据样本用dk表示。设w
i,t
是设备ei的在第t轮的基于本地数据集di的本地模型参数，w
t
是全局模型参数。本地训练的目标是本轮的损失函数达到最小，以获得更优秀的模型。
[0076]
本实施例的数据提供设备首先使用请求者的公钥进行解密初始全局模型，同时通过比较初始全局模型的hash值，验证初始全局模型，然后，它们训练初始化的全局模型并基于自己的本地数据集，即在本地梯度上传之前，在训练参数中加入高斯差分隐私，设噪声参数为σ，则加入噪声后的参数表示为w
i,t,σ
，w
i,t,σ
＝w
i,t
+noise，从而保护模型和参数中的隐私数据不泄露。
[0077]
对于高斯机噪声的产生，我们有一个零均值高斯分布称为正态分布，表示为
[0078][0079]
设f：为任意k维函数，定义其l2灵敏度为δ2：
[0080][0081]
高斯噪声将通过产生的参数为σ的噪声，按比例添加到输出的k个分量中。
[0082]
设∈∈(0,1)，∈为区间内任意值。对于高斯造成的参数都有σ≥cδ2/∈。
[0083]
差分隐私可以防止模型预测阶段的隐私攻击。通过向模型参数添加噪声，攻击者无法通过查询模型获得准确的输出结果，因此无法恢复训练数据，也无法从模型的输出结果中推断某个特定样本是否属于模型的训练数据。
[0084]
现有的在联邦中使用差分隐私训练模型的工作涉及到用一个固定的剪切值来限定每个用户模型更新的贡献。然而，在学习设置和任务中并没有很好的裁剪范数的预定义值。为了避免固定裁剪范数的缺点，我们使用自适应裁剪方法，它可以根据模型架构和损失、每个设备上的数据量、客户端学习率以及可能的各种其他参数自动调整裁剪阈值。综上所述，为了提供隐私保护，我们利用差分隐私支持的fedavg算法，在高斯机制上使用自适应裁剪方法训练联邦学习模型。
[0085]
在本发明的一个可选实施例中，本实施例的数据提供设备通过调用带有数字签名的上传智能合约上传他们的本地模型更新。即设备ei通过下式计算本地梯度：
[0086]
[0087]
其中，g
t
表示第t轮的本地梯度，l(w
i,t
,di)表示，w
i,t
表示设备ei的在第t轮的基于本地数据集di的本地模型参数；
[0088]
然后，ei通过调用上传智能合约提交事务，随后准备进行验证。
[0089]
一旦节点收到关于梯度的交易，他们首先通过验证数字签名来验证发送方的合法性。如果验证通过，交易被打包成区块并广播给其他节点。
[0090]
在本发明的一个可选实施例中，所述数据设备具体用于：
[0091]
数据请求设备根据数据设备的在线状态，从当前一轮训练中成功上传本地梯度且始终在线的数据设备中选择一部分数据设备，将所选择的数据设备上传的本地梯度采用下式在当前轮进行梯度聚合：
[0092][0093]
其中，表示第t轮的平均梯度，s
t
表示数据请求设备在第t轮选择的数据设备的设备id，g(w
i,t,σ
)表示第t轮加入高斯差分隐私的本地梯度。
[0094]
具体而言，本实施例为了解决部分数据设备离线的问题，每次在聚合之前，数据请求设备从非临时设备中的数据设备中选择一部分它们的上传梯度将在当前轮聚合，这部分数据设备称为数据贡献设备。数据贡献设备指的是在当前一轮训练中成功上传梯度的设备，并且始终在线。每次在聚合之前，数据请求设备从数据贡献设备中选择一些实体，称为候选设备，它们的上传梯度将在当前轮聚合。
[0095]
在达成共识后，将候选列表交付给区块链，作为自聚合智能合约和贡献评估智能合约的触发器。
[0096]
同一任务通道中的所有设备调用并触发相应的智能合约。只有数据贡献设备将候选设备列表作为输入，操作自聚合智能合约。与传统的联邦学习模式不同，我们改变了用一个中央服务器进行聚合的模式，本发明中，设备可以通过调用聚合智能合约进行聚合，其输入参数是由数据请求设备选择的参与者id。然后可以自动完成梯度聚合和将聚合结果上传到区块链存储，对于超过一定时限的操作将被丢弃。聚合公式为：
[0097][0098]
所有在线设备都可以调用评估智能合约，贡献评价首先要考虑梯度包含多少有效信息，这样可以加快收敛速度。然后，期望根据梯度中有效信息的数量来确定贡献。因此，需要找到一种合适的方法来定量度量数据集的信息含量，并将信息含量映射到一个合理的贡献函数，如果涉及交易，这也可以作为定价的依据。为此，本发明设计了一种新的基于梯度熵的贡献评价模型。熵是变量不确定性的度量。根据信息熵理论，熵值越大，表示包含的信息越多。但是上传的局部梯度具有较大的不确定性。根据这一原理，采用基于梯度熵的贡献评价模型评价数据请求设备所选择的数据设备的贡献，表示为：
[0099][0100]
其中，c
i,t
表示第t轮中数据设备的贡献评价值，e
i,t
(g(w
i,t,σ
))表示第t轮中数据设备上传的本地梯度g(w
i,t,σ
)的信息量，s
t
表示数据请求设备在第t轮选择的数据设备的设备id。
[0101]
根据评估结果，数据请求设备会给候选设备一定数量的代币奖励。
[0102]
在本发明中，评估过程被编程为贡献评估智能合约，由于智能合约的特性，增强了系统的公平性和安全性。
[0103]
在本发明的一个可选实施例中，区块链网络主要由各种设备构成的节点和智能合约组成，通过区块链网络，系统用户之间能够发出任务请求，区块链网络还负责记录内部交易、训练模型和更新模型，区块链网络部署了多个智能合约，包含用于注册、请求或响应操作的基本合约，以及用于支持联邦学习的聚合合约、更新合约等。联邦学习包括本地联邦学习和全局联邦学习。本地联邦学习模块嵌入到设备中，全局联邦学习模块由自聚合智能合约、评价智能合约和最新模型智能合约等组成。
[0104]
设备ei采用随机梯度算法(sga)对全局模型进行局部维护和更新。然而，如果设备在第t轮由于某种原因突然离线而无法上传梯度，然后在一个随机的时刻恢复通信，将出现这种情况的设备称之为临时设备。存储在区块链上的最新的全局模型与他们在离线期间得到的梯度不匹配，可能会造成学习的稀释问题。传统的联合学习直接排除了这些参与者以保证训练的可靠性，但导致训练数据不足。
[0105]
为了解决这个问题，本发明通过公式(6)设计了一个动态学习机制。对于第t轮中的正常设备ei，使用下式通过sga更新全局模型：
[0106][0107]
其中，w
t+1
表示更新后的全局模型参数，w
t
表示全局模型参数，η表示本轮学习率，表示第t轮的平均梯度。
[0108]
在第t轮中没有贡献梯度的临时设备ei，为了保持本地保存的最后一个全局模型的内存一致性，在遵循联邦学习更新过程的同时，他们首先调用最新模型智能合约来获得t轮的最新聚合结果，并使用下式来更新他们的全局模型：
[0109]wt+1
＝(1-αi(t))w
i,old
+αi(t)w
new
[0110]
其中，w
t+1
表示更新后的全局模型参数，αi(t)表示最新的权重系数，(t)表示最新的权重系数，δt表示最近一次更新时间与最近一次训练时间的差值；w
i,old
表示临时设备存储的最新的全局模型参数，w
new
表示本轮最新的全局模型参数。
[0111]
基于本发明设计的动态学习机制，数据贡献设备利用sga算法在自聚合结果的辅助下更新他们的全局模型。然后将新的全局模型发送给区块链，以达成作为训练模型下一迭代的共识。对于临时设备，他们首先调用最新模型智能合约来下载贡献者交付的最新的全局模型，并更新他们的全局模型，通过最新更新和本地模型之间的权衡来降低不匹配的程度。
[0112]
在本发明的一个可选实施例中，数据请求设备和数据提供设备之间的数据共享事
件以事务的形式产生，并在区块链网络中广播。
[0113]
实施例2
[0114]
如图4所示，本发明实施例还提供了一种应用于实施例1所述系统的基于区块链和联邦学习的四网融合数据共享方法，包括以下步骤：
[0115]
s1、利用数据设备向证书颁发机构服务器发送设备注册请求；
[0116]
s2、利用证书颁发机构服务器响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；
[0117]
s3、利用数据设备根据获取的证书加入区块链网络；
[0118]
s4、利用区块链网络对新加入设备发送初始全局模型；
[0119]
s5、利用数据设备利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；
[0120]
s6、利用区块链网络基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。
[0121]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0122]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0123]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0124]
本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
[0125]
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

技术特征：
1.一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，包括：数据设备，用于向证书颁发机构服务器发送设备注册请求以获取颁发机构服务器分发的证书、公钥和密钥；根据获取的证书加入区块链网络，接收区块链网络发送的初始全局模型；利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；证书颁发机构服务器，用于响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；区块链网络，由每台数据设备作为节点组成，并具有对新加入设备发送初始全局模型的责任；基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。2.根据权利要求1所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备根据共享行为划分为数据请求设备和数据提供设备，其中向共享系统请求数据的设备为数据请求设备，响应数据请求的设备为数据提供设备；所述数据请求设备用于向共享系统发送数据请求，所述数据请求包括设备id、请求有效时长、交易预算、加密的初始全局模型和请求状态信息；基于数据提供设备的响应信息根据交易预算选择其中的一部分交易，并向响应的数据提供设备发送fabric通道配置，所述fabric通道配置允许所有响应的数据提供设备加入相同的任务通道以形成一个临时协作组；所述数据提供设备用于对接收的数据请求设备发送的数据请求进行验证，并根据区块链网络上的记录搜索数据请求设备的历史记录，向数据请求设备发送响应信息，通过响应信息提出交易；所述响应信息包括设备id、数据大小、本设备工作持续时间、计算能力和本设备的公钥信息。3.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备具体用于：所述数据提供设备利用数据请求设备的公钥对区块链网络发送的初始全局模型进行解密，同时通过比较初始全局模型的hash值，对初始全局模型进行验证，并对验证通过的初始全局模型进行训练；并且利用数据提供设备的本地数据集，在训练参数中加入高斯差分隐私，采用基于高斯差分隐私的联邦平均算法训练本地模型，并采用自适应裁剪方法训练联邦学习模型。4.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备具体用于：数据提供设备采用下式计算本地梯度：其中，g
t
表示第t轮的本地梯度，l(w
i,t
,d
i
)表示，w
i,t
表示设备e
i
的在第t轮的基于本地数据集d
i
的本地模型参数；
并调用区块链网络中部署的带有数字签名的智能合约上传本地梯度；数据请求设备收到关于梯度的交易后，通过验证数字签名来验证数据提供设备的合法性，并在验证通过后将交易打包成区块并广播给其他节点。5.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述数据设备具体用于：数据请求设备根据数据设备的在线状态，从当前一轮训练中成功上传本地梯度且始终在线的数据设备中选择一部分数据设备，将所选择的数据设备上传的本地梯度采用下式在当前轮进行梯度聚合：其中，表示第t轮的平均梯度，s
t
表示数据请求设备在第t轮选择的数据设备的设备id，g(w
i,t,σ
)表示第t轮加入高斯差分隐私的本地梯度。6.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述区块链网络具体用于：采用基于梯度熵的贡献评价模型评价数据请求设备所选择的数据设备的贡献，表示为：其中，c
i,t
表示第t轮中数据设备的贡献评价值，e
i,t
(g(w
i,t,σ
))表示第t轮中数据设备上传的本地梯度g(w
i,t,σ
)的信息量，s
t
表示数据请求设备在第t轮选择的数据设备的设备id。7.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述区块链网络具体用于：根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，表示为：其中，w
t+1
表示更新后的全局模型参数，w
t
表示全局模型参数，η表示本轮学习率，表示第t轮的平均梯度。8.根据权利要求2所述的一种基于区块链和联邦学习的四网融合数据共享系统，其特征在于，所述区块链网络具体用于：调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新，表示为：w
t+1
＝(1-α
i
(t))w
i,old
+α
i
(t)w
new
其中，w
t+1
表示更新后的全局模型参数，α
i
(t)表示最新的权重系数，w
i,old
表示临时设备存储的最新的全局模型参数，w
new
表示本轮最新的全局模型参数。9.一种应用于权利要求1所述系统的基于区块链和联邦学习的四网融合数据共享方法，其特征在于，包括以下步骤：s1、利用数据设备向证书颁发机构服务器发送设备注册请求；
s2、利用证书颁发机构服务器响应数据设备发送的设备注册请求，验证数据设备的身份并向验证通过的数据设备分发证书、公钥和密钥；s3、利用数据设备根据获取的证书加入区块链网络；s4、利用区块链网络对新加入设备发送初始全局模型；s5、利用数据设备利用本地数据集训练加入差分隐私的本地模型，并调用区块链网络中部署的智能合约上传本地梯度；s6、利用区块链网络基于区块链与联邦学习相结合的方案，根据数据设备的在线状态动态选择贡献者，并根据数据设备上传的本地梯度触发自聚合智能合约和贡献评估智能合约；根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。

技术总结
本发明公开了一种基于区块链和联邦学习的四网融合数据共享系统，包括数据设备、证书颁发机构服务器和区块链网络；其中区块链网络基于联邦学习方式，根据自聚合结果采用随机梯度算法对正常设备的全局模型进行更新，并记录共享行为；调用最新模型智能合约获取最新聚合结果和最新全局模型对临时设备的全局模型进行更新。本发明通过将联邦学习集成到区块链网络中，且不要求参与方总是保持在线，弥补了传统联邦学习方案要求设备一直在线的缺点，更符合实际场景，能够提高数据共享与融合的效率、安全性，同时做到事务处理智能化。同时做到事务处理智能化。同时做到事务处理智能化。


技术研发人员：冯卫东 王爱丽 刘宇 耿欣 黎琳 常晓琳 鲁放
受保护的技术使用者：中国国家铁路集团有限公司
技术研发日：2023.03.31
技术公布日：2023/7/7