基于DQN算法的电子健康网络区块链共识方法

基于dqn算法的电子健康网络区块链共识方法
技术领域
1.本发明属于区块链技术领域，特别是一种基于dqn算法的电子健康网络区块链共识方法。


背景技术：

2.电子健康网络是一种利用wban技术实现对用户疾病监测与健康管理的新型物联网技术。在5g和6g时代，电子健康网络的应用日趋复杂且移动数据流量爆炸性增加，移动设备本地计算资源受限，于是基于多接入边缘计算(mec)的电子健康网络应运而生。但是在电子健康网络中，多wban用户、多mec边缘服务器和云端等多方间的信任成为了一个需要考虑的问题；且将移动设备任务卸载到边缘服务器会存在用户隐私泄露的风险。区块链可以被视为一个去中心化的公共账本，具有不可篡改、多方共同维护、可追溯和去中心化等特性，能够有效解决mec环境的信任和隐私问题。
3.为保证区块链网络的公平、透明和自动运行，矿工间需要一套共识机制使他们对交易数据、贡献和奖励方面达成一致。在电子健康场景下，矿工从区块链网络中收集移动设备卸载任务的交易信息，然后执行共识过程。区块链可采用工作量证明或者权益证明进行共识。通过租赁哈希功率的技术，使得移动设备租赁到自己所需的哈希功率，解决安装额外的挖掘硬件或者是移动设备需要更多计算和存储的问题。但是在该区块链网络的挖掘过程中没有考虑到移动设备端边缘卸载时各个mec服务器的贡献差异，这会导致mec服务器在提供大量计算资源的情况下却获得了较低的挖掘资源，从而使得mec服务器倾向于拒绝wban的卸载请求。因此，需要对哈希资源分配进行探索，使得计算贡献高的mec服务器能够得到更高的收入。


技术实现要素：

4.本发明的目的在于提供一种基于dqn算法的电子健康网络区块链共识方法，合理分配哈希资源，很好地解决多用户和多mec边缘服务器的大状态空间和大动作空间问题，获得最佳的网络服务性能，加快挖掘速度。
5.实现本发明目的的技术解决方案为：一种基于dqn算法的电子健康网络区块链共识方法，所述方法包括以下步骤：
6.步骤1，确定支持区块链交易的电子健康网络架构，并计算网络参数；
7.步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
8.步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；
9.步骤4，根据训练得到的决策网络对哈希资源进行分配。
10.进一步地，步骤1中所述支持区块链交易的电子健康网络架构分为3个层次：用户层、边缘层和云层；
11.所述用户层包括n个移动终端设备无线体域网wban用户，wban用于收集健康数据
的可穿戴传感器设备；wban用户需要向区块链网络注册，通过一个区块链账号作为加入区块链网络的唯一的标识，成为合法的参与者；wban用户可在本地进行任务计算，也可将部分任务卸载到多路访问边缘计算mec服务器或者云服务器执行；
12.所述边缘层包括宏基站和m个mec服务器，其中宏基站中控制器模块实现对系统网络的各种控制功能，包括哈希资源分配策略；宏基站用于对区块链网络进行监控，mec服务器为wban用户提供实时计算服务，同时参与区块链共识并获得相应奖励；
13.所述云层包括云平台，由边缘层中的宏基站将任务调度到云服务器进行任务卸载计算；wban用户通过区块链购买数据处理任务的计算资源，并且由智能合约执行交易，称为交易合约。
14.进一步地，步骤1中网络参数包括声誉评分、预期采矿奖励、服务费用；
15.步骤1-1，根据区块链网络的总哈希能力h，以及mec服务器的哈希功率pm，得到mec服务器m对区块链网络的相对哈希能力服务器m对区块链网络的相对哈希能力为mec服务器集合；
16.步骤1-2，设mec服务器m比其他mec服务器传播速度慢，该块被区块链网络孤立的概率为其中η＝1/600(sec)为常数平均值，φ(bm)为块的传播时间、bm为矿工m开采的区块中包含的交易数量；
17.步骤1-3，根据步骤1-1和1-2的计算结果，得到mec服务器m预期采矿奖励rm：
[0018][0019]
式中，rf为第一个矿工达成共识过程的报酬奖励；
[0020]
步骤1-4，每个mec服务器m完成计算任务后得到一个声誉评分χm，用于衡量当前时隙该mec服务器的计算贡献，计算公式为：
[0021][0022]
整个通信过程的若干时隙t∈{0,1,2,
…
t-1}，λ
l
和λq为权重因子，为wban用户集合；表示wban n是否将任务卸载到mec服务器m，当表示任务卸载到mec服务器m，反之没有卸载到mec服务器上；τn表示任务的期望完成时间，表示wban n将任务卸载到mec服务器后完成实际所花费的时间；ym为mec服务器m的cpu核数；
[0023]
步骤1-5，卸载过程中，wban向边缘服务提供商支付服务费用γ
n,m
＝μ
·qn
，其中，μ表示计算服务的价格单位，qn表示任务所需的mec服务器cpu周期量。
[0024]
进一步地，步骤2中所述mdp模型状态空间s(t)、动作空间a(t)和奖励函数r(t)；
[0025]
步骤2-1，每隔l个时隙开始新一轮的哈希功率分配，宏基站的控制器收集之前l个时隙所有wbans与各个mec服务器的连接策略和卸载策略，以此计算mec服务器的声誉评分；状态空间被定义为：
[0026][0027]
表示选择把任务卸载至mec服务器的wban用户集合，为任务集合，为
连接策略集合，为卸载策略集合；
[0028]
步骤2-2，当前的动作空间a(t)定义为宏基站向mec服务器分配的哈希功率：
[0029]
a(t)＝{pm(t)|m＝1,2,
…
m}
[0030]
pm(t)表示在当前时隙t为mec服务器m分配的哈希功率；
[0031]
步骤2-3，区块链共识问题目标是最大化系统中的mec边缘服务器的总体收入，有效地分配矿工的哈希资源，由此将奖励函数表示为：
[0032][0033]
其中rm为服务器m预期的挖矿奖励；ηm为挖矿的成本，与分配的哈希功率相关，在不同的区块链中定价方法不同；γ
n,m
为wban用户n向mec服务器m支付计算费用。
[0034]
进一步地，步骤3中dqn算法训练包括以下步骤。
[0035]
步骤3-1，初始化dqn网络参数和训练过程的参数，包括网络参数θ，θ-，经验回放集合d，动作选择策略的ε和其减量δ；
[0036]
步骤3-2，初始化环境参数：信道状态s
t
，令t＝0；
[0037]
步骤3-3，通过ε-greedy动作选择策略选择动作ai(t)，对mec服务器进行哈希功率的分配，获得相应的奖励r
t
并更新下一个状态s
t+1
，同时设置判断此轮训练是否结束的参数end(t)，end(t)＝1表示训练结束，否则end(t)＝0。
[0038]
步骤3-4，在经验回放池将每一条经验(s
t
,a
t
,r
t
,s
t+1
,end(t))进行存储，判断存储数量是否达到设定值，若是执行下一步，若否返回步骤3-3；
[0039]
步骤3-5，按照每个时间步t，以从d中随机采样k
t
个经验样本的抽取方式抽取部分数据输入到网络进行训练，计算目标值q
target
：
[0040][0041]
步骤3-6，根据随机梯度下降法更新参数θ，以使输出的估计值不断接近目标值q
target
。
[0042]
步骤3-7，多轮训练更新网络参数，每一轮的训练结束，记录平均奖励并返回步骤3-2，直至决策网络的平均奖励收敛。
[0043]
进一步地，步骤4所述根据训练得到的决策网络对哈希资源进行分配，具体为：将当前时隙的状态输入到决策网络，输出得到动作，即分配哈希资源的策略。
[0044]
一种基于dqn算法的电子健康网络区块链共识系统，所述系统包括：
[0045]
网络构建模块，用于确定支持区块链交易的电子健康网络架构，并计算网络参数；
[0046]
模型构建模块，用于建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0047]
训练模块，用于利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直到整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0048]
分配模块，用于根据训练得到的决策网络对哈希资源进行分配。
[0049]
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0050]
步骤1，确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；
[0051]
步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0052]
步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0053]
步骤4，根据训练得到的决策网络对哈希资源进行分配。
[0054]
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0055]
步骤1，确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；
[0056]
步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0057]
步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0058]
步骤4，根据训练得到的决策网络对哈希资源进行分配。
[0059]
本发明与现有技术相比，其显著优点为：1)声誉评分机制有助于合理分配区块链网络中的哈希资源，鼓励mec服务器参与区块链共识；2)采用基于dqn算法的电子健康网络区块链共识的过程，能够实现系统智能自主的调整哈希资源的分配。
[0060]
下面结合附图对本发明作进一步详细描述。
附图说明
[0061]
图1为本发明基于dqn算法的电子健康网络区块链共识方法流程图。
[0062]
图2为本发明实施例中电子健康网络架构图。
[0063]
图3为本发明实施例中所获得mec服务器的总收入变化图。
具体实施方式
[0064]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0065]
在一个实施例中，结合图1，提供了一种基于dqn算法的电子健康网络区块链共识方法，所述方法包括以下步骤：
[0066]
步骤1，确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；
[0067]
步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0068]
步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0069]
步骤4，根据训练得到的决策网络对哈希资源进行分配。
[0070]
进一步地，在其中一个实施例中，步骤1所述支持区块链交易的电子健康网络架构分为3个层次：用户层、边缘层和云层。用户层由n个移动终端设备无线体域网wban用户构成，wban是用于收集健康数据的可穿戴传感器设备。wban用户需要向区块链网络注册，通过
一个区块链账号作为加入区块链网络的唯一的标识，成为合法的参与者。wban用户除了可以在本地进行任务计算，也可以将部分任务卸载到多路访问边缘计算mec服务器或者云服务器执行；边缘层由宏基站和m个mec服务器组成，其中宏基站中控制器模块可以实现对系统网络的各种控制功能，如哈希资源分配策略。宏基站可以对区块链网络进行监控，以防止恶意行为。网络中的mec服务器通常放置在路侧小型基站附近，使之具有一定的无线通信能力。mec服务器具有足够的计算资源，并且具有高频cpu核和大存储容量，能为wban用户提供实时计算服务，也能参与区块链共识并获得相应奖励。云层中的云平台具有比mec服务器更大的计算能力，由边缘层中的宏基站将任务调度到云服务器进行任务卸载计算。wban用户可以通过区块链购买数据处理任务的计算资源，并且由智能合约执行交易，称为交易合约。
[0071]
进一步地，在其中一个实施例中，步骤1中区块链信誉评分机制即网络参数包括声誉评分、预期采矿奖励、服务费用；
[0072]
步骤1-1，根据区块链网络的总哈希能力h，以及mec服务器的哈希功率pm，得到mec服务器m对区块链网络的相对哈希能力服务器m对区块链网络的相对哈希能力为mec服务器集合；
[0073]
步骤1-2，设mec服务器m比其他mec服务器传播速度慢，该块被区块链网络孤立的概率为其中η＝1/600(sec)为常数平均值，φ(bm)为块的传播时间、bm为矿工m开采的区块中包含的交易数量；
[0074]
步骤1-3，根据步骤1-1和1-2的计算结果，得到mec服务器m预期采矿奖励rm：
[0075][0076]
式中，rf为第一个矿工达成共识过程的报酬奖励；
[0077]
步骤1-4，每个mec服务器m完成计算任务后得到一个声誉评分χm，用于衡量当前时隙该mec服务器的计算贡献，计算公式为：
[0078][0079]
整个通信过程的若干时隙t∈{0,1,2,
…
t-1}，λ
l
和λq为权重因子，为wban用户集合；表示wban n是否将任务卸载到mec服务器m，当表示任务卸载到mec服务器m，反之没有卸载到mec服务器上；τn表示任务的期望完成时间，表示wban n将任务卸载到mec服务器后完成实际所花费的时间；ym为mec服务器m的cpu核数；
[0080]
步骤1-5，卸载过程中，wban向边缘服务提供商支付服务费用γ
n,m
＝μ
·qn
，其中，μ表示计算服务的价格单位，qn表示任务所需的mec服务器cpu周期量。
[0081]
进一步地，在其中一个实施例中，步骤2中所述mdp模型状态空间s(t)、动作空间a(t)和奖励函数r(t)；
[0082]
步骤2-1，每隔l个时隙开始新一轮的哈希功率分配，宏基站的控制器收集之前l个时隙所有wbans与各个mec服务器的连接策略和卸载策略，以此计算mec服务器的声誉评分；状态空间被定义为：
[0083][0084]
表示选择把任务卸载至mec服务器的wban用户集合，为任务集合，为连接策略集合，为卸载策略集合；
[0085]
步骤2-2，当前的动作空间a(t)定义为宏基站向mec服务器分配的哈希功率：
[0086]
a(t)＝{pm(t)|m＝1,2,
…
m}
[0087]
pm(t)表示在当前时隙t为mec服务器m分配的哈希功率；
[0088]
步骤2-3，区块链共识问题目标是最大化系统中的mec边缘服务器的总体收入，有效地分配矿工的哈希资源，由此将奖励函数表示为：
[0089][0090]
其中rm为服务器m预期的挖矿奖励；ηm为挖矿的成本，与分配的哈希功率相关，在不同的区块链中定价方法不同；γ
n,m
为wban用户n向mec服务器m支付计算费用。
[0091]
进一步地，在其中一个实施例中，步骤3中dqn算法训练包括以下步骤。
[0092]
步骤3-1，初始化dqn网络参数和训练过程的参数，包括网络参数θ，θ-，经验回放集合d，动作选择策略的ε和其减量δ；
[0093]
步骤3-2，初始化环境参数：信道状态s
t
，令t＝0；
[0094]
步骤3-3，通过ε-greedy动作选择策略选择动作ai(t)，对mec服务器进行哈希功率的分配，获得相应的奖励r
t
并更新下一个状态s
t+1
，同时设置判断此轮训练是否结束的参数end(t)，end(t)＝1表示训练结束，否则end(t)＝0。
[0095]
步骤3-4，在经验回放池将每一条经验(s
t
,a
t
,r
t
,s
t+1
,end(t))进行存储，判断存储数量是否达到设定值，若是执行下一步，若否返回步骤3-3；
[0096]
步骤3-5，按照每个时间步t，以从d中随机采样k
t
个经验样本的抽取方式抽取部分数据输入到网络进行训练，计算目标值q
target
：
[0097][0098]
步骤3-6，根据随机梯度下降法更新参数θ，以使输出的估计值不断接近目标值q
target
。
[0099]
步骤3-7，多轮训练更新网络参数，每一轮的训练结束，记录平均奖励并返回步骤3-2，直至决策网络的平均奖励收敛。
[0100]
进一步地，在其中一个实施例中，步骤4所述根据训练得到的决策网络对哈希资源进行分配，具体为：将当前时隙的状态输入到决策网络，输出得到动作，即分配哈希资源的策略。
[0101]
在一个实施例中，提供了一种基于dqn算法的电子健康网络区块链共识系统，所述系统包括：
[0102]
网络构建模块，用于确定支持区块链交易的电子健康网络架构，并计算网络参数；
[0103]
模型构建模块，用于建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0104]
训练模块，用于利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，
直到整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0105]
分配模块，用于根据训练得到的决策网络对哈希资源进行分配。
[0106]
关于基于dqn算法的电子健康网络区块链共识系统的具体限定可以参见上文中对于基于dqn算法的电子健康网络区块链共识方法的限定，在此不再赘述。上述基于dqn算法的电子健康网络区块链共识系统中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0107]
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
[0108]
步骤1，确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；
[0109]
步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0110]
步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0111]
步骤4，根据训练得到的决策网络对哈希资源进行分配。
[0112]
关于每一步的具体限定可以参见上文中对于基于dqn算法的电子健康网络区块链共识方法的限定，在此不再赘述。
[0113]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0114]
步骤1，确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；
[0115]
步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；
[0116]
步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；
[0117]
步骤4，根据训练得到的决策网络对哈希资源进行分配。
[0118]
关于每一步的具体限定可以参见上文中对于基于dqn算法的电子健康网络区块链共识方法的限定，在此不再赘述。
[0119]
作为一个具体示例，在其中一个实施例中，对本发明进行进一步验证说明。
[0120]
首先按图2的架构建立一个电子健康网，由用户层、边缘层和云层3个层次构成。其中，区块的数据大小设置为5～10kb，mec服务器所分配的哈希功率遵循均匀分布20～100mhash/s，mec服务器挖矿价格遵循2
×
10-5
～10
×
10-5
tokens均匀分布。区块链网络的哈希功率在上遵循均匀分布1
×
103～1
×
105ghash/s，解决复杂问题并达成共识的矿工获得的奖励r为30tokens。
[0121]
基于此网络架构，宏基站中的控制器收集所有的mec服务器参与wban任务计算的相关信息，然后引入声誉机制，根据服务延迟和服务数量来评估每个mec服务器的声誉得分。
[0122]
根据步骤2对实施例中区块链共识问题的状态空间s(t)、动作空间a(t)和奖励函数r(t)进行建模后，依据步骤3对神经网络更新，其中参数设置为：学习速率α＝0.01，经验回忆池的容量d＝10000，经验样本k＝64，训练周期t＝600。
[0123]
训练阶段智能体与环境进行交互得到当前状态s
t
，选择动作a
t
后得到下一个状态s
t+1
和奖赏r
t
。经验回放池将每一条经验进行存储，存储到一定的数量后在每个时间步t，随机采样64个经验样本输入到神经网络进行训练，最小化损失函数l
t
(θ)对当前网络参数θ进行更新，而后使用梯度下降算法进行优化，将θ每隔n步传入目标值网络θ-，一个训练周期结束后，记录平均奖励并开始下一轮的计算，直至达到平均奖励收敛。
[0124]
图3为使用dqn学习策略和普遍流行的随机策略所获得mec服务器的总收入对比图。训练初期，dqn算法和随机策略所得到的mec系统收入基本一致，而随着训练周期的增加，dqn学习算法通过不断探索动作空间，得到当前最优的策略，使得系统收益不断地增加，直至收敛。
[0125]
综上所述，本发明方法根据服务时延和服务数量计算每个mec服务器的声誉评分，在区块链共识中能自适应调节mec服务器中的哈希功率资源，鼓励mec服务器进行区块链共识过程，共同维护区块链网络。本发明方法能够大幅提升网络收益性能，可以广泛应用在居家医疗、运动健身、战场士兵和疗养监测等场合中。
[0126]
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

技术特征：
1.一种基于dqn算法的电子健康网络区块链共识方法，其特征在于，所述方法包括以下步骤：步骤1，确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；步骤2，建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；步骤3，利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直至整个运行期间的奖励函数收敛，输出训练得到的决策网络；步骤4，根据训练得到的决策网络对哈希资源进行分配。2.根据权利要求1所述的基于dqn算法的电子健康网络区块链共识方法，其特征在于，步骤1中所述支持区块链交易的电子健康网络架构分为3个层次：用户层、边缘层和云层；所述用户层包括n个移动终端设备无线体域网wban用户，wban用于收集健康数据的可穿戴传感器设备；wban用户需要向区块链网络注册，通过一个区块链账号作为加入区块链网络的唯一的标识，成为合法的参与者；wban用户可在本地进行任务计算，也可将部分任务卸载到多路访问边缘计算mec服务器或者云服务器执行；所述边缘层包括宏基站和m个mec服务器，其中宏基站中控制器模块实现对系统网络的各种控制功能，包括哈希资源分配策略；宏基站用于对区块链网络进行监控，mec服务器为wban用户提供实时计算服务，同时参与区块链共识并获得相应奖励；云层包括云平台，由边缘层中的宏基站将任务调度到云服务器进行任务卸载计算；wban用户通过区块链购买数据处理任务的计算资源，并且由智能合约执行交易，称为交易合约。3.根据权利要求1或2所述的基于dqn算法的电子健康网络区块链共识方法，其特征在于，步骤1中区块链信誉评分机制即网络参数包括声誉评分、预期采矿奖励、服务费用；步骤1-1，根据区块链网络的总哈希能力h，以及mec服务器的哈希功率p
m
，得到mec服务器m对区块链网络的相对哈希能力为mec服务器集合；步骤1-2，设mec服务器m比其他mec服务器传播速度慢，该块被区块链网络孤立的概率为其中η＝1/600(sec)为常数平均值，φ(b
m
)为块的传播时间、b
m
为矿工m开采的区块中包含的交易数量；步骤1-3，根据步骤1-1和1-2的计算结果，得到mec服务器m预期采矿奖励r
m
：式中，r
f
为第一个矿工达成共识过程的报酬奖励；步骤1-4，每个mec服务器m完成计算任务后得到一个声誉评分χ
m
，用于衡量当前时隙该mec服务器的计算贡献，计算公式为：整个通信过程的若干时隙t∈{0,1,2,
…
t-1}，λ
l
和λ
q
为权重因子，
为wban用户集合；表示wban n是否将任务卸载到mec服务器m，当表示任务卸载到mec服务器m，反之没有卸载到mec服务器上；τ
n
表示任务的期望完成时间，表示wban n将任务卸载到mec服务器后完成实际所花费的时间；y
m
为mec服务器m的cpu核数；步骤1-5，卸载过程中，wban向边缘服务提供商支付服务费用γ
n,m
＝μ
·
q
n
，其中，μ表示计算服务的价格单位，q
n
表示任务所需的mec服务器cpu周期量。4.根据权利要求3所述的基于dqn算法的电子健康网络区块链共识方法，其特征在于，步骤2中所述mdp模型状态空间s(t)、动作空间a(t)和奖励函数r(t)；步骤2-1，每隔l个时隙开始新一轮的哈希功率分配，宏基站的控制器收集之前l个时隙所有wbans与各个mec服务器的连接策略和卸载策略，以此计算mec服务器的声誉评分；状态空间被定义为：空间被定义为：表示选择把任务卸载至mec服务器的wban用户集合，为任务集合，为连接策略集合，为卸载策略集合；步骤2-2，当前的动作空间a(t)定义为宏基站向mec服务器分配的哈希功率：a(t)＝{p
m
(t)|m＝1,2,
…
m}p
m
(t)表示在当前时隙t为mec服务器m分配的哈希功率；步骤2-3，区块链共识问题目标是最大化系统中的mec边缘服务器的总体收入，有效地分配矿工的哈希资源，由此将奖励函数表示为：其中r
m
为服务器m预期的挖矿奖励；η
m
为挖矿的成本，与分配的哈希功率相关，在不同的区块链中定价方法不同；γ
n,m
为wban用户n向mec服务器m支付计算费用。5.根据权利要求4所述的基于dqn算法的电子健康网络区块链共识方法，其特征在于，步骤3中dqn算法训练包括以下步骤。步骤3-1，初始化dqn网络参数和训练过程的参数，包括网络参数θ，θ-，经验回放集合d，动作选择策略的ε和其减量δ；步骤3-2，初始化环境参数：信道状态s
t
，令t＝0；步骤3-3，通过ε-greedy动作选择策略选择动作a
i
(t)，对mec服务器进行哈希功率的分配，获得相应的奖励r
t
并更新下一个状态s
t+1
，同时设置判断此轮训练是否结束的参数end(t)，end(t)＝1表示训练结束，否则end(t)＝0。步骤3-4，在经验回放池将每一条经验(s
t
,a
t
,r
t
,s
t+1
,end(t))进行存储，判断存储数量是否达到设定值，若是执行下一步，若否返回步骤3-3；步骤3-5，按照每个时间步t，以从d中随机采样k
t
个经验样本的抽取方式抽取部分数据输入到网络进行训练，计算目标值q
target
：步骤3-6，根据随机梯度下降法更新参数θ，以使输出的估计值不断接近目标值q
target
。
步骤3-7，多轮训练更新网络参数，每一轮的训练结束，记录平均奖励并返回步骤3-2，直至决策网络的平均奖励收敛。6.根据权利要求5所述的基于dqn算法的电子健康网络区块链共识方法，其特征在于，步骤4所述根据训练得到的决策网络对哈希资源进行分配，具体为：将当前时隙的状态输入到决策网络，输出得到动作，即分配哈希资源的策略。7.一种基于dqn算法的电子健康网络区块链共识系统，其特征在于，所述系统包括：网络构建模块，用于确定支持区块链交易的电子健康网络架构，并计算网络参数；模型构建模块，用于建立区块链共识mdp模型，确定状态空间、动作空间和奖励函数；训练模块，用于利用dqn算法进行区块链共识问题的训练，实现网络参数的更新，直到整个运行期间的奖励函数收敛，输出训练得到的决策网络；分配模块，用于根据训练得到的决策网络对哈希资源进行分配。8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述方法的步骤。

技术总结
本发明公开了一种基于DQN算法的电子健康网络区块链共识方法。该方法包括：确定支持区块链交易的电子健康网络架构，并设计区块链信誉评分机制即计算网络参数；然后将区块链共识问题建模为MDP并采用DQN算法对区块链共识方法进行训练。最后根据决策网络自适应分配哈希资源，以便得到最大化的边缘服务器总体收入。本发明提出的方法能够有效解决MEC环境的信任和隐私问题，获得最佳的网络服务性能，能在居家医疗、运动健身、战场士兵和疗养监测等场合中被广泛应用。中被广泛应用。中被广泛应用。


技术研发人员：周琪林 杨妮 吴守林 林高尚 王力立 黄成
受保护的技术使用者：南京理工大学
技术研发日：2022.03.07
技术公布日：2023/9/20