基于跨层设计联合深度Q网络的水声通信能量优化方法

基于跨层设计联合深度q网络的水声通信能量优化方法
技术领域
1.本发明属于水声通信和海洋信息技术领域，具体地说，涉及一种基于跨层设计联合深度q网络的水声通信能量优化方法。


背景技术：

2.水下通信网络在海洋灾害预警、水下军事作战、海上石油勘探等领域有着广泛的应用。
3.由于水下传感器节点电池能量有限，且在水下很难充电，所以水下传感器网络面临着能源效率的挑战。水下网络和陆地网络不同，水下协议栈大多数分为三层，即物理层、数据链路（mac）层、路由层。以上各层之间原则上独立运行，不会产生信息交互，然而协议栈中每层的信息参数都会对网络能耗产生很大影响，且层与层之间信息相互耦合，其他层信息的变动会对本层产生影响，如果仅对单层协议栈进行能量优化，不考虑其他层的信息影响，则很难实现网络能量的低功耗运行。
4.综上所述，以往的方法虽然可以在一定程度上降低水声通信网络的能耗，但是优化问题往往仅考虑单层的信息设计，没有充分联合网络中各子层的信息进行能量优化。


技术实现要素：

5.本发明的目的是提出一种基于跨层设计联合深度q网络的水声通信能量优化方法，以弥补现有技术的不足。
6.为实现上述发明目的，本发明采用下述技术方案予以实现：一种基于跨层设计联合深度q网络的水声通信能量优化方法，包括以下步骤：s1：布设水声传感网，建立水下网络物理层传输功率约束、mac层的信道访问速率约束、路由层的数据包吞吐量约束；s2：基于s1的各层网络约束，对所述水声传感网进行跨层设计，建立跨层能量优化模型；s3：使用dqn进行所述跨层能量优化模型参数的求解，迭代更新该模型参数；s4：将s3得到的模型参数进行验证，如果得到的能耗值大于阈值，则返回s3继续迭代更新参数后的跨层能量优化模型；如果能耗值小于阈值，则输出当前跨层能量优化模型的最佳参数。
7.进一步的，所述s1具体如下：s1-1：建立物理层传输功率约束：水下布设传感网，规定距离水面基站为且具有物理层容量为的节点在传输数据包时所需的功率为，用来表示两次连续传输之间的功耗，对传输功率约束模型建立为:；
其中，表示物理层比特容量随距离的衰减指数，表示物理层比特容量的波动系数，两者的计算公式为：；；其中，表示的折扣因子，其满足，表示的折扣因子，其满足；s1-2：建立mac层的信道访问速率约束：首先建立mac层的信道利用率模型，的计算公式为：；其中，表示mac层流量传输成功的概率，表示流量传输失败等待的时间，则最大信道访问速率约束公式为：；其中，为mac层传输流量的数量大小；s1-3：建立路由层的数据包吞吐量约束：假设路由层数据包的传输概率为，则由传输概率表示的网络数据包总吞吐量为：；其中，表示路由层数据包传输的次数，表示路由层数据包传输成功的概率；对网络数据包总吞吐量求导得到最佳传输概率为：；将代入网络数据包总吞吐量的计算公式中，并考虑节点剩余能量与吞吐量的关系，得到最优路由层数据包吞吐量约束为：；其中，表示路由层数据包传输的次数，表示路由层数据包传输成功的概率。
8.进一步的，所述s2中，建立跨层能量优化模型：
基于s1的各层网络约束，建立跨三层的能量优化模型：；其中，表示第个节点的能耗，跨层能量优化的目标就是最小化网络中所有节点的能耗，表示网络最大吞吐量，表示最大信道访问速率，表示信道带宽，表示信噪比，表示网络运行时间。
9.进一步的，所述s3具体如下：s3-1：建立q值迭代函数模型：将能量优化问题建立为三元组（, , ）的参数求解问题，通过已有能量优化数据训练网络，得到q值最大的一组参数，更新q值迭代函数的公式为：；其中，表示执行动作转移到状态的概率，表示折扣因子，是执行动作所获得的奖励，表示在状态的所有动作中，执行所获得的最大q值；s3-2：建立深度q网络模型奖励策略：在水声传感器网中，传感器节点的能量是有限的，为了使节点间均衡的消耗能量， dqn模型奖励策略考虑了节点的能量，深度q网络模型奖励函数计算公式为：；其中， 表示网络中节点的剩余能量；s3-3：求解能量优化模型参数：通过已有能量优化数据训练网络，得到q值最大的一组参数，将该参数与理想参数做均方误差求出损失值，通过不断调整参数降低损失值来求解出能量优化模型的最佳参数，损失函数的求解公式为：；
其中，代表权重，代表理想参数，其计算公式为：；其中，是执行动作所获得的奖励，表示折扣因子，表示在状态的所有动作中，在权重为时，执行所获得的最大q值。
10.进一步的，所述s4中，迭代输出能量优化的最佳参数：将得到的模型参数带入测试集验证，计算其能耗值，网络能耗值计算公式为：；其中，表示网络运行时间，表示第个节点的信道容量，表示第个节点数据包传输成功的概率；如果得到的能耗值大于阈值，则返回s3继续迭代更新参数后的能量优化模型如果能耗值小于阈值，则输出当前能量优化模型的最佳参数。
11.本发明的优点和技术效果如下：本发明首先在考虑能量的基础上建立水下网络物理层传输功率约束、mac层的信道访问速率约束、路由层的数据包吞吐量约束，有效设立了三层协议栈之间的约束关系；然后基于以上约束，进行跨层设计，建立跨层能量优化模型，打破了层与层之间的限制，实现了各层间的信息交互；最后采用深度q网络进行能量优化模型参数的求解，迭代更新跨层能量优化模型参数，直到输出网络能量优化的最佳参数，得到了网络能量优化的最佳值。
12.经过验证，本发明能够有效应对水剩传感器网能量受限的特殊环境，减少整体能耗，降低网络中节点的死亡速度。
附图说明
13.图1是本发明的一种实施例的整体流程图。
14.图2是本发明的一种实施例的深度q网络模型结构图。
15.图3是本发明的一种实施例的本发明与现有方法关于能量消耗随节点密度变化的仿真结果对比图。
16.图4是本发明的一种实施例的本发明与现有方法关于存活节点数量随时间变化的仿真结果对比图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图和实施例，对本发明作进一步详细说明。
18.实施例1：水下部署传感网，由于传感器节点电池容量有限，且供电电池无法更换，考虑单层
协议栈优化很难达到低功耗网络的需求，本实施例通过跨层优化的方式充分利用层与层之间信息交互，来消除对等层间存在冗余的通信开销。如何有效应对水声传感器网能量受限的特殊环境，减少网络的整体能耗，降低网络中节点的死亡速度，是本实施例所要解决的技术问题。
19.本实施例提出了一种基于跨层设计联合深度q网络的水声通信能量优化方法，其整体流程图如图1所示，包括以下步骤：s1：水下布设传感网，在考虑能量的基础上建立水下网络物理层传输功率约束、mac层的信道访问速率约束、路由层的数据包吞吐量约束，具体步骤如下：s1-1：建立水下网络物理层传输功率约束：水下布设水声传感网，规定距离水面基站为且具有物理层容量为的节点在传输数据包时所需的功率为，用来表示两次连续传输之间的功耗，对传输功率约束模型建立为：；其中，表示物理层比特容量随距离的衰减指数，表示物理层比特容量的波动系数，计算公式为：；；其中，表示的折扣因子，其满足，表示的折扣因子，其满足。
20.s1-2：建立水下网络mac层的信道访问速率约束：首先建立mac层的信道利用率模型，的计算公式为：；其中，表示mac层流量传输成功的概率，表示流量传输失败等待的时间，则最大信道访问速率约束公式为：；其中，为mac层传输流量的数量大小。
21.s1-3：建立路由层的数据包吞吐量约束：假设路由层数据包的传输概率为，则由传输概率表示的网络数据包总吞吐量为：；
其中，表示路由层数据包传输的次数，表示路由层数据包传输成功的概率。对网络数据包总吞吐量求导得到最佳传输概率为：；将代入网络数据包总吞吐量的计算公式中，并考虑节点剩余能量与吞吐量的关系，得到最优路由层数据包吞吐量约束为：；其中，表示路由层数据包传输的次数，表示路由层数据包传输成功的概率。
22.s2：基于s1的各层网络约束，对网络进行跨层设计，建立跨三层的能量优化模型,具体步骤如下：s2-1：建立跨三层的能量优化模型：基于s1的各层网络约束，对网络进行跨层设计，建立跨三层的能量优化模型：；其中，表示第个节点的能耗，跨层能量优化的目标就是最小化网络中所有节点的能耗，表示网络最大吞吐量，表示最大信道访问速率，表示信道带宽，表示信噪比，表示网络运行时间。
23.s3：使用深度q网络（dqn）进行s2中能量优化模型参数的求解，迭代更新跨层能量优化模型参数，具体步骤如下：s3-1：建立网络q值迭代函数模型：将能量优化问题建立为三元组（, , ）的参数求解问题，通过已有能量优化数据训练网络，得到q值最大的一组参数，更新q值迭代函数的公式为：；其中，表示执行动作转移到状态的概率，表示折扣因子，是执行动作所获得的奖励。表示在状态的所有动作中，执
行所获得的最大q值。
24.s3-2：建立深度q网络模型奖励策略：在水声传感网中，传感器节点的能量是有限的，为了使节点间均衡的消耗能量，dqn模型奖励策略考虑了节点的能量，深度q网络模型奖励函数计算公式为：；其中， 表示网络中节点的剩余能量。
25.s3-3：求解能量优化模型参数：通过已有能量优化数据训练网络，得到q值最大的一组参数，将该参数与理想参数做均方误差求出损失值，通过不断调整参数降低损失值来求解出能量优化模型的最佳参数，损失函数的求解公式为：；其中，代表权重，代表理想参数，其计算公式为：；其中，是执行动作所获得的奖励，表示折扣因子，表示在状态的所有动作中，在权重为时，执行所获得的最大q值。
26.本发明实施例所使用的深度q网络模型结构图如图2所示。网络根据环境约束信息在考虑能量的情况下给予深度q网络模型奖励，参数估计网络选取卷积神经网络模型（cnn），输入是网络各层参数，输出是q值最大的最佳能量优化模型，根据测试集网络模型不断迭代更新网络，直到输出最佳能量优化参数。
27.s4：将得到的模型参数带入测试集验证，如果得到的能耗值大于阈值，则返回s3继续迭代更新参数后的能量优化模型。如果能耗值小于阈值，则输出当前能量优化模型的最佳参数，具体步骤如下：s4-1：迭代输出能量优化的最佳参数：将得到的模型参数带入测试集验证，计算其能耗值，网络能耗值计算公式为：；其中，表示第个节点的信道容量，表示第个节点数据包传输成功的
概率。如果得到的能耗值大于阈值，则返回s3继续迭代更新参数后的能量优化模型。如果能耗值小于阈值，则输出当前能量优化模型的最佳参数。
28.实施例2：针对实施例1提出的方法进行仿真实验验证：使用实施例提供的方法和使用现有单层能量优化的方法网络能量消耗随节点密度变化的仿真结果对比如图3所示。在aqua-sim-ng(基于ns-3的水下传感器网络模拟器)中完成仿真模拟，本实施例中所有仿真的具体参数如表1所示。
29.表1 仿真参数仿真参数数值网络的大小1200
×
1200
×
1200m3声信号速度1.5km/s节点数量100-600数据包大小5kb节点通信范围50m节点初始能量800j节点的数据传输速率4kbps节点数据传输消耗0.3j/s。
30.从图3的仿真结果可以看出，随着节点数量的增多，水下传感网的能耗不断降低，当节点数量达到600时，本发明方法比单层能量优化方法节省了约340焦耳的能量。
31.使用本发明和现有单层能量优化的方法网络中存活节点数量随时间变化的仿真结果对比如图4所示。从图4的仿真结果可以看出，当水下网络运行了10小时的时候。本发明节点存活数量为360个左右，而单层能量优化方法节点存活数量为180个左右。
32.综上所述，本发明能够有效的降低网络能耗，且有效的平衡能量消耗，降低传感器节点死亡的速度。
33.以上实施例仅用以说明本发明的技术方案，而非对其进行限制；尽管参照前述实施例对本发明进行了详细的说明，对于本领域的普通技术人员来说，依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应技术方案的本质脱离本发明所要求保护的技术方案的精神和范围。

技术特征：
1.一种基于跨层设计联合深度q网络的水声通信能量优化方法，其特征在于，该方法包括以下步骤：s1：布设水声传感网，建立水下网络物理层传输功率约束、mac层的信道访问速率约束、路由层的数据包吞吐量约束；s2：基于s1的各层网络约束，对所述水声传感网进行跨层设计，建立跨层能量优化模型；s3：使用dqn进行所述跨层能量优化模型参数的求解，迭代更新该模型参数；s4：将s3得到的模型参数进行验证，如果得到的能耗值大于阈值，则返回s3继续迭代更新参数后的跨层能量优化模型；如果能耗值小于阈值，则输出当前跨层能量优化模型的最佳参数。2.如权利要求1所述的水声通信能量优化方法，其特征在于，所述s1具体如下：s1-1：建立物理层传输功率约束：水下布设传感网，规定距离水面基站为且具有物理层容量为的节点在传输数据包时所需的功率为，用来表示两次连续传输之间的功耗，对传输功率约束模型建立为:；其中，表示物理层比特容量随距离的衰减指数，表示物理层比特容量的波动系数，两者的计算公式为：；；其中，表示的折扣因子，其满足，表示的折扣因子，其满足；s1-2：建立mac层的信道访问速率约束：建立mac层的信道利用率模型，的计算公式为：；其中，表示mac层流量传输成功的概率，表示流量传输失败等待的时间，则最大信道访问速率约束公式为：；其中，为mac层传输流量的数量大小；s1-3：建立路由层的数据包吞吐量约束：假设路由层数据包的传输概率为，则由传输概率表示的网络数据包总吞吐量
为：；其中，表示路由层数据包传输的次数，表示路由层数据包传输成功的概率；对网络数据包总吞吐量求导得到最佳传输概率为：；将代入网络数据包总吞吐量的计算公式中，得到最优路由层数据包吞吐量约束为：；其中，表示路由层数据包传输的次数，表示路由层数据包传输成功的概率。3.如权利要求1所述的水声通信能量优化方法，其特征在于，所述s2中，建立跨层能量优化模型：；其中，表示第个节点的能耗， 表示网络最大吞吐量，表示最大信道访问速率，表示信道带宽，表示信噪比，表示网络运行时间。4.如权利要求1所述的水声通信能量优化方法，其特征在于，所述s3具体如下：s3-1：建立q值迭代函数模型：通过已有能量优化数据训练网络，得到q值最大的一组参数，更新q值迭代函数的公式为：；其中，表示执行动作转移到状态的概率，表示折扣因子，是执行动作所获得的奖励，表示在状态的所有动作中，执行所获得的最大q值；
s3-2：建立深度q网络模型奖励策略：深度q网络模型奖励函数计算公式为：；其中， 表示网络中节点的剩余能量；s3-3：求解能量优化模型参数：损失函数的求解公式为：；其中，代表权重，代表理想参数，其计算公式为：；其中，是执行动作所获得的奖励，表示折扣因子，表示在状态的所有动作中，在权重为时，执行所获得的最大q值。5.如权利要求1所述的水声通信能量优化方法，其特征在于，所述s4中，迭代输出能量优化的最佳参数：将得到的模型参数进行验证，计算其能耗值，网络能耗值计算公式为：；其中，表示网络运行时间，表示第个节点的信道容量，表示第个节点数据包传输成功的概率；如果得到的能耗值大于阈值，则返回s3继续迭代更新参数后的能量优化模型如果能耗值小于阈值，则输出当前能量优化模型的最佳参数。

技术总结
本发明公开了一种基于跨层设计联合深度Q网络的水声通信能量优化方法。本发明首先水下布设水声传感网，在考虑能量的基础上建立水下网络物理层传输功率约束、MAC层的信道访问速率约束、路由层的数据包吞吐量约束；然后基于以上约束，对网络进行跨层设计，建立跨三层的能量优化模型；最后采用深度Q网络进行能量优化模型参数的求解，迭代更新跨层能量优化模型参数，直到输出网络能量优化的最佳参数。本发明能够有效应对水下声学传感器网络通信时能量受限的环境，降低网络通信的能量消耗。降低网络通信的能量消耗。降低网络通信的能量消耗。


技术研发人员：刘帅 王渝 郁泽慧 曹润琪 王猛 矫禄禄 刘钊 王景景
受保护的技术使用者：青岛科技大学
技术研发日：2023.05.08
技术公布日：2023/7/13