计算任务卸载方法、计算设备及存储介质

1.本技术涉及无线通信技术领域，特别涉及一种计算任务卸载方法、计算设备、及存储介质。


背景技术：

2.5g移动通信网、物联网和工业物联网等多网融合促进了网络应用服务与工业化产业链发展，数据流量、网络接入量持续激增，终端设备产生海量“小数据”等实时处理需求高速增长，网络带宽与计算吞吐量成为计算的性能瓶颈。采用传统云计算中心的网络模式时，大量的数据流量和计算需求涌入云计算中心，远距离的传输与计算必将造成流量拥堵、计算延迟与隐私安全问题，难以满足多样化场景下用户的网络需求，提供安全可靠的网络服务。因此，未来的网络演进需要新兴移动边缘计算( mobile edge computing，mec)网络的技术支持。
3.移动边缘计算被视为5g新兴技术和物联网产业的关键使能技术，是数字信息化转型的重要平台，成为满足行业数字化转型中敏捷连接、实时业务、隐私保护等关键支撑。在智慧交通，虚拟现实等集合计算密集和时延敏感特征的计算任务产生场景，移动边缘计算凭借其下沉边缘，就近服务的特点能够完美解决云计算模式下的向云计算数据中心请求计算服务所造成的时延问题，使虚拟现实技术和智慧交通服务能够有望进一步的发展。在智慧城市和智能制造等场景，需要容纳海量设备接入，进行数据分析和系统管理。在移动边缘网络中，大量智能设备的接入产生了高维的多元化计算任务，而网络也呈现密集异构的特点。对于被提供服务的边缘用户，边缘用户之间，用户及服务器间的信息不对等，若仅依靠自身能够获取的信息进行资源的竞争，难以获得高质量的网络服务。
4.因此，如何根据计算任务的不同需求产生合理卸载顺序和卸载决策，以提升海量多元化计算任务的执行效率，从而提供高质量的网络服务，是目前亟需解决的问题。


技术实现要素：

5.本技术提供了一种计算任务卸载方法、计算设备及存储介质，能够针对上述存在的问题，根据计算任务的不同需求产生合理卸载顺序和卸载决策，以提升海量多元化计算任务的执行效率，从而提供高质量的网络服务。
6.为了实现上述目的，第一方面，本技术提供了一种计算任务卸载方法，该方法包括：s1：建立超密集边缘计算udec网络的系统模型，该udec网络包括边缘服务器和边缘用户节点；s2：基于该边缘用户节点所产生计算任务的任务需求信息和该系统模型，建立该udec网络的马尔科夫决策过程，该马尔科夫决策过程的状态空间至少包括：计算任务队列中各个计算任务的任务计算量、任务数据量和任务期待时延；s3：采用模糊逻辑算法，简化该马尔科夫决策过程的状态空间，得到任务状态空
间，该任务状态空间至少包括：计算任务的优先级状态；s4：基于该s3简化后的马尔科夫决策过程和该udec网络的通信模型，通过强化学习算法，确定该计算任务队列的优先级顺序和卸载对象，该优先级顺序和该卸载对象使得该计算任务队列的任务完成时延和任务成功率满足预定的效用目标；s5：根据该优先级顺序和该卸载对象，对该计算任务队列进行任务卸载。
7.在一种可能实施方式中，该步骤s3包括：s31：按照数值和语言变量之间的模糊关系，对该状态空间包括的任务计算量、任务数据量和任务期待时延进行模糊化处理，得到输入模糊集；s32：按照模糊推理规则集对该输入模糊集进行推理，自适应得到该任务状态空间中计算任务的优先级状态值，该模糊推理规则指示：该任务计算量、任务数据量和任务期待时延影响任务卸载优先级的规则。
8.在一种可能实施方式中，该步骤s31包括：根据任务计算量、任务数据量和任务期待时延的数值，将该任务计算量的语言变量描述为{少，中，多}，将该任务数据量的语言变量描述为{少，中，多}，将任务期待时延的语言变量描述为{长，中，短}，得到输入模糊集；该优先级状态值的语言变量描述为{特急，紧急，常规，等待}；该模糊关系表示为隶属度函数，隶属度值越大数值属于模糊集的程度越高，该隶属度函数表示为：
9.表示论域，分别对应于输入的该任务计算量、任务数据量和任务期待时延的数值，表示上的模糊关系，表示上的模糊关系，表示对所有取最大值，表示二项式积算子，定义为取最小值或者代数积。
10.在一种可能实施方式中，该系统模型表示为：
11.其中，表示该网络中包含的 n 个该边缘用户节点；表示该网络中包含的m 个部署了该边缘服务器的节点；表示计算任务所需传输的数据量，表示计算任务的任务计算量；表示边缘用户节点期待的任务完成时延；表示边缘服务器的计算能力，表示边缘服务器的存储能力，表示边缘服务器 j 的物理位置，表示边缘用户节点 i 的物理位置，m 和 n 为正整数；连续时空中产生的计算任务以时隙的方式进行分割，该系统模型的状态在每个时隙中恒定，在不同时隙之间变化；该步骤s2包括：
在每个时隙内，响应于边缘用户节点的任务卸载请求，获取计算任务的任务需求信息，该任务需求信息包括：任务计算量、任务数据量和任务期待时延；根据该任务需求信息、边缘服务器的资源状态信息和该系统模型，建立马尔科夫决策过程，该马尔科夫决策过程的状态空间表示为：
12.其中，和分别表示该时隙中计算任务队列的计算量矩阵和期待时延矩阵；中的表示计算任务的任务计算量，中的表示计算任务的任务数据量，表示任务期待时延，表示边缘服务器的计算能力，表示边缘服务器当前的计算任务队列中的等待时延，其中，n为计算任务数量；该简化得到的任务状态空间还包括边缘服务器的计算资源状态，该任务状态空间表示为：
13.其中，表示计算任务的优先级状态值，表示该计算资源状态。
14.在一种可能实施方式中，该效用目标为：使该计算任务队列的任务完成时延更小且任务成功率更大；该步骤s4包括：在每个时隙t中，基于该s3简化后得到的任务状态空间进行决策，得到动作，，和为优先级权重系数；按照动作，更新计算任务队列的优先级权重系数，得到计算任务队列的优先级顺序，计算任务的优先级的计算公式为：
15.其中，改变任务期待时延的占比，改变当前任务计算需求占该时隙所有计算任务的计算需求占比，改变计算任务针对自身的任务期待时延的紧迫性，，和之间关系满足如下约束：
16.单用户的效用值定义为任务完成时延和任务成功率：
17.其中，为计算任务的完成状态，为调整系数，k为边缘用户节点的数量，表示计算任务所需传输的数据量，表示计算任务的计算量，为计算任务的预测完成时延；若存在使计算任务的完成状态且效用值最高的边缘服务器，将该边缘服务器确定为卸载对象；否则，对比最高效用值的边缘服务器节点与将任务卸载到预设阈值距离范围内的空闲边缘用户节点所消耗的任务时延，从中选取任务时延符合效用目标的节点作为卸载对象。
18.在一种可能实施方式中，该方法还包括：按照该优先级顺序卸载n个任务，基于本次卸载的任务时延和任务成功率，确定本次动作的即时奖励值，更新马尔科夫决策过程的动作价值函数，更新公式为：
19.其中，为调整系数，示计算任务的完成状态，当计算任务的实际完成时延超出任务期待时延，定义为失败，赋值为0；反之定义为成功，赋值为 1；n为计算任务的数量，表示等待被执行的计算任务的任务计算量（com 指示等待被执行），为计算任务的实际完成时延。
20.在一种可能实施方式中，该通信模型用于描述：信道增益随发送端与接收端之间分离距离的变化而变化，边缘用户节点针对不同的卸载对象使用不同通信模式进行数据传输；其中，在卸载对象为边缘服务器的情况下，边缘用户节点和被卸载的边缘服务器之间使用蜂窝通信模式，边缘用户节点和被卸载的边缘服务器之间的传输速率表示为：
21.其中，表示边缘服务器所在节点的带宽，当多个边缘用户节点选择卸载到该节点时，按照卸载顺序等待传输，为边缘用户节点发射功率，是背景噪声功率谱密度；为边缘用户节点和被卸载的边缘服务器所在节点之间的信道增益：
22.其中，表示小尺度衰减系数，表示边缘用户节点和边缘服务器所在节点
之间的距离，γ为信道衰减因子；在卸载对象为附近的边缘用户节点的情况下，边缘用户节点和被卸载的边缘用户节点之间使用终端直通d2d通信模式，边缘用户节点和被卸载的边缘用户节点之间的传输速率表示为：
23.其中，表示边缘用户节点和被卸载的边缘用户节点之间的信道增益，为边缘用户节点在网络中复用的蜂窝链路中的带宽，是背景噪声功率谱密度。
24.在一种可能实施方式中，当卸载对象为边缘服务器，计算任务的第一实际完成时延包括：用户上传计算数据的第一传输时延、用户在服务器中的等待时延、以及第一实际计算时延；其中，该第一传输时延表示为：
25.表示边缘用户节点上传到边缘服务器所在节点的传输速率，表示该计算任务计算所需的数据量；该等待时延包括在该计算任务之前该边缘服务器正在进行的计算任务的剩余计算时延及该边缘服务器的计算任务队列中等待计算的计算任务的预计计算时延，该等待时延表示为：
26.表示等待在边缘服务器中的计算任务计算时延之和（com 指示等待被执行），表示正在执行的计算任务的剩余计算时间（exe 指示正在执行）；该第一实际计算时延表示为：，其中，表示节点 n 的计算量，表示边缘服务器 m 的计算能力；
27.该边缘用户节点的计算任务的第一实际完成时延表示为：
；当边缘用户节点i的计算任务卸载到附近的边缘用户节点k时，按照边缘用户节点k的计算能力确定卸载比例；被卸载的边缘用户节点k的计算量卸载比例表示为：
28.其中，表示边缘用户节点k的计算能力；边缘用户节点计算所需传输的数据量与计算量成比例：数据量传输比例等于；计算任务的第二实际完成时延包括：将计算数据上传到所分配到的边缘用户节点的第二传输时延以及第二实际计算时延，该第二传输时延表示为：
29.表示边缘用户节点分配到部分的计算任务所需传输数据占比，表示边缘用户节点和被卸载的边缘用户节点之间的传输速率；该第二实际计算时延表示为：
30.表示分配到被卸载的边缘用户节点部分的计算任务计算量占比；该第二实际完成时延表示为：。
31.第二方面，提供一种基于软件定义网络sdn的超密集边缘计算udec网络系统，该系统包括：边缘服务器、边缘用户节点和sdn控制器，该sdn控制器用于第一方面中任一种可能实施方式该的计算任务卸载方法。
32.在一种可能实施方式中，该边缘服务器部署在该系统的小区云增强型节点sccenb上；该sdn控制器部署在该系统的宏基站上。
33.第三方面，提供一种计算任务卸载装置，应用于第二方面提供的网络系统中，该装置包括多个功能模块，用于执行如第一方面所提供的计算任务卸载方法中的对应步骤。
34.第四方面，提供一种计算设备，该计算设备包括存储器和处理器，所述存储器存储
有至少一段程序，所述至少一段程序由处理器执行以实现如第一方面提供的计算任务卸载方法。
35.第五方面，提供一种计算机可读存储介质，该存储介质中存储有至少一段程序，该至少一段程序由处理器执行以实现如第一方面提供的计算任务卸载方法。
36.本技术提供的技术方案至少包括如下技术效果：针对超密集边缘计算网络中各个用户节点的计算任务，根据计算任务的任务计算量、任务数据量和任务期待时延等需求信息，进行马尔科夫建模得到状态空间，再采用模糊逻辑算法简化状态空间，从而用任务状态空间简洁地表示任务的优先级状态；进而根据网络的通信模型以及优先级状态，采用强化学习算法进行决策，综合任务的完成时延和任务成功率，来得到合理的任务卸载顺序以及卸载对象。上述方案在任务获取的平均算力和任务成功率等方面均具备良好的性能，能够对计算任务的不同需求产生合理卸载顺序和卸载决策，有效提升多元化计算任务的执行效率，从而提供高质量的网络服务。
附图说明
37.图1是本技术实施例提供的一种基于sdn的超密集边缘计算网络系统的示意图；图2是本技术实施例提供的一种计算任务卸载方法的流程示意图；图3是本技术实施例提供的一种本技术实施例提供的一种输入量与输出状态值之间关系的曲面观测图；图4是本技术实施例提供的一种效用值函数收敛图；图5是本技术实施例提供的一种随着用户任务数量变化的任务获取的平均算力柱状图；图6是本技术实施例提供的一种任务成功率随着用户任务数量变化的柱状图；图7是本技术实施例提供的一种计算设备的硬件结构示意图。
具体实施方式
38.为进一步说明各实施例，本技术提供有附图。这些附图为本技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本技术的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
39.现结合附图和具体实施方式对本技术进一步说明。
40.相关领域中，移动边缘计算将it服务环境与云计算放置在无线接入网络(radio access network, ran)边缘，使计算功能不再局限于远程服务器，在靠近用户侧提供计算、存储等服务，减轻网络负荷的同时能够满足一些场景下所需的高带宽、低时延的要求，并在一定程度上保护用户隐私安全。但受到僵化且高成本的网络基础设施的限制，移动边缘计算难以实现5g异构网络中资源的管理。
41.软件定义网络(software-defined networking,sdn)技术为解决该问题提出了新的思路。sdn是一项革命性技术，它通过分离数据平面和控制平面任务，使网络更加敏捷和灵活。sdn在网络功能虚拟化(network function virtualization, nfv)基础设施上部署移动网络服务方面发挥着关键作用，以实现核心网络服务的弹性和灵活部署为移动边缘计
算开辟了新的演进方向：基于sdn进行扁平化扩展与增强，将核心网用户面功能下沉到基站，支持网络和应用程序虚拟化网络功能的灵活放置/迁移，由具有准入管理功能的 nfv管理器管理，能够即时管理网络功能和资源。
42.但是，边缘服务器的分布性和异构性及边缘用户间信息不对等，为用户计算任务的卸载带来了挑战。
43.有鉴于此，本技术提供了一种基于强化学习的边缘计算任务卸载方法，用于解决目前边缘计算网络中所存在的技术问题。
44.下面先对本技术涉及的实施环境进行介绍。
45.图1为本技术提供的一种基于sdn的超密集边缘计算(ultra-denseedge computing,udec)网络系统的示意图。参考图1，该系统是一种5g超密集网络与移动边缘计算的融合的网络，能够实现边缘服务器的密集部署，贴近边缘用户，应对庞大的计算需求。
46.该系统包括多个边缘服务器、边缘用户节点和sdn控制器该边缘服务器部署在该系统蜂窝网络中的小型通信节点上，例如，小区云增强型节点(small cell cloud enhanced nodeb, sccenb)上。
47.sdn控制器（sdn controller）部署在该系统中央的宏基站上。该sdn控制器用于对所连接到的蜂窝网络及边缘服务器（记为sccenb）进行控制操作。sdn控制器有权限获取当前区域内的边缘服务器网络拓扑，收集实时网络状态，以及移动用户（边缘用户节点记为eu）的任务产生情况和服务器的使用情况，并应答用户的任务卸载请求。
48.eu和sccenb之间，采用蜂窝链路进行通信；eu和eu之间，采用终端直通(device to device,d2d)链路进行通信；sdn controller和sccenb之间，采用高速链路进行通信。
49.其中，边缘用户节点可以是任意计算设备或终端设备，例如，个人电脑、智能汽车、智能手机、虚拟现实终端等等，本技术对此不作限定。
50.上述通信节点或边缘服务器可以是物理服务器、服务器集群、云服务器集群、内容分发网络等等，本技术对此不作限定。
51.需要说明的是，上述sdn控制器是不依赖于某种专用硬件、用于提供网络控制的软件系统，例如，运行在服务器或服务器集群中的操作系统、应用程序或任意计算实例，本技术不局限于此。
52.下面结合上述图1示出的系统架构，对本技术的技术方案进行详细介绍。图2是本技术实施例提供的一种计算任务卸载方法的流程示意图，参考图2，本技术提供的技术方案包括下述步骤201至步骤205，由上述sdn控制器执行。
53.步骤201：建立超密集边缘计算udec网络的系统模型，该超密集边缘计算网络包括边缘服务器和边缘用户节点。
54.在本技术实施例中，系统模型可以表示为：
55.其中，eu表示网络中包含的n个边缘用户节点；表示网络中包含的m个
部署了边缘服务器的节点；表示计算任务所需传输的数据量，表示计算任务的任务计算量；表示边缘用户节点期待的任务完成时延；表示边缘服务器的计算能力，表示边缘服务器的存储能力，表示边缘用户节点 i 的物理位置，表示边缘服务器 j 的物理位置，m 和 n 为正整数。
56.在一些实施例中，考虑到移动用户的移动性，不同时刻可能被覆盖在不同边缘服务器下，为了描述不同时刻的状态，可以将连续时空中产生的计算任务以时隙的方式进行分割，该系统模型的状态在每个时隙中恒定，在不同时隙之间变化。可选地，在一个时隙t中，设定每个移动用户（边缘用户节点）在每个时隙中仅生成一个具有计算需求的任务（计算任务），边缘服务器和用户节点配备有不同计算能力的单核处理器；服务器或用户节点中可能会有多个已卸载的计算任务，服务器或用户节点按照计算任务卸载到本节点的顺序来依次处理这些计算任务。
57.在本技术实施例中，参考图1，不同类节点之间的通信模式不一样，本技术提供了一种对网络系统的通信模型进行针对性、区分性建模的方式，来有效克服边缘服务器的分布性和异构性带来的计算卸载挑战。下面对通信信道建模的过程进行介绍。
58.本技术实施例中，通信模型用于描述：信道增益随发送端与接收端之间分离距离的变化而变化。可选地，信道模型采用弗里斯自由空间损耗模型。
59.在一种可能实施方式中，边缘用户节点针对不同的卸载对象可以使用不同通信模式进行数据传输。其中，卸载对象是指，用于执行计算任务的计算设备，也即是，计算任务将要卸载到的计算设备。示例性地，在分布式架构中，卸载是指将计算负载分散或分配到计算节点中的资源调度行为。
60.其中，在卸载对象为边缘服务器的情况下，边缘用户节点和被卸载的边缘服务器之间使用蜂窝通信模式。示例性地，当用户节点接收到sdn 控制器返回的卸载决策后，将数据上传到节点，采用蜂窝模式进行数据传输。边缘用户节点和被卸载的边缘服务器之间的传输速率表示为：
61.其中，表示边缘服务器所在节点的带宽，当多个边缘用户节点选择卸载到该节点时，按照卸载顺序等待传输，为边缘用户节点发射功率，是背景噪声功率谱密度；为边缘用户节点和被卸载的边缘服务器所在节点之间的信道增益：
62.其中，表示小尺度衰减系数，表示边缘用户节点和边缘服务器所在节点
之间的距离，为信道衰减因子。
63.在卸载对象为附近的其他用户节点的情况下，边缘用户节点和被卸载的边缘用户节点之间使用终端直通d2d通信模式。在一种可能实施方式中，由于边缘用户计算能力的有限性，每次仅与一个用户节点进行通信。边缘用户节点和被卸载的边缘用户节点之间的传输速率表示为：
64.其中，表示边缘用户节点和被卸载的边缘用户节点之间的信道增益，为边缘用户节点在网络中复用的蜂窝链路中的带宽，是背景噪声功率谱密度。
65.步骤202：基于边缘用户节点所产生计算任务的任务需求信息和系统模型，建立udec网络的马尔科夫决策过程。
66.在本技术实施例中，该马尔科夫决策过程的状态空间至少包括：计算任务队列中各个计算任务的任务计算量、任务数据量和任务期待时延。
67.在一些实施例中，任务需求信息包括：任务计算量、任务数据量和任务期待时延。在这种示例下，本步骤202可以包括下述步骤a和步骤b：步骤a、在每个时隙内，响应于边缘用户节点的任务卸载请求，获取计算任务的任务需求信息。
68.在一些实施例中，在每个时隙内，用户设备（边缘用户节点）以计算任务卸载请求的形式将自身计算任务的任务计算量、任务数据量和任务期待时延通过附近的（边缘服务器）发送到sdn控制器。
69.步骤b、根据任务需求信息、边缘服务器的资源状态信息和系统模型，建立马尔科夫决策过程。
70.其中，服务器的资源状态信息包括边缘服务器的计算能力和网络信道状态等数据。示例性地，该网络信道状态可以根据信道传输速率得到，又或者，该网络信道状态可以用传输时延来表示，本技术不局限于此。
71.可以理解地，边缘计算网络中，边缘服务器的计算能力和网络信道状态等数据在时隙内是相对稳定的，但是每个时隙内，不同边缘用户产生的任务的数据量、计算量和期待时延等是差异性的。基于上述步骤得到的马尔科夫决策过程的状态空间表示为：
72.其中，和分别表示时隙中计算任务队列的计算量矩阵和期待时延矩阵；中的表示计算任务的任务计算量，中的表示计算任务的任务数据量，表示任务期待时延，
表示边缘服务器的计算能力，表示边缘服务器当前的计算任务队列中的等待时延，其中，n为计算任务数量。
73.步骤203：采用模糊逻辑算法，简化马尔科夫决策过程的状态空间，得到任务状态空间。
74.其中，该任务状态空间至少包括：计算任务的优先级状态。在一些实施例中，该优先级状态相当于一种标签类信息，用于指示计算任务被卸载的紧迫程度。
75.边缘用户节点所产生的计算任务可以认为是由提供各种服务的不同应用所产生的。因此，计算任务的数据量、计算量和任务期待时延构成了多样化的特征，这些数据的区间较大，数据之间的离散精度较高。并且，一组计算任务队列中通常有一定数量的计算任务，从而使上述建模得到的马尔科夫决策过程的状态矩阵极其庞大，不利于智能体的学习。
76.本技术实施例中，使用模糊逻辑算法对状态矩阵进行简化，所得到的任务状态空间中，用优先级状态来简洁地指示计算任务被卸载的紧迫程度，从而降低智能体学习的难度，提升智能体学习的效率。
77.在一种可能实施方式中，本步骤203包括下述步骤s31和步骤s32。
78.s31：按照数值和语言变量之间的模糊关系，对状态空间包括的任务计算量、任务数据量和任务期待时延进行模糊化处理，得到输入模糊集。
79.在一种可能实施方式中，本步骤31包括：根据任务计算量、任务数据量和任务期待时延的数值，将任务计算量的语言变量描述为{少，中，多}，将任务数据量的语言变量描述为{少，中，多}，将任务期待时延的语言变量描述为{长，中，短}，得到输入模糊集；优先级状态值的语言变量描述为{特急，紧急，常规，等待}。
80.在上述模糊化过程中，数值转化为模糊值（例如，少、中或多），语言变量被划分为重叠的模糊集，成为隶属度函数。模糊关系也即可以表示为隶属度函数，隶属度值越大数值属于模糊集的程度越高，隶属度函数表示为：
81.表示论域，分别对应于输入的任务计算量、任务数据量和任务期待时延的数值，表示上的模糊关系，表示上的模糊关系，表示对所有取最大值，表示二项式积算子，定义为取最小值或者代数积。
82.本技术实施例中，提供了一种构建模糊关系的模糊逻辑来解决精确的数学语言和模糊的思维习惯之间的矛盾。在某时刻中对某一任务的特征进行描述，例如，计算所需传输的数据量的多少，若仅基于任务数据量的单一数值进行评价，不论是“多”还是“少”都是不准确的。“多”或“少”这样的模糊描述区间，被定义为模糊集合，并引入隶属度表示程度，隶属度值越大，表明数值属于这个模糊集合的程度越高。
83.可选地，隶属度函数服从高斯分布，即：
84.s32：按照模糊推理规则集对输入模糊集进行推理，自适应得到任务状态空间中计算任务的优先级状态值。
85.本技术实施例中，模糊推理规则指示：任务计算量、任务数据量和任务期待时延影响任务卸载优先级的规则。
86.模糊推理是将输入的模糊集通过一定运算对应到特定输出模糊集的计算过程。模糊推理规则是在进行模糊推理时依赖的规则，通常可以用自然语言表述。参考表1，表1是本技术实施例提供的一种模糊推理规则集。在一种可能实施方式最后，可以使用基于mamdani模糊推理系统来进行上述模糊推理过程，自适应生成状态值。表1中，input data是指任务数据量，compute是指任务计算量，delay是指任务期待时延，outputstate是指输出的任务优先级状态。input data、compute和delay也即构成了步骤s31进行模糊化处理得到的模糊集。当然，在一些可能实施方式中，本技术提供的方法还能够用于处理更多项或更少项的数据，本技术不局限于此。
87.表1
88.在本技术实施例中，简化得到的任务状态空间包括计算任务的优先级状态和边缘服务器的计算资源状态，该任务状态空间表示为：
89.其中，表示计算任务的优先级状态值，也即是，表示计算任务经过模糊逻辑系统推理之后输出的状态值。表示计算资源状态。
90.步骤204：基于步骤203简化后的马尔科夫决策过程和udec网络的通信模型，输出计算任务队列的优先级顺序和卸载对象。
91.其中，卸载对象的介绍参考步骤201，在此不做赘述。
92.其中，该优先级顺序和卸载对象使得计算任务队列的任务完成时延和任务成功率满足效用目标。在一种可能实施方式中，效用目标为：使计算任务队列的任务完成时延更小且任务成功率更大。
93.本技术实施例在通过强化学习算法进行任务卸载决策时，用效用值来衡量是否达成效用目标，效用值则定义为任务完成时延和任务成功率。下面先对不同卸载对象对应的任务完成时延的组成进行介绍。
94.在一些可能实施方式中，当sdn控制器做出关于用户节点i的任务卸载决策，选择（边缘服务器）作为计算任务的卸载对象时，任务卸载决策相关的信息存储到管理的虚拟任务队列中，此时的虚拟队列可以表示为。需要说的是，此处以及后续说明内容中的t不再表示时隙的概念，而是对应强化学习中幕的概念，即初始状态到终止状态间的子序列。
95.当卸载对象为边缘服务器，计算任务的第一实际完成时延包括：用户上传计算数据的第一传输时延，用户在服务器中的等待时延，以及第一实际计算时延；其中，第一传输时延表示为：
96.表示边缘用户节点上传到边缘服务器所在节点的传输速率，表示计算任务计算所需的数据量；等待时延包括在计算任务之前边缘服务器正在进行的计算任务的剩余计算时延及边缘服务器的计算任务队列中等待计算的计算任务的预计计算时延，该等待时延表示为：
97.表示等待在边缘服务器中的计算任务计算时延之和，表示正在执行的计算任务的剩余计算时间；该第一实际计算时延表示为：
98.其中，表示节点 n 的计算量，表示边缘服务器 m 的计算能力；
99.该边缘用户节点的计算任务的第一实际完成时延表示为：
100.当卸载对象为边缘用户节点时，也即是，当边缘用户节点i的计算任务卸载到附近的边缘用户节点k时，按照边缘用户节点k的计算能力确定卸载比例；被卸载的边缘用户节点的计算量卸载比例表示为：
101.其中，表示边缘用户节点k的计算能力；边缘用户节点计算所需传输的数据量与计算量成比例：数据量传输比例等于；计算任务的第二实际完成时延包括：将计算数据上传到所分配到的边缘用户节点的第二传输时延以及第二实际计算时延，该第二传输时延表示为：
102.表示边缘用户节点分配到部分的计算任务所需传输数据占比，表示边缘用户节点和被卸载的边缘用户节点之间的传输速率；该第二实际计算时延表示为：
103.表示分配到被卸载的边缘用户节点部分的计算任务计算量占比。该第二实际完成时延表示为：
104.在一些实施例中，考虑到用户节点的计算能力较弱，在当前计算任务未完成计算的情况下，不允许其他用户的计算任务卸载到该用户节点中。
105.下面接着对任务成功率的确定原理进行介绍。当计算任务的实际完成时延超出用户的期待时延，将计算任务的完成状态定义为失败，赋值为0，反之定义为成功，赋值为1，公式表示如下：
106.基于上述任务完成时延和任务完成状态（任务成功率），即可建立用来计算效用值的效用模型。从整个网络系统层面，网络中整体的任务完成时延较低，但是每个用户计算任务从个人利益方面都趋向于竞争最优的计算资源，导致一些具有较高时延容忍度的任务或者较大的计算密集用户会占用较优计算能力的边缘服务器，进而造成更长的等待时延，使
得整体的时延和任务成功率就会降低。有鉴于此，本技术为了同时达到较低的系统时延和较高的任务成功率，将效用函数定义为：
107.其中，和为调整系数，为计算任务的完成状态， 为边缘用户节点的数量，表示计算任务所需传输的数据量，表示计算任务的任务计算量，为计算任务的实际完成时延。
108.下面，基于上述对效用函数的介绍，对步骤204的执行过程进行详细说明，步骤204具体可以包括下述步骤s41至步骤s44。
109.s41、在每个时隙t中，sdn控制器基于该s3简化后得到的任务状态空间进行决策，得到动作。
110.其中，动作所在的动作空间可以表示为：，，，，p值关联于离散精度，，和为优先级权重系数。其中，以为例，表示的第 p 个离散值。
111.s42、在状态s下按照动作，更新计算任务队列的优先级权重系数，得到计算任务队列的优先级顺序，计算任务的优先级的计算公式为：
112.其中，改变任务期待时延的占比，改变当前任务计算需求占该时隙所有计算任务的计算需求占比，改变计算任务针对自身的任务期待时延的紧迫性，，和之间关系满足如下约束：
113.其中，该优先级的数值即可用于确定优先级顺序，数值越大越紧迫，则越优先处理。按照上述原理可以确定各个计算任务的优先级，并按照一定远程进行排序，得到优先级顺序。需要说明的是，在一些实施例中，该优先级的计算还可以引入其他的因素，本技术
不局限于此。
114.在一些场景下，当某一时隙的虚拟任务队列中较多对于时延要求较高的任务以及较多计算量大的计算任务时，若使用的优先级定义方式，在面对以上提及的情况时，卸载决策难以保持合理性，可能会造成任务的拥塞等问题，难以产生较好的用户体验。
115.本技术使用强化学习算法对于用户任务的优先级进行动态更新，产生动态卸载顺序，根据一个时隙内任务的实际需求情况，针对任务数量、任务计算需求、任务期待时延等数据，动态地调整这些数据的优先级比重。
116.s43、在状态s下执行动作更新了优先级顺序后，按照该优先级顺序卸载n个任务，到达下一状态，并基于本次卸载的任务时延和任务成功率，确定本次动作的即时奖励值，更新马尔科夫决策过程的动作价值函数，更新公式为：
117.其中，为调整系数，表示计算任务的完成状态，当计算任务的实际完成时延超出任务期待时延，定义为失败，赋值为0；反之定义为成功，赋值为 1；n为计算任务的数量，表示等待被执行的计算任务的任务计算量，为计算任务的实际完成时延。可以理解地，在公式（23）中指等待被执行的计算任务的，其计算方式与相同。
118.在一些可能实施方式中，由于难以预测已到达的任务与后续到达的任务之间的状态转移概率，而时序差分算法不要求马尔科夫决策过程（mdp）的状态转移概率是已知的，因此，可以采取时序差分算法对于状态动作函数进行迭代更新。
119.通过上述步骤s41-s43，在强化学习动态优先级调整算法基础上，得到确定的任务卸载顺序，接下来将通过步骤s44，阐述sdn控制器产生的具体任务卸载方案，也即是，任务卸载模式以及卸载到哪个服务器上或哪组d2d空闲用户上进行计算（卸载对象）。
120.s44、若存在使计算任务的完成状态且效用值最高的边缘服务器，将该边缘服务器确定为卸载对象，否则，对比最高效用值的边缘服务器节点与将任务卸载到预设阈值距离范围内的空闲边缘用户节点所消耗的任务时延，从中选取任务时延符合效用目标的节点作为卸载对象。例如，对比最高效用值的1个边缘服务器节点的时延，以及，预设阈值范围内空闲的5个用户节点对应的时延，采用上述效用函数确定该6个可用节点的效用值，从中选取效用值最高的节点。
121.本技术考虑到：虽然在超密集网络中部署了mec边缘服务器资源，但这种资源面对庞大的用户计算请求，仍然难以使全部边缘用户得到高质量的服务。基于网络资源剩余状况、队列中待卸载任务的期待时延和数据计算量等信息，sdn控制器的卸载决策若决定将任务全部卸载到边缘服务器，可能会造成边缘服务器中任务队列过长，等待时延增加以至于整体时延增加。因此，本技术提供了两种可选的卸载模式：边缘服务器卸载和d2d卸载（参考步骤201中的介绍），在产生卸载决策时，sdn控制器基于对网络资源状态的了解，能够确定
出趋向于单用户效用值最高的服务器节点。
122.本技术采用的强化学习算法中，基于前述提供的效用函数，将单用户的效用值定义为任务完成时延和任务成功率：
123.其中，为计算任务的完成状态，为调整系数，k为边缘用户节点的数量，表示计算任务所需传输的数据量，表示计算任务的任务计算量，为计算任务的预测完成时延。
124.在一些实施例中，由于普遍任务计算结果数据量较小，因此不考虑计算结果回传的问题。
125.步骤205：根据优先级顺序和卸载对象，对计算任务队列进行任务卸载。
126.在一些实施例中，当sdn控制器做出关于用户节点i 的任务卸载决策，选择（边缘服务器）或被卸载用户节点作为计算任务的卸载对象时，在向边缘用户节点发送的应答消息中携带卸载对象相关的信息；边缘用户节点即可向卸载对象上传待计算的数据。
127.在一些实施例中，sdn控制器可以采用下述策略来协调各个用户节点上传数据的优先级顺序。
128.策略1、针对卸载到同一卸载对象的多个计算任务，按照该多个计算任务之间的优先级顺序，依次向该多个计算任务所对应的边缘用户节点发送应答信息。这种方式一定程度上可以避免多个用户同时上传数据造成的堵塞。
129.策略2、针对卸载到不同卸载对象的多个计算任务，并发向该多个计算任务所对应的边缘用户节点发送应答信息。这种方式一定程度上可以提升任务的卸载速率。
130.本技术的技术方案采用强化学习算法进行决策，综合任务的完成时延和任务成功率来得到合理的任务卸载顺序以及卸载对象，在任务获取的平均算力和任务成功率等方面均具备良好的性能，对计算任务的不同需求产生合理的卸载顺序和决策，有效提升多元化计算任务的执行效率，从而提供高质量的网络服务。
131.下面结合一些附图，对本技术技术方案所能达到的技术效果进行说明。
132.为验证本技术所提出的采用动态优先级确定卸载顺序的算法的有效性，通过使用matlab进行环境建模仿真，并与按照任务到达时间排序，min-min排序和min-max排序方案进行了不同用户任务数量下，系统整体平均时延的对比和任务成功率的对比，时延敏感不同占比的任务成功率占比，随机卸载，就近卸载，全部卸载到服务器的时延和任务成功率的对比。下面结合图3-图6进行说明。
133.在一些实施例中，本技术使用matlab中模糊逻辑工具箱（fuzzy logic toolbox）组件来构建模糊推理系统。基于选取的隶属度函数类型、模糊规则集和使用的仿真参数进行了系统参数的设定。图3是本技术实施例提供的一种输入量与输出状态值之间关系的曲面观测图。参见图3，图3包括(a)部分、(b)部分和(c)部分，图3中（a）部分为数据量-时延与
输出状态值关系的曲面观测图，图3中（b）部分为计算量-数据量与输出状态值关系的曲面观测图，图3中（c）部分为计算量-时延与输出状态值关系的曲面观测图。图3表明了两两输入量对输出状态值的影响。边缘用户任务生成后，输入该任务的数据量，计算量和期待时延经过fis处理后，可得到该任务精准的状态值。
134.图4是本技术实施例提供的一种效用值函数收敛图。图4为随着迭代次数的增加，基于任务总时延和任务成功率的奖励函数（也即前文强化学习中迭代更新的动作价值函数）变化曲线，并将随机卸载顺序（random）和本技术中基于强化学习动态卸载顺序的效用值（priority）进行了对比。其中，设置强化学习的参数学习率取值0.02，折扣因子取值为0.85。从图4中可以看到，随着迭代次数的增加，效用值呈收敛趋势。这是由于sdn控制器不断在贪婪算法下进行动作的探索，从以往经验中学习，逐渐找到了较好的动作策略，使具有急切卸载需求的用户卸载顺序提前的同时，兼顾了数据量和计算量较大时对其他任务的等待时延和成功率的影响。
135.下面的图5和图6中，fuzzq指示本技术技术方案所对应的数据条。每个用户任务数量对应的一组数据条中，从左到右依次为fuzzq的数据条、min-min的数据条、max-min的数据条以及random的数据条。
136.图5为本技术实施例提供的一种随着用户任务数量变化的任务获取的平均算力柱状图。其中，相对算力含义是：不同任务数目下进行仿真实验时，任务的个数和个体数据存在差异，因此仅从时延数据难以对比变化差异，因此采取将加权后的任务计算量和任务数据量除以任务的总时延的值作为任务获取的相对算力，为证明方法的有效性，与min-min，max-min两种方法进行了对比。从仿真实验结果中可以看出，本方法的平均算力在不同用户任务数量的结果中始终高于其他方法，用户任务数量较少时，网络中资源充足，几种方法均能保持较高的算力。另外，由于边缘网络中用户的等待时延较少，max-min的算力与本文方法相差较少，而min-min方法中，不紧急的任务占据了较好的资源，导致平均算力相对较低。但随着任务数量的增加，max-min方法的算力快速下降，这是因为遵循最优服务器处理状态值最大的任务的原则，导致了其他任务的等待时延增加，致使网络内整体平均算力减小。
137.图6为本技术实施例提供的一种任务成功率随着用户任务数量变化的柱状图，当任务数较少时，边缘网络的资源丰富，基本能够满足所有用户的需求，因此三种方法都能够得到较高的任务成功率。随着任务数量的增加，后两种方法的成功率急剧降低，这是因为这两种方法仅考虑了任务基于计算量数据的紧急性，而缺乏对任务要求时延、与服务器距离和传输速率等情况的考虑，导致一些计算量处于中间值、但对时延要求较高的任务卸载顺序相对较后，在队列中等待时延较长，导致这些任务不能在期待的时延内完成任务的传输和计算。
138.本技术还提供了一种计算任务卸载装置，能够应用在图1所示的网络系统中，该装置包括：第一建模模块，用于建立超密集边缘计算udec网络的系统模型，该超密集边缘计算网络包括边缘服务器和边缘用户节点；第二建模模块，用于基于该边缘用户节点所产生计算任务的任务需求信息和该系统模型，建立该udec网络的马尔科夫决策过程，该马尔科夫决策过程的状态空间至少包括：计算任务队列中各个计算任务的任务计算量、任务数据量和任务期待时延；模糊逻辑模块，用于采用模糊逻辑算法，简化该马尔科夫决策过程的状
态空间，得到任务状态空间，该任务状态空间至少包括：计算任务的优先级状态；强化学习模块，用于基于该简化后的马尔科夫决策过程和该udec网络的通信模型，通过强化学习算法，输出该计算任务队列的优先级顺序和卸载对象，该优先级顺序和该卸载对象使得该计算任务队列的任务完成时延和任务成功率满足效用目标；卸载模块，用于根据该优先级顺序和该卸载对象，对该计算任务队列进行任务卸载。
139.需要说明的是，上述实施例提供的计算任务卸载装置在实现相应步骤时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的计算任务卸载装置与上述的计算任务卸载方法属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
140.本技术中术语“至少一个”的含义是指一个或多个，本技术中术语“多个”的含义是指两个或两个以上，例如，多个节点是指两个或两个以上的节点。
141.本技术提供的计算任务卸载方法能够由计算设备执行。图7是本技术实施例提供的一种计算设备的硬件结构示意图，如图7所示，该计算设备包括处理器701、存储器702、总线703、以及存储在所述存储器702中并可在所述处理器701上运行的计算机程序，处理器701包括一个或一个以上处理核心，存储器702通过总线703与处理器701相连，存储器702用于存储程序指令，所述处理器执行所述计算机程序时实现本技术提供的上述方法实施例中的全部或部分步骤。进一步地，作为一个可执行方案，上述计算设备可以是计算机单元，该计算机单元可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机单元可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述计算机单元的组成结构仅仅是计算机单元的示例，并不构成对计算机单元的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件。例如所述计算机单元还可以包括输入输出设备、网络接入设备、总线等，本技术实施例对此不做限定。进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路 (application specific integrated circuit，asic)、现成可编程门阵列 (field-programmable gate array，fpga) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机单元的控制中心，利用各种接口和线路连接整个计算机单元的各个部分。
142.所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机单元的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
143.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机
程序，所述计算机程序被处理器执行时实现本技术实施例上述计算任务卸载方法的步骤。所述计算机单元集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。尽管结合优选实施方案具体展示和介绍了本技术，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本技术的精神和范围内，在形式上和细节上对本技术做出各种变化，均为本技术的保护范围。

技术特征：
1.一种计算任务卸载方法，其特征在于，所述方法包括：s1：建立超密集边缘计算udec网络的系统模型，所述udec网络包括边缘服务器和边缘用户节点；s2：基于所述边缘用户节点所产生计算任务的任务需求信息和所述系统模型，建立所述udec网络的马尔科夫决策过程，所述马尔科夫决策过程的状态空间至少包括：计算任务队列中各个计算任务的任务计算量、任务数据量和任务期待时延；s3：采用模糊逻辑算法，简化所述马尔科夫决策过程的状态空间，得到任务状态空间，所述任务状态空间至少包括：计算任务的优先级状态；s4：基于所述s3简化后的马尔科夫决策过程和所述udec网络的通信模型，通过强化学习算法，确定所述计算任务队列的优先级顺序和卸载对象，所述优先级顺序和所述卸载对象使得所述计算任务队列的任务完成时延和任务成功率满足预定的效用目标；s5：根据所述优先级顺序和所述卸载对象，对所述计算任务队列进行任务卸载。2.根据权利要求1所述的方法，其特征在于，所述步骤s3包括：s31：按照数值和语言变量之间的模糊关系，对所述状态空间包括的任务计算量、任务数据量和任务期待时延进行模糊化处理，得到输入模糊集；s32：按照模糊推理规则集对所述输入模糊集进行推理，自适应得到所述任务状态空间中计算任务的优先级状态值，所述模糊推理规则指示：所述任务计算量、任务数据量和任务期待时延影响任务卸载优先级的规则。3.根据权利要求2所述的方法，其特征在于，所述步骤s31包括：根据任务计算量、任务数据量和任务期待时延的数值，将所述任务计算量的语言变量描述为{少，中，多}，将所述任务数据量的语言变量描述为{少，中，多}，将任务期待时延的语言变量描述为{长，中，短}，得到输入模糊集；所述优先级状态值的语言变量描述为{特急，紧急，常规，等待}。4.根据权利要求1所述的方法，其特征在于，所述系统模型表示为：其中，eu表示所述网络中包含的 n 个所述边缘用户节点；表示所述网络中包含的 m 个部署了所述边缘服务器的节点；表示计算任务所需传输的数据量，表示计算任务的任务计算量；表示边缘用户节点期待的任务完成时延；表示边缘服务器的计算能力，表示边缘服务器的存储能力，表示边缘服务器j的物理位置，m 和 n为正整数，表示边缘用户节点 i 的物理位置；连续时空中产生的计算任务以时隙的方式进行分割，所述系统模型的状态在每个时隙中恒定，在不同时隙之间变化；所述步骤s2包括：
在每个时隙内，响应于边缘用户节点的任务卸载请求，获取计算任务的任务需求信息，所述任务需求信息包括：任务计算量、任务数据量和任务期待时延；根据所述任务需求信息、边缘服务器的资源状态信息和所述系统模型，建立马尔科夫决策过程，所述马尔科夫决策过程的状态空间表示为：其中，和分别表示所述时隙中计算任务队列的计算量矩阵和期待时延矩阵；中的表示计算任务的任务计算量，中的表示计算任务的任务数据量，表示任务期待时延，表示边缘服务器的计算能力，表示边缘服务器当前的计算任务队列中的等待时延，其中，n 为计算任务数量；所述简化得到的任务状态空间还包括边缘服务器的计算资源状态，所述任务状态空间表示为：其中，表示计算任务的优先级状态值，表示所述计算资源状态。5.根据权利要求1所述的方法，其特征在于，所述效用目标为：使所述计算任务队列的任务完成时延更小且任务成功率更大；所述步骤s4包括：在每个时隙t中，基于所述s3简化后得到的任务状态空间进行决策，得到动作，，和为优先级权重系数；按照动作，更新计算任务队列的优先级权重系数，得到计算任务队列的优先级顺序，计算任务的优先级的计算公式为：其中，改变任务期待时延的占比，改变当前任务计算需求占该时隙所有计算任务的计算需求占比，改变计算任务针对自身的任务期待时延的紧迫性，、和之间关系满足如下约束：单用户的效用值定义为任务完成时延和任务成功率：其中，为计算任务的完成状态，为
调整系数，为边缘用户节点的数量，表示计算任务所需传输的数据量，表示计算任务的计算量，为计算任务的预测完成时延；若存在使计算任务的完成状态且效用值最高的边缘服务器，将该边缘服务器确定为卸载对象；否则，对比最高效用值的边缘服务器节点与将任务卸载到预设阈值距离范围内的空闲边缘用户节点所消耗的任务时延，从中选取任务时延符合效用目标的节点作为卸载对象。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：按照所述优先级顺序卸载个任务，基于本次卸载的任务时延和任务成功率，确定本次动作的即时奖励值，更新马尔科夫决策过程的动作价值函数，更新公式为：其中，为调整系数，表示计算任务的完成状态，当计算任务的实际完成时延超出任务期待时延，定义为失败，赋值为 0；反之定义为成功，赋值为 1；为计算任务的数量，示表示等待被执行的计算任务的任务计算量，为计算任务的实际完成时延。7.根据权利要求1所述的方法，其特征在于，所述通信模型用于描述：信道增益随发送端与接收端之间分离距离的变化而变化，边缘用户节点针对不同的卸载对象使用不同通信模式进行数据传输；其中，在卸载对象为边缘服务器的情况下，边缘用户节点和被卸载的边缘服务器之间使用蜂窝通信模式，边缘用户节点和被卸载的边缘服务器之间的传输速率表示为：其中，表示边缘服务器所在节点的带宽，当多个边缘用户节点选择卸载到该节点时，按照卸载顺序等待传输，为边缘用户节点发射功率，是背景噪声功率谱密度；为边缘用户节点和被卸载的边缘服务器所在节点之间的信道增益：其中，表示小尺度衰减系数，表示边缘用户节点和边缘服务器所在节点之间的距离，为信道衰减因子；在卸载对象为附近的边缘用户节点的情况下，边缘用户节点和被卸载的边缘用户节点之间使用终端直通d2d通信模式，边缘用户节点和被卸载的边缘用户节点之间的传输速率表示为：
其中，表示边缘用户节点和被卸载的边缘用户节点之间的信道增益，为边缘用户节点在网络中复用的蜂窝链路中的带宽，是背景噪声功率谱密度。8.根据权利要求7所述的方法，其特征在于，当卸载对象为边缘服务器，计算任务的第一实际完成时延包括：用户上传计算数据的第一传输时延、用户在服务器中的等待时延、以及第一实际计算时延；其中，所述第一传输时延表示为：，表示边缘用户节点上传到边缘服务器所在节点的传输速率，表示所述计算任务计算所需的数据量；所述等待时延包括在所述计算任务之前所述边缘服务器正在进行的计算任务的剩余计算时延及所述边缘服务器的计算任务队列中等待计算的计算任务的预计计算时延，所述等待时延表示为：，表示等待在边缘服务器中的计算任务计算时延之和，表示正在执行的计算任务的剩余计算时间；所述第一实际计算时延表示为：，其中，表示节点 n 的计算量，表示边缘服务器 m 的计算能力；所述边缘用户节点的计算任务的第一实际完成时延表示为：当边缘用户节点i的计算任务卸载到附近的边缘用户节点k时，按照边缘用户节点k的计算能力确定卸载比例；被卸载的边缘用户节点k的计算量卸载比例表示为：其中，表示边缘用户节点k的计算能力；边缘用户节点计算所需传输的数据量与计算量成比例：数据量传输比例等于；计算任务的第二实际完成时延包括：将计算数据上传到所分配到的边缘用户节点
的第二传输时延以及第二实际计算时延，所述第二传输时延表示为： ，表示边缘用户节点分配到部分的计算任务所需传输数据占比，表示边缘用户节点和被卸载的边缘用户节点之间的传输速率；所述第二实际计算时延表示为：，表示分配到被卸载的边缘用户节点部分的计算任务计算量占比；所述第二实际完成时延表示为：。9.一种计算设备，其特征在于，包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的计算任务卸载方法。10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器执行以实现如权利要求1至8任一所述的计算任务卸载方法。

技术总结
本申请提供了一种计算任务卸载方法、计算设备和存储介质，涉及无线通信技术领域。该方法包括：针对超密集边缘计算网络中的计算任务，根据计算任务的任务计算量、任务数据量和任务期待时延等需求信息，进行马尔科夫建模得到状态空间，再采用模糊逻辑算法简化状态空间，以任务状态空间简洁地表示任务的优先级状态；进而根据网络的通信模型以及优先级状态，采用强化学习算法进行决策，综合任务的完成时延和任务成功率来得到合理的任务卸载顺序以及卸载对象。上述方案在任务获取的平均算力和任务成功率等方面均具备良好的性能，对计算任务的不同需求产生合理的卸载顺序和决策，有效提升多元化计算任务的执行效率，从而提供高质量的网络服务。量的网络服务。量的网络服务。


技术研发人员：于银辉 孙德红 何庆新 郑新 郭思宇
受保护的技术使用者：闽南理工学院
技术研发日：2023.07.06
技术公布日：2023/8/6