面向差异化电力业务的基站协作边缘计算卸载方法和装置与流程

1.本发明涉及电力系统自动化
技术领域：
：，尤其涉及一种面向差异化电力业务的基站协作边缘计算卸载方法和装置。
背景技术：
：：2.随着配电网规模的不断扩大，电力设备数量也在迅速增长，各种时延敏感、计算密集型的电力业务不断涌现。3.在电力通信网中，由于基站的计算容量有限，加上电力设备的不均匀分布和电力业务类型的多样性，导致在电力业务密集地区或特定时段会出现基站过载的情况。4.现有的电力业务对应任务的卸载方法往往采用排队或重传的方式，以减轻高负载下基站的压力。然而，由于电力设备的服务质量（qualityofservice，qos）会因为排队和重传的方式而恶化，因此，如何合理利用电力通信网的计算资源成为亟需解决的问题。技术实现要素：5.本发明提供一种面向差异化电力业务的基站协作边缘计算卸载方法和装置，根据基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息，构建的基站协作边缘计算卸载模型，在保障时延敏感型业务qos的前提下，能够合理利用电力通信网的计算资源，从不同任务卸载方式中确定出第一电力设备对应的最优任务卸载方式，以有效卸该第一电力设备中的待卸载任务。6.本发明提供一种面向差异化电力业务的基站协作边缘计算卸载方法，应用于第一电力设备，该第一电力设备与关联设备连接，该关联设备包括该第一电力设备的接入基站以及与该接入基站连接的协作基站，该方法包括：获取该第一电力设备在卸载待卸载任务时对应的当前状态信息；将该当前状态信息输入至基站协作边缘计算卸载模型中，得到该基站协作边缘计算卸载模型输出的最优任务卸载方式；根据该最优任务卸载方式，卸载该待卸载任务；其中，该基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，该任务卸载方式包括本地处理方式和在该关联设备中卸载的方式。7.根据本发明提供的一种面向差异化电力业务的基站协作边缘计算卸载方法，该基站协作边缘计算卸载模型是基于以下步骤得到的：获取第二电力设备对应的历史待卸载任务、状态空间，以及该第二电力设备卸载该历史待卸载任务时对应的卸载决策动作空间；基于该历史待卸载任务在按照该不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以该第二电力设备的累计最小时延信息为优化目标，构建该第二电力设备对应的奖励函数；根据该状态空间、该卸载决策动作空间和该奖励函数，构建该基站协作边缘计算卸载模型。8.根据本发明提供的一种面向差异化电力业务的基站协作边缘计算卸载方法，该基于该历史待卸载任务在按照该不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以该第二电力设备的累计最小时延信息为优化目标，构建该第二电力设备对应的奖励函数，包括：获取该历史待卸载任务在按照该不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息；以多个设备能耗信息和多个设备时延信息作为约束条件，构建该第二电力设备的累计最小时延信息；根据该累计最小时延信息，构建该第二电力设备对应的奖励函数。9.根据本发明提供的一种面向差异化电力业务的基站协作边缘计算卸载方法，该根据该状态空间、该卸载决策动作空间和该奖励函数，构建该基站协作边缘计算卸载模型，包括：根据该状态空间、该卸载决策动作空间和该奖励函数，确定初始q值；s1、根据该初始q值、下一时刻的状态空间和该下一时刻的卸载决策动作空间，确定目标q值；将该目标q值确定为新的初始q值，并重复执行步骤s1，直到该目标q值与预设q值之间的差值最小；将差值最小的目标q值所对应的卸载模型确定为该基站协作边缘计算卸载模型。10.根据本发明提供的一种面向差异化电力业务的基站协作边缘计算卸载方法，该获取该历史待卸载任务在按照该不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，包括：在该任务卸载方式为该在该关联设备中卸载的方式的情况下，获取该历史待卸载任务的数据量和完成该历史待卸载任务是所需的中央处理器周期；根据该数据量和该中央处理器周期，确定该历史待卸载任务在按照该在该关联设备中卸载的方式进行卸载时，对应的设备能耗信息和设备时延信息；在该任务卸载方式为该本地处理方式的情况下，获取该完成该历史待卸载任务是所需的中央处理器周期；根据该中央处理器周期，确定该历史待卸载任务在按照该本地处理方式进行卸载时，对应的设备能耗信息和设备时延信息。11.根据本发明提供的一种面向差异化电力业务的基站协作边缘计算卸载方法，该获取第二电力设备对应的状态空间，包括：获取该第二电力设备的当前剩余电量、与该第二电力设备连接的关联设备对应的当前计算容量；根据该当前剩余电量和该当前计算容量，确定该第二电力设备对应的状态空间。12.本发明还提供一种面向差异化电力业务的基站协作边缘计算卸载装置，应用于第一电力设备，该第一电力设备与关联设备连接，该关联设备包括该第一电力设备的接入基站以及与该接入基站连接的协作基站，该装置包括：获取模块，用于获取该第一电力设备在卸载待卸载任务时对应的当前状态信息；处理模块，用于将该当前状态信息输入至基站协作边缘计算卸载模型中，得到该基站协作边缘计算卸载模型输出的最优任务卸载方式；根据该最优任务卸载方式，卸载该待卸载任务；其中，该基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，该任务卸载方式包括本地处理方式和在该关联设备中卸载的方式。13.本发明还提供一种电力设备，包括存储器、卸载器及存储在存储器上并可在卸载器上运行的计算机程序，所述卸载器执行所述程序时实现如上述任一种所述面向差异化电力业务的基站协作边缘计算卸载方法。14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被卸载器执行时实现如上述任一种所述面向差异化电力业务的基站协作边缘计算卸载方法。15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被卸载器执行时实现如上述任一种所述面向差异化电力业务的基站协作边缘计算卸载方法。16.本发明提供的一种面向差异化电力业务的基站协作边缘计算卸载方法和装置，该方法应用于第一电力设备，所述第一电力设备与关联设备连接，所述关联设备包括所述第一电力设备的接入基站以及与所述接入基站连接的协作基站，所述方法通过获取所述第一电力设备在卸载待卸载任务时对应的当前状态信息；将所述当前状态信息输入至基站协作边缘计算卸载模型中，得到所述基站协作边缘计算卸载模型输出的最优任务卸载方式；根据所述最优任务卸载方式，卸载所述待卸载任务；其中，所述基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，所述任务卸载方式包括本地处理方式和在所述关联设备中卸载的方式。该方法根据基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息，构建的基站协作边缘计算卸载模型，在保障时延敏感型业务qos的前提下，能够合理利用电力通信网的计算资源，从不同任务卸载方式中确定出第一电力设备对应的最优任务卸载方式，以有效卸载该第一电力设备中的待卸载任务。附图说明17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。18.图1是本发明提供的面向差异化电力业务的基站协作边缘计算卸载方法的场景示意图；图2是本发明提供的面向差异化电力业务的基站协作边缘计算卸载方法的流程示意图；图3是本发明提供的q-learning卸载决策算法的流程示意图；图4是本发明提供的面向差异化电力业务的基站协作边缘计算卸载装置的结构示意图；图5是本发明提供的电力设备的结构示意图。具体实施方式19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。20.图1是本发明提供的面向差异化电力业务的基站协作边缘计算卸载方法的场景示意图。在图1中，电力设备与接入基站连接，该接入基站与协作基站连接，该协作基站的数量为4个。21.其中，电力设备也可称为用户设备（userequipment，ue），指的是处理电力业务对应任务的设备，该任务也可称为待卸载任务/计算任务。22.可选的，电力设备可以包括以下至少一项：配电自动化（powerdistributionautomation）设备、发电量预测（powergenerationforecast）设备和电力负荷监测（powerloadmonitoring）设备等。23.由于电力设备的多样性，使得各个电力设备对应的电力业务也具有一定的差异性。24.其中，图1中的接入基站和协作基站可统称为上述电力设备的关联设备。每个基站均部署了服务器。25.可选的，上述服务器可为多接入边缘计算（multi-accessedgecomputing，mec）服务器，具有下沉缓存功能和计算功能，用于执行电力设备中需要卸载的计算任务。26.其中，电力设备与接入基站之间的连接方式以及该接入基站与协作基站之间的连接方式均为无线通信技术。27.可选的，无线通信技术可以包括但不限于以下其中一项：第四代通讯技术（the4generationmobilecommunicationtechnology，4g）和第五代通讯技术（the5generationmobilecommunicationtechnology，5g）等。28.需要说明的是，本发明实施例涉及的执行主体可以是面向差异化电力业务的基站协作边缘计算卸载装置，也可以是电力设备。29.下面以第一电力设备为例对本发明实施例进行进一步地说明其中，该第一电力设备与关联设备连接，该关联设备可以包括该第一电力设备的接入基站以及与该接入基站连接的协作基站。30.如图2所示，是本发明提供的面向差异化电力业务的基站协作边缘计算卸载方法的流程示意图，可以包括：201、获取第一电力设备在卸载待卸载任务时对应的当前状态信息。31.可选的，当前状态信息s可以包括：第一电力设备的剩余电量e以及该第一电力设备对应关联设备的当前计算容量c等。32.在面向差异化电力业务的场景下，第一电力设备在卸载待卸载任务时，可先获取该第一电力设备对应的当前状态信息，以备后续准确确定该待卸载任务对应的最优任务卸载方式。33.202、将当前状态信息输入至基站协作边缘计算卸载模型中，得到基站协作边缘计算卸载模型输出的最优任务卸载方式。34.其中，基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息e和设备时延信息t训练得到的。35.设备能耗信息e指的是任务卸载方式对应的目标设备卸载待卸载任务时所产生的能源消耗量。36.设备时延信息t指的是任务卸载方式对应的目标设备卸载待卸载任务时所产生的总延迟时间。37.其中，任务卸载方式可以包括：本地处理方式和在关联设备中卸载的方式。该在关联设备中卸载的方式可以包括：在接入基站中卸载的方式和在协作基站中卸载的方式。38.第一电力设备在获取该第一电力设备对应的当前状态信息之后，可将该当前状态信息输入至预先构建好的基站协作边缘计算卸载模型中，这样可得到该基站协作边缘计算卸载模型输出的最优任务卸载方式，以备后续基于该最优任务卸载方式，能够有效卸载该第一电力设备中的待卸载任务。39.在一些实施例中，基站协作边缘计算卸载模型可以是基于以下步骤得到的：第一电力设备获取第二电力设备对应的历史待卸载任务、状态空间，以及第二电力设备卸载历史待卸载任务时对应的卸载决策动作空间；该第一电力设备基于历史待卸载任务在按照不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以第二电力设备的累计最小时延信息为优化目标，构建第二电力设备对应的奖励函数；该第一电力设备根据状态空间、卸载决策动作空间和奖励函数，构建基站协作边缘计算卸载模型。40.其中，第一电力设备属于第二电力设备。可以理解的是，第一电力设备是应用基站协作边缘计算卸载模型的设备，第二电力设备是用于训练该基站协作边缘计算卸载模型的设备。41.首先，第一电力设备基于电力通信网，可先构建多个第二电力设备对应的系统状态空间。其中，该电力通信网可以包括：个第二电力设备以及个基站，这个第二电力设备对应的电力设备集合可用表示，这个基站可用表示。42.上述多个第二电力设备对应的系统状态空间可用表示；表示个第二电力设备对应的剩余电量，表示多个第二电力设备中第i个第二电力设备对应的当前剩余电量；表示多个第二电力设备对应关联设备的当前计算容量，关联设备的数量为个，表示所有关联设备中第m个基站的当前计算容量。43.其次，在时间上将通信周期离散化，在时隙内，每个第二电力设备只有一个历史待卸载任务需要处理，每个第二电力设备随机分布在基站的覆盖区域内。每个第二电力设备都有一个计算密集型电力业务，即历史待卸载任务要完成，该历史待卸载任务可用表示，表示历史待卸载任务的数据量；表示完成历史待卸载任务所需的中央处理器（centralprocessingunit，cpu）周期，不同的历史待卸载任务任务所需要的cpu周期差异较大；表示历史待卸载任务的最大容忍时延。44.然后，该第一电力设备将该历史待卸载任务设置为二进制卸载，这意味着每个第二电力设备应该通过本地处理方式或在关联设备中卸载的方式来执行该历史待卸载任务，且不能将该该历史待卸载任务进行分割处理。其中，该第一电力设备可采用二进制变量表示历史待卸载任务是否由本地处理，并在的情况下，说明历史待卸载任务通过本地处理方式进行处理；该第一电力设备可采用二进制变量表示历史待卸载任务是否由接入基站处理，并在的情况下，说明历史待卸载任务通过在接入基站中卸载的方式进行卸载；该第一电力设备可采用二进制变量表示历史待卸载任务是否由协作基站处理，并在的情况下，说明历史待卸载任务通过在协作基站中卸载的方式进行卸载。这样一来，由于每个历史待卸载任务都只对应一种任务卸载方式，因此，第i个第二电力设备对应的任务卸载方式可用表示。45.接着，该第一电力设备获取多个第二电力设备在当前时刻下各自对应的任务卸载方式，得到任务决策策略，进而可确定这多个第二电力设备对应的卸载决策动作空间，该卸载决策动作空间可用表示；示多个第二电力设备中第i个第二电力设备对应的卸载决策动作空间，，表示当前时刻下所有任务卸载方式的集合。46.最后，针对多个第二电力设备中第i个第二电力设备而言，该第一电力设备可获取该第二电力设备对应的历史待卸载任务、状态空间，以及第二电力设备卸载历史待卸载任务时对应的卸载决策动作空间；该第一电力设备基于该历史待卸载任务在按照不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以该第二电力设备的累计最小时延信息为优化目标，构建该第二电力设备对应的奖励函数；该第一电力设备根据状态空间、卸载决策动作空间和奖励函数，构建基站协作边缘计算卸载模型，以备该第一电力设备确定该历史待卸载任务的最优任务卸载方式。47.在一些实施例中，电力设备获取历史待卸载任务在按照不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，可以包括：第一电力设备在任务卸载方式为在关联设备中卸载的方式的情况下，获取历史待卸载任务的数据量和完成历史待卸载任务时所需的中央处理器周期；根据数据量和中央处理器周期，确定历史待卸载任务在按照在关联设备中卸载的方式进行卸载时，对应的设备能耗信息和设备时延信息；该第一电力设备在任务卸载方式为本地处理方式的情况下，获取完成历史待卸载任务时所需的中央处理器周期；根据中央处理器周期，确定历史待卸载任务在按照本地处理方式进行卸载时，对应的设备能耗信息和设备时延信息。48.针对不同的任务卸载方式，第一电力设备获取的第二电力设备对应的设备能耗信息的过程是不同的，该第一电力设备获取的第二电力设备对应的设备时延信息的过程也是不同的。49.具体的，在任务卸载方式为在关联设备中卸载的方式的情况下，该第一电力设备可根据历史待卸载任务的数据量和完成该历史待卸载任务是所需的中央处理器周期，确定该历史待卸载任务对应的设备能耗信息和设备时延信息；而在该任务卸载方式为本地处理方式的情况下，该电力设备只需要根据该中央处理器周期，即可确定该历史待卸载任务对应的设备能耗信息和设备时延信息。50.可选的，第一电力设备在任务卸载方式为本地处理方式的情况下，根据中央处理器周期，确定历史待卸载任务在按照本地处理方式进行卸载时，对应的设备能耗信息和设备时延信息，可以包括：第一电力设备根据第一能耗公式，确定历史待卸载任务在按照本地处理方式进行卸载时对应的设备能耗信息；并根据第一时延公式，确定历史待卸载任务在按照本地处理方式进行卸载时对应的设备时延信息。51.其中，第一能耗公式为：；第一时延公式为：；表示历史待卸载任务在按照本地处理方式进行卸载时对应的设备能耗信息；表示依赖于芯片架构的有效开关电容；表示完成历史待卸载任务时所需的cpu周期；表示第二电力设备的计算能力；表示历史待卸载任务在按照本地处理方式进行卸载时对应的设备时延信息。52.可选的，第一电力设备在任务卸载方式为在关联设备中卸载的方式，且关联设备为接入基站的情况下，根据数据量和中央处理器周期，确定历史待卸载任务在按照在关联设备中卸载的方式进行卸载时，对应的设备能耗信息，可以包括：第一电力设备根据第二能耗公式，确定历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的设备能耗信息。53.其中，第二能耗公式为：；表示历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的设备能耗信息；表示第二电力设备向接入基站传输数据时的发射功率；表示历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的传输时延信息；表示历史待卸载任务的数据量；表示第二电力设备与接入基站之间进行传输数据时的传输速率/通信速率。54.可选的，第一电力设备在任务卸载方式为在关联设备中卸载的方式，且关联设备为接入基站的情况下，根据数据量和中央处理器周期，确定历史待卸载任务在按照在关联设备中卸载的方式进行卸载时，对应的设备时延信息，可以包括：第一电力设备根据传输时延公式，确定历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的传输时延信息；并根据卸载时延公式，确定历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的卸载时延信息；该第一电力设备根据第二时延公式，确定历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的设备时延信息。55.其中，传输时延公式为：；卸载时延公式为：；第二时延公式为：；表示卸载时延信息；表示接入基站的计算能力；表示历史待卸载任务在按照在接入设备中卸载的方式进行卸载时对应的设备时延信息。56.需要说明的是，如果第二电力设备选择通过卸载到接入基站来计算历史待卸载任务，那么，首先该第二电力设备通过无线通信技术向该接入基站上传相关数据，该接入基站中的mec服务器可分配部分计算资源以执行该历史待卸载任务，然后，该mec服务器将计算结果返回。由于计算结果的数据量往往远小于历史待卸载任务的数据量，而数据的下行速率一般都非常高，因此，可忽略计算结果回传给该第二电力设备的时延信息。57.此外，由于每个接入基站的计算能力是有限的，所以，，说明第二电力设备在将历史待卸载任务卸载至接入基站进行处理时的计算任务载荷不能超过该接入基站的最大计算容，表示该最大计算容量。58.可选的，第一电力设备在任务卸载方式为在关联设备中卸载的方式，且关联设备为协作基站的情况下，根据数据量和中央处理器周期，确定历史待卸载任务在按照在关联设备中卸载的方式进行卸载时，对应的设备能耗信息，可以包括：第一电力设备根据第三能耗公式，确定历史待卸载任务在按照在协作设备中卸载的方式进行卸载时对应的设备能耗信息。59.其中，第三能耗公式为：；表示历史待卸载任务在按照在协作设备中卸载的方式进行卸载时对应的设备能耗信息。60.可选的，第一电力设备在任务卸载方式为在关联设备中卸载的方式，且关联设备为协作基站的情况下，根据数据量和中央处理器周期，确定历史待卸载任务在按照在关联设备中卸载的方式进行卸载时，对应的设备时延信息，可以包括：第一电力设备根据第三时延公式，确定历史待卸载任务在按照在协作基站中卸载的方式进行卸载时对应的设备能耗信息。61.其中，第三时延公式为：；。62.表示基站间的传输时延信息；表示基站间进行数据传输时的传输速率。63.假设电力通信网对应的电力通信系统采用正交频分多址（orthogonalfrequencydivisionmultipleaccess，ofdma），使得每个基站平均分配子载波给与该基站关联的第二电力设备，此时，各个第二电力设备之间不会存在设备间干扰，又基站之间通过光纤组网进行数据传输，该第一电力设备根据，可准确确定基站间的传输时延信息。64.此外，由于在基站协作卸载模式下，第二电力设备将历史待卸载任务传输至协作基站进行处理时，设备时延信息由第二电力设备与接入基站的传输时延，基站间的传输时延和处理时延三部分组成，此时，该第一电力设备可根据上述第三时延公式，准确确定历史待卸载任务在按照在协作基站中卸载的方式进行卸载时对应的设备能耗信息。65.在一些实施例中，第一电力设备基于历史待卸载任务在按照不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以第二电力设备的累计最小时延信息为优化目标，构建第二电力设备对应的奖励函数，可以包括：第一电力设备获取历史待卸载任务在按照不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息；该第一电力设备以多个设备能耗信息和多个设备时延信息作为约束条件，构建第二电力设备的累计最小时延信息；该第一电力设备根据累计最小时延信息，构建第二电力设备对应的奖励函数。66.第一电力设备在构建第二电力设备对应的奖励函数的过程中，可先获取历史待卸载任务在按照不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，也就是说，有多少种任务卸载方式，就会有多少个设备能耗信息，以及多少个设备时延信息；然后，该电力设备根据所有的设备能耗信息和设备时延信息，先构建第二电力设备的累计最小时延信息，进而构建该第二电力设备对应的奖励函数，以备后续训练准确度较高的基站协作边缘计算卸载模型。67.可选的，第一电力设备以多个设备能耗信息和多个设备时延信息作为约束条件，构建第二电力设备的累计最小时延信息，可以包括：第一电力设备根据优化公式，确定第二电力设备的累计最小时延信息。68.其中，优化公式为：；该优化公式的约束条件为：第一约束条件：；第二约束条件：；第三约束条件：；第四约束条件：；以及，第五约束条件：。69.需要说明的是，第一约束条件为卸载决策约束，表示第二电力设备对于历史待卸载任务的卸载决策是唯一的。70.第二约束条件表示卸载策略为二进制卸载。71.第三约束条件表示关联设备的最大计算容量约束。72.第四约束条件表示第二电力设备在将待卸载任务卸载值接入基站进行处理时的计算任务载荷不能超过该接入基站的最大计算容量（计算负载）。73.第五约束条件表示电力业务的总时延信息不能超过电力业务的最大可容忍时延，表示该最大可容忍时延。74.可选的，第一电力设备根据累计最小时延信息，构建第二电力设备对应的奖励函数，可以包括：第一电力设备根据奖励公式，确定第二电力设备对应的奖励函数。75.其中，奖励公式为；表示奖励函数。76.从上述奖励公式中可以看出，优化目标为累计最小时延信息，但强化学习中更侧重于最大化奖励，因此，该奖励函数与累计最小时延信息呈负相关。77.需要说明的是，当生成的最优任务卸载方式不满足约束条件时，可生成的严厉惩罚并让基站协作边缘计算卸载模型中的神经网络重新生成最优任务卸载方式，直到确定历史待卸载任务对应的最优任务卸载方式。78.在一些实施例中，第一电力设备根据状态空间、卸载决策动作空间和奖励函数，构建基站协作边缘计算卸载模型，可以包括：第一电力设备根据状态空间、卸载决策动作空间和奖励函数，确定初始q值（q-table参数）；该第一电力设备s1、根据初始q值、下一时刻的状态空间和下一时刻的卸载决策动作空间，确定目标q值；该第一电力设备将目标q值确定为新的初始q值，并重复执行步骤s1，直到目标q值与预设q值之间的差值最小；该第一电力设备将差值最小的目标q值所对应的卸载模型确定为基站协作边缘计算卸载模型。79.其中，预设q值可用表示。80.第一电力设备根据第二电力设备在当前时刻的状态空间、卸载决策动作空间和奖励函数，可先确定一个初始q值（q-table）；然后，在步骤s1中，该第一电力设备根据该初始q值、下一时刻的状态空间和下一时刻的卸载决策动作空间，确定该下一时刻对应的q值，称为目标q值；接着，由于第二电力设备可重复与环境进行交互，所以，该第一电力设备可获取不同任务卸载决策对应的奖励函数；此时，该第一电力设备再将该目标q值确定为新的初始q值，并重复执行上述步骤s1，直到最终得到的目标q值与预设q值之间的差值最小；最后，该第一电力设备将差值最小的目标q值所对应的卸载模型确定为基站协作边缘计算卸载模型，该基站协作边缘计算卸载模型也是较为准确的。81.可选的，第一电力设备根据初始q值、下一时刻的状态空间和下一时刻的卸载决策动作空间，确定目标q值，可以包括：第一电力设备根据目标公式，确定目标q值。82.其中，目标公式为：；表示目标q值；表示当前时刻的状态空间；表示学习速率，用于体现当前学习知识对先前学习知识的影响，表示下一时刻的奖励函数；表示折扣因子，表示下一时刻的预测q值，表示下一时刻的状态空间；表示下一时刻的卸载决策动作空间。83.第二电力设备可重复与环境交互，这样一来，第一电力设备就可以获得不同动作下的奖励（即不同任务卸载决策下的奖励函数），进而通过贝尔曼方程和值迭代方法调整q-table参数，以寻找最优任务卸载方式。84.基于此，该第一电力设备可将该第二电力设备的当前状态输入至基站协作边缘计算卸载模型中，根据q值函数（即上述目标公式）来采取动作并与环境进行交互，并采用值迭代估计来逼近，以确定在状态空间下采取何种任务卸载方式才是最优的。在每个回合中，都可采取上述目标公式进行q值更新，这样一来，该第一电力设备通过该目标公式更新q表以学习过往经验以生成更好的任务卸载方式。85.然而，由于上述过程（即q-learning卸载决策算法）可能会收敛到一个局部的搜索区域，导致搜索性能不佳，为了克服这种情况，第一电力设备可采用一种贪婪策略来提高该q-learning卸载决策算法的搜索性能。该贪婪策略建立在探索的概念之上，探索是随机选择一个行动，以尽可能发现不同动作下的奖励，以增加对环境的了解。因此，每个第二电力设备有概率从离散均匀分布中选择一个随机行为，可用表示。86.示例性的，如图3所示，是本发明提供的q-learning卸载决策算法的流程示意图。第二电力设备可重复与环境交互，这样一来，第一电力设备就可以获取不同任务卸载决策下的奖励函数，进而通过贝尔曼方程和值迭代方法调整q-table参数，以寻找最优任务卸载方式。基于此，根据q-learning卸载决策算法对任务卸载方式进行马尔科夫决策过程建模，通过贝尔曼方程和值迭代方法对q-table参数进行更新以实现更好的任务卸载方式，在保障电力业务qos的前提下可有效提高电力业务的接入量。87.在一些实施例中，电力设备获取第二电力设备对应的状态空间，可以包括：第一电力设备获取第二电力设备的当前剩余电量、与第二电力设备连接的关联设备对应的当前计算容量；该第一电力设备根据当前剩余电量和当前计算容量，确定第二电力设备对应的状态空间。88.其中，当前剩余电量可用表示，当前计算容量可用表示。也就是说，该第二电力设备对应的状态空间可用表示。89.203、根据最优任务卸载方式，卸载待卸载任务。90.第一电力设备在获取待卸载任务对应的最优任务卸载方式之后，可根据该最优任务卸载方式，有效卸载该待卸载任务。91.在本发明实施例中，获取第一电力设备在卸载待卸载任务时对应的当前状态信息；将当前状态信息输入至基站协作边缘计算卸载模型中，得到基站协作边缘计算卸载模型输出的最优任务卸载方式；根据最优任务卸载方式，卸载待卸载任务。该方法根据基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息，构建的基站协作边缘计算卸载模型，在保障时延敏感型业务qos的前提下，能够合理利用电力通信网的计算资源，从不同任务卸载方式中确定出第一电力设备对应的最优任务卸载方式，以有效卸载该第一电力设备中的待卸载任务。92.下面对本发明提供的面向差异化电力业务的基站协作边缘计算卸载装置进行描述，下文描述的面向差异化电力业务的基站协作边缘计算卸载装置与上文描述的面向差异化电力业务的基站协作边缘计算卸载方法可相互对应参照。93.如图4所示，是本发明提供的面向差异化电力业务的基站协作边缘计算卸载装置的结构示意图，应用于第一电力设备，该第一电力设备与关联设备连接，该关联设备包括该第一电力设备的接入基站以及与该接入基站连接的协作基站，该装置可以包括：获取模块401，用于获取该第一电力设备在卸载待卸载任务时对应的当前状态信息；处理模块402，用于将该当前状态信息输入至基站协作边缘计算卸载模型中，得到该基站协作边缘计算卸载模型输出的最优任务卸载方式；根据该最优任务卸载方式，卸载该待卸载任务；其中，该基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，该任务卸载方式包括本地处理方式和在该关联设备中卸载的方式。94.可选的，获取模块401，还用于获取第二电力设备对应的历史待卸载任务、状态空间，以及该第二电力设备卸载该历史待卸载任务时对应的卸载决策动作空间；处理模块402，还用于基于该历史待卸载任务在按照该不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以该第二电力设备的累计最小时延信息为优化目标，构建该第二电力设备对应的奖励函数；根据该状态空间、该卸载决策动作空间和该奖励函数，构建该基站协作边缘计算卸载模型。95.可选的，处理模块402，具体用于获取该历史待卸载任务在按照该不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息；以多个设备能耗信息和多个设备时延信息作为约束条件，构建该第二电力设备的累计最小时延信息；根据该累计最小时延信息，构建该第二电力设备对应的奖励函数。96.可选的，处理模块402，具体用于根据该状态空间、该卸载决策动作空间和该奖励函数，确定初始q值；s1、根据该初始q值、下一时刻的状态空间和该下一时刻的卸载决策动作空间，确定目标q值；将该目标q值确定为新的初始q值，并重复执行步骤s1，直到该目标q值与预设q值之间的差值最小；将差值最小的目标q值所对应的卸载模型确定为该基站协作边缘计算卸载模型。97.可选的，处理模块402，具体用于在该任务卸载方式为该在该关联设备中卸载的方式的情况下，获取该历史待卸载任务的数据量和完成该历史待卸载任务是所需的中央处理器周期；根据该数据量和该中央处理器周期，确定该历史待卸载任务在按照该在该关联设备中卸载的方式进行卸载时，对应的设备能耗信息和设备时延信息；在该任务卸载方式为该本地处理方式的情况下，获取该完成该历史待卸载任务是所需的中央处理器周期；根据该中央处理器周期，确定该历史待卸载任务在按照该本地处理方式进行卸载时，对应的设备能耗信息和设备时延信息。98.可选的，获取模块401，具体用于获取该第二电力设备的当前剩余电量、与该第二电力设备连接的关联设备对应的当前计算容量；根据该当前剩余电量和该当前计算容量，确定该第二电力设备对应的状态空间。99.如图5所示，是本发明提供的电力设备的结构示意图，该电力设备可以包括：卸载器（processor）510、通信接口（communicationsinterface）520、存储器（memory）530和通信总线540，其中，卸载器510，通信接口520，存储器530通过通信总线540完成相互间的通信。卸载器510可以调用存储器530中的逻辑指令，以执行面向差异化电力业务的基站协作边缘计算卸载方法，该方法应用于第一电力设备，该第一电力设备与关联设备连接，该关联设备包括该第一电力设备的接入基站以及与该接入基站连接的协作基站，该方法包括：获取该第一电力设备在卸载待卸载任务时对应的当前状态信息；将该当前状态信息输入至基站协作边缘计算卸载模型中，得到该基站协作边缘计算卸载模型输出的最优任务卸载方式；根据该最优任务卸载方式，卸载该待卸载任务；其中，该基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，该任务卸载方式包括本地处理方式和在该关联设备中卸载的方式。100.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（read-onlymemory，rom）、随机存取存储器（randomaccessmemory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。101.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被卸载器执行时，计算机能够执行上述各方法所提供的面向差异化电力业务的基站协作边缘计算卸载方法，该方法应用于第一电力设备，该第一电力设备与关联设备连接，该关联设备包括该第一电力设备的接入基站以及与该接入基站连接的协作基站，该方法包括：获取该第一电力设备在卸载待卸载任务时对应的当前状态信息；将该当前状态信息输入至基站协作边缘计算卸载模型中，得到该基站协作边缘计算卸载模型输出的最优任务卸载方式；根据该最优任务卸载方式，卸载该待卸载任务；其中，该基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，该任务卸载方式包括本地处理方式和在该关联设备中卸载的方式。102.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被卸载器执行时实现以执行上述各方法提供的面向差异化电力业务的基站协作边缘计算卸载方法，该方法应用于第一电力设备，该第一电力设备与关联设备连接，该关联设备包括该第一电力设备的接入基站以及与该接入基站连接的协作基站，该方法包括：获取该第一电力设备在卸载待卸载任务时对应的当前状态信息；将该当前状态信息输入至基站协作边缘计算卸载模型中，得到该基站协作边缘计算卸载模型输出的最优任务卸载方式；根据该最优任务卸载方式，卸载该待卸载任务；其中，该基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，该任务卸载方式包括本地处理方式和在该关联设备中卸载的方式。103.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。104.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。105.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。当前第1页12当前第1页12
技术特征：
1.一种面向差异化电力业务的基站协作边缘计算卸载方法，其特征在于，应用于第一电力设备，所述第一电力设备与关联设备连接，所述关联设备包括所述第一电力设备的接入基站以及与所述接入基站连接的协作基站，所述方法包括：获取所述第一电力设备在卸载待卸载任务时对应的当前状态信息；将所述当前状态信息输入至基站协作边缘计算卸载模型中，得到所述基站协作边缘计算卸载模型输出的最优任务卸载方式；根据所述最优任务卸载方式，卸载所述待卸载任务；其中，所述基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，所述任务卸载方式包括本地处理方式和在所述关联设备中卸载的方式。2.根据权利要求1所述的方法，其特征在于，所述基站协作边缘计算卸载模型是基于以下步骤得到的：获取第二电力设备对应的历史待卸载任务、状态空间，以及所述第二电力设备卸载所述历史待卸载任务时对应的卸载决策动作空间；基于所述历史待卸载任务在按照所述不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以所述第二电力设备的累计最小时延信息为优化目标，构建所述第二电力设备对应的奖励函数；根据所述状态空间、所述卸载决策动作空间和所述奖励函数，构建所述基站协作边缘计算卸载模型。3.根据权利要求2所述的方法，其特征在于，所述基于所述历史待卸载任务在按照所述不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，以所述第二电力设备的累计最小时延信息为优化目标，构建所述第二电力设备对应的奖励函数，包括：获取所述历史待卸载任务在按照所述不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息；以多个设备能耗信息和多个设备时延信息作为约束条件，构建所述第二电力设备的累计最小时延信息；根据所述累计最小时延信息，构建所述第二电力设备对应的奖励函数。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述状态空间、所述卸载决策动作空间和所述奖励函数，构建所述基站协作边缘计算卸载模型，包括：根据所述状态空间、所述卸载决策动作空间和所述奖励函数，确定初始q值；s1、根据所述初始q值、下一时刻的状态空间和所述下一时刻的卸载决策动作空间，确定目标q值；将所述目标q值确定为新的初始q值，并重复执行步骤s1，直到所述目标q值与预设q值之间的差值最小；将差值最小的目标q值所对应的卸载模型确定为所述基站协作边缘计算卸载模型。5.根据权利要求3所述的方法，其特征在于，所述获取所述历史待卸载任务在按照所述不同任务卸载方式进行卸载时，分别对应的设备能耗信息和设备时延信息，包括：在所述任务卸载方式为所述在所述关联设备中卸载的方式的情况下，获取所述历史待卸载任务的数据量和完成所述历史待卸载任务是所需的中央处理器周期；根据所述数据量
和所述中央处理器周期，确定所述历史待卸载任务在按照所述在所述关联设备中卸载的方式进行卸载时，对应的设备能耗信息和设备时延信息；在所述任务卸载方式为所述本地处理方式的情况下，获取所述完成所述历史待卸载任务是所需的中央处理器周期；根据所述中央处理器周期，确定所述历史待卸载任务在按照所述本地处理方式进行卸载时，对应的设备能耗信息和设备时延信息。6.根据权利要求2或3所述的方法，其特征在于，所述获取第二电力设备对应的状态空间，包括：获取所述第二电力设备的当前剩余电量、与所述第二电力设备连接的关联设备对应的当前计算容量；根据所述当前剩余电量和所述当前计算容量，确定所述第二电力设备对应的状态空间。7.一种面向差异化电力业务的基站协作边缘计算卸载装置，其特征在于，应用于第一电力设备，所述第一电力设备与关联设备连接，所述关联设备包括所述第一电力设备的接入基站以及与所述接入基站连接的协作基站，所述装置包括：获取模块，用于获取所述第一电力设备在卸载待卸载任务时对应的当前状态信息；处理模块，用于将所述当前状态信息输入至基站协作边缘计算卸载模型中，得到所述基站协作边缘计算卸载模型输出的最优任务卸载方式；根据所述最优任务卸载方式，卸载所述待卸载任务；其中，所述基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的，所述任务卸载方式包括本地处理方式和在所述关联设备中卸载的方式。8.一种电力设备，包括存储器、卸载器及存储在所述存储器上并可在所述卸载器上运行的计算机程序，其特征在于，所述卸载器执行所述程序时实现如权利要求1至6任一项所述面向差异化电力业务的基站协作边缘计算卸载方法。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被卸载器执行时实现如权利要求1至6任一项所述面向差异化电力业务的基站协作边缘计算卸载方法。

技术总结
本发明提供一种面向差异化电力业务的基站协作边缘计算卸载方法和装置，应用于电力系统自动化技术领域。该方法应用于第一电力设备，第一电力设备与关联设备连接，关联设备包括接入基站以及协作基站，该方法包括：获取第一电力设备在卸载待卸载任务时对应的当前状态信息；将当前状态信息输入至基站协作边缘计算卸载模型中，得到基站协作边缘计算卸载模型输出的最优任务卸载方式；根据最优任务卸载方式，卸载待卸载任务；其中，基站协作边缘计算卸载模型是基于历史待卸载任务在按照不同任务卸载方式进行卸载时分别对应的设备能耗信息和设备时延信息训练得到的。该方法根据基站协作边缘计算卸载模型确定出的最优任务卸载方式，以有效卸载待卸载任务。以有效卸载待卸载任务。以有效卸载待卸载任务。


技术研发人员：金燊 邢宁哲 申昉 纪雨彤 赵阳 陈雅琳 张佳乐
受保护的技术使用者：国网冀北电力有限公司信息通信分公司 国家电网有限公司
技术研发日：2023.07.26
技术公布日：2023/8/28