一种智能产线管控云边端体系资源协同方法

1.本发明涉及云边端技术领域，尤其是涉及一种智能产线管控云边端体系资源协同方法。


背景技术：

2.随着5g网络和物联网等关键技术的成熟，工业物联网云计算已经由传统的云平台计算模式转向“云端+边缘“的边缘计算模式。产线管控系统作为工业物联网的一种特殊场景，具有跨地域、长流程、设施异构、设施资源多样等特点，这些特点增加了产线上边端设施资源调度的难度，容易造成设施资源分配不均、资源利用率低等问题。另外，边缘设备的资源数量往往有限，不合理的资源调度策略会造成产线终端设备无法及时获取足够的资源，进而影响产线任务的实时性和产线生产效率。因此针对产线管控系统，需要设计一种合理的云边端体系资源协同方法，对产线管控物联网中的云、边、端中的资源分配和任务卸载进行优化，从而有效提高产线设备资源的利用率，降低产线管控系统的任务时延。


技术实现要素：

3.本发明的目的是提供一种智能产线管控云边端体系资源协同方法，针对智能产线管控的云边端系统，首先在边缘服务器和终端设备之间建立基于资源定价和交易的资源协同模型，用于驱动和激励边缘服务器和终端设备的资源调度；对于产线上终端设备待卸载的特定的周期性任务，利用基于多臂老虎机的强化学习方法来选择最佳的资源调度配置方案，使得任务能在规定的运行时间内最小化运行成本
4.为实现上述目的，本发明提供了一种智能产线管控云边端体系资源协同方法，包括以下步骤：
5.s1：将产线环境中的边缘服务器视为服务提供商，记作e＝{e1,e2,
…
,en}，将产线上的终端设备视为用户，记作u＝{u1,u2,
…
,um}，终端服务器拥有足够数量的资金；每次将终端设备ui在边缘服务器ej上的一次任务卸载过程视为一次资源消费过程，每个边缘服务器均持有有限的k种资源r＝{r1,r2,
…
,rk}，每种资源ri的剩余可用数量记为ai，定义r＝(r1,r2,
…
,rk)代表一个资源配置方案，其中，ri代表使用第i种资源的数量，ri的取值范围是0≤ri≤ai；
6.s2：边缘服务器设定初始资源价格方案
7.s3：终端设备设定任务卸载的初始资源配置r
(1)
；
8.s4：在第t轮任务卸载前，终端设备从边缘服务器获取当前所有边缘服务器的资源价格方案终端设备对每个边缘服务器均使用多臂老虎机强化学习方法来获取任务卸载的最佳资源配置，从所有的最佳资源配置中，选取全局最优资源配置；
9.s5：终端按照全局最优资源配置执行任务卸载，边缘服务器执行终端任务；
10.s6：边缘服务器ei记录所有卸载到自身的终端设备的资源配置方案，并根据终端资源使用量生成新一轮的资源定价方案
11.s7：基于stackelberg博弈实现边缘和终端设备的资源协同过程，重复步骤s4到步骤s6，边缘服务器作为领导者，终端设备作为追随者。
12.优选的，所述步骤s4中，终端设备选取全局最优资源具体过程如下：
13.s41：定义最佳资源配置的公式如下：
[0014][0015]
设置目标优化函数为ω(r)＝p(r)
·
t(r)，约束条件公式为其中，p(r)为边缘服务器提供的资源配置r的单位时间定价，t(r)为任务在r下的运行时间，为全体可选资源配置集，t为任务的最大可容忍运行时限；
[0016]
s42：调整目标优化函数的格式：
[0017]
令f(r)＝1/t(r)表示任务的运行速率，则多臂老虎机的目标优化函数的公式如下：
[0018][0019]
则优化后的最佳资源配置的公式如下：
[0020][0021]
s43：边缘服务器上的全体资源配置集是是有限集合，其中表示取值范围0到ri的整数，每个资源配置均是一个多维整数向量，终端设备初始选择所述步骤s3中的初始资源配置r
(1)
；
[0022]
s44：每个资源配置均定义为老虎机的一只“臂”，使用多轮迭代的方式选出最优的“臂”；
[0023]
s45：在第i轮迭代过程中(i＝1,2,3,
…
)，终端设备使用资源配置r(i)向边缘服务器卸载任务，得到任务的运行速率公式如下：
[0024]
y(i)＝f(r(i))+∈(i)[0025]
上式中，y(i)是实际观测到的任务执行时间，∈(i)是观测干扰项，∈(i)～n(0,σ2)为服从正态分布的干扰项；
[0026]
s46：基于高斯过程-置信上界区间的原理对下一轮迭代资源配置进行计算，过程如下：
[0027]
定义任务的运行速率函数f(r)是高斯过程gp(m(r),k(r,r'))的采样，其中m(r)为f(r)的均值函数，k(r,r')为f(r)和f(r')的协方差，即任意的有限子集均服从联合正态分布n(m(r),k(r,r'))；
[0028]
在第t轮迭代后，使用资源配置{r
(1)
,r
(2)
,
…
,r
(t)
}以及带噪音的采样{y
(1)
,y
(2)
,
…
,y
(t)
}，能够得到f的后验分布服从正态分布，对于任意r,f(r)期望函数、协方
差函数和方差函数的公式如下：
[0029]m(t)
(r)＝(k
(t)
(r))
t
(k
(t)
+σ2i)-1y(t)
[0030]k(t)
(r,r')＝k(r,r')-(k
(t)
(r))
t
(k
(t)
+σ2i)-1k(t)
(r')
[0031]
(σ
(t)
)2(r)＝k
t
(r,r)
[0032]
上式中，k
(t)
(r)与k
(t)
的公式如下：
[0033]k(t)
(r)＝[k(r
(1)
,r),k(r
(2)
,r),
…
,k(r
(t)
,r)]
t
[0034][0035]
使用平方指数核函数作为f的先验协方差函数，公式如下：
[0036][0037]
上式中，σ2是观测干扰项∈(i)的方差，l2是核函数的长度尺度参数；
[0038]
终端设备使用后验分布的方式预测第t轮之后f的期望函数和方差函数，选择第t+1轮迭代所使用的资源配置，公式如下：
[0039][0040][0041]
上式中，参数δ是常数项；
[0042]
s47：重复步骤s45和步骤s46，直到观察到函数y
(t)
收敛，收敛条件为σ
(t)
《θ
·
σ2，其中θ为收敛阈值权重，得到边缘服务器的最佳资源配置r
(t)
；
[0043]
s48：对每个边缘服务器均执行步骤s41到s47，得到所有边缘服务器各自的最佳资源配置计算的最大值，得到全局最优资源配置的公式如下：
[0044][0045]
上式中，是全局最优资源配置，选取的任务卸载的边缘服务器是ej。
[0046]
优选的，所述步骤s41中，边缘服务器对终端设备的资源定价p(r)有两种情况：
[0047]
当是固定价格情况，终端设备向边缘服务器申请资源配置r时，边缘服务器提供给该终端设备的资源定价p(r)始终固定；
[0048]
当是动态价格情况，终端设备在每轮迭代向边缘服务器申请资源配置r
(t)
时，边缘服务器提供不同的资源价格p
(t)
(r)，在进行下一轮迭代前的资源配置选择前，终端设备利用先前的价格预先计算下一轮的资源配置r的资源定价：
[0049]
[0050]
上式中，p
(t-1)
(r)是上一轮的定价，p
(t-2)
(r)是上两轮的定价。
[0051]
优选的，所述步骤s6中，边缘服务器生成新一轮资源价格方案的过程如下：
[0052]
s61：根据步骤s2的初始资源价格方案设置资源ri的初始单位价格pi'的公式如下：
[0053][0054]
s62：针对所有终端设备，设置资源供需因子αs，公式如下：
[0055][0056]
上式中，为本轮任务卸载中所有终端设备向边缘服务器申请资源ri的总量，si为边缘服务器资源ri的剩余量，γ为常数；
[0057]
s63：对所有终端设备，均设置环境竞争因子αc，公式如下：
[0058][0059]
上式中，是上一轮所有边缘服务器对资源ri的平均定价；
[0060]
s64：针对特定的终端设备uj，设置歧视因子αd，公式如下：
[0061][0062]
上式中，是上一轮uj申请资源ri的数量，是本轮uj申请ri的数量，是上一轮为uj提供的ri的资源定价；
[0063]
s65：汇总步骤s62至步骤s64，针对所有的终端设备，边缘服务器设置资源ri的资源价格方案的公式如下：
[0064][0065]
上式中，是本轮中边缘服务器对所有终端设备的资源价格方案；
[0066]
针对特定的终端设备uj，边缘服务器设置资源ri对uj的资源价格方案公式如下：
[0067][0068]
上式中，是本轮中边缘服务器对特定的终端设备的资源价格方案。
[0069]
因此，本发明采用上述方法的一种智能产线管控云边端体系资源协同方法，具有以下优点：
[0070]
(1)本发明中，利用资源定价和交易模型，通过为边缘服务器的资源设定价格的方
式能够有效衡量每种资源的权重。
[0071]
(2)本发明中，通过资源交易的方式，边缘服务器的目标是最大化自身收益，这能够有效激励边缘服务器共享自身资源，从而提升自身的资源利用率。
[0072]
(3)本发明中，终端设备利用基于多臂老虎机强化学习的任务卸载方法，通过多轮迭代获取花费最低的资源配置，从而保证自身任务卸载的最优性；另外，利用高斯过程-置信区间上界模型对任务运行速率函数f的建模，提升了函数f预测结果的动态调整能力，使得强化学习过程能够迅速收敛至最优值，在保证资源利用率的同时有效降低了资源调度所需的时间。
[0073]
(4)本发明中，利用stackelberg博弈模型协调边缘服务器和终端设备之间的资源供需利益冲突，双方不断调整自身参数使得自身利益最大化，从而间接地达成合作来促使系统整体利益的最大化，保证系统整体资源利用率达到最优状态。
[0074]
(5)在本发明中，边缘服务器的资源利用率利用资源定价进行量化：对于边缘服务器的资源集合r＝{r1,r2,
…
,rk},若资源ri的单位时间价格为pi,则对于一个资源配置方案r＝(r1,r2,
…
,rk)，边缘服务器的资源利用率是方便后续的统计计算。
[0075]
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
[0076]
图1为本发明一种智能产线管控云边端体系资源协同方法中云边端的示意图；
[0077]
图2为本发明一种智能产线管控云边端体系资源协同方法中最佳资源配置的流程图；
[0078]
图3为本发明一种智能产线管控云边端体系资源协同方法中基于stackelberg博弈的流程图。
具体实施方式
[0079]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0080]
实施例
[0081]
本发明提供了一种智能产线管控云边端体系资源协同方法，如图1，针对现有的云边端结构，统一的云中心负责整个产线环境的集中控制，拥有足够的软硬件资源；边缘服务器距离云中心较远而距离产线终端设备较近，拥有有限的资源和一定的本地计算、通信能力；终端设备主要用于产线生产过程的监视和调度，其地理位置较为分散但相对固定，拥有受限的硬件资源和软件运行环境，其许多计算、通信等类型的任务需要借助边缘服务器来完成，终端设备需要卸载的任务为周期性任务，即能够自行终止且需要重复执行的任务。
[0082]
将n个边缘服务器e＝{e1,e2,
…
,en}作为领导者，首先各自制定资源定价；将m个终
端设备u＝{u1,u2,
…
,um}作为跟随者，在获得边缘服务器的资源定价后决定资源配置方案，包括以下步骤：
[0083]
s1：将产线环境中的边缘服务器视为服务提供商，记作e＝{e1,e2,
…
,en}，将产线上的终端设备视为用户，记作u＝{u1,u2,
…
,um}，终端服务器拥有足够数量的资金；每次将终端设备ui在边缘服务器ej上的一次任务卸载过程视为一次资源消费过程，每个边缘服务器均持有有限的k种资源r＝{r1,r2,
…
,rk}，每种资源ri的剩余可用数量记为ai，在每轮任务卸载中，每个边缘服务器需针对每种自身持有的资源ri进行合理定价；
[0084]
每个终端设备均使用基于多臂老虎机的强化学习方法来获取周期性任务在当前定价方案下的最优卸载方案，定义r＝(r1,r2,
…
,rk)代表一个资源配置方案，ri代表使用第i种资源的数量，ri的取值范围是0≤ri≤ai；
[0085]
s2：边缘服务器根据资源成本等因素设定初始资源价格方案s2：边缘服务器根据资源成本等因素设定初始资源价格方案
[0086]
s3：终端设备设定任务卸载的初始资源配置r
(1)
；
[0087]
s4：在第t轮任务卸载前，终端设备从边缘服务器获取当前所有边缘服务器的资源价格方案如图2，终端设备对每个边缘服务器均使用多臂老虎机强化学习方法来获取任务卸载的最佳资源配置，从所有的最佳资源配置中，选取全局最优资源配置；
[0088]
s41：定义最佳资源配置的公式如下：
[0089][0090]
设置目标优化函数为ω(r)＝p(r)
·
t(r)，约束条件公式为其中p(r)为边缘服务器提供的资源配置r的单位时间定价，t(r)为任务在r下的运行时间，为全体可选资源配置集，t为任务的最大可容忍运行时限；
[0091]
s42：调整目标优化函数的格式：
[0092]
令f(r)＝1/t(r)表示任务的运行速率，则多臂老虎机的目标优化函数的公式如下：
[0093][0094]
则优化后的最佳资源配置的公式如下：
[0095][0096]
s43：边缘服务器上的全体资源配置集是是有限集合，其中表示取值范围0到ri的整数，每个资源配置均是一个多维整数向量，终端设备初始选择所述步骤s3中的初始资源配置r
(1)
；
[0097]
s44：每个资源配置均定义为老虎机的一只“臂”，使用多轮迭代的方式选出
最优的“臂”；
[0098]
s45：在第i轮迭代过程中(i＝1,2,3,
…
)，终端设备使用资源配置r(i)向边缘服务器卸载任务，得到任务的运行速率公式如下：
[0099]
y(i)＝f(r(i))+∈(i)[0100]
上式中，y(i)是实际观测到的任务执行时间，∈(i)是观测干扰项，∈(i)～n(0,σ2)为服从正态分布的干扰项；
[0101]
s46：基于高斯过程-置信上界区间的原理对下一轮迭代资源配置进行计算，过程如下：
[0102]
定义任务的运行速率函数f(r)是高斯过程gp(m(r),k(r,r'))的采样，其中m(r)为f(r)的均值函数，k(r,r')为f(r)和f(r')的协方差，即任意的有限子集均服从联合正态分布n(m(r),k(r,r'))；
[0103]
在第t轮迭代后，使用资源配置{r
(1)
,r
(2)
,
…
,r
(t)
}以及带噪音的采样{y
(1)
,y
(2)
,
…
,y
(t)
}，能够得到f的后验分布服从正态分布，对于任意r,f(r)期望函数、协方差函数和方差函数的公式如下：
[0104]m(t)
(r)＝(k
(t)
(r))
t
(k
(t)
+σ2i)-1y(t)
[0105]k(t)
(r,r')＝k(r,r')-(k
(t)
(r))
t
(k
(t)
+σ2i)-1k(t)
(r')
[0106]
(σ
(t)
)2(r)＝k
t
(r,r)
[0107]
上式中，k
(t)
与k
(t)
(r)的公式如下：
[0108]k(t)
(r)＝[k(r
(1)
,r),k(r
(2)
,r),
…
,k(r
(t)
,r)]
t
[0109][0110]
使用平方指数核函数作为f的先验协方差函数，公式如下：
[0111][0112]
上式中，σ2是观测干扰项∈(i)的方差，l2是核函数的长度尺度参数；
[0113]
终端设备使用后验分布的方式预测第t轮之后f的期望函数和方差函数，选择第t+1轮迭代所使用的资源配置，公式如下：
[0114][0115][0116]
其中，参数在置信上界区间中用于平衡期望项和方差项，其中的δ是常数项；
[0117]
s47：重复步骤s45和步骤s46，直到观察到函数y
(t)
收敛，收敛条件为σ
(t)
《θ
·
σ2，其中θ为收敛阈值权重，得到边缘服务器的最佳资源配置r
(t)
；
[0118]
s48：对每个边缘服务器均执行步骤s41到s47，得到所有边缘服务器各自的最佳资
源配置计算的最大值，得到全局最优资源配置的公式如下：
[0119][0120]
上式中，是全局最优资源配置，选取的任务卸载的边缘服务器是ej。
[0121]
在步骤s41中，边缘服务器对终端设备的资源定价p(r)有两种情况：
[0122]
当是固定价格的情况，终端设备向边缘服务器申请资源配置r时，边缘服务器提供给该终端设备的资源定价p(r)始终固定；
[0123]
当是动态价格的情况，终端设备在每轮迭代向边缘服务器申请资源配置r
(t)
时，边缘服务器提供不同的资源价格p
(t)
(r)。在进行下一轮迭代前的资源配置选择前，终端设备利用先前的价格预先计算下一轮的资源配置r的资源定价：
[0124][0125]
上式中，p
(t-1)
(r)是上一轮的定价，p
(t-2)
(r)是上两轮的定价。
[0126]
s5：终端按照全局最优资源配置执行任务卸载，边缘服务器执行终端任务；
[0127]
s6：边缘服务器ei记录所有卸载到自身的终端设备的资源配置方案，并根据终端资源使用量生成新一轮的资源定价方案
[0128]
s61：根据步骤s2的初始资源价格方案设置资源ri的初始单位价格pi'的公式如下：
[0129][0130]
s62：针对所有终端设备，设置资源供需因子αs，公式如下：
[0131][0132]
上式中，为本轮任务卸载中所有终端设备向边缘服务器申请资源ri的总量，si为边缘服务器资源ri的剩余量，γ为常数；
[0133]
s63：对所有终端设备，均设置环境竞争因子αc，公式如下：
[0134][0135]
上式中，是上一轮所有边缘服务器对资源ri的平均定价；
[0136]
s64：针对特定的终端设备uj，设置歧视因子αd，公式如下：
[0137][0138]
上式中，是上一轮uj申请资源ri的数量，是本轮uj申请ri的数量，是上一轮为uj提供的ri的资源定价；
[0139]
s65：汇总步骤s62至步骤s64，针对所有的终端设备，边缘服务器设置资源ri的资源价格方案的公式如下：
[0140][0141]
上式中，是本轮中边缘服务器对所有终端设备的资源价格方案；
[0142]
针对特定的终端设备uj，边缘服务器设置资源ri对uj的资源价格方案公式如下：
[0143][0144]
上式中，是本轮中边缘服务器对特定的终端设备的资源价格方案
[0145]
s7：如图3，基于stackelberg博弈实现边缘和终端设备的资源协同过程，重复步骤s4到步骤s6，边缘服务器作为领导者，终端设备作为追随者。
[0146]
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

技术特征：
1.一种智能产线管控云边端体系资源协同方法，其特征在于，包括以下步骤：s1：将产线环境中的边缘服务器视为服务提供商，记作e＝{e1,e2,
…
,e
n
}，将产线上的终端设备视为用户，记作u＝{u1,u2,
…
,u
m
}，终端服务器拥有足够数量的资金；每次将终端设备u
i
在边缘服务器e
j
上的一次任务卸载过程视为一次资源消费过程，每个边缘服务器均持有有限的k种资源r＝{r1,r2,
…
,r
k
}，每种资源r
i
的剩余可用数量记为a
i
，定义r＝(r1,r2,
…
,r
k
)代表一个资源配置方案，其中，r
i
代表使用第i种资源的数量，r
i
的取值范围是0≤r
i
≤a
i
；s2：边缘服务器设定初始资源价格方案s3：终端设备设定任务卸载的初始资源配置r
(1)
；s4：在第t轮任务卸载前，终端设备从边缘服务器获取当前所有边缘服务器的资源价格方案终端设备对每个边缘服务器均使用多臂老虎机强化学习方法来获取任务卸载的最佳资源配置，从所有的最佳资源配置中，选取全局最优资源配置；s5：终端按照全局最优资源配置执行任务卸载，边缘服务器执行终端任务；s6：边缘服务器e
i
记录所有卸载到自身的终端设备的资源配置方案，并根据终端资源使用量生成新一轮的资源定价方案s7：基于stackelberg博弈实现边缘和终端设备的资源协同过程，重复步骤s4到步骤s6，边缘服务器作为领导者，终端设备作为追随者。2.根据权利要求1所述的一种智能产线管控云边端体系资源协同方法，其特征在于：所述步骤s4中，终端设备选取全局最优资源具体过程如下：s41：定义最佳资源配置的公式如下：设置目标优化函数为ω(r)＝p(r)
·
t(r)，约束条件公式为其中，p(r)为边缘服务器提供的资源配置r的单位时间定价，t(r)为任务在r下的运行时间，为全体可选资源配置集，t为任务的最大可容忍运行时限；s42：调整目标优化函数的格式：令f(r)＝1/t(r)表示任务的运行速率，则多臂老虎机的目标优化函数的公式如下：则优化后的最佳资源配置的公式如下：s43：边缘服务器上的全体资源配置集是是有限集合，其中表示取值范围0到r
i
的整数，每个资源配置均是一个多维整数向量，终端设备初始选择所述步骤s3中的初始资源配置r
(1)
；
s44：每个资源配置均定义为老虎机的一只“臂”，使用多轮迭代的方式选出最优的“臂”；s45：在第i轮迭代过程中(i＝1,2,3,
…
)，终端设备使用资源配置r
(i)
向边缘服务器卸载任务，得到任务的运行速率公式如下：y
(i)
＝f(r
(i)
)+∈
(i)
上式中，y
(i)
是实际观测到的任务执行时间，∈
(i)
是观测干扰项，∈
(i)
～n(0,σ2)为服从正态分布的干扰项；s46：基于高斯过程-置信上界区间的原理对下一轮迭代资源配置进行计算，过程如下：定义任务的运行速率函数f(r)是高斯过程gp(m(r),k(r,r'))的采样，其中m(r)为f(r)的均值函数，k(r,r')为f(r)和f(r')的协方差，即任意的有限子集均服从联合正态分布n(m(r),k(r,r'))；在第t轮迭代后，使用资源配置{r
(1)
,r
(2)
,
…
,r
(t)
}以及带噪音的采样{y
(1)
,y
(2)
,
…
,y
(t)
}，能够得到f的后验分布服从正态分布，对于任意f(r)期望函数、协方差函数和方差函数的公式如下：m
(t)
(r)＝(k
(t)
(r))
t
(k
(t)
+σ2i)-1
y
(t)
k
(t)
(r,r')＝k(r,r')-(k
(t)
(r))
t
(k
(t)
+σ2i)-1
k
(t)
(r')(σ
(t)
)2(r)＝k
t
(r,r)上式中，k
(t)
(r)与k
(t)
的公式如下：k
(t)
(r)＝[k(r
(1)
,r),k(r
(2)
,r),
…
,k(r
(t)
,r)]
t
使用平方指数核函数作为f的先验协方差函数，公式如下：上式中，σ2是观测干扰项∈
(i)
的方差，l2是核函数的长度尺度参数；终端设备使用后验分布的方式预测第t轮之后f的期望函数和方差函数，选择第t+1轮迭代所使用的资源配置，公式如下：迭代所使用的资源配置，公式如下：上式中，参数δ是常数项；s47：重复步骤s45和步骤s46，直到观察到函数y
(t)
收敛，收敛条件为σ
(t)
<θ
·
σ2，其中θ为收敛阈值权重，得到边缘服务器的最佳资源配置r
(t)
；s48：对每个边缘服务器均执行步骤s41到s47，得到所有边缘服务器各自的最佳资源配
置计算的最大值，得到全局最优资源配置的公式如下：上式中，是全局最优资源配置，选取的任务卸载的边缘服务器是e
j
。3.根据权利要求2所述的一种智能产线管控云边端体系资源协同方法，其特征在于：所述步骤s41中，边缘服务器对终端设备的资源定价p(r)有两种情况：当是固定价格情况，终端设备向边缘服务器申请资源配置r时，边缘服务器提供给该终端设备的资源定价p(r)始终固定；当是动态价格情况，终端设备在每轮迭代向边缘服务器申请资源配置r
(t)
时，边缘服务器提供不同的资源价格p
(t)
(r)，在进行下一轮迭代前的资源配置选择前，终端设备利用先前的价格预先计算下一轮的资源配置r的资源定价：上式中，p
(t-1)
(r)是上一轮的定价，p
(t-2)
(r)是上两轮的定价。4.根据权利要求1所述的一种智能产线管控云边端体系资源协同方法，其特征在于：所述步骤s6中，边缘服务器生成新一轮资源价格方案的过程如下：s61：根据步骤s2的初始资源价格方案设置资源r
i
的初始单位价格p
i
'的公式如下：s62：针对所有终端设备，设置资源供需因子α
s
，公式如下：上式中，为本轮任务卸载中所有终端设备向边缘服务器申请资源r
i
的总量，s
i
为边缘服务器资源r
i
的剩余量，γ为常数；s63：对所有终端设备，均设置环境竞争因子α
c
，公式如下：上式中，是上一轮所有边缘服务器对资源r
i
的平均定价；s64：针对特定的终端设备u
j
，设置歧视因子α
d
，公式如下：
上式中，是上一轮u
j
申请资源r
i
的数量，是本轮u
j
申请r
i
的数量，是上一轮为u
j
提供的r
i
的资源定价；s65：汇总步骤s62至步骤s64，针对所有的终端设备，边缘服务器设置资源r
i
的资源价格方案的公式如下：上式中，是本轮中边缘服务器对所有终端设备的资源价格方案；针对特定的终端设备u
j
，边缘服务器设置资源r
i
对u
j
的资源价格方案公式如下：上式中，是本轮中边缘服务器对特定的终端设备的资源价格方案。

技术总结
本发明公开了一种智能产线管控云边端体系资源协同方法，属于云边端技术领域，通过结合经济模型和优化方法，使得边缘服务器和终端设备之间合作良好，具体内容如下：(1)智能产线管控云边端体系的资源定价和交易模型，利用经济原理和资金定价的方式来动态量化边缘服务器的资源；(2)基于多臂老虎机强化学习方法的终端周期性任务卸载方法，利用强化学习来优化周期性任务卸载所需的资源配置；(3)基于Stackelberg博弈的资源协同方法，以系统整体的利益最大化为目标，来达到优化系统整体资源利用率的目的，本发明采用上述方法，针对智能产线管控的云边端系统，使得终端设备卸载的任务能在规定的运行时间内最小化运行成本。务能在规定的运行时间内最小化运行成本。务能在规定的运行时间内最小化运行成本。


技术研发人员：崔冬航 李荣华 秦宏超 王国仁
受保护的技术使用者：北京理工大学
技术研发日：2023.07.07
技术公布日：2023/9/9