一种网络切片控制系统及控制方法

1.本发明涉及通信
技术领域：
：，尤其涉及一种网络切片控制系统及控制方法。
背景技术：
：：2.人工智能技术发展的同时，无线通信系统也在持续高速发展中。5g(5thgenerationmobilenetworks，5g)支持增强移动通信(enhancedmobilebroadband,embb)、超高可靠低时延(ultra-reliablelowlatencycommunications，urllc)和海量机器类型通信(massivemachinetypecommunications，mmtc)等三大应用场景，而未来的无线通信系统必将向更大吞吐、更低时延、更高可靠性、更大连接数、更高频谱利用率等方向演进。已有的研究工作表明，人工智能在复杂未知环境建模、学习，信道预测，智能信号生成与处理，网络状态跟踪与智能调度，网络优化部署等许多方面具有重要的应用潜力，有望促进未来通信范式的演变和网络架构的变革，对下一代网络技术研究具有十分重要的意义和价值。强化学习作为重要的机器学习分支，在复杂问题的决策和优化上发挥巨大的作用，如在棋类比赛中打败顶级大师，对网络资源进行分配调度，根据用户兴趣进行智能推荐等。现如今无线网络的结构日趋复杂，密集网络覆盖所带来的干扰也不容轻视。复杂的网络环境、无限大的状态空间和高维优化参数，对于传统的优化方法来说是一个挑战。3.3gpp(3rdgenerationpartnershipproject，3gpp)正式将5g演进的名称确定为5g-advanced，标志着全球5g技术和标准发展进入新阶段。网络切片和边缘计算作为面向万物互联时代需求的关键技术，将释放垂直行业服务能力，推动5g与行业深度融合。基于同租户签订的服务水平协议(servicelevelagreement,sla),运营商创建网络切片，划分满足特定网络能力和特性的逻辑网络，为不同垂直行业、不同客户、不同业务，提供相互隔离、功能可定制的网络服务。网络切片是5g网络的一个端到端的虚拟网络，是一组逻辑网络功能的集合。网络切片是一种按需组网的方式，可以让运营商在统一的基础设施上分离出多个虚拟的端到端网络，每个网络切片从无线接入网到承载网再到核心网上进行逻辑隔离，以适配各种各样类型的应用。在一个网络切片中，至少可分为无线网子切片、承载网子切片和核心网子切片三部分。网络切片技术允许在每个网络切片子网实例中相对较容易地配置和重用网络元件及功能以满足特定的应用要求，实现从“一个通信子网可以满足所有场景的通信需求”到“一个网络切片实例可以通过对部分网络资源进行编排和组合满足当前场景的通信需求”的过渡。4.embb和urllc作为5g通信系统网络的两大主要场景，业务需求存在明显差异，为qos(qualityofservice，服务质量)要求明显不同的两种业务探索最佳资源调度和分配策略成为关键问题。5.应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的
背景技术：
：部分进行了阐述而认为上述技术方案为本领域技术人员所公知。技术实现要素：6.本发明实施例提出一种网络切片控制系统及控制方法，在保证商定sla得到保证的前提下，提高网络系统容量并保证用户服务质量。7.根据本发明实施例的第一方面，提供一种网络切片控制系统，所述系统包括切片编排器和多个域控制器；所述切片编排器，配置为根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，并将时延划分结果下发给所述多个域控制器；所述每一域控制器，配置为根据所述切片编排器下发的该网络域的时延划分结果，利用资源映射机制进行本网络域的资源分配，并将所述资源分配保证的qos反馈给所述切片编排器；所述切片编排器，还配置为根据所述域控制器反馈的qos，确定sla保证情况，并根据所述sla保证情况，调整所述网络切片sla保证的端到端时延在各网络域的划分。8.根据本发明实施例的第二方面，提出一种网络切片控制方法，包括：步骤1，根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，生成时延划分结果；步骤2，根据所述时延划分结果，利用资源映射机制进行所述各网络域的资源分配，并反馈所述资源分配保证的qos；步骤3，根据所述反馈的qos，确定sla保证情况，并根据所述sla保证情况，返回步骤1来调整所述网络切片sla保证的端到端时延在各网络域的划分。9.本发明实施例公开的网络切片控制系统及方法，设计了一种端到端网络切片基于sla的跨域编排框架，以时延为跨域协调指标，传输速率为域内约束指标，用以实现端到端切片资源管理。该架构用于将网络切片端到端约束时延划分成ran和cn需要满足的时延限制，并且易于扩展到更多域。另外，提出基于时延均衡机制的端到端约束时延划分方法，通过灵活调整网络分域时延限制可以提高网络容量(接入用户数)和保障embb用户服务质量。为了解决ran和cn资源分配的非凸和np-hard问题，设计了深度强化学习算法，用于管理用户的无线资源，以及核心网网元和链路资源的分配。10.参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。11.针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。12.应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。附图说明13.所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：14.图1为本发明实施例的网络切片控制系统的架构示意图；15.图2为本发明实施例中，sfc嵌入包括节点映射阶段和链路映射两个阶段的示意图；16.图3为本发明实施例的dsdp策略的端到端网络切片编排架构的示意图；17.图4为本发明实施例的dtdp策略的端到端网络切片编排架构的示意图；18.图5为本发明实施例的指针网络的原理架构的示意图；19.图6为本发明实施例的网络切片控制方法的处理流程图；20.图7为本发明另一实施例的网络切片控制方法的处理流程图；21.图8为本发明实施例的网络设备的结构示意图；22.图9为本发明实施例的资源分配方法的处理流程图；23.图10为本发明另一实施例的资源分配方法的处理流程图；24.图11为本发明实施例的网络切片的端到端时延的管理方法的处理流程图。具体实施方式25.参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。26.在5g移动网络中，各种业务部署在共享的移动网络基础设施上，需跨域无线接入网(radioaccessnetwork,ran)、传输网和核心网(corenetwork,cn)，以及边缘、聚合和中央云服务器。移动网络基础设施和端到端(end-to-end,e2e)网络切片逻辑架构主要可分为接入侧、有线侧两部分：无线接入网分布有若干基站(basestation,bs)，负责用户的准入并进行无线资源的分配；用户自基站接入有线网络后，根据其所需服务(网络切片)的属性，经过传输网络，在区域数据中心与云数据中心内(或更高级别数据中心，如大区级数据中心)选择服务器节点及内部光纤链路，为不同网络切片进行虚拟网络和物理网络之间的映射。用户与基站之间的无线链路，和切片虚拟网络对应的有线链路共同组成了端到端通信链路。27.此外，embb和urllc作为5g通信系统网络的两大主要场景，业务需求存在明显差异。5gnewradio提议击穿(puncture)正在进行的embb数据传输，以满足urllc业务严格的延迟要求。即当带宽不足时，部分已经分配的embb网络资源将被随机进入的urllc流量抢占。因此，对传输连续性要求高的embb用户将面临速率损失，从而严重降低服务质量。为qos(qualityofservice，服务质量)要求明显不同的两种业务探索最佳资源调度和分配策略成为关键问题。28.网络切片的落地，需要增强网络的调度与协同保障能力。多域切片的主要特点是互联互通的域是自主管理的，而e2e切片可以看作是属于不同网络域的子网进行级联而成。当创建一个网络切片时，需要使用多项技术，拉通多个网络域来实现。运营商与切片租户商定的sla相关指标，需要被分解成每个网络域能够支持的部分。时延要求可以在域之间以协作的方式进行协商，而不会损害各网络域的自治性和隐私性。因此，如何保证租户与运营商商定的sla是5g网络迈向自动化的关键问题。29.本发明实施例公开了一种端到端网络切片跨域管理体系架构，在保证商定sla得到保证的前提下，能够根据网络切片请求和qos反馈向各网络切片动态地分配网络资源。本发明实施例公开的端到端网络切片编排架构，由负责分解sla性能指标的端到端编排器和管理各自域的域控制器组成。在sla端到端性能指标中，吞吐量受限于传输路径中最小的链路传输速率，时延为路径上各链路时延之和。因此，在性能指标的约束方面，本发明实施例以时延作为需要跨域协调的指标，吞吐量需求则作为域内资源分配的约束条件。在此基础上，结合深度强化学习方法，提出了两种时延均衡策略，用于调整网络切片sla保证的端到端时延在下属各网络域的划分，提高网络系统容量并保证用户服务质量。30.图1为本发明实施例的网络切片控制系统的架构示意图。如图1所示，所述系统包括切片编排器(e2ensorchestrator)10和多个域控制器(domaincontroller)[21，22，……，2n]。由于5g融合业务具有差异化通信网络性能指标要求，切片编排器10负责与用户进行协商，并将用户的服务质量需求转变为签订的网络切片sla，并且无需了解各网络域内部的网络结构及资源状态。之后，切片编排器10对切片sla规定的端到端服务质量指标(时延、吞吐量、可靠性等要求)在各网络域之间进行划分，再对应下发至各个网络域。域控制器[21，22，……，2n]负责监管本网络域的物理网络资源，并根据下发指标，利用内部资源映射机制(mappingmechanism)进行“尽力而为地”的资源分配以保证切片服务质量(网络服务配置)，完成sla指标到网络资源的映射。域控制器还会对本网络域内的资源状态及服务质量进行监管。最后，各个域控制器向切片编排器10汇报sla相关指标的完成情况(汇报部署结果)。切片编排器10根据域控制器的报告，计算网络切片端到端sla保证情况，并对sla指标在各网络域划分的比例进行调整。切片编排器10还会根据当前路由路径及状态，完成网络切片跨域的连接。[0031]在本发明实施例中，切片编排器10负责与用户进行协商，并将用户的服务质量需求转变为签订的网络切片sla。在网络切片sla商定的端到端性能指标中，吞吐量受限于传输路径中最小的链路传输速率，时延为路径上各链路时延之和。因此，在性能指标的约束方面，本发明实施例以时延作为需要跨域协调的指标，吞吐量需求则作为域内资源分配的约束条件。[0032]假设切片实例化是在向用户提供服务前执行的，因此，一旦网络切片被实例化，网络就能保证与用户达成的sla。接入网采用无线通信方式，核心网采用有线通信方式。假设基站和核心网数据中心内所有服务器节点之间存在直接相连的物理链路，创建传输网络子切片的问题在暂不予考虑。因此，本发明实施例中，主要考虑网络切片在无线接入网和核心网中sla保证的端到端时延约束，切片编排器10将所述网络切片sla保证的端到端时延分解成接入网时延约束和核心网时延约束，调整所述接入网时延约束和所述核心网时延约束分别在无线接入网和核心网的分配比例。[0033]假设用户根据泊松点过程在基站覆盖区域内随机分布，将下行蜂窝网络作为无线网络环境，主要考虑urllc类切片和embb类切片共存的场景，两类切片下的用户集合分别记为uu＝{1,2,......,nu}，ue＝{1,2,......,ne}。假设每个切片只服务于一个用户，具体到某一用户记为uk，总用户数n＝nu+ne。假设网络具有完善的同步系统和信道估计功能，切片及其用户均具备相关qos参数(时延或吞吐量要求)，为满足其服务质量，需要无线资源在切片间、切片内灵活分配。[0034]得益于5g系统物理层极高的灵活性，可以将无线网络时频资源灵活划分成若干物理资源块(physicalresourceblock，prb)。假设无线系统总带宽为b，将频域平均划分成l个带宽bl的子信道；时域可以划分为若干调度帧，其中每个调度帧均包含t个长度为δt的子帧。由此，可以确定无线时频资源分配最小的prb尺寸。将无线时频资源prb集合记为m＝{1,2,......,m}，并假设基站对用户n获得的prbm分配有传输功率pm，prb总数m＝l·t。[0035]σ为噪声频谱密度，gn为基站发射功率与用户接收之间的信道增益，i为来自其他基站的干扰。结合路径损耗模型，若用户n占用基站prbm，其所获得吞吐量为：[0036][0037]定义m×n维矩阵a表示基站的prb分配结果，其中[0038][0039]基站可分配的prb总数满足：[0040][0041]基站为prb分配功率限制为：[0042][0043]基站为用户n分配prb后，其所获得总吞吐量为：[0044]rn＝∑ma(m,n)rbm,nꢀꢀꢀ(5)[0045]无线网络的传输速率由用户吞吐量表示。考虑不同类型的终端业务，urllc数据不会频繁出现，没有urllc数据时，静态预留的频谱资源会被浪费，造成静态频谱资源预留效率较低。urllc业务流量所经历的操作时延(基站分配信道的处理时延、数据包进入信道的队列时延等)可以忽略，为简化传输模型，将其视为m/m/1排队模型，假设用户的数据包大小为μ比特，到达速率为λ。urllc用户在无线信道上经历的传输时延为：[0046][0047]embb类型流量具有明显的规律性和周期性特征，要求进行连续通信，同样要求一定时间内交付数据。以移动视频业务为例，流量指数级增长，导致无线接入、核心网和回程链路严重拥塞，对蜂窝网络的服务质量产生了负面影响。网络边缘进行内容缓存有效地解决了这个问题。在网络边缘(如基站)缓存流行度高的文件，以缓解核心和回程拥塞，并减少内容传递延迟，提高最终用户的qos。[0048]无线网络中的缓存一般分为缓存放置和数据传输两个阶段。在embb场景下，用户在某位置请求特定文件，该请求将由一个关联的基站提供服务，并且该请求直到被请求的文件完全下载后“离开”网络。此外，在队列模型下，每个文件在基站中都有一个独立的虚拟队列。embb流量从基站到移动用户，会经历边缘时延，计算公式如下：[0049][0050]其中，υ表征基站的处理能力，lq(t)表示当前队列中数据包数目，s(t)代表一段时间内处理的数据包数，pk代表队列中丢包率。[0051]假设每个用户请求的文件不同，所以不会在基站形成关于用户请求的队列，一段时间内处理的流量大小可用rn计算，此时embb用户经历的边缘时延为：[0052][0053]其中，l代表文件大小。[0054]此外，embb类切片用户要求无线传输速率大于某阈值，为满足用户吞吐量需求，有：[0055]rn≥rrsvꢀꢀꢀ(9)[0056]nfv(networkfunctionsvirtualization，网络功能虚拟化)技术可以通过运行在通用服务器的软件实例——vnf(virtualnetworkfunction，虚拟网络功能)，取代专用的中间件功能，自由地部署在网络的任意位置。多种vnf通过顺序组合，满足业务流量的需求。一组vnf和连接它们的虚拟链路组成一条vnf逻辑链路，称为服务功能链(servicefunctionchain,sfc)，用于表示网络切片为业务流量提供e2e服务需要遍历的特定功能序列。本发明实施例以数据中心内部的服务器节点和物理链路作为物理网络(substratenetwork,sn)。[0057]物理网络sn可以抽象为无向加权图gs＝(ns,es,cs,bs)，其中ns代表sn数据中心内部存在的服务器节点以及之间传输链路上存在的路由节点，es为ns中节点间直接相连的光纤链路。cs和bs分别代表节点资源(cpu、ram等)和链路资源(带宽、速率等)容量。假设u,v∈ns为两个直接相连的sn节点，节点容量为节点容量表示为cs(u)、cs(v)，它们之间直接相连的链路为(u,v)∈es，链路容量为bs(u,v),传输时延为duv。[0058]与sn类似，n产生的流量需要在sn上经历的sfc可以抽象为无向加权图gn＝(nn,en,cn,bn)，其中节点集合nn和边集en分别代表切片流量需经历的sfc中存在的vnf和虚拟链路，cn和bn分别代表vnf以及虚拟链路的资源需求。假设i,j∈nn为两个前后相关的vnf，所需节点处理资源表示为cn(i)、cn(j)，它们之间直接相连的虚拟链路为(i,j)∈en，所需带宽为bn(i,j)。不同用户业务流量需要经历的sfc不同。[0059]本发明实施例选定cpu容量以及链路带宽作为虚拟网络嵌入的主要资源。在sn上寻找满足切片资源要求的网络节点及链路，以进行sfc的映射。如图2所示，sfc嵌入包括节点映射阶段和链路映射两个阶段，创建的sfc选择sn中节点实例化vnf，并占用节点间物理链路资源满足其需求。为保证切片间隔离，sfc之间不共享vnf。即使需要相同类型vnf，也会生成同一类型vnf的不同实例。[0060]在节点映射阶段，定义二值变量表示sfc中虚拟节点i与物理节点u之间的映射关系：[0061][0062]虚拟节点只能在空闲资源满足其需求的sn节点上实例化，所以虚拟节点i与其映射的sn节点u需满足：[0063][0064]另外，sn的服务器节点至多可以承担同一个切片的一个虚拟节点：[0065][0066]链路映射阶段，一条虚拟链路可以嵌入到多条sn链路上，所有这些sn链路的空闲带宽应该大于虚拟链路的请求带宽。链路映射后，若干条物理链路被虚拟链路(i,j)占用。用二值变量表示虚拟链路(i,j)是否映射到物理链路(u,v)上：[0067][0068]链路映射的带宽约束可以定义为:[0069][0070]假设核心网切片数据在传输之前已经生成并缓冲成数据帧，并且处理延迟不包含在核心网延迟中。为简单起见，传播延迟可忽略不计。切片独占所获得的资源，所以链路上不会发生拥塞。由此，服务器节点处不会形成队列，无需考虑vnf处理数据流的排队时延。故切片数据流所经历的核心网时延只考虑经过nfv节点间的发送时延。sfc映射后，可表征时延为：[0071][0072]当所有虚拟链路映射成功后，sfc映射完成。[0073]当网络切片用户接入基站并且sfc映射成功后，端到端通信链路搭建完成，此时用户un端到端时延τn为：[0074][0075]为满足用户的网络切片sla的端到端时延约束有[0076][0077]在网络用户数固定的情况下，若以最大化网络接入用户数为目标，由于urllc业务相对占用较少的无线资源，故网络会选择减少接入embb用户。本实施例中，切片编排器10还根据域控制器反馈的qos，确定sla保证情况，并根据所述sla保证情况，调整所述网络切片sla保证的端到端时延在各网络域的划分。本发明设计embb用户服务满意度(servicesatisfactionlevel,ssl)，对embb用户qos进行量化。同时为了平衡embb业务服务质量和网络用户接入数，设置关注系数α∈[0,1]，进行系统范围内的权衡。α＝1表示优化目标仅关注最大化embb服务质量，α＝0表示优化目标为最大化用户端到端接入数。[0078]本发明实施例的e2e网络切片模型的优化目标是：[0079][0080]其中表征网络内embb用户服务质量，qoe表示成功接入网络用户数占总用户的比例。直接对问题进行求解是困难的。[0081]网络切片可以容纳一组用户，但不同用户流量需要遍历的sfc不同，所以可以视作来自不同切片。引入sla分解的概念，由切片编排器10将e2e时延约束分解成空口时延约束和核心网时延约束两部分，交由ran和cn进行资源分配和sfc映射。切片编排器10首先确定各切片端到端时延在ran的分配比例θn∈(0,1)，故用户n空口时延约束则核心网时延约束如此一来，p1可以分解成无线网络资源分配子问题p2、核心网sfc映射子问题p3。[0082]网络为用户分配无线资源并且完成切片sfc映射，若满足用户吞吐量及端到端时延限制，则切片用户成功接入网络。二进制变量xn＝1表示用户n成功接入基站，并满足空口相关约束，二进制变量yn＝1表示切片的sfc映射成功并满足核心网时延限制，所以成功接入网络用户数占总用户的比例[0083]ran进行资源分配的目标与p1一致。ran获得端到端时延分配比例后，可以计算出此时某切片空口时延限制，因此有[0084]p2:maxαssl+(1-α)qoeꢀꢀꢀ(19)[0085][0086]此时[0087]cn逐个对切片的sfc进行映射，假设数据中心服务器资源充足，足够容纳各切片sfc映射的资源要求。映射的整体目标为完成sfc映射并且最小化每个切片sfc的跳数：[0088]p3:minhopnꢀꢀꢀ(21)[0089][0090]cn根据此时某切片核心网时延限制假设单位跳数转发时间相同，均为t0，可以得出此时最大跳数限制(hoplimitparameter)[0091]p2、p3分别使用强化学习进行求解，强化学习输出ran资源分配和cn映射结果以及当前各切片在本网络域的时延。[0092]本发明实施例中，引入一个新的集合t，用来表示切片获得资源后用户实际体验到的时延与端到端时延约束的差值t：[0093]t＝τe2e-τ1-τ2ꢀꢀꢀ(23)[0094]为便于表达，省略用户索引。[0095]受流量时延均衡启发，本发明实施例设计了两种启发式算法确定端到端约束时延在ran、cn的分配。ran和cn根据此比例使用强化学习进行无线资源分配和sfc映射，得到各用户在两个网络域的时延集合τran,τcn，进而根据(23)计算每个用户时延余量t。[0096]时延均衡算法(1)：从单个网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，即：不同切片，不同比例(differentslices，differentproportions)，可称为dsdp策略。[0097]无线资源相对不足是提高网络接入用户数的瓶颈。设某一常数d，作为进行迭代的门限值，如果余量总和∑t＞d，说明部分切片不仅满足端到端时延，还有一定“富余”，当前端到端时延分配比例存在优化空间，可以通过合理划分两侧时延约束比例，来提高网络接入用户数量。一种实施例中，定义每次调整比例的步长为δε1。本发明实施例中，常数d可以根据sla保证的时延选定，比如urllc、embb分别要求1ms、20ms，常数d可以选30ms作为迭代条件。[0098]图3展示了在dsdp策略下，端到端网络切片编排架构中各组件是如何沟通的。[0099]●若某切片，θτe2e-τ1≥τ2-(1-θ)τe2e，说明当前切片核心网一侧造成不能满足端到端时延约束，且空口时延余量大于核心网时延超出的部分。此时，尝试降低无线网时延门限值，放松对核心网限制：[0100]θ←θ-δε1[0101]●若某切片，若(1-θ)τe2e-τ2≥τ1-θτe2e，说明当前切片无线网一侧造成不能满足端到端时延约束，且核心网时延余量大于无线网时延超出的部分。此时，尝试提高无线网时延门限值，提高对核心网限制：[0102]θ←θ+δε1[0103]以上两种调整方式是针对存在一侧不满足时延约束的切片，称为“片内均衡”。对于满足端到端时延约束的切片，若其某一侧“剩余”时延大于某个门限值d，且大于另一侧“剩余”时延，则进行分配比例的调整，称为“片间均衡”。[0104]●若某切片，θτe2e-τ1≥d,θτe2e-τ1≥(1-θ)τe2e-τ2，说明当前切片能满足端到端时延约束，且空口时延余量大于核心网时延余量。尝试降低无线网时延门限值，放松对核心网限制。定义每次片间均衡调整比例的步长为δε2，则：[0105]θ←θ-δε2[0106]●若某切片，若(1-θ)τe2e-τ2≥d,(1-θ)τe2e-τ2≥θτe2e-τ1，说明当前切片能满足端到端时延约束，且核心网时延余量大于无线网时延余量。尝试提高无线网时延门限值，提高对核心网限制：[0107]θ←θ+δε2[0108]对切片时延分配比例进行调整，记录调整后的时延分配比例，再次进行无线资源分配和sfc映射，得到新的τran,τcn和t，计算当前成功接入网络的用户数。重复上述过程，直到不满足余量总和∑t＞d条件。另外，为保证各切片稳定性，设置时延分配比例区间[lowerbound,upperbound]。在调整比例的过程中，剩余时延credit在减小，但最终比例并不一定是最好的。记录系统的ssl和qoe的变化，输出目标函数最大值对应的分配比例。[0109]dsdp策略下时延调整流程如算法1所示：[0110]algorithm1：dsdp策略划分sla保证的时延预算[0111]●初始化端到端时延预算分配集合θ为{0.5,....,0.5}，容量为n，为便于表达，省略下标；[0112]●一旦ran、cn控制器获得分配比例,求解p2、p3来得到本域时延集合(τran,τcn)；[0113]●计算时延余量t＝τe2e-τ1-τ2；[0114]●while∑t＞ddo[0115]■foreachslice,[0116]●ifθτe2e-τ1≥τ2-(1-θ)τe2e,[0117]θ←max(θ-δε1,lowerbound)[0118]●elseif(1-θ)τe2e-τ2≥τ1-θτe2e,[0119]θ←min(θ+δε1,upperbound)[0120]●elseifθτe2e-τ1≥d,θτe2e-τ1≥(1-θ)τe2e-τ2,[0121]θ←max(θ-δε2,lowerbound)[0122]●elseif(1-θ)τe2e-τ2≥d,(1-θ)τe2e-τ2≥θτe2e-τ1,[0123]θ←min(θ+δε2,upperbound)[0124]■endfor[0125]■ran、cn控制器获得更新后的分配比例,求解p2、p3来得到本域时延集合(τran,τcn)以及ssl[0126]■计算新的t、qoe以及p1目标函数值。[0127]●endwhile[0128]●输出最大的p1目标函数值及对应的θ。[0129]时延均衡算法(2)：从不同类型的网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，即：不同类型，不同比例(differenttypesofslices,differentproportions)，可称为dtdp策略。[0130]不同于dsdp策略，从单个切片的角度对e2e时延分配比例进行调整，本策略试图确定embb和urllc两种类别网络切片最佳e2e时延分配比例，此时集合θ＝{θ1,θ2}代表两种类型的切片e2e时延在ran分配的比例。类似地，设某一常数d，余量总和∑t＞d作为进行迭代的条件，定义每次调整比例的步长为δδ。图4为dtdp策略下，编排系统各组件工作机制。[0131]定义embb类切片用户时延集合tembb，urllc类切片用户时延集合turllc。如果说明在当前比例下，embb类用户获得超额资源，可以降低embb类切片端到端时延在ran时延分配的比例，提高urllc类切片端到端时延在ran分配的比例：[0132]θ1←max(θ1-δδ,lowerbound)[0133]θ2←min(θ2+δδ,upperbound)[0134]同理，如果[0135]θ1←min(θ1+δδ,upperbound)[0136]θ2←max(θ2-δδ,lowerbound)[0137]dtdp策略下时延调整流程如算法2所示：[0138]algorithm2：dtdp算法划分sla保证的时延预算[0139]●初始化时延预算分配集合θ为{0.5,0.5}；[0140]●一旦ran、cn控制器获得分配比例,求解p2、p3来得到本域时延集合(τran,τcn)；[0141]●计算时延余量t＝τe2e-τ1-τ2；[0142]●while∑t＞ddo[0143]if[0144]●θ1←max(θ1-δδ,lowerbound)[0145]●θ2←min(θ2+δδ,upperbound)[0146]elseif[0147]θ1←min(θ1+δδ,upperbound)[0148]θ2←max(θ2-δδ,lowerbound)[0149]■ran、cn控制器获得更新后的分配比例,求解p2、p3来得到本域时延集合(τran,τcn)以及ssl；[0150]■计算新的t、qoe以及p1目标函数值；[0151]●endwhile[0152]●输出最大的p1目标函数值及对应的θ。[0153]通过以上两种时延均衡算法，可得到对应的θ，即得到端到端约束时延在ran、cn的分配比例的最优解。[0154]本发明实施例提出的上述两种基于时延均衡机制的端到端约束时延划分方法，dsdp方法和dtdp方法，通过灵活调整网络分域时延限制可以提高网络容量(接入用户数)。[0155]在本发明实施例中，域控制器至少包括ran域控制器和cn域控制器；所述ran域控制器，根据所述接入网时延约束，使用强化学习算法进行无线资源分配；cn域控制器，根据所述核心网时延约束，使用强化学习算法进行sfc映射。[0156]1)无线接入网ran[0157]无线资源分配问题是np-hard的，本发明引入强化学习的方法进行求解。强化学习作为一种常见的解决决策问题的方法，有两个基本的元素——状态和动作，在某个状态下执行某种动作即为一种策略。智能体需要在不断地探索学习中获得一个好的策略。[0158]q-learning是强化学习的经典算法，但是有个很大的问题在于q-learning使用表格的形式(q-table)存储q值。这使得q-learning被局限于动作空间和样本空间都很小，且一般是离散的情境下。如果模型中状态和动作的种类较多的情况大，q-table的尺寸会变得很大，甚至会大到超出计算机的内存，而且每次更新都需要在一个巨大的表格中搜索也是一件非常耗时的事情。然而，较为复杂的、更贴近实际情况的任务往往有着很大的状态空间和动作空间。对于处理高维度数据领域，深度学习有着不错的表现。深度强化学习将强化学习与深度学习结合，使用神经网络代替原本的表格进行价值函数的计算。[0159]dqn是深度强化学习的代表算法。在原本基于表格的q-learning的基础上，使用神经网络进行q值(动作值函数)的计算。dqn在决策过程中，将状态作为神经网络的输入，通过神经网络分析计算得到各个动作的q值，然后按照与q-learning相似的原则进行动作的选择，原本的q值q(s,a)使用新的带有神经网络参数的形式q(s,a；θ)代替，其中θ表示神经网络的参数。[0160]为了减小因数据之间相关性而引起的问题，dqn引入了经验池回放(experiencereplay)和固定目标值网络(fixedq-targets)两个关键技术，解决了模型容易出现震荡和发散的问题，使训练过程更加稳定。为了进一步提高dqn的性能，提出了许多改进方案，如doubledqn和prioritizedexperiencereplay(per)。[0161]ddqn解决了dqn中存在的过估计问题。过估计是指估计的值函数比真实值函数要大，其根源主要在于q-learning中的最大化操作。在计算targetq时，获得下一状态最大的q值。对于真实的策略来说并在给定的状态下并不是每次都选择使得q值最大的动作，因为一般真实的策略都是随机性策略，所以在这里目标值直接选择动作最大的q值往往会导致目标值要高于真实值。doubledqn在dqn的基础上解决了过估计的问题。ddqn将动作的选择和动作的评估分别用不同的值函数来实现，而在dqn中正好提出了两个q网络。因此，ddqn计算targetq的步骤可以拆分为两步。第一步，通过估计q网络获得使最大q值的动作第二步，通过targetq网络得到该动作对应的动作价值函数targetq＝r+γq(s',amax；θ-)。将两步结合在一起，可以得到ddqn的loss函数形式，实现训练过程中的无偏动作估计。[0162][0163]除了loss函数的变化，ddqn的主要流程和dqn的相同。[0164]此外，在dqn采样过程中，当replaybuffer非常大时，随机采样会使得学习的效果以及效率降低。per提出在采样时，让某些样本具有更高的概率被采样，从而加速训练的速度和决策的性能，该算法通过计算td-error定义样本的优先级，还引入了sum-tree结构来存储样本和其对应的优先级。其中优先级的计算公式为[0165][0166]其中，ε是一个极小的正数，以保证即使td-error为零的样本也能被采样。根据样本优先级，调整β表示对优先级的重视程度，此时抽取某样本的概率为：[0167][0168]结合以上两种变体，本发明实施例提出ddqn-per算法，用于解决无线网络prb分配和功率分配分配问题。[0169]强化学习智能体为无线网络，ddqn-per算法运行在基站内，管理所有用户的prb分配和功率分配。强化学习状态为用户的信干噪比sinr，为加速网络收敛速度，在输入神经网络前进行归一化，记为[0170]强化学习动作为用户的信道分配和用户的功率分配，记为由于ddqn-per算法的输出为离散值，因此将用户的传输功率pm∈[0,pmax]平均分为20个离散功率值，用户的传输功率的动作空间为[0171][0172]结合目标函数，奖励函数可以定义成：[0173]reward＝αssl+(1-α)qoe[0174]2)核心网cn[0175]sfc映射是个np-hard问题，本发明实施例利用指针网络，通过强化学习方法进行求解。结合组合优化思想，提出pn-sfc映射算法。选择指针网络作为智能体,寻找节点映射策略，再利用迪杰斯特拉算法完成链路映射。指针网络通过搜索过程来寻找最优映射策略，进而更新自身参数。映射算法返回每个切片sfc映射的结果，根据映射结果(跳数)计算时延。[0176]在现实场景中，大规模网络拓扑是复杂的。遗传算法等启发式算法在处理规模较大的最优化问题时，算法容易陷入局部最优、收敛速度慢。当状态集太大时，常见的强化学习方法如q学习算法在存储qtable时存在可扩展性问题。随着网络规模的增加，空间复杂性迅速增加，遍历各个状态需要很长时间，因此不适合在大规模网络拓扑下运行。使用深度神经网络训练实现行为值函数q(s,a)的拟合，无需遍历即可确定最优动作，可以显著降低空间复杂度。参考强化学习actor-critic结构，提出基于指针网络(pointernetwork)的sfc映射算法。[0177]指针网络是序列到序列(sequence-to-sequence)模型的一种变体，能够有效用于学习中低维度的组合优化问题，并能以高准确率预测出问题的解，将输入映射为一系列按概率指向输入序列元素的指针。针对sfc映射问题的特征，需要在节点映射阶段和链路映射阶段之间建立适当的联系，从而自动判断所选策略的好坏。本文使用指针网络(pointernetwork)作为智能体获取给定sfc的虚拟节点嵌入策略，并使用dijkstra算法嵌入虚拟链路。然后设计了与跳数相关的指针网络奖励函数，以协调sfc的两个嵌入阶段。[0178]对于输入的sfc请求，智能体状态为当前待映射的虚拟节点，状态集合为s＝{0,...,sn}，sn＝|nn|。智能体在每个状态的动作表示在物理网络中选择的一个节点,动作集合为a＝{0,...,as}，as＝|ns|。[0179]指针网络的原理是将输出映射为一系列按概率指向输入序列元素的指针，由一个编码器(encoder)和一个解码器(decoder)组成，网络架构如图5所示。编码器的输入为节点坐标组成的向量和待映射的sfc，解码器的输出则为节点坐标的某个排序。[0180]嵌入层(embeddinglayer)对输入的每个物理节点进行线性变换，并将n维嵌入信息输入到编码器网络中，线性变换公式如下[0181]y＝x·weight+biasꢀꢀꢀ(24)[0182]其中，weight是由均匀分布初始化的形状为(outfeature,infeature)的矩阵(infeature取决于物理节点的数目，outfeature取决于当前sfc待映射节点数)。[0183]编码器encodernetwork：lstm每次以一个新节点和上一个节点的输出作为输入，转换成隐藏状态其中并给出当前节点的输出。当所有输入节点读取完后，编码器最终将最后一个编码器步骤的状态作为输入传递到第一个解码器步骤。[0184]解码器decodernetwork：同样保有隐藏状态其中在每个解码器步骤中，解码网络使用attention机制来生成所有物理节点的概率分布，并把选中的节点交付给下一个解码步骤。＜g＞是第一个解码器步骤输入的n维零矩阵，在每次迭代中改变。[0185]图5包含了解码器对编码器输入进行解码的过程。在第一步解码过程中，即t＝0时，解码器利用attention机制根据状态d1和编码器得到的各节点的状态计算选择各个节点的概率，计算公式见(25)-(26)，此时可选择概率最大的节点作为映射选择的节点，在图5中用指向编码器的黑色箭头表示；在接下来的解码过程中，lstm读入上一步lstm输出和上一步选择节点的特征向量，再利用attention机制计算各节点概率：[0186][0187][0188]其中we，wd和v均为神经网络的参数。按照该方式不断选择节点，直至构造得到一个完整sfc映射。此外，解码器每次给出选择的节点后，不再选择该节点，以此保证结果的有效性。此时sfc映射π是指针网络取样所得的一个输出，不能保证单词输出即可得到最优解。最终解需通过主动搜索(activesearch)过程得到。[0189]当sfc完成映射后，智能体会得到一个奖励。本发明根据sfc映射完成后的跳数，χ是一个相对大的正数，定义奖励如下。[0190][0191]通过最大化奖励引导智能体找到跳数最少的映射方案。策略即为状态s到动作π的映射。策略通常是随机策略，即选择物理网络节点的概率，建模为[0192][0193]策略由神经网络参数θ进行参数化，在马尔可夫过程中，每一步动作概率为p(πt|πt-1,gs,gn)，根据已选择的物理节点和待映射的虚拟节点计算下一步选择各物理节点的概率，根据链式法则累乘得到最终映射策略pθ(π|gs,gn)。此时神经网络的损失函数可定义为[0194][0195]类似与actor-critic算法，损失函数的梯度可定义为[0196][0197]公式中b为梯度的基准线方程，通过蒙特卡洛采样对上式进行逼近，可得[0198][0199]其中，b为蒙特卡洛采样的次数，πi为第i次采样时所做决策。[0200]基准线取值以及完整算法如下：[0201]algorithm4pn-sfc映射算法步骤[0202]●输入:θ,gs,gn,b,k,βhlpn[0203]●输出映射策略π[0204]●随机采样得到一个解π,记录hopπ，b0＝hopπ[0205]●fori＝1tokdo[0206]■forj＝1tobdo[0207]◆sampleπj,accordingtopθ(π|gs,gn)[0208]◆ifπjisnotfeasible,i.e.[0209]■[0210]■if[0211]■计算梯度[0212]■θ←adam(θ,▽j(θ))[0213]■bi←β·bi-1+(1-β)·hopπ[0214]■endfor[0215]●returnπ[0216]上述实施例提出的两种深度强化学习算法——ddqn-per和pn-sfc，分别用于管理用户的无线资源，以及核心网网元和链路资源。通过迭代学习，不断地更新端到端时延在ran和cn分配的比例，最终达成最优的embb用户服务质量和端到端qoe权衡。[0217]综上所述，上述实施例的网络切片控制系统中，由负责分解sla保证时延的切片编排器和管理各自域的域控制器组成。所述切片编排器为根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，并将时延划分结果下发给所述多个域控制器；所述每一域控制器，为根据所述切片编排器下发的该网络域的时延划分结果，利用资源映射机制进行本网络域的资源分配，并将所述资源分配保证的qos反馈给所述切片编排器；所述切片编排器，还为根据所述域控制器反馈的qos，确定sla保证情况，并根据所述sla保证情况，调整所述网络切片sla保证的端到端时延在各网络域的划分。在此基础上，该系统架构将网络切片端到端约束时延划分成ran和cn需要满足的时延限制，并且易于扩展到更多域。[0218]在分解架构的基础上，本发明实施例提出了两种基于时延均衡机制的端到端约束时延划分方法，dsdp方法和dtdp方法。实验发现，通过灵活调整网络分域时延限制可以提高网络容量(接入用户数)。[0219]在embb和urllc类切片共存的场景下，考虑embb用户服务体验质量(吞吐量)，设计了embb用户满意度(servicesatisfactionlevel)，在满足不同需求的前提下，权衡embb用户服务质量与网络容量。[0220]为了解决ran和cn资源分配的非凸和np-hard问题，分别设计了深度强化学习算法——ddqn-per和pn-sfc，分别用于管理用户的无线资源，以及核心网网元和链路资源。通过迭代学习，不断地更新端到端时延在ran和cn分配的比例，最终达成最优的embb用户服务质量和端到端qoe权衡。[0221]此外，尽管在上文详细描述中提及了网络切片控制系统的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。[0222]对应于上述实施例所公开的网络切片控制系统，本发明实施例还公开了一种网络切片控制方法。本实施例方法的实施可以参见上述系统的实施，重复之处不再赘述。如图6所示，包括：[0223]步骤s601，根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，生成时延划分结果；[0224]步骤s602，根据所述时延划分结果，利用资源映射机制进行所述各网络域的资源分配，并反馈所述资源分配保证的qos；[0225]步骤s603，根据所述反馈的qos，确定sla保证情况，并根据所述sla保证情况，返回步骤s601来调整所述网络切片sla保证的端到端时延在各网络域的划分。[0226]在一种实施方式中，如图7所示，网络切片控制方法在步骤s601之前还包括：步骤s601’,将用户的服务需求转变为签订的所述网络切片sla；其中，所述网络切片sla包括的sla性能指标至少包括时延以及吞吐量；所述指标约束包括：以时延作为跨域协调的指标，以吞吐量作为域内资源分配的约束条件。[0227]在一种实施方式中，所述步骤s601中，根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，包括：将所述网络切片sla保证的端到端时延分解成接入网时延约束和核心网时延约束，调整所述接入网时延约束和所述核心网时延约束分别在无线接入网和核心网的分配比例。[0228]在一种实施方式中，所述调整接入网时延约束和所述核心网时延约束在无线接入网和核心网的分配比例，包括：从单个网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，通过如下方法：[0229]设常数d作为进行迭代的门限值，如果用户体验到的时延与所述网络切片sla保证的端到端时延的差值∑t＞d，则可以进一步优化两侧时延约束比例，来提高网络接入用户数量；[0230]其中，对于某一网络切片在无线接入网一侧和核心网一侧的时延约束来讲：[0231]若其某一侧不满足该侧时延约束导致不满足端到端时延约束，且另一侧时延余量大于该侧时延超出的部分，则提高该侧时延门限值；[0232]若当前切片能满足端到端时延约束，但某一侧时延余量大于另一侧时延余量，则降低该侧时延门限值，放松对另一侧的约束。[0233]在一种实施方式中，所述调整接入网时延约束和所述核心网时延约束在无线接入网和核心网的分配，包括：从不同类型的网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，通过如下方法：[0234]设常数d作为进行迭代的门限值，将用户体验到的时延与所述网络切片sla保证的端到端时延的差值总和∑t＞d作为迭代的条件；[0235]定义embb类切片用户时延集合为tembb，urllc类切片用户时延集合为turllc，如果说明在当前比例下，embb类用户获得超额资源，可以降低embb类切片端到端时延在ran时延分配的比例，提高urllc类切片端到端时延在ran分配的比例。[0236]在一种实施方式中，所述步骤s602中，根据所述时延划分结果，利用资源映射机制进行所述各网络域的资源分配，包括：根据所述接入网时延约束，使用强化学习算法在接入网网络域进行无线资源分配；根据所述核心网时延约束，使用强化学习算法在核心网网络域进行sfc映射。[0237]在一种实施方式中，在所述步骤s602中，通过embb用户满意度对embb用户网络切片的资源分配保证的qos进行量化；[0238]在一种实施方式中，embb用户满意度由embb用户体验速率和要求速率之比来表征；通过对所述embb用户服务质量以及成功接入网络用户数占总用户的比例进行平衡，以实现所述embb用户满意度和系统容量的权衡。[0239]本发明实施例还公开了一种网络设备，如图8所示，包括存储器81、处理器82及存储在存储器上并可在处理器上运行的计算机程序，所述处理器81执行所述计算机程序时，实现如图6-图7所述的网络切片控制方法。[0240]本发明实施例还公开了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如如图6-图7所述的网络切片控制方法。[0241]本发明实施例还公开了一种资源分配方法，用于对网络域的资源进行分配，如图9所示，所述方法包括：[0242]步骤s901，获取网络域的时延约束，所述网络域的时延约束通过网络切片sla及指标约束确定；[0243]步骤s902，根据所述时延约束，利用资源映射机制进行本网络域的资源分配。[0244]在一些实施例中，所述网络域包括接入网网络域；针对所述接入网网络域，根据所述接入网时延约束，使用强化学习算法在接入网网络域进行无线资源分配。[0245]在一些实施例中，所述使用强化学习算法在接入网网络域进行无线资源分配，包括：强化学习智能体为无线网络，通过强化学习算法，管理所有用户的prb分配和功率分配。[0246]在一些实施例中，所述网络域包括核心网网络域；根据所述核心网时延约束，使用强化学习算法在核心网网络域进行sfc映射。[0247]在一些实施例中，所述使用强化学习算法在核心网网络域进行sfc映射，包括：选择指针网络作为强化学习智能体，寻找节点映射策略，并利用迪杰斯特拉算法完成链路映射；其中，所述指针网络通过搜索过程来寻找最优映射策略。[0248]在一些实施例中，如图10所示，所述资源分配方法还包括如下步骤：[0249]步骤s903，根据资源分配结果得到所述资源分配保证的qos；[0250]步骤s904，根据所述资源分配保证的qos确定网络切片的sla保证情况；[0251]步骤s905，根据所述sla保证情况，调整所述本网络域的时延约束。[0252]对应于上述实施例所公开的资源分配方法，本发明实施例还公开了一种资源分配装置。本实施例装置的实施可以参见上述方法的实施，重复之处不再赘述。此外，尽管在上文详细描述中提及了资源分配装置的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。[0253]本发明实施例的资源分配装置包括存储器和处理器；所述存储器，用于存储计算机程序指令；所述处理器，用于执行所述计算机程序指令以实现图9和图10所示实施例所述的资源分配方法。[0254]上述实施例所公开的资源管理方法及装置，将网络切片端到端约束时延划分成ran和cn需要满足的时延限制。为了解决ran和cn资源分配的非凸和np-hard问题，分别设计了深度强化学习算法——ddqn-per和pn-sfc，分别用于管理用户的无线资源，以及核心网网元和链路资源。通过迭代学习，不断地更新端到端时延在ran和cn分配的比例，最终达成最优的embb用户服务质量和系统容量权衡。[0255]本发明实施例还公开了一种网络切片的端到端时延的管理方法，如图11所示，包括：[0256]步骤s1101，根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延分解成接入网时延约束和核心网时延约束；[0257]步骤s1102，调整所述端到端时延约束分别在无线接入网和核心网的分配比例。[0258]在一些实施例中，步骤s1102中，调整所述端到端时延约束在无线接入网和核心网的分配比例，包括：从单个网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，通过如下方法：[0259]设常数d作为进行迭代的门限值，如果用户体验到的时延与所述网络切片sla保证的端到端时延的差值总和∑t＞d，则可以进一步优化两侧时延约束比例，来提高网络接入用户数量；[0260]其中，对于某一网络切片在无线接入网一侧和核心网一侧的时延约束来讲：[0261]若其某一侧不满足端到端时延约束，且另一侧时延余量大于该侧时延超出的部分，则提高该侧时延门限；[0262]若当前切片能满足端到端时延约束，但某一侧时延余量大于另一侧时延余量，则提高该另一侧时延门限，放松对该某一侧的约束。[0263]在一些实施例中，步骤s1102中，调整所述接入网时延约束和所述核心网时延约束在无线接入网和核心网的分配，包括：从不同类型的网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，通过如下方法：[0264]设常数d作为进行迭代的门限值，将用户体验到的时延与所述网络切片sla保证的端到端时延的差值总和∑t＞d作为迭代的条件；[0265]定义embb类切片用户时延集合为tembb，urllc类切片用户时延集合为turllc，如果说明在当前比例下，embb类用户获得超额资源，可以降低embb类切片端到端时延在ran时延分配的比例，提高urllc类切片端到端时延在ran分配的比例。[0266]对应于上述实施例所公开的网络切片的端到端时延的管理方法，本发明实施例还公开了一种网络切片的端到端时延的管理装置。本实施例装置的实施可以参见上述方法的实施，重复之处不再赘述。此外，尽管在上文详细描述中提及了网络切片的端到端时延的管理装置的若干单元，但是这种划分仅仅并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。同样，上文描述的一个单元的特征和功能也可以进一步划分为由多个单元来具体化。[0267]本发明实施例公开的一种网络切片的端到端时延的管理装置包括存储器和处理器；所述存储器，用于存储计算机程序指令；所述处理器，用于执行所述计算机程序指令以实现如图11所示的网络切片的端到端时延的管理方法。[0268]上述实施例公开的网络切片的端到端时延的管理方法及装置，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，提出了两种基于时延均衡机制的端到端约束时延划分方法，dsdp方法和dtdp方法。实验发现，通过灵活调整网络分域时延限制可以提高网络容量(接入用户数)。[0269]本发明实施例中的存储器，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等。其他部件的功能与现有类似，此处不再赘述。其他设备的各部件可以通过专用硬件、固件、软件或其结合来实现，而不偏离本发明的范围。[0270]本发明实施例公开的网络切片控制系统及控制方法，设计了一种端到端网络切片基于sla的跨域编排框架，以时延为跨域协调指标，传输速率为域内约束指标，用以实现端到端切片资源管理。该架构用于将网络切片端到端约束时延划分成ran和cn需要满足的时延限制，并且易于扩展到更多域。另外，提出基于时延均衡机制的端到端约束时延划分方法，通过灵活调整网络分域时延限制可以提高网络容量(接入用户数)和保障embb用户服务质量。为了解决ran和cn资源分配的非凸和np-hard问题，设计了深度强化学习算法，用于管理用户的无线资源，以及核心网网元和链路资源的分配。[0271]本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。[0272]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0273]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0274]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0275]本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。当前第1页12当前第1页12
技术特征：
1.一种网络切片控制系统，其特征在于，所述系统包括切片编排器和多个域控制器；所述切片编排器，配置为根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，并将时延划分结果下发给所述多个域控制器；所述每一域控制器，配置为根据所述切片编排器下发的该网络域的时延划分结果，利用资源映射机制进行本网络域的资源分配，并将所述资源分配保证的qos反馈给所述切片编排器；所述切片编排器，还配置为根据所述域控制器反馈的qos，确定sla保证情况，并根据所述sla保证情况，调整所述网络切片sla保证的端到端时延在各网络域的划分。2.根据权利要求1所述的网络切片控制系统，其特征在于，所述切片编排器还配置为：将用户的服务需求转变为签定的所述网络切片sla；其中，所述网络切片sla包括的sla性能指标至少包括时延以及吞吐量；所述指标约束包括：以时延作为跨域协调的指标，以吞吐量作为域内资源分配的约束条件。3.根据权利要求2所述的网络切片控制系统，其特征在于，所述根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，包括：将所述网络切片sla保证的端到端时延分解成接入网时延约束和核心网时延约束，调整所述端到端约束时延分别在无线接入网和核心网的分配比例。4.根据权利要求3所述的网络切片控制系统，其特征在于，调整所述接入网时延约束和所述核心网时延约束在无线接入网和核心网的分配比例，包括：从单个网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，通过如下方法：设常数d作为进行迭代的门限值，如果用户体验到的时延与所述网络切片sla保证的端到端时延的差值总和满足∑t＞d，则可以进一步优化两侧时延约束比例，来提高网络接入用户数量；其中，对于某一网络切片在无线接入网一侧和核心网一侧的时延约束来讲：若其某一侧不满足该侧时延约束导致不满足端到端时延约束，且另一侧时延余量大于该侧时延超出的部分，则提高该侧时延门限值；若当前切片能满足端到端时延约束，但某一侧时延余量大于另一侧时延余量，则降低该侧时延门限值，放松对另一侧的约束。5.根据权利要求3所述的网络切片控制系统，其特征在于，调整所述端到端约束时延在无线接入网和核心网的分配，包括：从不同类型的网络切片的角度对所述网络切片sla保证的端到端时延的分配比例进行调整，通过如下方法：设常数d作为进行迭代的门限值，将用户体验到的时延与所述网络切片sla保证的端到端时延的差值总和∑t＞d作为迭代的条件；定义embb类切片用户时延集合为t
embb
，urllc类切片用户时延集合为t
urllc
，如果说明在当前比例下，embb类用户获得超额资源，可以降低embb类切片端到端时延在ran时延分配的比例，提高urllc类切片端到端时延在ran分配的
比例。6.根据权利要求3所述的网络切片控制系统，其特征在于，所述域控制器包括ran域控制器和cn域控制器；所述ran域控制器，根据所述接入网时延约束，使用强化学习算法进行无线资源分配；所述cn域控制器，根据所述核心网时延约束，使用强化学习算法进行sfc映射。7.根据权利要求6所述的网络切片控制系统，其特征在于，所述ran域控制器使用强化学习算法在接入网网络域进行无线资源分配，包括：强化学习智能体为无线网络，通过强化学习算法，管理所有用户的prb分配和功率分配。8.根据权利要求6所述的网络切片控制系统，其特征在于，所述cn域控制器使用强化学习算法在核心网网络域进行sfc映射，包括：选择指针网络作为强化学习智能体，寻找节点映射策略，并利用迪杰斯特拉算法完成链路映射；其中，所述指针网络通过搜索过程来寻找最优映射策略。9.根据权利要求3所述的网络切片控制系统，其特征在于，通过embb用户满意度对embb用户网络切片的qos进行量化；所述embb用户满意度由embb用户体验速率和要求速率之比来表征；通过对所述embb用户服务质量以及成功接入网络用户数占总用户的比例进行平衡，以实现所述embb用户满意度和系统容量的权衡。10.一种网络切片控制方法，其特征在于，包括：步骤1，根据网络切片sla及指标约束，将所述网络切片sla保证的端到端时延在各网络域之间进行划分，生成时延划分结果；步骤2，根据所述时延划分结果，利用资源映射机制进行所述各网络域的资源分配，并反馈所述资源分配保证的qos；步骤3，根据所述反馈的qos，确定sla保证情况，并根据所述sla保证情况，返回步骤1来调整所述网络切片sla保证的端到端时延在各网络域的划分。

技术总结
本发明实施例提供一种网络切片控制系统及控制方法。所述系统包括切片编排器和多个域控制器；切片编排器配置为根据网络切片SLA及指标约束，将网络切片SLA保证的端到端时延在各网络域之间进行划分，并将时延划分结果下发给多个域控制器；每一域控制器，配置为根据切片编排器下发的该网络域的时延划分结果，利用资源映射机制进行本网络域的资源分配，并将资源分配保证的QoS反馈给所述切片编排器；所述切片编排器，还配置为根据域控制器反馈的QoS，确定SLA保证情况，并根据SLA保证情况，调整所述网络切片SLA保证的端到端时延在各网络域的划分。本发明可以实现在保证商定SLA得到保证的前提下，提高网络系统容量并保证用户服务质量。量。量。


技术研发人员：张勇 郭达 白昊男 袁思雨 张震宇 李琦
受保护的技术使用者：北京邮电大学
技术研发日：2022.03.03
技术公布日：2023/9/13