模型部署方法、系统及存储介质与流程

1.本技术实施例涉及资源调度技术领域，尤其涉及一种模型部署方法、系统及存储介质。


背景技术：

2.随着人工智能(ai，artificial intelligence)不断发展，ai模型产品也越来越多。ai模型的推理服务对时延较为敏感，对ai模型的部署提出了更高的要求。
3.模型部署通常借助云端完成，通过合理的资源调度，实现在云端部署ai模型。由于云端节点拓扑越来越复杂，导致云端各节点的资源状态同步不及时，使得模型部署对应的资源调度准确度较差，从而影响模型运行效率。
4.因此，亟需提供一种准确度高的资源调度方案。


技术实现要素：

5.本技术实施例提供一种模型部署方法、系统及存储介质，实现了边缘侧自主调度的模型部署，由边缘侧进行调度，资源负载信息同步的及时性高，提高了资源调度的准确度。
6.第一方面，本技术实施例提供一种模型部署方法，所述方法应用于边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池，所述方法包括：
7.通过中心管理网络，获取中心服务器下发的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；
8.通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧；
9.从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池；
10.基于所述目标资源池，部署所述待部署模型。
11.可选的，资源池包括控制组件和模型运行模块；
12.通过中心管理网络，获取中心服务器下发的模型部署请求，通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，包括：
13.经由所述控制组件，通过中心管理网络，获取中心服务器下发的模型部署请求，并通过边缘管理网络，将所述模型部署请求发送至调度模型运行模块，所述调度模型运行模块为目标边缘侧的资源池的模型运行模块。
14.可选的，所述资源池还包括存储组件，用于存储资源池的资源信息和负载信息；从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，包括：
15.经由所述调度模型运行模块，获取所述目标边缘侧各存储组件中存储的资源信息和负载信息；
16.基于所述资源信息和所述负载信息，从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，并将所述模型部署请求发送至目标模型运行模块，其中，
所述目标模型运行模为所述目标资源池的模型运行模块。
17.可选的，基于所述目标资源池，部署所述待部署模型，包括：
18.所述目标模型运行模块向本地的运行时间组件发送模型加载指令；
19.所述运行时间组件基于所述模型加载指令，部署所述待部署模型。
20.可选的，在所述运行时间组件基于所述模型加载指令，部署所述待部署模型之后，所述方法还包括：
21.基于部署所述待部署模型所使用的本地资源，更新本地的存储组件中存储的负载信息。
22.可选的，所述方法还包括：
23.在所述待部署模型部署完毕后，生成所述待部署模型的推理服务并通过数据网络发布，以基于所述推理服务提供所述待部署模型对应的业务；和/或，
24.采集模型运行信息并同步至所述中心服务器，所述模型运行信息为部署的所述待部署模型运行时采集的信息。
25.第二方面，本技术实施例还提供另一种模型部署方法，所述方法应用于中心服务器，所述方法包括：
26.接收待部署模型的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；
27.通过中心管理网络，将所述模型部署请求发送至边缘侧的连接资源池，以使所述连接资源池通过边缘管理网络将所述模型部署请求发送至目标边缘侧的资源池，以从所述目标边缘侧的资源池中确定与所述资源调度策略匹配的目标资源池，进行所述待部署模型的部署；
28.所述连接资源池为接入所述中心管理网络的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧。
29.可选的，所述方法还包括：
30.获取接入所述中心管理网络的多个资源池的网络连接质量；
31.确定所述网络连接质量最高的资源池为所述连接资源池。
32.第三方面，本技术实施例还提供一种模型部署装置，所述装置应用于边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池，所述装置包括：
33.请求转发至边缘侧模块，用于通过中心管理网络，获取中心服务器下发的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；
34.边缘侧请求转发模块，用于通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧；
35.匹配模块，用于从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池；
36.部署模块，用于基于所述目标资源池，部署所述待部署模型。
37.第四方面，本技术实施例还提供了一种模型部署系统，包括：中心服务器以及边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池；
38.所述中心服务器与所述边缘侧资源集群中部分资源池通过中心管理网络连接，以将模型部署请求转发至边缘侧；
39.所述边缘侧资源集群用于本技术任意实施例提供的模型部署方法进行模型部署。
40.第五方面，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如本技术任意实施例提供的模型部署方法。
41.第六方面，本技术实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如本技术任意实施例提供的模型部署方法。
42.本技术实施例提供的模型部署方法、系统及存储介质，针对基于边缘云服务进行模型部署的应用场景，提供了一种边缘侧自主调度的模型部署方法，边缘侧服务云包括边缘侧资源集群，边缘侧资源集群包括部署在多个边缘侧的多个资源池，当中心服务器接收到模型部署请求后，需通过中心管理网络将该模型部署请求下发至边缘侧，可以下发至边缘侧的任意一个与中心管理网络连接的资源池，再通过边缘管理网络将该模型部署请求发送至模型运行区域对应的边缘侧的资源池，由该边缘侧的资源池基于该边缘侧的各资源池的资源和负载情况，从该边缘侧的资源池中确定与模型部署请求的资源调度策略匹配的目标资源池，基于目标资源池进行模型部署。相较于中心服务器自主调度的方式，由边缘侧自主调度的方式，由于边缘侧之间网络通信的稳定性更强，同一边缘侧的资源池的信息同步及时，提高了模型部署时资源调度的准确度，避免资源池分配的负载超负荷，而导致模型运行延迟过高，在提高了模型部署的质量的同时，提高了边缘侧资源池资源的利用率。
附图说明
43.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
44.图1为本技术一个实施例提供的模型部署过程的示意图；
45.图2为本技术一个实施例提供的模型部署方法的流程图；
46.图3为本技术一个实施例提供的请求配置页面的示意图；
47.图4为本技术一个实施例提供的边缘侧的资源池的结构示意图；
48.图5为本技术另一个实施例提供的模型部署方法的流程图；
49.图6为本技术又一个实施例提供的模型部署方法的流程示意图；
50.图7为本技术一个实施例提供的模型部署装置的结构示意图；
51.图8为本技术一个实施例提供的模型部署系统的结构示意图。
52.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
53.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
54.随着物联网、人工智能等技术的不断发展，中心云技术的性能瓶颈越来越突出，基
于边缘云的边缘计算服务受到了越来越广泛的应用。
55.在模型部署场景下，通常由中心云服务器基于模型部署请求，为其匹配合理的资源，实现模型部署。该方案存在以下缺点：
56.1)、严重依赖边缘侧资源池与中心云之间的通信质量，当通信质量不好甚至终端时，相应的资源池处于不可用状态，导致资源利用率较差；
57.2)、边缘侧资源池负载信息同步及时性差，当中心侧为模型部署进行资源调度策略匹配时，中心侧依据的边缘侧资源池的负载状态存在一定的滞后，可能与实际的负载状态不同，导致资源调度准确度较差，如某个资源池下发的负载过多，从而导致模型运行延迟较高，无法满足需求；
58.3)、随着边缘侧资源池规模的增加，以及模型部署数量的增加，导致中心侧不堪重负，成为系统的性能瓶颈。
59.针对上述问题，本技术提供了一种由边缘侧自主调度的模型部署方法，由边缘侧基于模型部署请求中的资源调度策略进行资源匹配，实现模型部署。中心侧负责通过中心管理网络将模型部署请求发送至边缘侧，进而在边缘侧实现将模型部署请求转发至模型期望运行的区域对应的边缘侧，从该边缘侧的资源池中，确定与模型部署请求中的资源调度策略匹配的目标资源池，基于目标资源池进行模型部署。由于边缘侧之间网络连接稳定，资源池负载状态同步及时性强，提高了为模型部署的资源调度的准确度，进而提高了资源利用率以及模型运行的效率。
60.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
61.图1为本技术一个实施例提供的模型部署过程的示意图，如图1所示，企业用户或个人用户存在模型部署需求时，通过模型部署配置页面进行模型部署请求配置，并将模型部署请求(如图1中的模型部署请求1至n)发送至idc(internet data center，互联网数据中心)的中心侧，具体为中心服务器。中心服务器与边缘侧的部分资源池之间通过中心管理网络连接，边缘侧的资源池组成边缘侧资源池集群，资源池之间通过边缘侧管理网络连接。图1以边缘侧资源池集群包括n个资源池为例，该n个资源池对应m个边缘侧，m和n均为正整数。
62.边缘侧的资源池包括部署在边缘侧的一台或多台云服务器(又称为边缘服务器)。
63.中心服务器将模型部署请求下发至边缘侧资源池集群，具体下发至其中一个与中心管理网络连接的资源池，如图1中的资源池1；接着资源池1通过边缘管理网络将模型部署请求下发至模型运行区域对应的边缘侧(如边缘侧2)的资源池(如资源池3)，模型运行区域为待部署的模型所期望运行的区域，模型运行区域对应的边缘侧为服务区域包括模型运行区域的边缘侧；资源池3基于边缘侧2中各资源池(资源池3至5)的负载状态以及模型部署请求中指示的资源调度策略，从资源池3至5中确定满足资源调度策略的资源池，如资源池3和资源池4，由资源池3和资源池4响应该模型部署请求，进行模型加载，实现模型部署。
64.模型部署指的是将训练好的模型在特定环境中运行的过程，在本技术中特定环境为边缘侧的资源池提供的运行环境。
65.图2为本技术一个实施例提供的模型部署方法的流程图。该模型部署方法应用于
边缘侧资源集群，该边缘侧资源集群包括部署在多个边缘侧的多个资源池，如图2所示，本实施例提供的模型部署方法包括以下步骤：
66.步骤s201，通过中心管理网络，获取中心服务器下发的模型部署请求。
67.其中，模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域。待部署模型可以为任意一种ai模型，如深度学习模型。资源调度策略用于指示待部署模型所需的各种资源及其配置，如cpu(central processing unit，中央处理器)、gpu(graphics processing unit，图形处理器)、内存等资源。模型运行区域为待部署模型期望运行的区域，如华南区、华北区等。
68.中心服务器位于idc的中心侧，又称为中心云，边缘侧资源集群位于idc的边缘侧，包括多个资源池。中心管理网络为中心服务器与边缘侧的资源池之间交互的网络，部分资源池通过中心管理网络与中心服务器连接。
69.用户将待部署模型对应的模型部署请求发送至idc的中心服务器，中心服务器接收到模型部署请求之后，无需为待部署模型进行资源调度，而是直接通过中心管理网络将模型部署请求下发至边缘，如下发至任意一个接入中心管理网络的资源池，即通过中心管理网络与中心服务器连接的边缘侧的资源池(即连接资源池)，如图1中的资源池1。
70.在一些实施例中，中心服务器可以将模型部署请求下发至当前网络连接质量最好(或高)的资源池。
71.中心服务器可以测试连接的各资源池的网络连接质量，包括测试网络延时、数据包传输成功率等，进而将模型部署请求下发至当前网络连接质量最好的资源池。数据包传输成功率越高、网络延时越短，则网络连接质量越好。
72.用户可以通过用户终端，如计算机、手机、平板电脑等，进行模型部署请求的配置。
73.具体的，用户可以通过用户终端访问idc的请求配置页面，在该请求配置页面输入模型部署偏好，如性能需求、模型运行区域以及资源调度策略等。
74.示例性的，图3为本技术一个实施例提供的请求配置页面的示意图，如图3所示，用户可以基于所训练的待部署模型的结构、算法逻辑等，确定待部署模型所需的资源，包括配置所需的cpu资源和内存资源的使用量，以及是否需要gpu资源，若为是，配置所需的gpu资源的使用量。在确定所需资源后，在该请求配置页面中相应资源的配置项，输入资源使用量，包括cpu使用量、gpu使用量和内存使用量。用户可以通过复选框选择一个或多个区域作为模型运行区域，如东北地区、华东地区、华北地区、华中地区、华南地区、西南地区、大西北地区等中的一个或多个区域。用户还可以在该请求配置页面配置性能偏好或者性能需求，性能偏好可以通过单选框实现，如成本最低、延迟时间最短等，性能需求可以为如广州市内访问延迟不高于10ms。在模型部署请求配置完成后，用户点击提交按钮，生成一个模型部署请求，并通过客户端将该模型部署请求发送至中心服务器。
75.在一些实施例中，用户可以先下发一个模型部署触发指令至中心服务器，中心服务器响应于该模型部署触发指令，向用户反馈请求配置页面的链接，以通过该链接打开请求配置页面，进行资源调度策略、模型运行区域等的配置，生成模型部署请求，并将模型部署请求发送至中心服务器。中心服务器则从资源池中找到可以通信的资源池，即与中心管理网络连接的资源池，并将模型部署请求下发至该可以通信的资源池。
76.在本实施中，由于中心服务器不需要进行资源调度策略的匹配，各个资源池的资
源信息和负载信息也就不需要同步至中心服务器，从而无需所有的资源池与中心服务器保持网络通信。边缘侧的资源池基于边缘管理网络互相连接，边缘管理网络的连接质量相较于中心管理网络更稳定，从而有利于资源信息和负载信息在边缘管理网络内的流转，提高了资源调度策略匹配的准确度。
77.步骤s202，通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧。
78.一个或多个边缘侧可以对应一个地区，模型运行区域可以对应一个或多个边缘侧。
79.资源池在接收到中心服务器下发的模型部署请求之后，对该模型部署请求进行解析，提取模型部署请求中的模型运行区域，如华南地区。若资源池所属边缘侧不属于或不包括模型运行区域，则将模型部署请求发送至模型运行区域对应的边缘侧，即目标边缘侧，如图1中的边缘侧2。
80.边缘管理网络为边缘侧的资源池之间的连接网络，边缘侧资源集群中各边缘侧的部分资源池与边缘管理网络连接，以实现边缘侧的资源池之间模型部署请求的交互。
81.若接收中心服务器下发的模型部署请求的资源池对应的边缘侧为模型运行区域对应的边缘侧，则可以省略本步骤，直接执行步骤s203。
82.具体的，资源池在接收到中心服务器下发的模型部署请求之后，对该模型部署请求进行解析，提取模型部署请求中的模型运行区域，判断资源池对应的边缘侧是否为模型运行区域对应的边缘侧即目标边缘侧，若是，则执行步骤s203，若否，则执行步骤s202，将模型部署请求转发至目标边缘侧的资源池。
83.步骤s203，从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池。
84.同一边缘侧的资源池之间数据共享，以有效缩短资源调度策略匹配的时间。
85.在将模型部署请求转发至目标边缘侧的资源池后，该资源池提取模型部署请求中的资源调度策略，并基于该资源调度策略为待部署模型匹配资源池，得到用于部署待部署模型的目标资源池。目标资源池可以为本地资源池，即进行资源调度策略匹配的资源池所在边缘侧的资源池，也可以是接入边缘管理网络的其他资源池。
86.可以基于任意一种算法进行资源调度匹配，以确定满足资源调度策略的目标资源池。
87.步骤s204，基于所述目标资源池，部署所述待部署模型。
88.目标资源池基于模型部署请求，执行相应的模型加载命令，完成待部署模型的加载，实现将待部署模型部署在一个或多个目标资源池中，以通过一个或多个模型资源池提供的运行环境运行该待部署模型。
89.进一步地，在待部署模型部署完毕后，还可以将待部署模型对应的推理服务通过边缘数据网络发布出去，以实现待部署模型对应的业务或服务。
90.本技术实施例提供的模型部署方法，针对基于边缘云服务进行模型部署的应用场景，提供了一种边缘侧自主调度的模型部署方法，边缘侧服务云包括边缘侧资源集群，边缘侧资源集群包括部署在多个边缘侧的多个资源池，当中心服务器接收到模型部署请求后，需通过中心管理网络将该模型部署请求下发至边缘侧，可以下发至边缘侧的任意一个与中
心管理网络连接的资源池，再通过边缘管理网络将该模型部署请求发送至模型运行区域对应的边缘侧的资源池，由该边缘侧的资源池基于该边缘侧的各资源池的资源和负载情况，从该边缘侧的资源池中确定与模型部署请求的资源调度策略匹配的目标资源池，基于目标资源池进行模型部署。相较于中心服务器自主调度的方式，由边缘侧自主调度的方式，由于边缘侧之间网络通信的稳定性更强，同一边缘侧的资源池的信息同步及时，提高了模型部署时资源调度的准确度，避免资源池分配的负载超负荷，而导致模型运行延迟过高，在提高了模型部署的质量的同时，提高了边缘侧资源池资源的利用率。
91.图4为本技术一个实施例提供的边缘侧的资源池的结构示意图，如图4所示，边缘侧的资源池包括控制组件operator、模型运行模块和存储组件，模型运行模块包括路由组件router、运行组件runtime、管理接口和数据接口。
92.存储组件用于存储资源池的实时资源信息和负载信息，可以为etcd(分布式键值对存储系统)。控制组件operator，与中心管理网络和边缘管理网络连接，负责模型部署请求的接收和下发，如接收中心服务器下发的模型部署请求，将模型部署请求通过边缘管理网络下发至其他资源池的模型运行模块等。模型运行模块为执行资源调度，以及运行模型负载的核心模块。路由组件router与边缘管理网络连接，负责将管理接口暴露给控制组件operator以及其他模型运行模块的路由组件router调用。运行组件runtime和同一模型运行模块的路由组件router通信，接收路由组件router下发的模型加载命令，实现模型加载，还负责将加载完毕的模型的推理服务通过边缘数据网络暴露出去。管理接口被配置为与边缘管理网络连接，以传输资源信息和负载信息；数据接口被配置为与边缘数据网络连接，以暴露推理服务。
93.一个资源池对应的模型运行模块的数量可以为一个或多个。
94.边缘侧资源集群中部分资源池的控制组件operator与中心管理网络连接，另一部分的资源池的控制组件operator未与中心管理网络连接。
95.在一些实施例中，控制组件还用于基于预设的策略自动增加或减少本地的模型运行模块的数量。
96.具体的，当模型运行模块中资源占用率过高时，如快被部署的模型服务消耗完毕时，控制组件operator自动新增一个或多个模型运行模块；当其中一个或多个模型运行模块(如预设模型运行模块)较长时间(如超过预设时间)未运行模型服务的负载时，控制组件operator还可以释放掉这些预设模型运行模块。
97.图5为本技术另一个实施例提供的模型部署方法的流程图，本实施例提供的模型部署方法是在图2所示实施例的基础上，对图2所示实施例各步骤进行进一步细化，以及在步骤s204之后增加负载信息更新、推理服务发布以及模型运行信息反馈的相关步骤，如图5所示，本实施例提供的模型部署方法可以包括以下步骤：
98.步骤s501，经由所述控制组件，通过中心管理网络，获取中心服务器下发的模型部署请求，并通过边缘管理网络，将所述模型部署请求发送至调度模型运行模块，所述调度模型运行模块为目标边缘侧的资源池的模型运行模块。
99.经由边缘侧资源集群中某个接入中心管理网络的资源池的控制组件，后去中心管理服务器下发的模型部署请求，该模型部署请求包括待部署模型的资源调度策略以及模型运行区域。接着，该控制组件通过中心管理网络接收到模型部署请求后，通过边缘管理网络
将该请求转发给模型运行区域对应的边缘侧的资源池的模型运行模块(即调度模型运行模块)，具体为该调度模型运行模块的路由组件。
100.步骤s502，经由所述调度模型运行模块，获取所述目标边缘侧各存储组件中存储的资源信息和负载信息。
101.调度模型运行模块的路由组件在接收到模型部署请求后，从目标边缘侧的各资源池的存储组件中读取目标边缘侧的各资源池的资源信息和负载信息，还可以读取资源池对应的地域、网络时延等资源池属性信息。
102.步骤s503，基于所述资源信息和所述负载信息，从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，并将所述模型部署请求发送至目标模型运行模块。
103.其中，所述目标模型运行模为所述目标资源池的模型运行模块。
104.基于读取的资源信息和负载信息，还可以包括资源池属性信息，从目标边缘侧的资源池中确定与模型部署请求中的资源调度策略匹配的目标资源池，可以优先确定资源占用率低的资源池为目标资源池，或者基于所读取的资源信息、负载信息和资源池属性信息等，计算各资源池的得分，从得分较高的资源池中，确定满足资源调度策略的一个或多个目标资源池。本实施例对资源调度策略匹配的具体方式，即确定目标资源池的具体方式不进行限定。
105.在确定满足资源调度策略的一个或多个目标资源池后，将模型部署请求发送至该一个或多个目标资源池的模型运行模块，即目标模型运行模块，以及各目标模型运行模块的部署任务。
106.步骤s504，所述目标模型运行模块向本地的运行时间组件发送模型加载指令。
107.步骤s505，所述运行时间组件基于所述模型加载指令，部署所述待部署模型。
108.与模型部署请求中的资源调度策略匹配的模型运行模块(即目标模型运行模块)从边缘管理网络接收模型部署请求，直接请求该目标模型运行模块内的运行组件，执行该目标模型运行模块的路由组件下发的模型加载指令，实现待部署模型的部署，完成相应的模型加载任务。
109.目标模型运行模块的路由组件，基于对应的部署任务，生成模型加载指令，运行组件则基于模型加载指令，通过本地的资源完成相应的部署任务。待各目标模型运行模块的运行组件完成相应的部署任务后，待部署模型部署完成。
110.在一些实施例中，在待部署模型部署完毕后，还可以执行步骤s506至步骤s508中的至少一个步骤。
111.步骤s506，基于部署所述待部署模型所使用的本地资源，更新本地的存储组件中存储的负载信息。
112.通过及时更新资源池存储的负载信息，提高了存储的负载信息的准确度，为后续的资源调度匹配提供了可靠的数据基础。
113.步骤s507，采集模型运行信息并同步至所述中心服务器。
114.模型运行信息为部署的所述待部署模型运行时采集的信息，包括但不限于待部署模型运行过程中的资源占用率，如cpu占用率、gpu占用率、内存占用率等，还可以包括吞吐量、响应时间、fps(frames per second，每秒传输帧数)、qps(queries per second，每秒查
询推理响应速度)等。
115.可以由路由组件采集模型运行信息，并将模型运行信息同步至本地的控制组件，进而由控制组件将模型运行信息上传至中心服务器，以通过中心服务器将模型运行信息反馈至对应的用户。
116.通过模型运行信息的采集和同步，提高了模型运行状态的可视化程度，为模型结构的改进以及模型运行效果的预估，提供了可靠的数据基础。
117.步骤s508，在所述待部署模型部署完毕后，生成所述待部署模型的推理服务并通过数据网络发布，以基于所述推理服务提供所述待部署模型对应的业务。
118.在模型部署完毕后，进入模型推理阶段，目标模型运行模块的运行组件将部署完毕的待部署模型的推理服务通过边缘数据网络暴露出去，以通过边缘数据网络获取待部署模型的输入数据，经过待部署模型处理后得到输出数据，实现待部署模型对应的业务、功能或服务，如进行预测。
119.推理服务为训练完成的ai模型提供推理、预测功能服务的程序对象，如数据分类、个性化推荐、热点预测等。推理服务在运行时，需要获取模型(如待部署模型)的输入数据，该输入数据经过部署的模型后，得到推理结果，即输出数据。
120.通过基于边缘侧的资源池进行模型推理服务的发布，提高了模型推理的效率，得以快速、高效地评估模型的能力。
121.在本实施例中，由边缘侧资源池的控制组件，实现将中心侧的模型部署请求下发至边缘侧；通过模型运行模块进行资源调度策略的匹配以及模型部署的执行，通过路由组件将模型部署请求转发至模型期望运行的区域对应的边缘侧的资源池的路由组件；该路由组件基于目标边缘侧的各资源池的存储组件中存储的最新的信息，包括资源池的负载信息、资源信息、网络时延、所在地域等，从目标边缘侧的多个资源池中，确定与模型部署请求中的资源调度策略匹配的一个或多个目标资源池以及各目标资源池对应的部署任务，将模型部署请求下发至各目标资源池的路由组件，该路由组件基于对应的部署任务，生成模型加载指令，指示本地的运行组件执行该模型加载指令，实现模型部署。上述方案，实现了边缘侧资源池资源、负载信息的同步，由于边缘侧网络连接质量好、延迟低，提高了为模型分配资源的准确度。通过请求在边缘侧的流转，实现了将模型部署在准确的边缘区，有效缩短了模型与输入数据之间的链路，提高了模型运行的效率。
122.图6为本技术又一个实施例提供的模型部署方法的流程示意图，该模型部署方法应用于中心服务器，该中心服务器与边缘侧资源集群中的部分资源池通过中心管理网络连接，如图6所示，本实施例提供的模型部署方法包括以下步骤：
123.步骤s601，接收待部署模型的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域。
124.步骤s602，通过中心管理网络，将所述模型部署请求发送至边缘侧的连接资源池，以使所述连接资源池通过边缘管理网络将所述模型部署请求发送至目标边缘侧的资源池，以从所述目标边缘侧的资源池中确定与所述资源调度策略匹配的目标资源池，进行所述待部署模型的部署。
125.其中，所述连接资源池为接入所述中心管理网络的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧。
126.可选的，所述方法还包括：
127.获取接入所述中心管理网络的多个资源池的网络连接质量；确定所述网络连接质量最高的资源池为所述连接资源池。
128.在本实施例中，中心服务器负责模型部署请求的配置以及转发，不负责基于资源调度策略进行资源池匹配，即确定目标资源池，从而边缘侧无需将资源池的资源、负载等信息上传至中心服务器，将大部分工作挪至边缘侧执行，大大减少了中心服务器的工作量，避免了中心服务器成为性能瓶颈，提高了模型部署的效率。
129.图7为本技术一个实施例提供的模型部署装置的结构示意图，该装置应用于边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池。如图7所示，该装置包括：第一发送模块710、第二发送模块720、策略匹配模块730和模型部署模块740。
130.第一发送模块710用于通过中心管理网络，获取中心服务器下发的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；第二发送模块720用于通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧；策略匹配模块730用于从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池；模型部署模块740用于基于所述目标资源池，部署所述待部署模型。
131.可选的，资源池包括控制组件和模型运行模块；第一发送模块710具体用于经由所述控制组件，通过中心管理网络，获取中心服务器下发的模型部署请求；第二发送模块720具体用于经由所述控制组件通过边缘管理网络，将所述模型部署请求发送至调度模型运行模块，所述调度模型运行模块为目标边缘侧的资源池的模型运行模块。
132.可选的，所述资源池还包括存储组件，用于存储资源池的资源信息和负载信息；策略匹配模块730，具体用于：
133.经由所述调度模型运行模块，获取所述目标边缘侧各存储组件中存储的资源信息和负载信息；基于所述资源信息和所述负载信息，从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，并将所述模型部署请求发送至目标模型运行模块，其中，所述目标模型运行模为所述目标资源池的模型运行模块。
134.可选的，模型部署模块740，具体用于：
135.所述目标模型运行模块向本地的运行时间组件发送模型加载指令；所述运行时间组件基于所述模型加载指令，部署所述待部署模型。
136.可选的，所述装置还包括负载信息更新模块，用于：
137.在所述运行时间组件基于所述模型加载指令，部署所述待部署模型之后，基于部署所述待部署模型所使用的本地资源，更新本地的存储组件中存储的负载信息。
138.可选的，所述装置还包括：
139.推理服务发布模块，用于在所述待部署模型部署完毕后，生成所述待部署模型的推理服务并通过数据网络发布，以基于所述推理服务提供所述待部署模型对应的业务；和/或，运行信息同步模块，用于采集模型运行信息并同步至所述中心服务器，所述模型运行信息为部署的所述待部署模型运行时采集的信息。
140.本技术实施例还提供另一种模型部署装置，该装置应用于中心服务器，该装置包括：
141.请求接收模块，用于接收待部署模型的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；第三发送模块，用于通过中心管理网络，将所述模型部署请求发送至边缘侧的连接资源池，以使所述连接资源池通过边缘管理网络将所述模型部署请求发送至目标边缘侧的资源池，以从所述目标边缘侧的资源池中确定与所述资源调度策略匹配的目标资源池，进行所述待部署模型的部署；所述连接资源池为接入所述中心管理网络的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧。
142.可选的，所述装置还包括连接资源池确定模块，用于：
143.获取接入所述中心管理网络的多个资源池的网络连接质量；确定所述网络连接质量最高的资源池为所述连接资源池。
144.本技术实施例所提供的模型部署装置可执行本技术任意实施例所提供的模型部署方法，具备执行方法相应的功能模块和有益效果。
145.图8为本技术一个实施例提供的模型部署系统的结构示意图，如图8所示，该模型部署系统包括：中心服务器810以及边缘侧资源集群820，边缘侧资源集群820包括部署在多个边缘侧的多个资源池821；
146.中心服务器810与边缘侧资源集群820中部分资源池821通过中心管理网络连接，以将模型部署请求转发至边缘侧；边缘侧资源集群820用于基于本技术图2和图5对应的实施例提供的模型部署方法提供的方法进行模型部署。
147.相关说明可以对应参见本技术模型部署方法相关实施例提供的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
148.本技术实施例还提供一种中心服务器，用于执行本技术实施例提供的由中心服务器执行的模型部署方法；该中心服务器包括存储器和至少一个处理器，存储器上存储有计算机执行指令，当处理器执行该计算机执行指令时，实现本技术实施例提供的由中心服务器执行的模型部署方法。
149.本技术一个实施例提供一种计算机可读存储介质，其上存储有计算机执行指令，当处理器执行计算机执行指令时，实现本技术任一实施例提供的模型部署方法。
150.其中，计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memor，ram)、磁带、软盘和光数据存储设备等。
151.本技术一个实施例提供一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现本技术任一实施例提供的模型部署方法。
152.其中，处理器可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称：cpu)、网络处理器(network processor，简称：np)等。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
153.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
154.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由权利要求书指出。
155.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种模型部署方法，其特征在于，所述方法应用于边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池，所述方法包括：通过中心管理网络，获取中心服务器下发的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧；从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池；基于所述目标资源池，部署所述待部署模型。2.根据权利要求1所述的方法，其特征在于，资源池包括控制组件和模型运行模块；通过中心管理网络，获取中心服务器下发的模型部署请求，通过边缘管理网络，将所述模型部署请求发送至目标边缘侧的资源池，包括：经由所述控制组件，通过中心管理网络，获取中心服务器下发的模型部署请求，并通过边缘管理网络，将所述模型部署请求发送至调度模型运行模块，所述调度模型运行模块为目标边缘侧的资源池的模型运行模块。3.根据权利要求2所述的方法，其特征在于，所述资源池还包括存储组件，用于存储资源池的资源信息和负载信息；从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，包括：经由所述调度模型运行模块，获取所述目标边缘侧各存储组件中存储的资源信息和负载信息；基于所述资源信息和所述负载信息，从所述目标边缘侧的资源池中，确定与所述资源调度策略匹配的目标资源池，并将所述模型部署请求发送至目标模型运行模块，其中，所述目标模型运行模为所述目标资源池的模型运行模块。4.根据权利要求3所述的方法，其特征在于，基于所述目标资源池，部署所述待部署模型，包括：所述目标模型运行模块向本地的运行时间组件发送模型加载指令；所述运行时间组件基于所述模型加载指令，部署所述待部署模型。5.根据权利要求4所述的方法，其特征在于，在所述运行时间组件基于所述模型加载指令，部署所述待部署模型之后，所述方法还包括：基于部署所述待部署模型所使用的本地资源，更新本地的存储组件中存储的负载信息。6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：在所述待部署模型部署完毕后，生成所述待部署模型的推理服务并通过数据网络发布，以基于所述推理服务提供所述待部署模型对应的业务；和/或，采集模型运行信息并同步至所述中心服务器，所述模型运行信息为部署的所述待部署模型运行时采集的信息。7.一种模型部署方法，其特征在于，所述方法应用于中心服务器，所述方法包括：接收待部署模型的模型部署请求，所述模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；通过中心管理网络，将所述模型部署请求发送至边缘侧的连接资源池，以使所述连接
资源池通过边缘管理网络将所述模型部署请求发送至目标边缘侧的资源池，以从所述目标边缘侧的资源池中确定与所述资源调度策略匹配的目标资源池，进行所述待部署模型的部署；所述连接资源池为接入所述中心管理网络的资源池，所述目标边缘侧为所述模型运行区域对应的边缘侧。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：获取接入所述中心管理网络的多个资源池的网络连接质量；确定所述网络连接质量最高的资源池为所述连接资源池。9.一种模型部署系统，其特征在于，包括：中心服务器以及边缘侧资源集群，所述边缘侧资源集群包括部署在多个边缘侧的多个资源池；所述中心服务器与所述边缘侧资源集群中部分资源池通过中心管理网络连接，以将模型部署请求转发至边缘侧；所述边缘侧资源集群用于基于权利要求1-6任一项提供的方法进行模型部署。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-8任一项所述的模型部署方法。

技术总结
本申请实施例提供一种模型部署方法、系统及存储介质，该方法应用于边缘侧资源集群，边缘侧资源集群包括部署在多个边缘侧的多个资源池，该方法包括：通过中心管理网络，获取中心服务器下发的模型部署请求，模型部署请求包括待部署模型对应的资源调度策略以及模型运行区域；通过边缘管理网络，将模型部署请求发送至目标边缘侧的资源池，目标边缘侧为模型运行区域对应的边缘侧；从目标边缘侧的资源池中，确定与资源调度策略匹配的目标资源池；基于目标资源池，部署待部署模型。实现了边缘侧自主调度的模型部署方法，由于边缘侧资源池资源和负载情况同步及时，提高了模型部署时资源调度的准确度，进而提高了所部署的模型的运行效率。率。率。


技术研发人员：马强 过晓春 陈信宇 程学功
受保护的技术使用者：联通数字科技有限公司 联通云数据有限公司
技术研发日：2023.06.26
技术公布日：2023/9/7