节点策略分配方法及系统与流程
未命名
10-21
阅读:103
评论:0
1.本发明涉及分布式系统领域,具体而言,涉及一种节点策略分配方法及系统。
背景技术:
2.目前,ai技术在诸多应用场景中发挥着重要的作用,如工业物联网、智能家居、智慧医疗、多媒体服务、车联网等。对于新型网络而言,网络内部不同节点间的传输对象不限于传统意义上的数据,也包括ai能力等。进一步的,ai能力的互联共享为新型通信网络中实现协作智能、群体智能以及优化各类资源利用模式和效率提供了关键方案。为了实现上述ai技术在各行各业的应用,需要将与ai技术对应的节点策略分配至分布式系统中的各个节点。
3.由于通常情况下,分布式系统中是包括海量节点的,现有技术通常是由中心节点一对一将节点策略分发至其他节点。然而,随着新型网络中ai能力分发任务规模和复杂度的扩增,传统的中心式分发架构存在对中心节点的高度依赖、带宽资源支出成本高,无法实现大规模网络场景下节点策略的低成本快速分发。因此,针对大规模场景下海量节点的ai能力分发,即节点策略分配问题,由中心节点进行一对一分发会造成分发效率低的问题。
4.针对上述的问题,目前尚未提出有效的解决方案。
技术实现要素:
5.本发明实施例提供了一种节点策略分配方法及系统,以至少解决相关技术中在进行节点策略分配时,出现的分配效率的技术问题。
6.根据本发明实施例的一个方面,提供了一种节点策略分配方法,包括:接收分布式系统内中心节点发送的关键节点资源,其中,所述关键节点资源为关键节点所需的资源;依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息,其中,所述目标节点为由所述关键节点分配节点策略的节点;判断所述第二元ai能力集合是否为所述第一元ai能力集合的真子集,得到集合结果;依据所述集合结果,确定为所述目标节点分配的目标节点策略,其中,所述目标节点策略至少包括所述ai能力重构步骤;发送所述目标节点策略至所述目标节点。
7.可选地,所述关键节点为依据分布式系统内节点分别对应的多维特征确定得到的,其中,所述分布式系统内节点分别对应的多维特征依据所述分布式系统内节点的节点分布确定。
8.可选地,所述依据所述集合结果,确定为所述目标节点分配的目标节点策略,包括:在所述集合结果为所述第二元ai能力集合为所述第一元ai能力集合的真子集,所述目标节点策略包括第一节点策略,所述第一节点策略包括目标元ai能力与所述ai能力重构步骤的情况下,依据所述第一元ai能力集合与所述第二元ai能力集合,确定所述目标节点缺少的所述目标元ai能力;确定所述目标节点策略为所述第一节点策略。
9.可选地,所述依据所述集合结果,确定为所述目标节点分配的目标节点策略,包括:在所述集合结果为所述第二元ai能力集合不为所述第一元ai能力集合的真子集,所述目标节点策略包括第二节点策略,所述第二节点策略包括所述ai能力重构步骤的情况下,确定所述目标节点策略为所述第二节点策略。
10.可选地,所述依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤之后,还包括:将所述第一元ai能力集合按照所述ai能力重构步骤进行模型构建,得到目标ai模型。
11.可选地,所述将所述第一元ai能力集合按照所述ai能力重构步骤进行模型构建,得到目标ai模型,包括:获取关键节点的节点状态;确定适配所述节点状态的模型剪枝比值;将所述第一元ai能力集合按照所述ai能力重构步骤进行模型构建,得到初始ai模型;依据所述模型剪枝比值,缩减所述初始ai模型,得到所述目标ai模型。
12.可选地,所述依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤,包括:在所述关键节点资源包括预定模型压缩包的情况下,解析所述预定模型压缩包,得到所述第一元ai能力集合与所述ai能力重构步骤。
13.根据本发明实施例的一个方面,提供了一种节点策略分配系统,包括:中心节点,关键节点,目标节点,其中,所述中心节点,用于发送关键节点资源至所述关键节点,其中,所述关键节点资源为关键节点所需的资源;所述关键节点,用于接收分布式系统内中心节点发送的关键节点资源;依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息,其中,所述目标节点为由所述关键节点分配节点策略的节点;判断所述第二元ai能力集合是否为所述第一元ai能力集合的真子集,得到集合结果;依据所述集合结果,确定为所述目标节点分配的目标节点策略,其中,所述目标节点策略至少包括所述ai能力重构步骤;发送所述目标节点策略至所述目标节点所述目标节点,用于接收所述关键节点发送的所述目标节点策略。
14.根据本发明实施例的一个方面,提供了一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现上述任一项所述的节点策略分配方法。
15.根据本发明实施例的一个方面,提供了一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项所述的节点策略分配方法。
16.在本发明实施例中,接收分布式系统内中心节点发送的关键节点资源,确定与关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息。判断第二元ai能力集合是否为第一元ai能力集合的真子集,得到集合结果。依据集合结果,确定为目标节点分配的目标节点策略,以达到发送目标节点策略至目标节点,分配目标节点策略至目标节点的目的。
17.由于通常情况下,分布式系统中是包括海量节点的,现有技术通常是由中心节点一对一将关键节点资源分发至其他节点,但是针对大规模场景下海量节点的ai能力分发问题,由中心节点进行一对一分发会造成分发效率低的问题。
18.因此,本发明实施例的节点策略分配方法摒弃由中心节点进行一对一分发的做
法,将全局分发任务分解为局部分发任务,即中心节点先将节点资源下发到关键节点,再由关键节点将节点策略下发到目标节点,通过上述方式能有效地降低对中心节点的依赖性。
19.而且,在关键节点将节点策略下发至目标节点时,下发的是目标节点策略。首先,目标节点策略是包括ai能力重构步骤,还可能包括一定的元ai能力的,而非相关技术中直接使用的算法包或模型包,使得传输过程中的数据量减少。而且,目标节点策略是基于第二元ai能力集合与第一元ai能力集合的集合关系确定得到的,可以理解为在对目标节点分发关于ai能力的资源时,为目标节点分发的是目标节点所缺少的元ai能力,因此可知,目标节点策略的大小是小于或等于关键节点资源的,在目标节点策略可能更小的情况下,降低了分发过程中的传输数据量,能够提升分发速度,进而能够提高全局分发效率。
20.综上,解决了相关技术中在进行节点策略分配时,出现的分配效率的技术问题。
附图说明
21.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
22.图1是根据本发明实施例的节点策略分配方法的流程图;
23.图2是本发明可选实施方式提供的面向海量异构节点的节点策略分布式自适应分发架构的示意图;
24.图3是本发明可选实施方式提供的基于节点密度自适应的分发策略示意图;
25.图4是本发明可选实施方式提供的基于算法包的节点策略分发与基于可重构机制的节点资源分发的对比图;
26.图5是本发明可选实施方式提供的模型剪枝比值自动生成的示意图;
27.图6是根据本发明实施例的节点策略分配系统的结构框图。
具体实施方式
28.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
29.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
30.首先,在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
31.元ai能力:元人工智能(ai)能力,通常指的是一种基础的ai能力,如计算、存储和
通信等,它们为不同类型的ai应用程序提供支持和服务。这些元ai能力可以有很多个,举例来说,云计算平台上所使用的模型所需的元ai能力可以包括虚拟化、自动扩展、容器技术等,在机器学习模型所需的元ai能力可以包括数据预处理、特征工程等,元ai能力为ai模型的组成部分。
32.实施例1
33.根据本发明实施例,提供了一种节点策略分配方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
34.图1是根据本发明实施例的节点策略分配方法的流程图,如图1所示,该方法包括如下步骤:
35.首先需要说明的是,本发明实施例的节点策略分配方法应用于分布式系统的场景中,其中,分布式系统包括中心节点与子节点,子节点中分为了关键节点与目标节点。
36.步骤s102,接收分布式系统内中心节点发送的关键节点资源;
37.在本技术提供的步骤s102中,接收分布式系统内中心节点发送的关键节点资源,其中,关键节点资源可以包括多种,例如,关键节点资源为给其他节点分配的,能够使其他节点能够依据分配的资源构建目标ai模型的资源。在该步骤中,关键节点接收中心节点的关键节点资源时,关键节点资源可以为一个预定模型压缩包,也可以为包括第一元ai能力集合与ai能力重构步骤的资源。因为关键节点在分布式系统中的数量是偏少的,因此,直接发送预定模型压缩包也是能够保证资源分发的效率的。不过,如果关键节点资源为包括第一元ai能力集合与ai能力重构步骤的资源,那么在将关键节点资源发送给关键节点时,能够进一步的提高资源分发的效率。
38.步骤s104,依据关键节点资源,确定与关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息;
39.在本技术提供的步骤s104中,可以根据不同的情况,通过对应的方式确定出第一元ai能力集合与ai能力重构步骤。
40.在关键节点资源为预定模型压缩包的情况下,需要解压缩预定模型压缩包,得到目标ai模型,再通过对目标ai模型的解析拆分才能够得到第一元ai能力集合与ai能力重构步骤。
41.在关键节点资源包括第一元ai能力集合与ai能力重构步骤的情况下,可以直接通过关键节点资源获取到第一元ai能力集合与ai能力重构步骤。
42.在本技术提供的步骤s104中,接收到的与目标节点对应的第二元ai能力集合的集合信息,为表示目标节点中已经包括的元ai能力的信息,即,通过该信息可知,目标节点中已经包括哪些元ai能力。
43.步骤s106,判断第二元ai能力集合是否为第一元ai能力集合的真子集,得到集合结果;
44.在本技术提供的步骤s106中,判断了第二元ai能力集合是否为第一元ai能力集合的真子集,得到集合结果,通过判断第二元ai能力集合是否为第一元ai能力集合的真子集,能够判断目标节点自身是否已具备构建模型的元ai能力。
45.步骤s108,依据集合结果,确定为目标节点分配的目标节点策略,其中,目标节点策略至少包括ai能力重构步骤;
46.在本技术提供的步骤s108中,依据集合关系,能够判断出目标节点自身是否已具备构建模型的元ai能力,以依据目标节点自身是否已具备构建模型的元ai能力这一结果,确定要为目标节点分配的目标节点策略,即确定要为目标节点发送的节点策略。
47.需要说明的是,无论目标节点自身是否已具备构建模型的元ai能力,目标节点策略中都是包括ai能力重构步骤的,以使得目标节点能够依据元ai能力,按照ai能力重构步骤构建出模型。
48.步骤s110,发送目标节点策略至目标节点。
49.在本技术提供的步骤s110中,以达到为目标节点分配目标节点策略的目的。
50.需要说明的是,目标节点可以为多个,即一个关键节点可以对应于多个目标节点,一个关键节点可以分别发送对应的目标节点策略至对应目标节点,以使与关键节点对应的目标节点都接收到与自身适配的目标节点策略。
51.通过上述步骤,对于关键节点一侧而言,接收分布式系统内中心节点发送的关键节点资源,确定与关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息。判断第二元ai能力集合是否为第一元ai能力集合的真子集,得到集合结果。依据集合结果,确定为目标节点分配的目标节点策略,以达到发送目标节点策略至目标节点,分配目标节点策略至目标节点的目的。
52.由于通常情况下,分布式系统中是包括海量节点的,现有技术通常是由中心节点一对一将关键节点资源分发至其他节点,但是针对大规模场景下海量节点的ai能力分发问题,由中心节点进行一对一分发会造成分发效率低的问题。
53.因此,本发明实施例的节点策略分配方法摒弃由中心节点进行一对一分发的做法,将全局分发任务分解为局部分发任务,即中心节点先将节点资源下发到关键节点,再由关键节点将节点策略下发到目标节点,通过上述方式能有效地降低对中心节点的依赖性。
54.而且,在关键节点将节点策略下发至目标节点时,下发的是目标节点策略。首先,目标节点策略是包括ai能力重构步骤,还可能包括一定的元ai能力的,而非相关技术中直接使用的算法包或模型包,使得传输过程中的数据量减少。而且,目标节点策略是基于第二元ai能力集合与第一元ai能力集合的集合关系确定得到的,可以理解为在对目标节点分发关于ai能力的资源时,为目标节点分发的是目标节点所缺少的元ai能力,因此可知,目标节点策略的大小是小于或等于关键节点资源的,在目标节点策略可能更小的情况下,降低了分发过程中的传输数据量,能够提升分发速度,进而能够提高全局分发效率。
55.综上,解决了相关技术中在进行节点策略分配时,出现的分配效率的技术问题相关技术中在进行节点策略分配时,出现的分配效率低。
56.作为一种可选的实施例,关键节点为依据分布式系统内节点分别对应的多维特征确定得到的,其中,分布式系统内节点分别对应的多维特征依据分布式系统内节点的节点分布确定。
57.在该实施例中,说明了关键节点是如何确定出来的。关键节点可以为依据分布式系统内节点分别对应的多维特征确定得到的。其中,多维特征可以包括各节点与中心节点的距离、通信状态等特征,多维特征在此不做限定,可以根据实际的应用与场景进行自定义
的设置。为了能够依据分布式系统内节点分别对应的多维特征,自动地选择出关键节点,可以使用自组织映射网络som(self-organizing map)通过对各节点对应的多维特征进行学习,通过将输入空间中相邻的样本映射到相邻的输出神经元,最终生成一个具有更高抽象能力、低维离散的映射。其中,映射网络中的每个神经元代表着当前区域的关键节点,而且关键节点的数量能够随着区域内节点的密度自适应增减。
58.其中,由于分布式系统内节点分别对应的多维特征是根据分布式系统内节点的节点分布确定的,因此,要先确定分布式系统内节点的节点分布,确定分布式系统内节点的节点分布时,可以采用多种方式,例如,可以通过分布式节点密度感知算法获知所有节点的节点分布。再基于节点分布,确定分布式系统内节点分别对应的多维特征。
59.通过上述过程,确定出关键节点,使得关键节点是能够快速地发送节点策略到邻域内的其他节点,即目标节点,能够实现节点策略的全域快速分发。
60.需要说明的是,除了依据分布式系统内节点分别对应的多维特征,能够确定出关键节点,与此同时,还可以通过分布式系统内节点分别对应的多为特征,确定出目标节点,从而能够确定出本技术中涉及的关键节点与目标节点,进而使得后续能够实现节点策略的全域快速分发。
61.作为一种可选的实施例,依据集合结果,确定为目标节点分配的目标节点策略,包括:在集合结果为第二元ai能力集合为第一元ai能力集合的真子集,目标节点策略包括第一节点策略,第一节点策略包括目标元ai能力与ai能力重构步骤的情况下,依据第一元ai能力集合与第二元ai能力集合,确定目标节点缺少的目标元ai能力;确定目标节点策略为第一节点策略。
62.在该实施例中,在集合关系为第二元ai能力集合为第一元ai能力集的真子集的情况下,说明了目标节点中的第一元ai能力集合中包括的多个元ai能力,不足以实现模型的构建。因此,需要依据第二元ai能力集合与第一元ai能力集合,确定目标元ai能力,即,确定出目标节点构建模型所缺失的元ai能力。之后可以确定包括目标元ai能力与ai能力重构步骤的第一节点策略,确定目标节点的目标节点策略为第一节点策略,达到将第一节点策略发送至目标节点的目的。
63.如,第一元ai能力集合为abcde,第二元ai能力为abf,确定两者之间的集合关系。在该情况下,集合关系为第二元ai能力为第一元ai能力的真子集,说明了目标节点所拥有的第二元ai能力abf并不能实现模型的构建。因此需要确定出目标节点所缺少的元ai能力。即可以,依据构建模型所需的第一ai能力集合abcde,与目标节点具备的第二元ai能力abf,确定出目标节点所缺少的目标元ai能力为cde。
64.在该情况下,发送至目标节点的第以节点策略,第一节点策略需要包括目标元ai能力cde,与,ai能力重构步骤。以使得将包括目标元ai能力cde,与,ai能力重构步骤的第一节点策略发送至目标节点后,目标节点能够实现模型的构建。
65.作为一种可选的实施例,依据集合结果,确定为目标节点分配的目标节点策略,包括:在集合结果为第二元ai能力集合不为第一元ai能力集合的真子集,目标节点策略包括第二节点策略,第二节点策略包括ai能力重构步骤的情况下,确定目标节点策略为第二节点策略。
66.在该实施例中,在集合关系为第二元ai能力集合不为第一元ai能力集的真子集的
情况下,说明了目标节点中的第一元ai能力集合中包括的多个元ai能力,足以实现模型的构建,提供ai能力重构步骤即可。因此,在该情况下,可以确定包括ai能力重构步骤的第二节点策略,确定目标节点的目标节点策略为第二节点策略,达到将第二节点策略发送至目标节点的目的。
67.如,第一元ai能力集合为abcde,第二元ai能力为abcde,确定两者之间的集合关系。在该情况下,集合关系为第二元ai能力为第一元ai能力的真子集,说明了目标节点所拥有的第二元ai能力abcde能够实现模型的构建。
68.在该情况下,发送至目标节点的第二节点策略,可以只包括ai能力重构步骤。即将包括ai能力重构步骤的第二节点策略发送至目标节点后,即能够使得目标节点实现模型的构建。
69.作为一种可选的实施例,依据关键节点资源,确定与关键节点对应的第一元ai能力集合与ai能力重构步骤之后,还包括:将第一元ai能力集合按照ai能力重构步骤进行模型构建,得到目标ai模型。
70.在该实施例中,可以将第一元ai能力集合按照ai能力重构步骤进行模型构建,得到目标ai模型。得到的目标ai模型具备第一元ai能力集合中多个元ai能力所具有的功能。
71.作为一种可选的实施例,将第一元ai能力集合按照ai能力重构步骤进行模型构建,得到目标ai模型,包括:获取关键节点的节点状态;确定适配节点状态的模型剪枝比值;将第一元ai能力集合按照ai能力重构步骤进行模型构建,得到初始ai模型;依据模型剪枝比值,缩减初始ai模型,得到目标ai模型。
72.在该实施例中,获取关键节点的节点状态;确定适配节点状态的模型剪枝比值;将第一元ai能力集合按照ai能力重构步骤进行模型构建,得到初始ai模型。再依据模型剪枝比值,缩减初始ai模型,得到目标ai模型。通过该步骤,提高ai能力与节点的适配度,在进行ai能力重构的过程中,根据目标节点的实时状态,使用模型剪枝技术对ai模型进行自适应地优化,保证各个节点获得与自身状态适配的ai能力。
73.作为一种可选的实施例,依据关键节点资源,确定与关键节点对应的第一元ai能力集合与ai能力重构步骤,包括:在关键节点资源包括预定模型压缩包的情况下,解析预定模型压缩包,得到第一元ai能力集合与ai能力重构步骤。
74.在该实施例中,说明了关键节点资源可以为预定模型压缩包,即中心节点向关键节点发送关键节点资源时,可以为预定模型压缩包。通过解析预定模型压缩包,得到第一元ai能力集合与ai能力重构步骤。
75.基于上述实施例及可选实施例,提供了一种可选实施方式,下面具体说明。
76.本发明可选实施方式提供了一种面向海量异构节点的节点策略自适应分发方法及架构,基于多节点分布式分发策略的思想,将大规模场景中的全局分发任务分解为若干个关键节点的选择和局部区域内的节点策略分发,能够有效地降低对中心节点的依赖性,提高节点策略的全局分发效率。同时,构建基于可重构机制的节点策略自适应分发机制,在完成分发任务的同时能够显著降低对通信带宽的负载,并能够对不同分发对象的节点策略进行个性化适配。下面对本发明可选实施方式进行详细介绍:
77.图2是本发明可选实施方式提供的面向海量异构节点的节点策略分布式自适应分发架构的示意图,如图2所示,在该系统架构中,主要包括以下三个关键模块:
78.(一)多节点分布式分发架构:本发明可选实施方式中提供的方法摒弃传统中心式的分发架构,构建多节点分布式的分发架构,将全局分发任务分解为若干个关键节点的选择和局部的节点策略分发,中心节点先将节点资源下发到各个关键节点,然后再由各个关键节点将节点策略下发到邻域的其他子节点。同时,在选择关键节点的过程中,根据不同节点密度自适应调整子节点数量,从而始终保证较高的分发效率。需要说明的是,分布式分发架构中包括了中心节点,关键节点与目标节点,其中,关键节点也可称为关键子节点,目标节点也可称为邻域节点、目标子节点、邻域子节点,两者可以称为子节点。
79.(二)基于可重构机制的分发策略:在节点间进行节点策略发送时,关键节点向目标节点发送的是ai能力重构步骤,或者元ai能力集合与ai能力重构步骤,而不是传统的ai能力算法包。在目标节点在接收到目标节点策略后会在本地进行ai能力重构,得到目标ai模型。
80.(三)ai能力自适应适配:在根据目标节点策略进行ai能力重构的过程中,目标节点会感知自身状态,包括算力、内存、当前任务等,并根据自身实时状态自动产生确定模型剪枝比值,最终保证目标节点获得最适配的ai能力,得到依据模型剪枝比值缩减初始ai模型后的目标ai模型。
81.举例说明本发明可选实施方式提供的面向海量异构节点的节点策略自适应分发方法的流程步骤:
82.s1,中心节点对预分发的ai能力进行自动分解,将其拆分成一系列细粒度的基本ai能力元素,其中,每一个基本ai能力元素为“元ai能力”,即拆分成了一组元ai能力集合,同上述的第一元ai能力集合。同时,将ai能力拆分的步骤反变换成ai能力重构步骤。
83.需要说明的是,上述对预分发的ai能力进行自动分解,也可以理解为对一个模型进行自动分解,在此不作限定,依据元ai能力和ai能力重构步骤对ai能力进行重构后,可以得到这个模型。由于节点策略分发后,是为了实现ai能力重构,实现模型构建,因此,在本发明可选实施方式中的提供的节点策略分发也可以理解为ai能力分发。
84.s2,中心节点感知子节点的状态,包括拓扑,距离、通信时延等,并将上述信息输入到关键节点自动生成模型,在网络内部自动选择出关键节点,其中,各区域内的关键节点数量会随着区域内节点密度的大小而变化。
85.图3是本发明可选实施方式提供的基于节点密度自适应的分发策略示意图,如图3所示,中心节点感知子节点的状态,包括拓扑,距离、通信时延等,并将上述信息输入到关键节点自动生成模型,在网络内部自动选择出关键节点时,借鉴生物病毒交互式传播机制的思想实现去中心化的分布式分发,可以通过分布式节点密度感知算法获知所有子节点的节点分布。再基于节点分布,确定分布式系统内节点分别对应的多维特征,其中,多维特征可以包括各子节点与中心节点的距离、通信状态等特征。为了能够依据分布式系统内节点分别对应的多维特征,自动地选择出关键节点,可以使用自组织映射网络som(self-organizing map)通过对各子节点对应的多维特征进行学习,通过将输入空间中相邻的样本映射到相邻的输出神经元,最终生成一个具有更高抽象能力、低维离散的映射。其中,映射网络中的每个神经元代表着当前区域的关键节点,而且关键节点的数量能够随着区域内节点的密度自适应增减。在进行节点策略分发时,中心节点将节点资源优先发送给上述获得的关键节点,关键节点然后再分别发送到邻域内的领域子节点,即目标节点,从而实现节
点策略的全域快速分发。
86.s3,中心节点将第一元ai能力集合和ai能力重构步骤发送给各个关键节点。
87.图4是本发明可选实施方式提供的基于算法包的节点策略分发与基于可重构机制的节点策略分发的对比图,如图4所示,本发明可选实施方式提供的方法将传统的基于算法包的分发方法替换成发送元ai能力及ai能力重构步骤的分发方法,在进行ai能力分发时,不用发送冗余的算法包,能够有效地降低分发过程中的通信传输量,降低ai能力分发过程中的通信传输压力。通过将容量巨大的算法包替换成抽象精简的元ai能力及ai能力重构步骤,向目标节点发送ai能力重构步骤指导其进行ai能力重构,而非将简单地ai能力进行复制迁移,能够显著降低ai能力分发对通信带宽的负载。
88.s4,各个关键节点在接收到第一元ai能力集合和ai能力重构步骤后,再将其与目标节点对应的第二元ai能力集合进行比对,得到目标元ai能力,将目标元ai能力与ai能力重构步骤发送到相邻区域内的其他非关键节点的目标节点。
89.需要说明的是,将其与目标节点对应的第一元ai能力集合进行比对时,可能目标节点上的第一元ai能力集合可以完成重构。若可以完成,则仅需要向目标节点发送ai能力重构步骤。若无法完成,则按需将目标元ai能力与ai能力重构步骤发送到目标节点。
90.s4,目标节点接收到目标元ai能力与ai能力重构步骤后,将自身的实时状态输出到适配参数在线学习模块,输出适配当前状态的模型剪枝比值,将第二元ai能力集合与自身已具备的元ai能力按照ai能力重构步骤进行模型构建,得到初始ai模型,依据模型剪枝比值,缩减初始ai模型,得到目标ai模型。
91.图5是本发明可选实施方式提供的模型剪枝比值自动生成的示意图,如图5所示,输出适配当前状态的模型剪枝比值时,可以输入至适配参数在线学习模块,基于在线自适应学习来解决。在目标节点进行ai能力重构时,根据目标节子点的实时状态按需进行优化。基于多臂老虎机的在线学习算法,自适应地选择ai能力适配过程中的模型剪枝比值。在生成模型剪枝比值的过程中,可以构建生成器模型和判别器模型,在模型学习的过程中,将ai能力的特征、ai能力的预期效果、以及各个节点的实时状态进行抽象表征,并将其作为生成器的输入,训练生成器输出模型剪枝比值,判别器则识别生成器当前输出的模型剪枝比值是否最优,并根据与最优模型剪枝比值的差距输出反馈信号。在学习过程中,生成器能够根据各个节点的实时状态,以及预期的ai能力效果,生成与需求、场景、效率的最佳模型剪枝比值。
92.因此,通过上述步骤,分布式系统中的所有子节点完成ai能力的重构与适配,获得适配自身状态的目标ai模型。
93.通过上述可选实施方式,可以达到至少以下几点有益效果:
94.(1)考虑了各子节点的实时状态,子节点进行ai能力重构的过程中,使用模型剪枝技术对初始模型进行自适应优化,从而与子节点当前的实时状态进行自动适配。同时,本发明利用生成器与判别器来学习节点状态与模型剪枝比值之间的关系,能够根据各个节点的实时状态,以及预期的ai能力效果,生成与需求、场景、效率的最佳模型剪枝比值。
95.(2)将全局分发任务分解为若干个关键节点的选择和局部的节点策略分发,能够有效地降低对中心节点的依赖性,效地降低分发过程中带宽成本和数据传输量,提高节点策略的分发效率,实现在大规模场景下海量节点的节点策略高效分发。
96.(3)将传统的基于算法包的分发方法替换成发送元ai能力及ai能力重构步骤的分发方法,在进行ai能力分发时,不用发送冗余的算法包,能够有效地降低分发过程中的通信传输量,降低ai能力分发过程中的通信传输压力。通过将容量巨大的算法包替换成抽象精简的元ai能力及ai能力重构步骤,向目标节点发送ai能力重构步骤指导其进行ai能力重构,而非将简单地ai能力进行复制迁移,能够显著降低ai能力分发对通信带宽的负载。
97.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
98.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
99.实施例2
100.根据本发明实施例,还提供了一种用于实施上述节点策略分配方法的系统,图6是根据本发明实施例的节点策略分配系统的结构框图,该节点策略分配系统包括:中心节点602,关键节点604,目标节点606,其中,
101.中心节点602,用于发送关键节点资源至关键节点,其中,关键节点资源为关键节点所需的资源;关键节点604,用于接收分布式系统内中心节点发送的关键节点资源;依据关键节点资源,确定与关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息,其中,目标节点为由关键节点分配节点策略的节点;判断第二元ai能力集合是否为第一元ai能力集合的真子集,得到集合结果;依据集合结果,确定为目标节点分配的目标节点策略,其中,目标节点策略至少包括ai能力重构步骤;发送目标节点策略至目标节点;目标节点606,用于接收关键节点发送的目标节点策略。
102.此处需要说明的是,上述中心节点602,关键节点604,目标节点606对应于实施节点策略分配方法中的步骤s102至步骤s110,多个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。
103.实施例3
104.根据本发明实施例的另外一个方面,还提供了一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器,其中,处理器被配置为执行指令,以实现上述任一项的节点策略分配方法。
105.实施例4
106.根据本发明实施例的另外一个方面,还提供了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述任一项的节点策略分配方法。
107.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
108.在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
109.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
110.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
111.另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
112.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
113.以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
技术特征:
1.一种节点策略分配方法,其特征在于,包括:接收分布式系统内中心节点发送的关键节点资源,其中,所述关键节点资源为关键节点所需的资源;依据所述关键节点资源,确定与所述关键节点对应的第一元人工智能ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息,其中,所述目标节点为由所述关键节点分配节点策略的节点;判断所述第二元ai能力集合是否为所述第一元ai能力集合的真子集,得到集合结果;依据所述集合结果,确定为所述目标节点分配的目标节点策略,其中,所述目标节点策略至少包括所述ai能力重构步骤;发送所述目标节点策略至所述目标节点。2.根据权利要求1所述的方法,其特征在于,所述关键节点为依据分布式系统内节点分别对应的多维特征确定得到的,其中,所述分布式系统内节点分别对应的多维特征依据所述分布式系统内节点的节点分布确定。3.根据权利要求1所述的方法,其特征在于,所述依据所述集合结果,确定为所述目标节点分配的目标节点策略,包括:在所述集合结果为所述第二元ai能力集合为所述第一元ai能力集合的真子集,所述目标节点策略包括第一节点策略,所述第一节点策略包括目标元ai能力与所述ai能力重构步骤的情况下,依据所述第一元ai能力集合与所述第二元ai能力集合,确定所述目标节点缺少的所述目标元ai能力;确定所述目标节点策略为所述第一节点策略。4.根据权利要求1所述的方法,其特征在于,所述依据所述集合结果,确定为所述目标节点分配的目标节点策略,包括:在所述集合结果为所述第二元ai能力集合不为所述第一元ai能力集合的真子集,所述目标节点策略包括第二节点策略,所述第二节点策略包括所述ai能力重构步骤的情况下,确定所述目标节点策略为所述第二节点策略。5.根据权利要求1所述的方法,其特征在于,所述依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤之后,还包括:将所述第一元ai能力集合按照所述ai能力重构步骤进行模型构建,得到目标ai模型。6.根据权利要求5所述的方法,其特征在于,所述将所述第一元ai能力集合按照所述ai能力重构步骤进行模型构建,得到目标ai模型,包括:获取关键节点的节点状态;确定适配所述节点状态的模型剪枝比值;将所述第一元ai能力集合按照所述ai能力重构步骤进行模型构建,得到初始ai模型;依据所述模型剪枝比值,缩减所述初始ai模型,得到所述目标ai模型。7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤,包括:在所述关键节点资源包括预定模型压缩包的情况下,解析所述预定模型压缩包,得到所述第一元ai能力集合与所述ai能力重构步骤。8.一种节点策略分配系统,其特征在于,包括:中心节点,关键节点,目标节点,其中,
所述中心节点,用于发送关键节点资源至所述关键节点,其中,所述关键节点资源为关键节点所需的资源;所述关键节点,用于接收分布式系统内中心节点发送的关键节点资源;依据所述关键节点资源,确定与所述关键节点对应的第一元ai能力集合与ai能力重构步骤,并接收与目标节点对应的第二元ai能力集合的集合信息,其中,所述目标节点为由所述关键节点分配节点策略的节点;判断所述第二元ai能力集合是否为所述第一元ai能力集合的真子集,得到集合结果;依据所述集合结果,确定为所述目标节点分配的目标节点策略,其中,所述目标节点策略至少包括所述ai能力重构步骤;发送所述目标节点策略至所述目标节点;所述目标节点,用于接收所述关键节点发送的所述目标节点策略。9.一种电子设备,其特征在于,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如权利要求1至7中任一项所述的节点策略分配方法。10.一种计算机可读存储介质,其特征在于,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行如权利要求1至7中任一项所述的节点策略分配方法。
技术总结
本发明公开了一种节点策略分配方法及系统。其中,该方法包括:接收分布式系统内中心节点发送的关键节点资源,其中,关键节点资源为关键节点所需的资源;依据关键节点资源,确定与关键节点对应的第一元AI能力集合与AI能力重构步骤,并接收与目标节点对应的第二元AI能力集合的集合信息,其中,目标节点为由关键节点分配节点策略的节点;判断第二元AI能力集合是否为第一元AI能力集合的真子集,得到集合结果;依据集合结果,确定为目标节点分配的目标节点策略,其中,目标节点策略至少包括AI能力重构步骤;发送目标节点策略至目标节点。本发明解决了相关技术中在进行节点策略分配时,出现的分配效率的技术问题。现的分配效率的技术问题。现的分配效率的技术问题。
技术研发人员:周晓茂 贾庆民 胡玉姣 郭凯 马千飘 谢人超
受保护的技术使用者:网络通信与安全紫金山实验室
技术研发日:2023.08.14
技术公布日:2023/10/15
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
