一种超算算力调度服务器及资源管理方法与流程

1.本发明涉及通信技术领域，尤其涉及一种超算算力调度服务器及资源管理方法。


背景技术：

2.随着企业应用环境逐渐向internet网络分布式计算环境转移，企业级web应用呈现出复杂性、动态性等特征，对位于中间件层的web应用服务器性能优化提出了更高的要求，其中资源的利用和调度是影响服务器性能的关键问题。web系统负载与日俱增，每天都有大量任务复杂的请求发送到服务器，大量并发的数据访问对web应用服务器和数据库服务的管理提出了更高的要求。合理提高负载的响应时间且不对web应用服务器造成过多压力，成为提升web系统整体性能的关键；因此，发明出一种超算算力调度服务器及资源管理方法变得尤为重要。
3.现有的算力调度服务器及资源管理方法使用局限性较大，且服务器资源调度效率慢；此外，现有的算力调度服务器及资源管理方法需工作人员手动操作进行调度策略调整，使用难度，且调度策略制定效率低下；为此，我们提出一种超算算力调度服务器及资源管理方法。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的一种超算算力调度服务器及资源管理方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种超算算力调度服务器及资源管理方法，该管理方法具体步骤如下：
7.(1)规划服务器资源调度路径；
8.(2)构建分类图谱库并分类整合各数据资源；
9.(3)依据工作人员需求构建更新原有调度策略；
10.(4)记录调度信息并对其进行风险分析同时优化平台性能。
11.作为本发明的进一步方案，步骤(1)中所述调度路径规划具体步骤如下：
12.步骤一：收集各服务器节点信息，同时对各服务器数据传输速率进行计算，之后将完成数据传输的服务器节点加入到传输轨迹的节点队列，将未进行数据传输的服务器节点加入备选队列；
13.步骤二：将各组服务器的所有传输轨迹的集合表示为种群，并结合遗传算法生成种群矩阵，同时随机从种群矩阵中选择两组个体，再分别从两组个体中选取某一段路径，然后进行交换得到新的两组新的个体；
14.步骤三：随机选择一组个体，并随机选择该个体中的两段路径进行交换以进行路径优化，之后从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则起点与该节点中间的节点就是冗余节点，冗余节点确认完成后，删除这些冗余节点并重新计算路径的适应度函数，并通过不断迭代对资源调度路径进行不断优化。
15.作为本发明的进一步方案，步骤(2)中所述分类整合具体步骤如下：
16.步骤
①
：分类图谱库获取各服务器数据标签作为知识范围，之后同时获取互联网中分类知识数据，并提取各组特征关键词，同时将各特征关键词转换为词向量；
17.步骤
②
：构建transd模型接收相关数据，并使用prefer向量表示空间中原点到信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离衡量；
18.步骤
③
：transd模型构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为cnn层的输入，并输出相对应的实体表以及关系表，之后安装配置neo4j数据库，同时启动neo4j服务并导入数据以完成知识图谱构建；
19.步骤
④
：依据构建的分类图谱库对各服务器资源进行分类处理，并筛除重复的数据资源，之后依据树状分布的形式将各组数据整合至对应分类标签中。
20.作为本发明的进一步方案，步骤(3)中所述调度策略更新具体步骤如下：
21.步骤ⅰ：收集原有调度策略运行信息作为样本数据集，之后统计该样本数据集平均值，并依据计算出的平均值获取该样本数据集标准偏差，再依据标准偏差对样本数据集中的数据进行剔除；
22.步骤ⅱ：对剩余数据进行标准化处理，再对处理后的各组数据进行归一化处理，并将其作为训练集，构建一组卷积神经网络并对其参数设定向量进行赋值，再确定各神经网络层神经元数；
23.步骤ⅲ：将训练集输入神经网络输入层中，并确定中心向量值以获取输出层为隐节点输出的线性组合，之后采用最小二乘递推法，定义该卷积神经网络多轮学习的能量函数，当能量函数值小于目标误差时，训练过程结束并输出调度更新模型，反之，继续进行训练；
24.步骤ⅳ：确定调度更新模型最优参数，之后将工作人员需求数据该调度更新模型中，调度更新模型通过输入、卷积、池化、全连接和输出处理后生成对应调度策略，并将其反馈给工作人员查看。
25.作为本发明的进一步方案，步骤ⅰ中所述标准偏差具体计算公式如下：
[0026][0027][0028]
其中，vn为样本数据集的数据偏差，s为标准偏差，若任一数据xi的偏差vn满足|vn|》3σ，则判断该数据为异常数据，并剔除。
[0029]
作为本发明的进一步方案，步骤(4)中所述风险分析具体步骤如下：
[0030]
步骤
①
：在不同的系统的调度平台部署相关的信息采集插件或者通过syslog服务器获取不同系统的调度平台中所记录的调度信息，并筛选出满足工作人员预设条件的调度信息，然后将剩余调度信息处理为统一格式的调度信息；
[0031]
步骤
②
：将处理后的调度信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程，同时将相关设备的ip地址以及使用人员信息进行记录反馈。
[0032]
作为本发明的进一步方案，步骤(6)中所述平台性能优化具体步骤如下：
[0033]
第一步：为调度平台的各组功能界面生成一个启动链表，并以及lru链表顺序，将各组启动链表按照各被访问次数由少到多进行进一步链接；
[0034]
第二步：依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从lru链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止；
[0035]
第三步：将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中。
[0036]
相比于现有技术，本发明的有益效果在于：
[0037]
1、该超算算力调度服务器及资源管理方法通过将完成数据传输的服务器节点加入到传输轨迹的节点队列，将未进行数据传输的服务器节点加入备选队列，将各组服务器的所有传输轨迹的集合表示为种群，并结合遗传算法生成种群矩阵，同时随机从种群矩阵中选择两组个体，再分别从两组个体中选取某一段路径，然后进行交换得到新的两组新的个体，随机选择一组个体，并随机选择该个体中的两段路径进行交换以进行路径优化，之后从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则起点与该节点中间的节点就是冗余节点，冗余节点确认完成后，删除这些冗余节点并重新计算路径的适应度函数，并通过不断迭代对资源调度路径进行不断优化，通过遗传算法对路径进行不断优化，能够大幅降低其使用局限性，且大幅提高服务器资源调度效率。
[0038]
2、该超算算力调度服务器及资源管理方法通过收集原有调度策略运行信息作为样本数据集，并获取该样本数据集标准偏差，再依据标准偏差对样本数据集中的数据进行剔除，对剩余数据预处理后，将其作为训练集，将训练集输入神经网络输入层中，并确定中心向量值以获取输出层为隐节点输出的线性组合，之后采用最小二乘递推法，定义该卷积神经网络多轮学习的能量函数，当能量函数值小于目标误差时，训练过程结束并输出调度更新模型，反之，继续进行训练，确定调度更新模型最优参数，之后将工作人员需求数据该调度更新模型中，调度更新模型通过输入、卷积、池化、全连接和输出处理后生成对应调度策略，能够自行建模寻参，无需工作人员手动操作，降低使用难度，同时提高资源调度管理效率，且提高了调度策略制定的高效性。
附图说明
[0039]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0040]
图1为本发明提出的一种超算算力调度服务器及资源管理方法的流程框图。
具体实施方式
[0041]
实施例1
[0042]
参照图1，一种超算算力调度服务器及资源管理方法，该管理方法具体步骤如下：
[0043]
规划服务器资源调度路径。
[0044]
具体的，收集各服务器节点信息，同时对各服务器数据传输速率进行计算，之后将完成数据传输的服务器节点加入到传输轨迹的节点队列，将未进行数据传输的服务器节点加入备选队列，将各组服务器的所有传输轨迹的集合表示为种群，并结合遗传算法生成种群矩阵，同时随机从种群矩阵中选择两组个体，再分别从两组个体中选取某一段路径，然后进行交换得到新的两组新的个体，随机选择一组个体，并随机选择该个体中的两段路径进行交换以进行路径优化，之后从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则起点与该节点中间的节点就是冗余节点，冗余节点确认完成后，删除这些冗余节点并重新计算路径的适应度函数，并通过不断迭代对资源调度路径进行不断优化。
[0045]
构建分类图谱库并分类整合各数据资源。
[0046]
具体的，分类图谱库获取各服务器数据标签作为知识范围，之后同时获取互联网中分类知识数据，并提取各组特征关键词，同时将各特征关键词转换为词向量，再构建transd模型接收相关数据，并使用prefer向量表示空间中原点到信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离衡量，transd模型构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为cnn层的输入，并输出相对应的实体表以及关系表，之后安装配置neo4j数据库，同时启动neo4j服务并导入数据以完成知识图谱构建，依据构建的分类图谱库对各服务器资源进行分类处理，并筛除重复的数据资源，之后依据树状分布的形式将各组数据整合至对应分类标签中。
[0047]
实施例2
[0048]
参照图1，一种超算算力调度服务器及资源管理方法，该管理方法具体步骤如下：
[0049]
依据工作人员需求构建更新原有调度策略。
[0050]
具体的，收集原有调度策略运行信息作为样本数据集，之后统计该样本数据集平均值，并依据计算出的平均值获取该样本数据集标准偏差，再依据标准偏差对样本数据集中的数据进行剔除，对剩余数据进行标准化处理，再对处理后的各组数据进行归一化处理，并将其作为训练集，构建一组卷积神经网络并对其参数设定向量进行赋值，再确定各神经网络层神经元数，将训练集输入神经网络输入层中，并确定中心向量值以获取输出层为隐节点输出的线性组合，之后采用最小二乘递推法，定义该卷积神经网络多轮学习的能量函数，当能量函数值小于目标误差时，训练过程结束并输出调度更新模型，反之，继续进行训练，确定调度更新模型最优参数，之后将工作人员需求数据该调度更新模型中，调度更新模型通过输入、卷积、池化、全连接和输出处理后生成对应调度策略，并将其反馈给工作人员查看。
[0051]
本实施例中，标准偏差具体计算公式如下：
[0052][0053][0054]
其中，vn为样本数据集的数据偏差，s为标准偏差，若任一数据xi的偏差vn满足|vn|》3σ，则判断该数据为异常数据，并剔除。
[0055]
记录调度信息并对其进行风险分析同时优化平台性能。
[0056]
具体的，在不同的系统的调度平台部署相关的信息采集插件或者通过syslog服务
器获取不同系统的调度平台中所记录的调度信息，并筛选出满足工作人员预设条件的调度信息，然后将剩余调度信息处理为统一格式的调度信息，将处理后的调度信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程，同时将相关设备的ip地址以及使用人员信息进行记录反馈。
[0057]
具体的，为调度平台的各组功能界面生成一个启动链表，并以及lru链表顺序，将各组启动链表按照各被访问次数由少到多进行进一步链接，依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从lru链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止，将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中。

技术特征：
1.一种超算算力调度服务器及资源管理方法，其特征在于，该管理方法具体步骤如下：(1)规划服务器资源调度路径；(2)构建分类图谱库并分类整合各数据资源；(3)依据工作人员需求构建更新原有调度策略；(4)记录调度信息并对其进行风险分析同时优化平台性能。2.根据权利要求1所述的一种超算算力调度服务器及资源管理方法，其特征在于，步骤(1)中所述调度路径规划具体步骤如下：步骤一：收集各服务器节点信息，同时对各服务器数据传输速率进行计算，之后将完成数据传输的服务器节点加入到传输轨迹的节点队列，将未进行数据传输的服务器节点加入备选队列；步骤二：将各组服务器的所有传输轨迹的集合表示为种群，并结合遗传算法生成种群矩阵，同时随机从种群矩阵中选择两组个体，再分别从两组个体中选取某一段路径，然后进行交换得到新的两组新的个体；步骤三：随机选择一组个体，并随机选择该个体中的两段路径进行交换以进行路径优化，之后从路径终点开始遍历每个节点，若某节点可以与起点无障碍相连，则起点与该节点中间的节点就是冗余节点，冗余节点确认完成后，删除这些冗余节点并重新计算路径的适应度函数，并通过不断迭代对资源调度路径进行不断优化。3.根据权利要求1所述的一种超算算力调度服务器及资源管理方法，其特征在于，步骤(2)中所述分类整合具体步骤如下：步骤
①
：分类图谱库获取各服务器数据标签作为知识范围，之后同时获取互联网中分类知识数据，并提取各组特征关键词，同时将各特征关键词转换为词向量；步骤
②
：构建transd模型接收相关数据，并使用prefer向量表示空间中原点到信息嵌入的向量，同时对特定信息的偏好程度通过prefer和该信息的欧几里得距离衡量；步骤
③
：transd模型构造主题文本知识子图，并依照实体提取子图中与实体相连的关系，采用知识图谱嵌入模型进行学习，把学习到的实体向量作为cnn层的输入，并输出相对应的实体表以及关系表，之后安装配置neo4j数据库，同时启动neo4j服务并导入数据以完成知识图谱构建；步骤
④
：依据构建的分类图谱库对各服务器资源进行分类处理，并筛除重复的数据资源，之后依据树状分布的形式将各组数据整合至对应分类标签中。4.根据权利要求3所述的一种超算算力调度服务器及资源管理方法，其特征在于，步骤(3)中所述调度策略更新具体步骤如下：步骤ⅰ：收集原有调度策略运行信息作为样本数据集，之后统计该样本数据集平均值，并依据计算出的平均值获取该样本数据集标准偏差，再依据标准偏差对样本数据集中的数据进行剔除；步骤ⅱ：对剩余数据进行标准化处理，再对处理后的各组数据进行归一化处理，并将其作为训练集，构建一组卷积神经网络并对其参数设定向量进行赋值，再确定各神经网络层神经元数；步骤ⅲ：将训练集输入神经网络输入层中，并确定中心向量值以获取输出层为隐节点输出的线性组合，之后采用最小二乘递推法，定义该卷积神经网络多轮学习的能量函数，当
能量函数值小于目标误差时，训练过程结束并输出调度更新模型，反之，继续进行训练；步骤ⅳ：确定调度更新模型最优参数，之后将工作人员需求数据该调度更新模型中，调度更新模型通过输入、卷积、池化、全连接和输出处理后生成对应调度策略，并将其反馈给工作人员查看。5.根据权利要求4所述的一种超算算力调度服务器及资源管理方法，其特征在于，步骤ⅰ中所述标准偏差具体计算公式如下：中所述标准偏差具体计算公式如下：其中，v
n
为样本数据集的数据偏差，s为标准偏差，若任一数据x
i
的偏差v
n
满足v
n
>3σ，则判断该数据为异常数据，并剔除。6.根据权利要求1所述的一种超算算力调度服务器及资源管理方法，其特征在于，步骤(4)中所述风险分析具体步骤如下：步骤
①
：在不同的系统的调度平台部署相关的信息采集插件或者通过syslog服务器获取不同系统的调度平台中所记录的调度信息，并筛选出满足工作人员预设条件的调度信息，然后将剩余调度信息处理为统一格式的调度信息；步骤
②
：将处理后的调度信息中记录的用户操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，同时对各告警信息风险分数进行计算并输出计算结果，之后将该告警信息反馈给相关工作人员，并中断相关操作进程，同时将相关设备的ip地址以及使用人员信息进行记录反馈。7.根据权利要求1所述的一种超算算力调度服务器及资源管理方法，其特征在于，步骤(6)中所述平台性能优化具体步骤如下：第一步：为调度平台的各组功能界面生成一个启动链表，并以及lru链表顺序，将各组启动链表按照各被访问次数由少到多进行进一步链接；第二步：依据各组功能界面的交互信息实时对各组启动链表中的各组页面进行数据更新，并从lru链表的头部依次选择被访问次数最少的功能界面启动链表进行受害页面选择，直至回收足够的受害页面后停止；第三步：将选择的受害页面合并为一个块并进行标记，之后唤醒一个压缩驱动程序以解析被标记的块，并获得属于该块的物理页，再将该物理页复制到缓冲区中，然后调用压缩算法将缓冲区中的该物理页压缩到压缩块中，并将压缩块存储至性能优化模块的压缩区域中。

技术总结
本发明公开了一种超算算力调度服务器及资源管理方法，属于通信技术领域，该管理方法具体步骤如下：(1)规划服务器资源调度路径；(2)构建分类图谱库并分类整合各数据资源；(3)依据工作人员需求构建更新原有调度策略；(4)记录调度信息并对其进行风险分析同时优化平台性能；本发明通过遗传算法对路径进行不断优化，能够大幅降低其使用局限性，且大幅提高服务器资源调度效率，能够自行建模寻参，无需工作人员手动操作，降低使用难度，同时提高资源调度管理效率，且提高了调度策略制定的高效性。性。性。


技术研发人员：柴华 郑亮 张智鹏 黎坤运 胡健 刘文 宋跃 曾先锋 徐冬阳 李永辉
受保护的技术使用者：成都超算中心运营管理有限公司
技术研发日：2023.04.25
技术公布日：2023/8/4