基于人工智能的价值链服务系统的制作方法

1.本发明涉及基于人工智能的价值链服务系统。


背景技术：

2.最近几年，随着人工智能技术的快速发展，深度学习席卷it的各个角落，改变了各领域算法研究和软件开发的模式，也给it基础设施建设和平台工具研发带来了新的要求。快速搭建起一个分布式的深度学习训练平台，加速深度神经网络的训练，可以有效提高公司的竞争力。
3.当前人工智能框架繁多，耳熟能详的就有mxnet、tensorflow、cntk等等，这些框架开发语言不一，接口设计各异，给ai公司，尤其中小型创业团队的框架选择、技术积累和快速研发带来了很多困难。
4.价值链服务系统的一个特点是具有很强的迭代性，即网络结构确定后，可以周期性地通过增加训练数据而提高模型的泛化能力。数据的统一管理，高效标注，可以有效缩短模型迭代周期，能获得更好的效果和更快的产品更新。
5.现有大部分的价值链系统的缺点为：
6.1、不支持gpu资源调度管理，在深度学习负载下，gpu是资源调度的一等公民，无法使用gpu资源，对于模型训练效率影响极大；
7.2、仅仅支持数据的存储，缺少对数据标注工作的支持，需要另外寻求标注工具；
8.3、没有权限控制系统，不能保证数据的安全；
9.4、无交互式编程环境，算法工程师开发效率低。


技术实现要素：

10.本发明的目的是为了解决以上现有技术的不足，提供基于人工智能的价值链服务系统。
11.人工智能的价值链服务系统的系统平台架构由平台层、模型层和应用层组成，其中平台层用于权限管理、分布式存储以及计算资源管理、分布式计算以及训练和调度任务，模型层用于提供机器学习模型和深度学习模型，应用层用于资源管理与监控、模型定义以及训练、提供交互式编程环境、只能数据标标注以及模型的导出与发布；
12.其中平台层包括：
13.1)ldap权限管理模块，用于账号系统的关联、hdfs数据访问权限控制和任务提交管理、计算资源的权限控制；
14.2)hdfs模块，用于分布式存储训练任务依赖的数据；
15.3)yarn模块，用于接收到训练任务的请求，负责对任务进行gpu资源的分配及任务调度管理和监控；
16.4)api模块，所述api模块封装有资源管理、任务管理及监控的一系列接口，用于给账号系统调用及二次开发使用；
17.5)gpu主机，用于提供gpu资源；
18.模型层包括：
19.1)卷积神经网络，所述卷积神经网络包括分类模型、目标检测模型、文字检测模型和实例分割模型；
20.2)循环神经网络，所述循环神经网络包括lstm/gru循环神经模型、seq2seq模型和文字处理模型；
21.3)价值链服务网络，包括价值链评估与自动训练。
22.进一步的，其中对于训练任务的操作步骤包括以下步骤：
23.s1、创建任务、并进入任务队列，对主任务进行分解，并获得若干个小任务；
24.s2、分配gpu资源、启动训练，训练过程中，将数据调入在训练模型中，并进行训练，训练完成后调整参数，重新训练模型；
25.s3、查看训练输出和结果。
26.进一步的，系统内包括对各个具有ip网络功能部件的实时状态监测，其中包括以下步骤：
27.s1、初始化，和cs通信一次，获取ip地址信息；
28.s2、每隔1秒，获取本地ip，并和上次获取的ip地址相比对；
29.s3、若不同，则向cs上报错误；
30.s4、每隔1分钟，和cs通信一次，若不能连上，并且计数超过3次，重启网卡，并重启该服务；
31.s5、每隔1分钟，和cs通信一次，若能连上，将获取到的本地ip和上一次获取的ip相对比。
32.进一步的，系统重设置有四个线程，其中包括信息上报模块、响应查询模块、ip异常监测模块和udp监听模块，四个线程之外，还设有一个常闭线程，常闭线程为日记转存模块，其中日记转存线程中，若判断日记存在时间大于转存时间，则将日记转存至本地数据库中进行记录，每延时一天，则创造新的本地数据库用于转存日记。
33.基于人工智能的价值链服务系统的功能主要可以划分为以下模块，可以作为独立的监控系统部署，主要包含历史日志管理、实时监控查询、异常信息处理这三大模块，下面逐一详细说明。
34.历史日记管理智能模块主要包括：系统管理员(admin)可以通过历史日志管理对神经中枢、周围神经、神经元的历史监控状态信息进行特定条件的查询；可以对历史日志进行转存，以便日后查询；可以自定义设置日志规则等。
35.比如，当需要基于人工智能的价值链服务系统的中枢神经日志查询，对中枢神经的历史状态进行特定条件查询、基于人工智能的价值链服务系统周围神经日志查询，对历史状态进行特定条件查询均可以通过历史日记管理智能模块进行单独完成或是协调完成。还可以对日志规则进行设定，或是设置日志的存储规则。
36.实时监控查询主要包括：系统管理员(admin)可以通过实时监控页面对计算资源实时状态进行查询，可以根据查询特性自主设置监测规则，根据查询条件刷选想要了解的计算机资源实时状态等。本质上是了系统管理员进行实时状态查询的内部处理过程。
37.异常信息处理模块式基于人工智能的价值链服务系统对于计算资源的各种异常
信息的上报，可以分情况在各个层级给予处理，并及时用前端页面反馈给管理员(admin)，保证整个系统有效稳定的运行，为用户提供可靠地服务。
38.有益效果：
39.基于人工智能的价值链服务系统是基于仿生自主神经系统原理而设计开发的一套对云平台内部各种资源的监控管理做到及时信息上报，及时获取资源信息，及时发现资源故障，快速定位排查及实现故障资源的自修复。其中，系统管理员(admin)可以通过浏览器页面进行实时监控规则设置、日志规则设置、ha(高可靠)设置以及历史日志与实时监控状态的查询。具体的可以在管理员点击监控日志后，点击虚拟机监测日志，选择填写相应数据指标进行某一历史时刻虚拟机状态查询，与现有的价值链服务管理系统相比，由于本系统的架构更为扁平，且综合运用了各个层级的运算能力，所以其综合响应速度更快，且数据的来源与处理也更为精准。
附图说明
40.图1是整体人工智能的价值链服务系统的架构图；
41.图2是对于异常信息的处理结构示意图；
42.图3是对于人工智能的价值链服务系统的web拓扑结构示意图；
43.图4是日记转存过程的示意图；
44.图5是状态监控信息查询子模块流程图；
45.图6是状态监控和bans日志规则设置子模块流程图；
46.图7是重置状态监控子模块流程图；
47.图8是物理机监控日志查询子模块流程图。
具体实施方式
48.为了加深对本发明的理解，下面将结合实施例和附图对本发明作进一步详述，该实施例仅用于解释本发明，并不构成对本发明保护范围的限定。
49.人工智能的价值链服务系统的系统平台架构由平台层、模型层和应用层组成，其中平台层用于权限管理、分布式存储以及计算资源管理、分布式计算以及训练和调度任务，模型层用于提供机器学习模型和深度学习模型，应用层用于资源管理与监控、模型定义以及训练、提供交互式编程环境、只能数据标标注以及模型的导出与发布；
50.其中平台层包括：
51.1)ldap权限管理模块，用于账号系统的关联、hdfs数据访问权限控制和任务提交管理、计算资源的权限控制；
52.2)hdfs模块，用于分布式存储训练任务依赖的数据；
53.3)yarn模块，用于接收到训练任务的请求，负责对任务进行gpu资源的分配及任务调度管理和监控；
54.4)api模块，所述api模块封装有资源管理、任务管理及监控的一系列接口，用于给账号系统调用及二次开发使用；
55.5)gpu主机，用于提供gpu资源；
56.模型层包括：
57.1)卷积神经网络，所述卷积神经网络包括分类模型、目标检测模型、文字检测模型和实例分割模型；
58.2)循环神经网络，所述循环神经网络包括lstm/gru循环神经模型、seq2seq模型和文字处理模型；
59.3)价值链服务网络，包括价值链评估与自动训练。
60.其中对于训练任务的操作步骤包括以下步骤：
61.s1、创建任务、并进入任务队列，对主任务进行分解，并获得若干个小任务；
62.s2、分配gpu资源、启动训练，训练过程中，将数据调入在训练模型中，并进行训练，训练完成后调整参数，重新训练模型；
63.s3、查看训练输出和结果。
64.系统中设置有四个线程，其中包括信息上报模块、响应查询模块、ip异常监测模块和udp监听模块，四个线程之外，还设有一个常闭线程，常闭线程为日记转存模块，其中日记转存线程中，若判断日记存在时间大于转存时间，则将日记转存至本地数据库中进行记录，每延时一天，则创造新的本地数据库用于转存日记。
65.ip异常监测模块中的操作步骤包括以下步骤：
66.s1、初始化，和cs通信一次，获取ip地址信息；
67.s2、每隔1秒，获取本地ip，并和上次获取的ip地址相比对；
68.s3、若不同，则向cs上报错误；
69.s4、每隔1分钟，和cs通信一次，若不能连上，并且计数超过3次，重启网卡，并重启该服务；
70.s5、每隔1分钟，和cs通信一次，若能连上，将获取到的本地ip和上一次获取的ip相对比。
71.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

技术特征：
1.基于人工智能的价值链服务系统，其特征在于，系统平台架构由平台层、模型层和应用层组成，其中平台层用于权限管理、分布式存储以及计算资源管理、分布式计算以及训练和调度任务，模型层用于提供机器学习模型和深度学习模型，应用层用于资源管理与监控、模型定义以及训练、提供交互式编程环境、只能数据标标注以及模型的导出与发布；其中平台层包括：1)ldap权限管理模块，用于账号系统的关联、hdfs数据访问权限控制和任务提交管理、计算资源的权限控制；2)hdfs模块，用于分布式存储训练任务依赖的数据；3)yarn模块，用于接收到训练任务的请求，负责对任务进行gpu资源的分配及任务调度管理和监控；4)api模块，所述api模块封装有资源管理、任务管理及监控的一系列接口，用于给账号系统调用及二次开发使用；5)gpu主机，用于提供gpu资源；模型层包括：1)卷积神经网络，所述卷积神经网络包括分类模型、目标检测模型、文字检测模型和实例分割模型；2)循环神经网络，所述循环神经网络包括lstm/gru循环神经模型、seq2seq模型和文字处理模型；3)价值链服务网络，包括价值链评估与自动训练。2.根据权利要求1所述的基于人工智能的价值链服务系统，其特征在于，其中对于训练任务的操作步骤包括以下步骤：s1、创建任务、并进入任务队列，对主任务进行分解，并获得若干个小任务；s2、分配gpu资源、启动训练，训练过程中，将数据调入在训练模型中，并进行训练，训练完成后调整参数，重新训练模型；s3、查看训练输出和结果。3.根据权利要求1所述的基于人工智能的价值链服务系统，其特征在于，系统内包括对各个具有ip网络功能部件的实时状态监测，其中包括以下步骤：s1、初始化，和cs通信一次，获取ip地址信息；s2、每隔1秒，获取本地ip，并和上次获取的ip地址相比对；s3、若不同，则向cs上报错误；s4、每隔1分钟，和cs通信一次，若不能连上，并且计数超过3次，重启网卡，并重启该服务；s5、每隔1分钟，和cs通信一次，若能连上，将获取到的本地ip和上一次获取的ip相对比。4.根据权利要求1所述的基于人工智能的价值链服务系统，其特征在于，系统重设置有四个线程，其中包括信息上报模块、响应查询模块、ip异常监测模块和udp监听模块，四个线程之外，还设有一个常闭线程，常闭线程为日记转存模块，其中日记转存线程中，若判断日记存在时间大于转存时间，则将日记转存至本地数据库中进行记录，每延时一天，则创造新的本地数据库用于转存日记。
5.根据权利要求1所述的基于人工智能的价值链服务系统，其特征在于，功能主要可以划分为历史日志管理、实时监控查询、异常信息处理这三大模块。6.根据权利要求1所述的基于人工智能的价值链服务系统，其特征在于，其中历史日记管理模块为当需要基于人工智能的价值链服务系统的中枢神经日志查询，对中枢神经的历史状态进行特定条件查询、基于人工智能的价值链服务系统周围神经日志查询，对历史状态进行特定条件查询、对日志规则进行设定，或是设置日志的存储规则。

技术总结
本发明公开了一种基于人工智能的价值链服务系统，系统平台架构由平台层、模型层和应用层组成，其中平台层用于权限管理、分布式存储以及计算资源管理、分布式计算以及训练和调度任务，模型层用于提供机器学习模型和深度学习模型，应用层用于资源管理与监控、模型定义以及训练、提供交互式编程环境、只能数据标标注以及模型的导出与发布；基于人工智能的价值链服务系统是基于仿生自主神经系统原理而设计开发的一套对云平台内部各种资源的监控管理做到及时信息上报，及时获取资源信息，及时发现资源故障，快速定位排查及实现故障资源的自修复。自修复。自修复。


技术研发人员：孙冉
受保护的技术使用者：江苏中云科技有限公司
技术研发日：2023.05.26
技术公布日：2023/9/20