一种自动化提交作业方法、系统以及储存介质与流程

一种自动化提交作业方法、系统以及储存介质
【技术领域】
1.本发明涉及密集计算与数据处理技术领域，具体涉及一种自动化提交作业方法、系统以及储存介质。


背景技术：

2.在对光刻模型的大量数据仿真处理现状，为充分利用计算资源，用户需要通过根据作业运行状态，不断补充新作业，以便将已完成作业所让出的计算资源迅速利用起来。
3.目前提交作业的方式有两种，一种是手动提交，即用户自行提交单个或多个作业，另一种是自动化批量提交，即用户编写脚本，在脚本里设置作业来源和其他参数，最后运行脚本即可一次性提交多个作业，该脚本可以重复利用。一般在作业数量较多的情况下，为了提高效率，会采用自动批量提交作业的方式，但是在系统在运行过程中，容易出现作业运行异常等情况，使整个系统不能高效和稳定地运行，无法对服务器资源利用最大化。


技术实现要素：

4.为解决现有技术中容易因为作业运行异常导致不能对服务器资源利用最大化技术问题，本发明提供一种自动化提交作业方法、系统以及储存介质。
5.本发明解决技术问题的方案是提供一种自动化提交作业方法，包括以下步骤：提供至少一项目，针对每个项目设置对应项目参数以获得目标文件，所述项目参数包括项目的运行参数以及监控周期；提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数；根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待；根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目。
6.优选的，所述项目运行参数还包括项目运行资源以及项目优先级。
7.优选的，所述根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待具体为：根据项目的监控周期获取服务器全部节点的剩余工作资源；根据每个项目优先级对所有项目进行排序，将全部节点的剩余工作资源分别依次与每个项目运行资源进行对比；若至少一服务器节点剩余工作资源不小于项目运行资源，则将该项目分配到任一剩余工作资源不小于该项目运行资源的服务器节点运行。
8.优选的，将运行资源大于全部服务器节点的剩余工作资源的项目匹配到拥有最多剩余工作资源的服务器节点等待。
9.优选地，所述根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目具体为：根据获取项目运行的监控周期监控服务器以获取对应项目的运行进度；根据获取的项目进度判断服务器节点是否工作异常；若服务器工作节点正常，则继续运行该项目；并在运行完该项目后判断目标文件中是否所有项目均运行完成；若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常。
10.优选的，所述在运行完该项目后判断目标文件中是否所有项目均运行完成后还包
括：若目标文件中所有项目运行均完成，则结束运行；若目标文件中至少一项目未运行完成，则循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置。
11.优选的，所述判断是否为服务器的剩余工作资源异常后还包括：若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常；若服务器剩余工作资源异常，则循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置；若服务器剩余工作资源正常，则判断为项目参数设置异常，并寻找到具体异常项目参数位置提示修改。
12.优选的，对修改项目参数后的项目循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置。
13.本发明为解决上述技术问题还提供一种自动化提交作业系统，运用上述的一种自动化提交作业方法进行自动化作业，包括输入模块、解析模块、检测模块以及运算模块，所述输入模块用于输入项目数量以及项目参数以形成目标文件；所述解析模块用于解析目标文件中的项目数量以及对应项目的参数；所述运算模块用于对项目进行计算，输出计算结果，所述检测模块用于根据监控周期获取运算模块的剩余工作资源以及项目的运行进度。
14.本发明为解决上述技术问题还提供一种存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述服务器执行所述计算机程序时，实现上述中一种自动化提交作业的方法。
15.与现有技术相比，本发明提供的一种自动化提交作业方法、系统以及储存介质具有以下优点：
16.1、本发明实施例中提供的一种自动化提交作业方法，包括以下步骤：提供至少一项目，针对每个项目设置对应项目参数获得目标文件，项目参数包括项目的运行参数以及监控周期；提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数；根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待；根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目。通过设定监控周期，便于实时监控服务器剩余的工作资源以及项目运行的情况，有利用对服务器资源利用的最大化，避免出现因服务器资源不足等问题导致项目在运行的过程中异常结束的问题，有利于提高项目整体的运行效率，同时，监控周期由用户自定义，且在项目运行的过程中可以实时调整，便于用户根据项目运行的实际情况最大效率地设置安排。
17.2、本发明实施例中提供的一种自动化提交作业方法，根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待具体为：根据项目的监控周期获取服务器全部节点的剩余工作资源；根据每个项目优先级对所有项目进行排序，将全部节点的剩余工作资源分别依次与每个项目运行资源进行对比；若至少一服务器节点剩余工作资源不小于项目运行资源，则将该项目分配到任一剩余工作资源不小于该项目运行资源的服务器节点运行；通过对服务器节点的剩余资源的监控，制定出合理且最优的项目运行分配方案，有利于提高整体的效率。
18.3、本发明实施例中提供的一种自动化提交作业方法，根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目具体为：根据获取项目运行的监控周期监控服务器以获取对应项目的运行进度；根据获取的项目进度判断服务器节
点是否工作异常；若服务器工作节点正常，则继续运行该项目；并在运行完该项目后判断目标文件中是否所有项目均运行完成；若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常，通过对项目运行过程的监控，便于及时发现并寻找项目中断的原因，避免影响其余项目运行，进而可以起到提高效率的作用。
19.4.本发明实施例中提供的一种自动化提交作业方法，判断是否为服务器的剩余工作资源异常后还包括：若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常；若服务器剩余工作资源异常，则循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置；由于项目运行资源是由用户根据该项目的大致内容预估以便于项目分配到服务器节点运行，因此，容易出现预估的项目运行资源小于实际项目运行资源，而在分配的服务器节点后，服务器节点出现过载的情况，容易导致项目运行异常，但是，为了保证提高项目运行的效率，并不需要修改项目运行资源的预估值，而重新进行项目分发即可，有利于提高整个服务器的运行效率。
20.5.本发明实施例中提供的一种自动化提交作业方法，对修改项目参数后的项目循环到提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数位置，在修改完必要参数后，直接重新对项目进行分发而不是重新开始建立目标文件开始运行，省去了部分步骤，从而节约了时间和服务器资源，提高了整体的运算效率。
21.6.本发明实施例中提供的一种自动化提交作业系统，运用上述的一种自动化提交作业方法进行自动化作业，包括输入模块、解析模块、检测模块以及运算模块；输入模块用于输入项目数量以及项目参数以形成目标文件；解析模块用于解析目标文件中的项目数量以及对应项目的参数；运算模块用于对项目进行计算，输出计算结果；检测模块用于获取运算模块的剩余工作资源以及对服务器运算进行监控。通过检测模块根据解析模块解析出的监控周期对运算模块进行监控，便于实时监控服务器剩余的工作资源以及项目运行的情况，有利用对服务器资源利用的最大化，避免出现因服务器资源不足等问题导致项目在运行的过程中异常结束的问题，有利于提高项目整体的运行效率其中，在运算过程中，还可以根据输入模块对监控周期进行调整，便于用户根据项目运行的实际情况最大效率地设置安排。
22.7.本发明实施例中提供的一种存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当服务器执行计算机程序时，实现上述的自动化提交作业的方法，具有与上述一种自动化提交作业方法相同的有益效果，在此不做赘述。
【附图说明】
23.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
24.图1是本发明第一实施例提供的一种自动化提交作业方法的流程图。
25.图2是本发明第一实施例提供的根据运行参数将对应项目分配到服务器节点运行或等待的步骤流程图。
26.图3是本发明第一实施例提供的根据项目运行情况结束运行或重新分配项目的步
骤流程图。
27.图4是本发明第二实施例提供的一种自动化提交作业系统的示意图。
28.图5是本发明第三实施例提供的一种存储介质的示意图。
29.附图标识说明：
30.1、自动化提交作业系统；2、存储介质；
31.11、输入模块；12、解析模块；13、运算模块；14、检测模块；21、存储器；22、处理器；23、计算机介质。
【具体实施方式】
32.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
33.请参阅图1，本发明第一实施例提供一种自动化提交作业方法，包括以下步骤：
34.s1：提供至少一项目，针对每个项目设置对应项目参数以获得目标文件，项目参数包括项目的运行参数以及监控周期；
35.s2：提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数；
36.s3：根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待；
37.s4：根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新将项目分配到服务器节点上。
38.需要说明的是，在本发明中，目标文件包括至少一个需要运行计算的项目以及每个项目对应的项目参数，项目参数为用户自主填写，可以支持excel/txt/csv等多种文件格式，针对不同项目适应度高。其中，项目参数包括必要参数和非必要参数，必要参数包括运行参数以及监控周期，运行参数包括优先级、运行资源、项目名称、计算结果输出路径等，非必要参数为用户自定义的脚本参数，每个项目均需要填写必要参数以避免项目运行出现异常，而非必要参数可根据用户需求选择性填写。
39.需要说明的是，用户填写的对应项目的运行资源为一个预估值，优先级为项目运行的先后顺序，监控周期为根据项目实际的运行需要，按照预设时间获取服务器的剩余工作资源以及项目运行情况，便于根据服务器的剩余工作资源分发项目运行或了解项目的运行进度、是否出现运行异常等。
40.需要说明的是，目标文件包括至少一个项目，如包括3个项目，因此，在步骤s2中，解析目标文件项目获得3个项目以及3个项目对应的项目参数，如3个项目对应的运行资源、3个项目对应的项目优先级、3个项目的监控周期；在一般情况下，不同项目的运行资源可以相同也可以不同，而对应的项目优先级不同，便于服务器按照优先级顺序运行对应项目。在同一目标文件中每个项目的监控周期相同。
41.在一些实施例中，如果用户填写错误或者其他原因，导致同一目标文件中解析出多个不同的监控周期，则选择周期最短的作为该目标文件所有项目运行的监控周期，如解析目标文件获得的各项目中对应的监控周期为3s和4s，则优选3s作为该目标文件中所有项目运行的监控周期。
42.在一些实施例中，虽然监控周期越短，对服务器的剩余工作资源以及项目运行的
进度的数据更新越快，但是由于监控服务器资源本质上是周期性地调用查询命令来获取服务器的计算资源，如果服务器本身已经足够繁忙，缩短监控周期相当于增加查询资源命令的调用频率，该命令的运行也需要消耗资源，此时繁忙的服务器不一定能及时响应，还会降低项目运行计算的速度，因此，设置一监控周期的最低阈值，如3.5s，而解析目标文件获得的各项目中对应的监控周期为3s和4s，这优选4s为整个目标文件中所有项目的监控周期。
43.在一些实施例中，在步骤s2-s4中，监控周期均可调节，如在实施该方法的系统中设置一修改模块，便于用户根据实际情况调整监控周期，以满足不同的运行需要。
44.可以理解的，通过设定监控周期，便于实时监控服务器剩余的工作资源以及项目运行的情况，有利用对服务器资源利用的最大化，避免出现因服务器资源不足等问题导致项目在运行的过程中异常结束的问题，有利于提高项目整体的运行效率，同时，监控周期由用户自定义，且在项目运行的过程中可以实时调整，便于用户根据项目运行的实际情况最大效率地设置安排。
45.在一些实施例中，在步骤s2-s4中，项目运行资源以及项目的优先级均可调节，如在实施该方法的系统中设置一修改模块，便于用户根据实际情况调整，以满足不同的运行需要。
46.需要说明的是，在步骤s3中，根据获取的服务器剩余工作资源以及每个项目的项目参数对所有项目进行分配，直到目标文件中的所有项目均分配到具体的服务器的具体节点上，即项目分配到服务器节点的流程与服务器节点运行项目的流程可以同时进行，当所有项目均分配完成以后，则暂停项目分配。
47.需要说明的是，在步骤s4中，在获取项目运行情况后，若项目运行正常，则在该项目运行结束后判断目标文件中的项目是否全部运行结束，如果未全部运行结束，则重新对未分配的项目进行分配直到所有项目分配到服务器节点上，等待服务器运行直到所有项目运行完成，当目标文件中的所有项目均全部运行结束，则结束运行。
48.若项目运行异常，则获取异常原因，在处理好项目异常后重新将该项目进行分配到服务器上运行，直到所有项目运行结束。
49.进一步的，请参阅图2，s3具体为：
50.s31：根据项目的监控周期获取服务器全部节点的剩余工作资源；
51.s32：根据每个项目优先级对所有项目进行排序，将全部节点的剩余工作资源分别依次与每个项目运行资源进行对比；
52.s33a：若至少一服务器节点剩余工作资源不小于项目运行资源，则将该项目分配到任一剩余工作资源不小于该项目运行资源的服务器节点运行；
53.s33b：将运行资源大于全部服务器节点的剩余工作资源的项目匹配到拥有最多剩余工作资源的服务器节点等待。
54.需要说明的是，s33a与s33b为两种不同的执行方式，即在步骤s32后，根据对比判断的结果，选择s33a与s33b任一方式执行。
55.需要说明的是，服务器可以包含多个运行节点，根据对服务器各个节点的剩余工作资源对项目进行分发，即根据项目运行所运行资源选择合适的服务器运行资源，从而提高项目整体的运行效率。
56.具体的，在s31-s33a中，根据监控周期解析出的服务器节点一的剩余工作资源为
50个cpucore，服务器节点二的剩余工作资源为40个cpucore，通过解析目标文件得出项目数量为2个包括项目一以及项目二，根据项目优先级进行排序，得出项目一优先运行，并根据解析的项目运行资源得出项目一的运行资源为20个cpucore，项目二的运行资源为30个cpucore，则先对项目一进行分发，可以将项目一分发到服务器节点一也可以分发到服务器节点二运行，随后对将项目二分发到节点一或节点二运行。
57.进一步的，步骤s33a具体为：将项目所运行资源不大于服务器节点的剩余工作资源的项目匹配拥有最多剩余工作资源的服务器节点。
58.具体的，由于服务器节点的剩余工作资源大于服务器节点二的剩余工作资源，则将项目一分发到服务器节点一运行，对项目一进行分发后，服务器节点二大于节点一的剩余工作资源，则将项目二分发到服务器节点二运行。通过这样的设计，有利于服务器负载均衡，提高了整体的运行效率。
59.具体的，在s31-s33b中，根据监控周期解析出的服务器节点一的剩余工作资源为50个cpu core，服务器节点二的剩余工作资源为40个cpu core，通过解析目标文件得出项目数量为2个包括项目一以及项目二，根据项目优先级进行排序，得出项目一优先运行，并根据解析的项目运行资源得出项目一的运行资源为60个cpu core，项目二的运行资源为30个cpu core，则先对项目一进行分发，由于服务器节点一大于节点二的剩余工作资源，则项目一分发到服务器节点一等待运行，随后对将项目二分发到节点二上运行。通过这样的设计，针对运行资源较多的项目，可以最快地运行。
60.进一步的，在步骤s33b中，若等待的项目数量大于一，则根据项目优先级对所有进行等待计算的项目进行排序后，依次在拥有最多剩余工作资源的服务器节点等待。
61.具体的，根据服务器节点一的剩余工作资源为50个cpu core，服务器节点二的剩余工作资源为40个cpu core，通过解析目标文件得出项目数量为2个包括项目一以及项目二，根据项目优先级进行排序，得出项目一优先运行，并根据解析的项目运行资源得出项目一的运行资源为60个cpu core，项目二的运行资源为70个cpu core，则将项目一以及项目二依次进行排序在节点一上进行等待运行。
62.在一些实施例中，当服务器节点一运行项目一后，项目二仍然处于等待服务器节点一运行的情况下，此时，若设定的监控周期较短，则重新获取服务器剩余的工作资源，若此时服务器节点二有足够的资源运行项目二或者服务器节点二剩余工作资源大于服务器节点一，则将项目二分配到服务器节点二上运行，有利于提高整体的运行效率。
63.进一步的，请参阅图1和图3，s4具体为：
64.s41：根据获取项目运行的监控周期监控服务器以获取对应项目的运行进度；
65.s42：根据获取的项目进度判断服务器节点是否工作异常；
66.s43a：若服务器工作节点正常，则继续运行该项目；并在运行完该项目后判断目标文件中是否所有项目均运行完成；
67.s43b：若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常。
68.需要说明的是，当项目运行出现异常，会出现文本日志文件异常或者运行该项目的服务器退出等情况，最终反映到项目运行本身就是导致项目中断，即项目进度异常，而导致项目异常的原因包括用户必要参数填写错误等原因，因此，通过设定的监控周期来对整
个项目运行的情况进行监控，当出现项目异常的情况时，能够及时地做出反应，并针对该异常情况进行修正。
69.进一步的，在s43a后还包括：若目标文件中所有项目均运行完成，则结束运行；若目标文件中至少一项目未运行完成，则循环到s3位置。
70.需要说明的是，项目分配到服务器节点的过程与项目运行的过程可以同时进行，直到所有项目分配到服务器节点，即等待服务器节点运行项目即可，直到所有项目运行完成。
71.可以理解的，目标文件的中项目数量至少一个，当项目数量较多时，需要将项目分配到服务器节点的时长以及项目的运行时长也会对应增加，当项目在正常运行时，在一个项目运行结束时，若目标文件中仍有项目未运行结束，则返回到项目分配位置并运行下一个项目，直到所有项目运行完成，若所有项目全部分配到具体的服务器节点上运行或者等待运行时，则等待所有项目运行结束即可。
72.进一步的，在s43b后还包括：若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常；
73.若服务器剩余工作资源异常，则循环到s3位置。若服务器工作资源正常，则判断为项目参数设置异常，并寻找到具体异常项目参数位置提示修改，并在修改后循环到则循环到s3位置。
74.需要说明的是，由于项目运行资源是由用户根据该项目的大致内容预估以便于项目分配到服务器节点运行，因此，容易出现预估的项目运行资源小于实际项目运行资源，而在分配的服务器节点后，服务器节点出现过载的情况，容易导致项目运行异常，但是，为了保证提高项目运行的效率，并不需要修改项目运行资源的预估值，而重新进行项目分发即可，有利于提高整个服务器的运行效率。
75.需要说明的是，当用户除了项目运行资源以外的必要参数填写错误时如项目结果输出路径填写错误，项目无法输出结果而导致运行异常，则需要提示用户手动修改，服务器会将相应的错误位置或错误参数提醒用户针对性修改，在用户修改后直接返回到项目分配的s3步骤重新运行即可。
76.请参阅图4，本发明第二实施例提供一种自动化提交作业系统1，运用上述的一种自动化提交作业方法进行自动化作业，包括分别通过信号连接的输入模块11、解析模块12、检测模块14以及运算模块13，其中，输入模块11用于输入项目数量以及项目参数以形成目标文件，解析模块12用于解析目标文件中的项目数量以及对应项目的参数；运算模块13用于对项目进行计算，输出计算结果；检测模块14用于根据监控周期获取运算模块13的剩余工作资源以及项目的运行进度。
77.一种自动化提交作业系统1具有与上述一种自动化提交作业方法相同的有益效果，在此不做赘述。
78.请参阅图5，本发明第三实施例提供一种存储介质2，包括存储器21、处理器22及存储在存储器21上并可在处理器22上运行的计算机程序，当服务器执行计算机程序时，实现如实施例一的一种自动化提交作业的方法。
79.一种存储介质2具有与上述一种自动化提交作业方法相同的有益效果，在此不做赘述。
80.可以理解的，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)执行时，执行本技术的方法中限定的上述功能。需要说明的是，本技术的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
81.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言诸如java、smalltalk、c++，还包括常规的过程式程序设计语言诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
82.在本发明所提供的实施例中，应理解，“与a对应的b”表示b与a相关联，根据a可以确定b。但还应理解，根据a确定b并不意味着仅仅根据a确定b，还可以根据a和/或其他信息确定b。
83.应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
84.在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
85.在本发明的附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方案中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，在此基于涉及的功能而确定。需要特别注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
86.与现有技术相比，本发明提供的一种自动化提交作业方法、系统以及储存介质具有以下优点：
87.1、本发明实施例中提供的一种自动化提交作业方法，包括以下步骤：提供至少一项目，针对每个项目设置对应项目参数获得目标文件，项目参数包括项目的运行参数以及监控周期；提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数；根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待；根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目。通过设定监控周期，便于实时监控服务器剩余的工作资源以及项目运行的情况，有利用对服务器资源利用的最大化，避免出现因服务器资源不足等问题导致项目在运行的过程中异常结束的问题，有利于提高项目整体的运行效率，同时，监控周期由用户自定义，且在项目运行的过程中可以实时调整，便于用户根据项目运行的实际情况最大效率地设置安排。
88.2、本发明实施例中提供的一种自动化提交作业方法，根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待具体为：根据项目的监控周期获取服务器全部节点的剩余工作资源；根据每个项目优先级对所有项目进行排序，将全部节点的剩余工作资源分别依次与每个项目运行资源进行对比；若至少一服务器节点剩余工作资源不小于项目运行资源，则将该项目分配到任一剩余工作资源不小于该项目运行资源的服务器节点运行；通过对服务器节点的剩余资源的监控，制定出合理且最优的项目运行分配方案，有利于提高整体的效率。
89.3、本发明实施例中提供的一种自动化提交作业方法，根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目具体为：根据获取项目运行的监控周期监控服务器以获取对应项目的运行进度；根据获取的项目进度判断服务器节点是否工作异常；若服务器工作节点正常，则继续运行该项目；并在运行完该项目后判断目标文件中是否所有项目均运行完成；若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常，通过对项目运行过程的监控，便于及时发现并寻找项目中断的原因，避免影响其余项目运行，进而可以起到提高效率的作用。
90.4.本发明实施例中提供的一种自动化提交作业方法，判断是否为服务器的剩余工作资源异常后还包括：若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常；若服务器剩余工作资源异常，则循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置；由于项目运行资源是由用户根据该项目的大致内容预估以便于项目分配到服务器节点运行，因此，容易出现预估的项目运行资
源小于实际项目运行资源，而在分配的服务器节点后，服务器节点出现过载的情况，容易导致项目运行异常，但是，为了保证提高项目运行的效率，并不需要修改项目运行资源的预估值，而重新进行项目分发即可，有利于提高整个服务器的运行效率。
91.5.本发明实施例中提供的一种自动化提交作业方法，对修改项目参数后的项目循环到提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数位置，在修改完必要参数后，直接重新对项目进行分发而不是重新开始建立目标文件开始运行，省去了部分步骤，从而节约了时间和服务器资源，提高了整体的运算效率。
92.6.本发明实施例中提供的一种自动化提交作业系统，运用上述的一种自动化提交作业方法进行自动化作业，包括输入模块、解析模块、检测模块以及运算模块；输入模块用于输入项目数量以及项目参数以形成目标文件；解析模块用于解析目标文件中的项目数量以及对应项目的参数；运算模块用于对项目进行计算，输出计算结果；检测模块用于获取运算模块的剩余工作资源以及对服务器运算进行监控。通过检测模块根据解析模块解析出的监控周期对运算模块进行监控，便于实时监控服务器剩余的工作资源以及项目运行的情况，有利用对服务器资源利用的最大化，避免出现因服务器资源不足等问题导致项目在运行的过程中异常结束的问题，有利于提高项目整体的运行效率其中，在运算过程中，还可以根据输入模块对监控周期进行调整，便于用户根据项目运行的实际情况最大效率的设置安排。
93.7.本发明实施例中提供的一种存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，当服务器执行计算机程序时，实现上述的自动化提交作业的方法，具有与上述一种自动化提交作业方法相同的有益效果，在此不做赘述。
94.以上对本发明实施例公开的一种自动化提交作业方法、系统以及储存介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制，凡在本发明的原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

技术特征：
1.一种自动化提交作业方法，其特征在于，包括以下步骤：提供至少一项目，针对每个项目设置对应项目参数以获得目标文件，所述项目参数包括项目的运行参数以及监控周期；提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数；根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待；根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目。2.如权利要求1所述的一种自动化提交作业方法，其特征在于，所述项目运行参数还包括项目运行资源以及项目优先级。3.如权利要求2所述的一种自动化提交作业方法，其特征在于，所述根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待具体为：根据项目的监控周期获取服务器全部节点的剩余工作资源；根据每个项目优先级对所有项目进行排序，将全部节点的剩余工作资源分别依次与每个项目运行资源进行对比；若至少一服务器节点剩余工作资源不小于项目运行资源，则将该项目分配到任一剩余工作资源不小于该项目运行资源的服务器节点运行。4.如权利要求3所述的一种自动化提交作业方法，其特征在于，将运行资源大于全部服务器节点的剩余工作资源的项目匹配到拥有最多剩余工作资源的服务器节点等待。5.如权利要求1所述的一种自动化提交作业方法，其特征在于，所述根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目具体为：根据获取项目运行的监控周期监控服务器以获取对应项目的运行进度；根据获取的项目进度判断服务器节点是否工作异常；若服务器工作节点正常，则继续运行该项目，并在运行完该项目后判断目标文件中是否所有项目均运行完成；若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常。6.如权利要求5所述的一种自动化提交作业方法，其特征在于，所述在运行完该项目后判断目标文件中是否所有项目均运行完成后还包括：若目标文件中所有项目运行均完成，则结束运行；若目标文件中至少一项目未运行完成，则循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置。7.如权利要求5所述的一种自动化提交作业方法，其特征在于，所述判断是否为服务器的剩余工作资源异常后还包括：若服务器节点工作异常，则发出异常警告信息，并判断是否为服务器的剩余工作资源异常；若服务器剩余工作资源异常，则循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置；若服务器剩余工作资源正常，则判断为项目参数设置异常，并寻找到具体异常项目参
数位置提示修改。8.如权利要求7所述的一种自动化提交作业方法，其特征在于，对修改项目参数后的项目循环到根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待位置。9.一种自动化提交作业系统，运用如权利要求1-8中任一项所述的一种自动化提交作业方法进行自动化作业，其特征在于，包括输入模块、解析模块、检测模块以及运算模块；所述输入模块用于输入项目数量以及对应的项目参数以形成目标文件；所述解析模块用于解析目标文件中的项目数量以及对应的项目参数；所述运算模块用于对项目进行计算，输出计算结果；所述检测模块用于根据监控周期获取运算模块的剩余工作资源以及项目的运行进度。10.一种存储介质，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述服务器执行所述计算机程序时，实现如权利要求1-8中任一项所述的自动化提交作业的方法。

技术总结
本本发明涉及密集计算与数据处理技术领域，具体涉及一种自动化提交作业方法、系统以及储存介质，一种自动化提交作业方法，包括以下步骤：提供至少一项目，针对每个项目设置对应项目参数获得目标文件，项目参数包括项目的运行参数以及监控周期；提供服务器对目标文件进行解析，获得项目数量以及每个项目的项目参数；根据解析后各个项目的运行参数将对应项目分配到服务器节点运行或等待；根据项目的监控周期获取对应项目运行情况，并根据项目运行情况结束运行或重新分配项目，解决了现有技术中容易因为作业运行异常导致不能对服务器资源利用最大化技术问题。利用最大化技术问题。利用最大化技术问题。


技术研发人员：周宇
受保护的技术使用者：深圳晶源信息技术有限公司
技术研发日：2023.06.28
技术公布日：2023/9/19