一种应用于调度系统的仿真系统和方法与流程

1.本技术涉及计算机技术领域，尤其涉及一种应用于调度系统的仿真系统和方法。


背景技术：

2.随着计算机技术不断发展，仿真技术在各个领域得到了广泛的应用。在调度系统中，由于实际操作会对调度系统造成影响，因此很难对调度系统进行实际测试，仿真技术则成为一种可行的方法。
3.仿真技术可以在计算机上建立一个虚拟的系统环境，模拟出真实的操作过程和结果，此方法可以避免实际操作对系统造成的影响，同时可以通过调整参数和模拟不同情景来测试系统的稳定性和可靠性。
4.现有的调度系统运行情况是一个黑盒子，不具备可视化能力，无法量化系统的响应时间和处理能力，调度系统的稳定性和可靠性，全凭运维人员依据过往经验主观判断，缺乏客观的数据依据；调度系统中优化调度算法的成本高、效率低，在生产环境中对调度算法进行优化，风险系数高且无法保证优化的效果。


技术实现要素：

5.本技术实施例提供了一种应用于调度系统的仿真系统和方法，用于解决现有调度系统的性能测试无法量化且结果采用人工判断，存在测试成本高和效率低的技术问题。
6.为了实现上述目的，本技术实施例提供如下技术方案：
7.一种应用于调度系统的仿真系统，包括数据采集模块、数据预处理模块、仿真模块和结果输出模块；
8.所述数据采集模块，用于采集调度系统的关键数据，所述关键数据包括数个任务和每个任务的任务信息；
9.所述数据预处理模块，用于对每个任务的所述任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；
10.所述仿真模块，用于根据所述有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果；
11.所述结果输出模块，用于输出仿真结果。
12.在一种实现方式中，所述数据采集模块包括识别子模块、采集子模块、传输子模块和异常处理子模块；
13.所述识别子模块，用于获取调度系统数据采集不同的数据源；
14.所述采集子模块，用于根据不同所述数据源选择不同的采集方式采集调度系统的数据，得到调度系统的关键数据；
15.所述传输子模块，用于将采集的关键数据传输至所述数据预处理模块；
16.所述异常处理子模块，用于在采集调度系统的数据过程中对采集异常情况处理，以使所述采集子模块正常采集数据。
17.在一种实现方式中，所述数据预处理模块包括清洗子模块和转换子模块；
18.所述清洗子模块，用于对每个任务的所述任务信息中异常数据进行清洗，得到第一任务信息；对所述第一任务信息进行归一化处理，得到第二任务信息；
19.所述转换子模块，用于根据任务之间的依赖关系将关键数据中所有任务转换为有向无环图；
20.其中，所述依赖关系为以任务为节点和以任务依赖为边。
21.在一种实现方式中，所述数据预处理模块包括数据存储子模块，所述数据存储子模块用于将所述有向无环图存储至nebula图数据库。
22.在一种实现方式中，所述数据预处理模块包括优化子模块，所述优化子模块用于对nebula图数据库进行索引和查询优化。
23.在一种实现方式中，所述仿真模块包括计算排序子模块、分配子模块和仿真调整子模块；
24.所述计算排序子模块，用于基于所述有向无环图采用最短路径算法对每个任务计算，得到每个任务在不同计算资源下的最短运行时间；根据每个任务的最短运行时间从小到大排序，得到任务集合；
25.所述分配子模块，用于根据任务的优先级对所述任务集合的每个任务分配至对应的计算资源上，得到分配方案；
26.所述仿真调整子模块，用于根据所述分配方案对分配到计算资源任务进行仿真运行，得到仿真数据；并根据所述仿真数据采用调度策略调整所述分配方案重新采用对调度系统的任务进行仿真运行，得到仿真结果。
27.在一种实现方式中，所述调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。
28.本技术还提供一种应用于调度系统的仿真方法，包括以下步骤：
29.采集调度系统的关键数据，所述关键数据包括数个任务和每个任务的任务信息；
30.对每个任务的所述任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；
31.根据所述有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果并输出。
32.在一种实现方式中，所述对每个任务的所述任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图包括：
33.对每个任务的所述任务信息中异常数据进行清洗，得到第一任务信息；对所述第一任务信息进行归一化处理，得到第二任务信息；
34.根据任务之间的依赖关系将关键数据中所有任务转换为有向无环图；
35.其中，所述依赖关系为以任务为节点和以任务依赖为边。
36.在一种实现方式中，所述根据所述有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果包括：
37.基于所述有向无环图采用最短路径算法对每个任务计算，得到每个任务在不同计算资源下的最短运行时间；根据每个任务的最短运行时间从小到大排序，得到任务集合；
38.根据任务的优先级对所述任务集合的每个任务分配至对应的计算资源上，得到分
配方案；
39.根据所述分配方案对分配到计算资源任务进行仿真运行，得到仿真数据；并根据所述仿真数据采用调度策略调整所述分配方案重新采用对调度系统的任务进行仿真运行，得到仿真结果；
40.其中，所述调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。
41.从以上技术方案可以看出，本技术实施例具有以下优点：该应用于调度系统的仿真系统和方法，该系统包括数据采集模块，用于采集调度系统的关键数据；数据预处理模块，用于对每个任务的任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；仿真模块，用于根据有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果；结果输出模块，用于输出仿真结果。该应用于调度系统的仿真系统通过数据预处理模块得到有向无环图，在仿真模块中根据有向无环图对调度系统的任务采用最短路径算法和调度策略进行仿真运行，得到不同调度策略和参数下的仿真数据，实现模拟不同的调度策略为优化调度系统提供数据，从而提高调度系统的性能和效率；也可以通过该仿真系统对调度系统进行自动测试和调整，提高调度系统的可维护性和可扩展性，降低了测试成本。解决了现有调度系统的性能测试无法量化且结果采用人工判断，存在测试成本高和效率低的技术问题。
附图说明
42.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1为本技术实施例所述的应用于调度系统的仿真系统的框架图；
44.图2为本技术实施例所述的应用于调度系统的仿真系统中数据采集模块的采集流程框架图；
45.图3为本技术实施例所述的应用于调度系统的仿真系统中数据预处理模块的流程框架图；
46.图4为本技术实施例所述的应用于调度系统的仿真系统中仿真模块的流程框架图。
具体实施方式
47.为使得本技术的发明目的、特征、优点能够更加的明显和易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本技术一部分实施例，而非全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
48.本技术实施例中，在调度系统中，仿真技术可以用于以下方面：
49.应用于预测系统的响应时间和处理能力，可以通过建立一个虚拟的系统环境，可
以模拟出不同的负载情况，从而预测系统的响应时间和处理能力。
50.应用于评估系统的稳定性和可靠性，可以通过模拟不同的异常情况和故障，可以评估系统的稳定性和可靠性。
51.应用于优化调度算法，可以通过模拟不同的调度算法和参数，可以比较它们的优劣，从而优化调度算法。
52.总之，仿真技术在调度系统中的应用方法可以帮助我们更好地理解和测试系统，从而不断优化和改进系统的性能和可靠性。
53.本技术实施例提供了一种应用于调度系统的仿真系统和方法，用于解决了现有调度系统的性能测试无法量化且结果采用人工判断，存在测试成本高和效率低的技术问题。
54.实施例一：
55.图1为本技术实施例所述的应用于调度系统的仿真系统的框架图。
56.如图1所示，本技术实施例提供了一种应用于调度系统的仿真系统，包括依次连接的数据采集模块10、数据预处理模块20、仿真模块30和结果输出模块40。
57.在本技术实施例中，数据采集模块10可以用于采集调度系统的关键数据，关键数据包括数个任务和每个任务的任务信息。
58.需要说明的是，任务信息包括任务的基本信息、依赖信息、运行信息以及计算资源占用信息等。在本实施例中，基本信息包含有任务名称、任务描述、任务类型、任务创建时间、任务开始时间、任务结束时间、任务状态(如运行中、成功、失败)等。依赖信息包含有任务间的依赖关系，例如任务a需要在任务b完成后才能开始执行。运行信息包含有任务的执行日志、执行时长、执行结果、错误信息等。计算资源占用信息包含有任务执行时所使用的cpu、内存、磁盘等资源的占用情况，以及任务所需的最小资源量、最大资源量、平均资源量等。
59.在本技术实施例中，数据预处理模块20可以用于对每个任务的任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图。
60.需要说明的是，数据预处理模块20是对数据采集模块10获取的数据进行处理，得到调度系统中任务执行的有向无环图，便于后续调度系统任务的仿真。
61.在本技术实施例中，仿真模块30可以用于根据有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果。
62.需要说明的是，仿真模块30根据数据预处理模块20得到的数据模拟任务在不同计算资源的运行情况，得到不同计算资源运行调度系统任务的仿真结果。在本实施例中，仿真结果包括性能指标数据、任务完成数据、占用资源情况和故障数据。性能指标包含有运行效率、资源利用率、吞吐量等性能指标，任务完成数据包含有每个任务仿真运行的运行时长、运行失败或运行被中断等数据，占用资源情况包含每个任务仿真运行的资源占用大小。
63.在本技术实施例中，该应用于调度系统的仿真系统可以通过性能指标以检查调度系统是否达到了预期的性能要求。通过任务完成数据分析每个任务是否按照预期完成，是否超时、失败或被中断等，并统计每个任务的平均完成时间、最长完成时间等。可以通过占用资源情况分析调度系统的资源占用情况，统计每个计算资源的平均利用率、最大利用率等，以便进行优化。可以通过故障数据检查调度系统中是否有故障发生，如果有，需要及时定位和解决问题，以避免影响系统的正常运行。该应用于调度系统的仿真系统根据仿真结
果的分析，可以对调度策略进行优化，最大限度地提高调度系统的整体性能。
64.在本技术实施例中，结果输出模块40可以用于输出仿真结果。
65.需要说明的是，结果输出模块40负责将仿真结果进行输出，仿真结果可以为任务的执行顺序、占用资源情况、任务的执行时间等。
66.本技术提供的一种应用于调度系统的仿真系统，包括数据采集模块，用于采集调度系统的关键数据；数据预处理模块，用于对每个任务的任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；仿真模块，用于根据有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果；结果输出模块，用于输出仿真结果。该应用于调度系统的仿真系统通过数据预处理模块得到有向无环图，在仿真模块中根据有向无环图对调度系统的任务采用最短路径算法和调度策略进行仿真运行，得到不同调度策略和参数下的仿真数据，实现模拟不同的调度策略为优化调度系统提供数据，从而提高调度系统的性能和效率；也可以通过该仿真系统对调度系统进行自动测试和调整，提高调度系统的可维护性和可扩展性，降低了测试成本。解决了现有调度系统的性能测试无法量化且结果采用人工判断，存在测试成本高和效率低的技术问题。
67.需要说明的是，通过该应用于调度系统的仿真系统可以模拟调度系统在不同负载情况下进行仿真运行，得到仿真结果；通过此仿真结果能够预测调度系统的响应时间和处理能力，为优化调度系统提供数据参考。在本实施例中，可以通过该应用于调度系统的仿真系统模拟调度系统在不同的异常或故障数据下进行仿真运行，得到仿真结果；根据此仿真结果检查调度系统中是否有故障发生，如果有，需要及时定位和解决问题，以避免影响系统的正常运行；实现评估调度系统的稳定性和可靠性，提高调度系统的容错性和可靠性。该应用于调度系统的仿真系统可以避免实际操作对调度系统造成的影响，提高调度系统的稳定性和可靠性，同时可以通过模拟不同情景来测试调度系统的性能和效率，为系统的优化提供参考。
68.图2为本技术实施例所述的应用于调度系统的仿真系统中数据采集模块的采集流程框架图。
69.在本技术的一个实施例中，数据采集模块10包括识别子模块、采集子模块、传输子模块和异常处理子模块；
70.识别子模块，用于获取调度系统数据采集不同的数据源；
71.采集子模块，用于根据不同数据源选择不同的采集方式采集调度系统的数据，得到调度系统的关键数据；
72.传输子模块，用于将采集的关键数据传输至数据预处理模块；
73.异常处理子模块，用于在采集调度系统的数据过程中对采集异常情况处理，以使采集子模块正常采集数据。
74.如图2所示，在本技术实施例中，识别子模块主要是用于识别采集数据的数据源，根据不同的数据源采集不同的数据。
75.需要说明的是，任务的基本信息是通过任务管理模块这个数据源采集的，任务的运行信息是通过任务调度模块这个数据源采集的，任务的计算资源占用信息是通过计算资源管理模块这个数据源采集的。识别子模块是用于对数据源进行识别并与采集子模块建立连接以采集数据。
76.如图2所示，在本技术实施例中，采集子模块根据不同数据源的特点，需要选择适合的数据采集方式。例如，任务的基本信息存储在任务管理模块中，使用sql语句进行查询获得。任务的运行信息通过采集任务调度模块中日志文件并通过解析日志文件获取的。任务的计算资源占用信息需要通过监控系统进行采集。
77.需要说明的是，采集子模块采集的关键数据存储至mysql的数据库中，便于数据的调用。
78.在本技术实施例中，传输子模块主要是将关键数据传输至数据预处理子模块。
79.在本技术实施例中，在数据采集过程中，可能会出现一些异常情况，异常情况如数据源不可用、采集过程中断等。异常处理子模块主要是对这些异常情况进行处理，处理的内容包含有记录日志、重新连接数据源、终止采集等。
80.图3为本技术实施例所述的应用于调度系统的仿真系统中数据预处理模块的流程框架图。
81.如图3所示，在本技术的一个实施例中，数据预处理模块20包括清洗子模块、转换子模块和数据存储子模块；
82.清洗子模块，用于对每个任务的任务信息中异常数据进行清洗，得到第一任务信息；对第一任务信息进行归一化处理，得到第二任务信息；
83.转换子模块，用于根据任务之间的依赖关系将关键数据中所有任务转换为有向无环图；
84.数据存储子模块用于将有向无环图存储至nebula图数据库；
85.其中，依赖关系为以任务为节点和以任务依赖为边。
86.需要说明的是，采集到的任务信息可能存在不规范或者不完整等异常数据，通过清洗子模块需要对任务的任务信息中异常数据进行清洗和归一化操作，以确保数据的准确性和一致性。将清洗和归一化后的第一任务信息，采用转换子模块根据任务之间的依赖关系，以任务为节点(其中任务的基本信息转换成节点属性)，以任务依赖为边(其中任务的运行时长和资源占用转换成边属性)，转换成有向无环图。在本实施例中，将构建好的有向无环图存储到数据存储子模块的nebula图数据库中。其中，nebula是一个开源的分布式图数据库，支持高效地存储和查询大规模的图数据。在数据存储子模块存储数据过程中，是通过将有向无环图的节点和边信息映射到nebula图数据库的节点和边上，实现数据的持久化存储。
87.在本技术的一个实施例中，数据预处理模块20包括优化子模块，优化子模块用于对nebula图数据库进行索引和查询优化。
88.需要说明的是，该应用于调度系统的仿真系统通过优化子模块可以针对任务调度中常用的查询操作，如任务优先级、任务依赖关系等，对nebula图数据库进行索引和查询优化，提高数据的查询效率。
89.图4为本技术实施例所述的应用于调度系统的仿真系统中仿真模块的流程框架图。
90.如图4所示，在本技术的一个实施例中，仿真模块40包括计算排序子模块、分配子模块和仿真调整子模块；
91.计算排序子模块，用于基于有向无环图采用最短路径算法对每个任务计算，得到
每个任务在不同计算资源下的最短运行时间；根据每个任务的最短运行时间从小到大排序，得到任务集合；
92.分配子模块，用于根据任务的优先级对任务集合的每个任务分配至对应的计算资源上，得到分配方案；
93.仿真调整子模块，用于根据分配方案对分配到计算资源任务进行仿真运行，得到仿真数据；并根据仿真数据采用调度策略调整分配方案重新采用对调度系统的任务进行仿真运行，得到仿真结果；
94.其中，调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。
95.在本技术实施例中，计算排序子模块通过在nebula图数据库中获取已经预处理好的有向无环图dag，采用最短路径算法对有向无环图进行遍历，得到每个任务在不同计算资源下运行的最短运行时间，便于对任务进行排序。
96.需要说明的是，最短路径算法是一类在加权有向图(或无向图)中寻找从起点到终点最短路径的算法。其中，最短路径算法包括dijkstra算法、bellman-ford算法和a*算法等。这些算法都能计算出从起点到每个顶点的最短路径，并给出对应的路径长度。示例性的，计算排序子模块采用的是dijkstra算法，利用基于图的最短路径算法的dijkstra算法来计算每个任务在不同计算资源下的最短运行时间，需要将计算资源和任务之间建立起一个带权有向图。带权有向图的每个节点表示一个任务在特定计算资源上的运行情况，边则表示两个节点之间的依赖转换关系，边的权重表示上一个任务运行完成所需的时间。
97.在本技术实施例中，分配子模块是按照任务的优先级，将任务按照可运行性分配到不同的计算资源上，获得分配方案，在分配方案中包含有每个任务的实际开始时间和完成时间。
98.需要说明的是，任务的优先级主要根据业务需求和任务之间的依赖关系来规定。一般而言，任务优先级越高，越早被执行。可以按照紧急程度、业务价值、依赖关系和资源占用进行规定任务的优先级。在本实施例中，紧急程度指的是优先处理紧急性较高的任务，如重要数据备份、紧急修复等。业务价值指的是优先处理对业务价值贡献较大的任务，如广告展示、交易处理等。依赖关系指的是优先处理当前处于依赖链顶端的任务，以保证后续任务能够及时完成。资源占用指的是优先处理需要占用大量资源的任务，以避免资源浪费和系统拥堵。
99.在本技术实施例中，仿真调整子模块一是对任务进行模拟执行，得到执行任务的运行时长；二是对任务的资源占用情况进行实时更新，并根据任务的运行情况调整调度策略。在本实施例中，在仿真过程中，调度策略需要根据任务的运行情况进行实时调整，以使得整个仿真系统能够更加高效地运行。调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。资源分配优化的调度策略是根据当前资源的占用情况和任务的需求情况，对资源分配方案进行优化，以最大化资源利用率。任务重分配的调度策略是根据某个任务的运行时长超过了预期，可以将其暂停并重新分配到其他空闲的计算资源上，以减少整体运行时间。任务优先级调整的调度策略是根据某些任务的优先级发生变化，可以对其进行优先级调整，以保证任务处理顺序的合理性。拓扑结构优化的调度策略是根据依赖关系发生了变化，可以对任务之间的拓扑结构进行优化，以减少任务之间的依赖关
系，提高整体运行效率。
100.在本技术实施例中，应用于调度系统的仿真系统还将每次仿真运行得到的仿真结果进行收集汇总成一个报告，便于仿真数据的查询和统计。
101.实施例二：
102.本技术实施例提供了一种应用于调度系统的仿真方法，包括以下步骤：
103.采集调度系统的关键数据，关键数据包括数个任务和每个任务的任务信息；
104.对每个任务的任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；
105.根据有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果并输出。
106.在本技术实施例中，对每个任务的任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图包括：
107.对每个任务的任务信息中异常数据进行清洗，得到第一任务信息；对第一任务信息进行归一化处理，得到第二任务信息；
108.根据任务之间的依赖关系将关键数据中所有任务转换为有向无环图；
109.其中，依赖关系为以任务为节点和以任务依赖为边。
110.在本技术实施例中，根据有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果包括：
111.基于有向无环图采用最短路径算法对每个任务计算，得到每个任务在不同计算资源下的最短运行时间；根据每个任务的最短运行时间从小到大排序，得到任务集合；
112.根据任务的优先级对任务集合的每个任务分配至对应的计算资源上，得到分配方案；
113.根据分配方案对分配到计算资源任务进行仿真运行，得到仿真数据；并根据仿真数据采用调度策略调整分配方案重新采用对调度系统的任务进行仿真运行，得到仿真结果；
114.其中，调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。
115.需要说明的是，实施例二方法中步骤内容对应于实施例一系统中的模块，该应用于调度系统的仿真系统的内容已在实施例一中详细阐述了，在此实施例二中不再对方法中步骤的内容进行详细阐述。
116.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
117.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其他的形式。
118.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
119.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
120.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
121.以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种应用于调度系统的仿真系统，其特征在于，包括数据采集模块、数据预处理模块、仿真模块和结果输出模块；所述数据采集模块，用于采集调度系统的关键数据，所述关键数据包括数个任务和每个任务的任务信息；所述数据预处理模块，用于对每个任务的所述任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；所述仿真模块，用于根据所述有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果；所述结果输出模块，用于输出仿真结果。2.根据权利要求1所述的应用于调度系统的仿真系统，其特征在于，所述数据采集模块包括识别子模块、采集子模块、传输子模块和异常处理子模块；所述识别子模块，用于获取调度系统数据采集不同的数据源；所述采集子模块，用于根据不同所述数据源选择不同的采集方式采集调度系统的数据，得到调度系统的关键数据；所述传输子模块，用于将采集的关键数据传输至所述数据预处理模块；所述异常处理子模块，用于在采集调度系统的数据过程中对采集异常情况处理，以使所述采集子模块正常采集数据。3.根据权利要求1所述的应用于调度系统的仿真系统，其特征在于，所述数据预处理模块包括清洗子模块和转换子模块；所述清洗子模块，用于对每个任务的所述任务信息中异常数据进行清洗，得到第一任务信息；对所述第一任务信息进行归一化处理，得到第二任务信息；所述转换子模块，用于根据任务之间的依赖关系将关键数据中所有任务转换为有向无环图；其中，所述依赖关系为以任务为节点和以任务依赖为边。4.根据权利要求1所述的应用于调度系统的仿真系统，其特征在于，所述数据预处理模块包括数据存储子模块，所述数据存储子模块用于将所述有向无环图存储至nebula图数据库。5.根据权利要求4所述的应用于调度系统的仿真系统，其特征在于，所述数据预处理模块包括优化子模块，所述优化子模块用于对nebula图数据库进行索引和查询优化。6.根据权利要求1所述的应用于调度系统的仿真系统，其特征在于，所述仿真模块包括计算排序子模块、分配子模块和仿真调整子模块；所述计算排序子模块，用于基于所述有向无环图采用最短路径算法对每个任务计算，得到每个任务在不同计算资源下的最短运行时间；根据每个任务的最短运行时间从小到大排序，得到任务集合；所述分配子模块，用于根据任务的优先级对所述任务集合的每个任务分配至对应的计算资源上，得到分配方案；所述仿真调整子模块，用于根据所述分配方案对分配到计算资源任务进行仿真运行，得到仿真数据；并根据所述仿真数据采用调度策略调整所述分配方案重新采用对调度系统的任务进行仿真运行，得到仿真结果。
7.根据权利要求6所述的应用于调度系统的仿真系统，其特征在于，所述调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。8.一种应用于调度系统的仿真方法，其特征在于，包括以下步骤：采集调度系统的关键数据，所述关键数据包括数个任务和每个任务的任务信息；对每个任务的所述任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；根据所述有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果并输出。9.根据权利要求8所述的应用于调度系统的仿真方法，其特征在于，所述对每个任务的所述任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图包括：对每个任务的所述任务信息中异常数据进行清洗，得到第一任务信息；对所述第一任务信息进行归一化处理，得到第二任务信息；根据任务之间的依赖关系将关键数据中所有任务转换为有向无环图；其中，所述依赖关系为以任务为节点和以任务依赖为边。10.根据权利要求8所述的应用于调度系统的仿真方法，其特征在于，所述根据所述有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果包括：基于所述有向无环图采用最短路径算法对每个任务计算，得到每个任务在不同计算资源下的最短运行时间；根据每个任务的最短运行时间从小到大排序，得到任务集合；根据任务的优先级对所述任务集合的每个任务分配至对应的计算资源上，得到分配方案；根据所述分配方案对分配到计算资源任务进行仿真运行，得到仿真数据；并根据所述仿真数据采用调度策略调整所述分配方案重新采用对调度系统的任务进行仿真运行，得到仿真结果；其中，所述调度策略的内容包括资源分配优化、任务重分配、任务优先级调整和拓扑结构优化。

技术总结
本申请涉及一种应用于调度系统的仿真系统和方法，该系统包括数据采集模块用于采集调度系统的关键数据；数据预处理模块用于对每个任务的任务信息进行清洗、转换处理，得到调度系统所有任务的有向无环图；仿真模块用于根据有向无环图采用最短路径算法和调度策略对调度系统的任务进行仿真运行，得到仿真结果；结果输出模块用于输出仿真结果。该系统通过在仿真模块中根据有向无环图对调度系统的任务采用最短路径算法和调度策略进行仿真运行，实现模拟不同的调度策略为优化调度系统提供数据，从而提高调度系统的性能和效率；也可以通过该仿真系统对调度系统进行自动测试和调整，提高调度系统的可维护性和可扩展性，降低了测试成本。本。本。


技术研发人员：林嘉俊 吴丁 林进华
受保护的技术使用者：广州趣研网络科技有限公司
技术研发日：2023.04.25
技术公布日：2023/8/9