流程可视的分布式任务编排方法、装置、介质及设备与流程

1.本技术涉及大数据系统的作业编排技术领域，特别涉及一种流程可视的分布式任务编排方法、装置、介质及设备。


背景技术：

2.无论是在地图生产还是其他数据生产中都存在着许多算法模块，各个算法模块按照顺序进行执行以实现其对应的功能。若没有对应的系统去管理各个算法模块的执行顺序，会存在算法模块随意的堆积，造成无法快速查找所需求的模块，和当需要完整的执行整个算法流程时，额外需要程序员撰写脚本的问题。为解决上述问题，在进行大数据生产时引入了任务编排系统。
3.现有的任务编排系统，系统整体所占用的存储空间较大且各个业务模块比较固定，无法根据业务需求灵活的引入所需要的功能模块，且现有的任务编排系统无法将任务流程显示出来，造成所编排的任务流程后续的维护不方便和出错率高的现象。


技术实现要素：

4.针对现有技术存在的问题，本技术主要提供一种流程可视的分布式任务编排方法、装置、介质及设备。
5.为了实现上述目的，本技术采用的一个技术方案是：提供一种流程可视的分布式任务编排方法，其包括：利用多个由预定语法加以结构化的语句，分别描述不同任务或任务关系；由预定编译器，对语句进行解析，确定各个语句对应的任务或任务间关系；以及，根据任务和任务关系，调用流程图画图工具，画出各个任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线；其中，任务包括简单任务和http任务，任务关系包括任务之间的串行、选择、循环；简单任务表示任务流程中需要执行的算法，http任务表示调用在分布式系统中的地址中存放的相应内容。
6.本技术采用的另一个技术方案是：提供一种流程可视的分布式任务编排装置，其包括：用于利用多个由预定语法加以结构化的语句，分别描述任务或任务关系的模块；用于由预定编译器，对语句进行解析，确定各个语句对应的任务或任务间关系的模块；以及用于根据任务和任务关系，调用流程图画图工具，画出任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线的模块；其中，任务包括简单任务和http任务，任务关系包括任务之间的串行、选择、循环；简单任务表示任务流程中需要执行的算法，http任务表示在分布式系统中需要调用地址中存放的相应内容。
7.本技术采用的另一个技术方案是：提供一种流程可视的分布式任务编排系统，包括：多个由预定语法加以结构化的语句模块，其用于分别描述任务或任务关系，其中，任务包括简单任务和http任务，任务关系包括任务之间的串行、选择、循环，简单任务表示任务流程中需要执行的算法，http任务表示调用在分布式系统中的地址中存放的相应内容；预定编译器，其用于对语句进行解析，确定各个语句对应的任务或任务间关系；以及流程图画
图工具，其用于根据任务和任务关系被调用，画出任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线。
8.本技术采用的另一个技术方案是：提供一种计算机可读存储介质，其存储有计算机指令，该计算机指令被操作以执行方案一中的流程可视的分布式任务编排方法。
9.本技术采用的另一个技术方案是：提供一种计算机设备，其包括：至少一个处理器；以及与至少一个处理器进行通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机指令，至少一个处理器操作计算机指令以执行方案一中的流程可视的分布式任务编排方法。
10.本技术的技术方案可以达到的有益效果是：本技术设计了流程可视的分布式任务编排方法、装置、介质及设备。该方法能够根据任务需求灵活的安排任务编排系统的功能模块，且能够将编排出的任务执行流程直观的显示出来，使开发人员在对所编排的任务进行系统维护和修改时更加方便，避免了出错。
附图说明
11.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作以简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
12.图1是本技术一种流程可视的分布式任务编排方法的一个具体实施方式的示意图；
13.图2是本技术一种流程可视的分布式任务编排装置的一个具体实施方式的示意图；
14.图3是本技术一种流程可视的分布式任务编排系统的一个具体实施方式的示意图。
15.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
16.下面结合附图对本技术的较佳实施例进行详细阐述，以使本技术的优点和特征能更易于被本领域技术人员理解，从而对本技术的保护范围做出更为清楚明确的界定。
17.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
18.在进行任务编排时，常用的方法是利用人工进行任务编排，其具体操作方法是:
19.1、在根据需求解决问题时，将解决问题的过程分为多个步骤，在其中的某个步骤完成后利用人工通知需要进行下一步骤的人员，下一步骤的人员接受到通知后再开始编排其所需执行的任务，编排完成其所需执行的任务之后再通知下一个人，按照这个方法直至完成解决问题的全部步骤。例如，将解决问题的过程分为1、2和3这三个过程，开发人员a完成任务1的编排，通知开发人员b任务1已经完成。然后，开发人员b开始处理任务2，并通知开发人员c任务2已经处理完成，开发人员c开始处理任务3。
20.2、在根据需求解决问题时，将解决问题的过程分为多个步骤，每个开发人员完成编写其负责的步骤后，统一交给一个负责人，负责人通过写脚本，将所有递交给其的任务处理步骤进行排序。
21.利用人工进行任务编排会存在当数据量大或处理过程复杂时，无法准确的传递消息的情况和需要编写多个脚本的情况，这两种情况的过程复杂，需要的人工成本高且修改困难，同时利用人工进行分配容易造成分配不合理和优化困难的现象，且编排效率低，会进一步造成资源浪费。
22.本技术提供的方法适用场景为：大数据量的任务编排和流程中的任务需要频繁修改的情景。
23.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
24.图1示出了本技术一种流程可视的分布式任务编排方法的一个具体实施方式。
25.在图1中，流程可视的分布式任务编排方法主要包括步骤s101，利用多个由预定语法加以结构化的语句，分别描述不同任务或任务关系；
26.步骤s102，由预定编译器，对语句进行解析，确定各个语句对应的任务或任务间关系；
27.以及步骤s103，根据任务和任务关系，调用流程图画图工具，画出各个任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线；
28.其中，任务包括简单任务和http任务，任务关系包括任务之间的串行、选择、循环；简单任务表示任务流程中需要执行的算法，http任务表示调用在分布式系统中的地址中存放的相应内容。该具体实施方式，能够根据任务需求灵活的安排任务编排系统的功能模块，且能够将编排出的任务执行流程直观的显示出来，使开发人员在对所编排的任务进行系统维护和修改时更加方便，避免了出错。
29.在图1所示的具体实施方式中，流程可视的分布式任务编排方法，包括步骤s101，利用多个由预定语法加以结构化的语句，分别描述不同任务或任务关系。该步骤是能够可视化显示任务流程的基础，能够使任务编排系统更加灵活，通过在前端可视化的显示工作流程，给开发人员提供更多的便捷。
30.具体的，在分布式任务编排系统中，定义任务流程中需要执行算法的简单任务和能够调用在分布式系统中的地址中存放的相应内容的http任务，然后利用结构化的语句将简单任务和http任务以期望的任务关系串起来完成任务的编排工作。其中，任务关系包括任务之间的串行、选择、循环等。
31.在本技术的一个具体实施例中，步骤s101包括，根据任务执行所期望达到的目的，
定义任务的执行内容、任务的名称和工作流程；根据任务的执行内容、任务的名称和工作流程进行任务编排。具体的，在进行任务编排时，将实现目标过程分成的多个任务，根据每个任务需要解决的其问题定义任务的执行内容。然后定义每个任务的名称，并根据完成上述两个定义的任务定义工作流程。优选的，在一个工作流程中，任务名称不重复，以免造成误解。
32.在本技术的一个具体实施例中，步骤s101中的任务关系还包括任务的重试、跳过、终止、重启。该具体实施例，赋予了任务编排系统更加丰富的逻辑关系，使对任务编排的过程中能够更好的实现各种任务编排，使任务编排系统的使用更加方便。
33.具体的，在任务编排系统中，定义丰富的任务关系来更好的实现任务的编排。任务关系包括任务之间的串行、选择、循环、重试、跳过、终止和重启等。其中，任务之间的串行是指执行完一个任务后就执行处于其下游的下一个任务；选择是指执行完一个任务后根据执行结果选择执行的下一个任务是哪个；循环是指重复的执行部分任务直至任务的执行结果超出预定的循环标准后，停止该部分任务的循环执行；重试是指选择任务流程中的任一任务从该任务开始重新执行任务流程中该任务和该任务之后的任务；跳过是指选择任务流程中的任一任务不执行，直接执行该任务的下游任务；终止是指在任务流程中选定任一任务并指定停止执行该任务；重启是重新开始执行选定的任务流程。
34.在本技术的一个具体实施例中，步骤s101包括的任务关系还包括简单并行和动态并行，简单并行表示在上一任务执行完之后需要执行预定的多个任务，动态并行表示需要根据上一任务执行完之后的输出结果确定下一需要的执行任务。该具体实施例，通过定义更加丰富的任务关系，能够更好的完成更多的任务编排，适用于任务之间的逻辑复杂的使用场景。
35.具体的，简单并行是指在执行完上游任务之后，直接同时执行该任务所对应的多个下游任务。动态并行是指在执行完上游任务之后，所有下游任务先根据上游任务的执行结果进行判断，查看上游任务的执行结果是否满足下游任务的执行条件，在判断满足时同时执行多个下游任务。
36.在本技术的一个具体实施例中，步骤s101包括，对任务进行描述的语句，包括可供编辑的任务名称、任务描述、任务输入参数以及任务类型。该具体实施例，能够使开发人员更好的理解任务的执行状态，为后续根据任务状态进行系统维护奠定基础。
37.具体的，在对任务进行定义时，定义任务的任务名称，并根据任务所需要达到的效果定义任务的输入参数和任务类型，最后对任务进行任务描述。其中，任务的描述可以包括执行任务所期望达到的效果，例如，描述任务a为“进行路径规划”。
38.进一步的，对任务进行描述的语句的过程包括，对任务关系进行描述的语句，包括可供编辑的任务关系名称以及关系所涉及任务的任务名称。通过这种处理能够更好的理解任务的执行情况，更好的进行后续的系统维护，为更好更方便的展现出任务的执行流程奠定基础。
39.具体的，在完成任务的名称后，按照任务所编辑任务的任务名称和任务关系定义得到任务流程，最后按照对该任务流程进行命名得到任务关系名称。通过任务的关系名称可以快速的在任务系统中查找出所需要查找的任务流程，方便进行后续的维护，方便查看任务流程的执行状态。
40.在图1所示的具体实施方式中，流程可视的分布式任务编排方法，包括步骤s102，由预定编译器，对语句进行解析，确定各个语句对应的任务或任务间关系。该步骤是可视化的展示任务的流程的基础。
41.具体的，编译器获取所定义的任务和任务关系并根据预定语法识别出具体的任务和任务关系。然后根据识别出任务的任务关系，获取该任务关系的每一个需要进行处理的任务，并获取任务的任务名称、执行流程和任务的执行情况。
42.例如，编译器识别出的任务关系是if else语义，即条件判断执行关系，编译器在识别出if else语义后进一步识别出执行语义需要满足的条件和根据条件定义出的各执行步骤的名称和执行情况。即当用户定义在满足条件1时执行任务a，在不满足条件1时执行任务b。编译器识别出条件1、识别出任务a、识别出任务b，并根据预先定义的任务关系知晓条件1、任务a和任务b之间的执行顺序。
43.在本技术的一个具体实施例中，步骤s102包括，查找语句中的关键字，关键字包括任务名称或任务关系名称；以及根据查找的关键字，确定相应语句对应的任务或任务间关系。该具体实施例是实时了解任务的执行情况，为开发人员根据任务的实施执行情况进行优化的基础。
44.具体的，在定义任务流程的代码中，识别预先定义的关于任务的关键字和关于任务关系的关键字。通过任务的关键字和关于任务关系的关键字，确定代码中的哪部分是定义的任务和哪部分定义的是任务关系。在确定定义任务的代码范围后，在该范围内查找任务的任务名称，根据定义任务关系的代码，确定定义的任务关系是什么关系、根据定义任务的代码范围和定义任务关系的代码确定任务处于任务关系中的什么位置。
45.在图1所示的具体实施方式中，流程可视的分布式任务编排方法，包括步骤s103，根据任务和任务关系，调用流程图画图工具，画出各个任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线。该步骤使工作流程在页面前端清楚简洁的显示出来，使开发人员更好理解工作流程，更好知道工作流程的具体过程，使开发人员更好的进行工作流程的维护工作、更方便的进行工作流程的修改。
46.具体的，显示工具将编译器编译出的任务名称、执行流程和任务的执行情况按照流程的形式显示在前端页面的上。即将任务的任务名称或任务关系的主体内容显示在任务框内，将各任务和个任务关系之间执行的先后关系利用箭头线表示。
47.图2示出了本技术一种流程可视的分布式任务编排装置的具体实施方式。
48.在图2所示的具体实施方式中，流程可视的分布式任务编排装置主要包括：用于利用多个由预定语法加以结构化的语句，分别描述任务或任务关系的模块201；
49.用于由预定编译器，对语句进行解析，确定各个语句对应的任务或任务间关系的模块202；
50.用于根据任务和任务关系，调用流程图画图工具，画出任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线的模块203；
51.其中，任务包括简单任务和http任务，任务关系包括任务之间的串行、选择、循环；简单任务表示任务流程中需要执行的算法，http任务表示在分布式系统中需要调用地址中存放的相应内容。该具体实施方式，能够根据任务需求灵活的安排任务编排系统的功能模块，且能够将编排出的任务执行流程直观的显示出来，使开发人员在对所编排的任务进行
系统维护和修改时更加方便，避免了出错。
52.本技术提供的流程可视的分布式任务编排装置，可用于执行上述任一实施例描述的流程可视的分布式任务编排方法，其实现原理和技术效果类似，在此不再赘述。
53.图3示出了本技术一种流程可视的分布式任务编排系统的具体实施方式。
54.在图3所示的具体实施方式中，流程可视的分布式任务编排系统主要包括：多个由预定语法加以结构化的语句模块301，其用于分别描述任务或任务关系，其中，任务包括简单任务和http任务，任务关系包括任务之间的串行、选择、循环，简单任务表示任务流程中需要执行的算法，http任务表示调用在分布式系统中的地址中存放的相应内容；
55.预定编译器302，其用于对语句进行解析，确定各个语句对应的任务或任务间关系；
56.以及流程图画图工具303，其用于根据任务和任务关系被调用，画出任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线。
57.在本技术的一个具体实施例中，本技术的分布式任务编排系统在进行设计时不是以大而全为设计目标，而是在主功能模块的基础上，灵活的引入客户需求的模块为设计目标。即在任务编排系统中固定接入其对应的核心功能任务编排，其它的功能通过插件的方式插到核心功能上。
58.例如，核心的基础功能为任务编排模块，在任务编排模块这一核心功能上插入监控模块的插件、告警模块的插件、资源提供商的插件等，或插入其它用户自定义的插件以满足私人需求。
59.该具体实施例，能够使任务编排系统更加灵活，更加符合用户需求、占用的内存小，适用于更多的使用场景，在数据量较大或数据量较小时都更加适用。
60.本技术提供的流程可视的分布式任务编排系统，可用于执行上述任一实施例描述的流程可视的分布式任务编排方法，其实现原理和技术效果类似，在此不再赘述。
61.在本技术的另一个具体实施方式中，一种计算机可读存储介质，其存储有计算机指令，计算机指令被操作以执行上述实施例中描述的流程可视的分布式任务编排方法。
62.在本技术的一个具体实施例中，本技术一种流程可视的分布式任务编排方法中各功能模块可直接在硬件中、在由处理器执行的软件模块中或在两者的组合中。
63.软件模块可驻留在ram存储器、快闪存储器、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可装卸盘、cd-rom或此项技术中已知的任何其它形式的存储介质中。示范性存储介质耦合到处理器，使得处理器可从存储介质读取信息和向存储介质写入信息。
64.处理器可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)、现场可编程门阵列(英文：field programmable gate array，简称：fpga)或其它可编程逻辑装置、离散门或晶体管逻辑、离散硬件组件或其任何组合等。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如dsp与微处理器的组合、多个微处理器、结合dsp核心的一个或一个以上微处理器或任何其它此类配置。在替代方案中，存储介质可与处理器成一体式。处理器和存储介质可驻留在asic中。asic可驻留在用户终端中。在替代方案中，处理器和存储介质可作为
离散组件驻留在用户终端中。
65.在本技术的一个具体实施方式中，一种计算机设备，其包括：至少一个处理器；以及与至少一个处理器进行通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机指令，至少一个处理器操作计算机指令以执行上述实施例中描述的流程可视的分布式任务编排方法。
66.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
67.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
68.以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。

技术特征：
1.一种流程可视的分布式任务编排方法，其特征在于，包括：利用多个由预定语法加以结构化的语句，分别描述不同任务或任务关系；由预定编译器，对所述语句进行解析，确定各个所述语句对应的任务或任务间关系；以及，根据所述任务和任务关系，调用流程图画图工具，画出各个所述任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线；其中，所述任务包括简单任务和http任务，所述任务关系包括所述任务之间的串行、选择、循环；所述简单任务表示任务流程中需要执行的算法，所述http任务表示调用在分布式系统中的地址中存放的相应内容。2.根据权利要求1所述的流程可视的分布式任务编排方法，其特征在于，所述任务关系还包括所述任务的重试、跳过、终止、重启。3.根据权利要求1所述的流程可视的分布式任务编排方法，其特征在于，所述任务关系还包括简单并行和动态并行，所述简单并行表示在上一任务执行完之后需要执行预定的多个任务，所述动态并行表示需要根据上一任务执行完之后的输出结果确定下一需要的执行任务。4.根据权利要求1所述的流程可视的分布式任务编排方法，其特征在于，对所述任务进行描述的所述语句，包括可供编辑的任务名称、任务描述、任务输入参数以及任务类型。5.根据权利要求4所述的流程可视的分布式任务编排方法，其特征在于，对所述任务关系进行描述的语句，包括可供编辑的任务关系名称以及关系所涉及的任务的所述任务名称。6.根据权利要求4所述的流程可视的分布式任务编排方法，其特征在于，所述由预定编译器，对所述语句进行解析，确定各个所述语句对应的任务或任务间关系，包括：查找所述语句中的关键字，所述关键字包括所述任务名称或所述任务关系名称；以及根据查找的所述关键字，确定相应语句对应的任务或任务间关系。7.一种流程可视的分布式任务编排装置，其特征在于，包括：用于利用多个由预定语法加以结构化的语句，分别描述任务或任务关系的模块；用于由预定编译器，对所述语句进行解析，确定各个所述语句对应的任务或任务间关系的模块；以及用于根据所述任务和任务关系，调用流程图画图工具，画出所述任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线的模块；其中，所述任务包括简单任务和http任务，所述任务关系包括所述任务之间的串行、选择、循环；所述简单任务表示任务流程中需要执行的算法，所述http任务表示在分布式系统中需要调用地址中存放的相应内容。8.一种流程可视的分布式任务编排系统，其特征在于，多个由预定语法加以结构化的语句模块，其用于分别描述任务或任务关系，其中，所述任务包括简单任务和http任务，所述任务关系包括所述任务之间的串行、选择、循环，所述简单任务表示任务流程中需要执行的算法，所述http任务表示调用在分布式系统中的地址中存放的相应内容；
预定编译器，其用于对所述语句进行解析，确定各个所述语句对应的任务或任务间关系；以及流程图画图工具，其用于根据所述任务和任务关系被调用，画出所述任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线。9.一种计算机可读存储介质，其存储有计算机指令，其特征在于，所述计算机指令被操作以执行权利要求1-6中任一项所述的流程可视的分布式任务编排方法。10.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器进行通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机指令，所述至少一个处理器操作所述计算机指令以执行如权利要求1-6任一项所述的流程可视的分布式任务编排方法。

技术总结
本申请公开了一种流程可视的分布式任务编排方法、装置、介质及设备，属于大数据系统的任务编排技术领域。该方法主要包括：利用多个由预定语法加以结构化的语句，分别描述不同任务或任务关系；由预定编译器，对语句进行解析，确定各个语句对应的任务或任务间关系；以及，根据任务和任务关系，调用流程图画图工具，画出各个任务对应的任务框，以及各个任务框之间相应的任务关系对应的箭头线。本申请能够更加直观的显示任务流程，有利于研发人员更快的了解任务流程，减少了维护成本和修改成本。减少了维护成本和修改成本。减少了维护成本和修改成本。


技术研发人员：叶学辉 齐洪江 汪常玉
受保护的技术使用者：魔门塔（苏州）科技有限公司
技术研发日：2021.12.29
技术公布日：2023/7/13