数据处理的任务调度方法、装置、存储介质及系统与流程

1.本发明涉及任务调度领域，特别是涉及一种数据处理的任务调度方法、装置、存储介质及系统。


背景技术：

2.在物联网的数据处理中，从传感器上采集来的大量数据需要及时地被处理，由于数据量已远超过单机处理能力的极限，所以多采用集群方式组网以提高处理能力。比如，在集群在部署有多个计算节点，每个计算节点上部署有数据处理的一个步骤，在一个节点上完成对应步骤的数据处理后，将处理结果传输至下一个节点以进行相应步骤的数据处理。
3.现有技术的这种处理方法由于每一次处理的数据量都较大，且需要经过多个计算节点才能完成整体的计算步骤，因此，对网络传输的压力较大。
4.因此，如何在数据处理的同时减少网络传输的压力是一个亟待解决的问题。


技术实现要素：

5.鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据处理的任务调度方法、装置、存储介质及系统，用于解决现有技术中在数据处理的同时无法减少网络传输的压力的问题。
6.为实现上述目的及其他相关目的，本发明提供一种数据处理的任务调度方法，包括以下步骤：获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据。
7.于本发明的一实施例中，所述计算程序包括数据处理的各步骤程序。
8.于本发明的一实施例中，所述计算程序以文件的方式存储。
9.于本发明的一实施例中，所述基于所述计算程序处理所述数据之后，还包括：将处理后的数据结果直接传输至非计算节点上。
10.对应地，本发明提供一种数据处理的任务调度装置，包括：获取单元，用于获取待处理的数据和所述数据对应的计算程序；调度单元，用于将所述数据和所述计算程序调度到同一个网络节点上；处理单元，用于基于所述计算程序处理所述数据。
11.于本发明的一实施例中，所述计算程序包括数据处理的各步骤程序。
12.于本发明的一实施例中，所述计算程序以文件的方式存储。
13.于本发明的一实施例中，所述处理单元，还用于：将处理后的数据结果直接传输至非计算节点上。
14.本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的数据处理的任务调度方法。
15.本发明提供一种数据处理的任务调度系统，包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现上述的数据处理的任务调度方法。
16.如上所述，本发明的数据处理的任务调度方法及装置，具有以下有益效果：
17.(1)能够减少网络传输压力。
18.(2)能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。
附图说明
19.图1显示为本发明的数据处理的任务调度方法于一实施例中的流程图。
20.图2显示为本发明的数据处理的任务调度方法于一实施例中的场景实例图。
21.图3显示为本发明的数据处理的任务调度装置于一实施例中的结构示意图。
22.图4显示为本发明的数据处理的任务调度装置于一实施例中的任务调度系统图。
23.元件标号说明
24.31
ꢀꢀꢀꢀꢀꢀꢀꢀ
获取模块
25.32
ꢀꢀꢀꢀꢀꢀꢀꢀ
调度模块
26.33
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理模块
27.41
ꢀꢀꢀꢀꢀꢀꢀꢀ
处理器
28.42
ꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
具体实施方式
29.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
30.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
31.本发明的数据处理的任务调度方法及装置，能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。
32.如图1所示，于本实施例中，本发明的数据处理的任务调度方法包括以下步骤：
33.步骤s1、获取待处理的数据和所述数据对应的计算程序。
34.具体地，预先获取待处理的数据和数据对应的计算程序，其中，所述计算程序包括数据处理的各步骤程序；所述计算程序以文件的方式存储。
35.举例来说，如图2所示，于本实施例中，本发明的场景实例图，待处理的数据为b、c、d、e以及数据对应的计算程序b、计算程序c、计算程序d、计算程序e。
36.步骤s2、将所述数据和所述计算程序调度到同一个网络节点上。
37.举例来说，通过网络节点a，将数据b、c和数据对应的计算程序b、计算程序c调度到计算节点b上；通过网络节点a，将数据d、e和数据对应的计算程序d、e调度到计算节点d上。
38.步骤s3、基于所述计算程序处理所述数据。
39.举例来说，在计算节点b上，基于计算程序b处理数据b；基于计算程序c处理数据c；在计算节点d上，基于计算程序d处理数据d；基于计算程序e处理数据e。
40.进一步具体地，所述基于所述计算程序处理所述数据之后，还包括：将处理后的数据结果直接传输至非计算节点上。
41.举例来说，当在计算节点上执行计算程序处理好数据后，原网络上后续的计算节点可不用再进行计算处理，可将处理好后的数据直接传输至非计算节点上。
42.由上述步骤s1至s3的处理，通过获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据，从而能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。
43.如图3所示，于本实施例中，本发明的数据处理的任务调度装置包括：
44.获取单元31，用于获取待处理的数据和所述数据对应的计算程序；
45.调度单元32，用于将所述数据和所述计算程序调度到同一个网络节点上；
46.处理单元33，用于基于所述计算程序处理所述数据。
47.其中，所述计算程序包括数据处理的各步骤程序；所述计算程序以文件的方式存储。
48.本实施例的数据处理的任务调度装置具体实现的技术特征与实施例1中数据处理的任务调度方法中的各步骤的原理基本相同，方法和装置之间可以通用的技术内容不作重复赘述。
49.本发明的存储介质上存储有计算机程序，该程序被处理器执行时实现上述的数据处理的任务调度方法。
50.如图4所示，于本实施例中，本发明的数据处理的任务调度系统包括：处理器41及存储器42。
51.所述存储器42用于存储计算机程序。
52.所述存储器42包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
53.所述处理器41与所述存储器42相连，用于执行所述存储器42存储的计算机程序，以使所述电子设备执行上述的数据处理的任务调度方法。
54.优选地，上述的处理器41可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
55.综上所述，本发明的数据处理的任务调度方法及装置，能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
56.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

技术特征：
1.一种数据处理的任务调度方法，其特征在于，所述任务调度方法包括以下步骤：获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据。2.根据权利要求1所述的方法，其特征在于，所述计算程序包括数据处理的各步骤程序。3.根据权利要求1所述的方法，其特征在于，所述计算程序以文件的方式存储。4.根据权利要求1所述的方法，其特征在于，所述基于所述计算程序处理所述数据之后，还包括：将处理后的数据结果直接传输至非计算节点上。5.一种数据处理的任务调度装置，其特征在于，包括：获取单元，用于获取待处理的数据和所述数据对应的计算程序；调度单元，用于将所述数据和所述计算程序调度到同一个网络节点上；处理单元，用于基于所述计算程序处理所述数据。6.根据权利要求5所述的装置，其特征在于，所述计算程序包括数据处理的各步骤程序。7.根据权利要求5所述的装置，其特征在于，所述计算程序以文件的方式存储。8.根据权利要求5所述的装置，其特征在于，所述处理单元，还用于：将处理后的数据结果直接传输至非计算节点上。9.一种存储介质，存储有程序指令，其中，所述程序指令被执行时实现如权利要求1至权利要求4任一项所述的数据处理的任务调度方法的步骤。10.一种数据处理的任务调度系统，其特征在于：包括存储器，用于存储计算机程序；处理器，用于运行所述计算机程序以实现如权利要求1至权利要求4任一权利要求所述的数据处理的任务调度方法的步骤。

技术总结
本发明提供一种数据处理的任务调度方法，其特征在于，包括：获取待处理的数据和所述数据对应的计算程序；将所述数据和所述计算程序调度到同一个网络节点上；基于所述计算程序处理所述数据。本发明的数据处理的任务调度方法及装置，能够减少网络传输压力；并且能够减少数据在计算步骤中间传输数据的时间成本，提高网络传输效率。网络传输效率。网络传输效率。


技术研发人员：宁岩 赵大鹏
受保护的技术使用者：上海宽带技术及应用工程研究中心
技术研发日：2022.02.11
技术公布日：2023/8/24