分布式集群的性能测试方法及系统、存储介质和电子设备与流程

1.本公开涉及大数据技术领域，更具体地，涉及一种分布式集群的性能测试方法、分布式集群的性能测试系统、计算机存储介质和电子设备。


背景技术：

2.随着计算机和大数据技术的发展，为了处理海量数据的采集、存储、分析和计算等问题，分布式计算处理系统hadoop得到普遍关注，hadoop是一个能够对大量数据进行分布式处理的软件框架，hadoop框架可以在构成集群的多个计算机节点上使用，也可以在单一的计算机节点上使用。而随着大数据时代的到来，hadoop集群需要处理的数据越来越多，因此可以通过对hadoop集群进行性能测试来保证集群具有优良性能和执行效率。然而，相关技术中的大数据集群系统的测试仅关注于应用层面，而无法通过形成测试闭环实现对集群层面的性能测试。
3.需要说明的是，在上述背景技术部分发明的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

4.本公开的目的在于提供一种分布式集群的性能测试方法及系统、计算机存储介质和电子设备，进而至少在一定程度上解决相关技术的限制和缺陷导致的无法压测到分布式集群层面等问题。
5.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
6.根据本公开的一个方面，提供一种分布式集群的性能测试方法，应用于分布式集群系统，所述分布式集群系统包括数据节点和用于调度所述数据节点执行数据处理操作的中心节点，所述数据节点上部署有资源监控组件，所述方法包括：通过所述中心节点接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。
7.在本公开的一种示例性实施例中，所述通过所述中心节点接收测试任务并发送至所述数据节点，以通过所述数据节点执行所述测试任务，还包括：检查所述测试任务的操作用户与执行测试脚本写入的权限目录是否一致，以避免所述测试任务的执行过程出现报错。
8.在本公开的一种示例性实施例中，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行集群写操作测试任务的第一资源使用信息；通过所述资源监控组件获取所述数据节点执行集群读操作测试任务的第二资源使用信息，所述集群读操作测试任务使用所述集群写操作
测试任务写入的数据进行测试。
9.在本公开的一种示例性实施例中，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行排序测试任务的第三资源使用信息；通过所述数据节点执行所述排序测试任务的过程，包括：生成用于进行排序测试的随机数，并将所述随机数分配至多个排序子任务；并行执行所述多个排序子任务，以对生成的随机数运行排序；对所述随机数运行排序的排序结果进行校验；其中，调整所述排序子任务的数量，得到不同的测试场景，以在所述不同的测试场景执行所述排序测试任务。
10.在本公开的一种示例性实施例中，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行压力测试任务的第四资源使用信息；通过所述数据节点执行所述压力测试任务的过程，包括：生成预设数量的压测子任务；通过各所述压测子任务向所述中心节点发起目标操作请求；所述中心节点响应所述目标操作请求并调度所述数据节点进行处理。
11.在本公开的一种示例性实施例中，所述目标操作请求的类型至少包括列出路径下的文件和目录、创建目录操作、重命名文件操作、读取文件内容操作、追加写文件操作、删除文件操作和创建文件操作，且所述压力测试任务通过压测子任务发起的目标操作请求的类型随机出现。
12.在本公开的一种示例性实施例中，所述根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整，包括：根据所述资源使用信息和所述测试任务对应的任务配置信息，生成调优任务；对所述调优任务进行测试，得到所述调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。
13.在本公开的一种示例性实施例中，所述根据所述资源使用信息和所述测试任务对应的任务配置信息，生成调优任务，包括：对所述资源使用信息和任务配置信息进行比对分析，并根据对比分析结果，从所述资源使用信息和任务配置信息中确定所述测试任务对应的测试参数分布特征信息；根据所述测试参数分布特征信息，生成所述调优任务。
14.在本公开的一种示例性实施例中，所述对所述调优任务进行测试，得到所述调优参数，并根据所述调优参数对所述分布式集群的参数进行调整，包括：通过所述资源监控组件获取所述数据节点执行所述调优任务的第五资源使用信息；若所述第五资源使用信息符合预设的资源使用范围，则确定所述调优任务对应的测试参数为所述调优参数，并根据所述调优参数对所述分布式集群的参数进行调整；若所述第五资源使用信息不符合预设的资源使用范围，则根据所述资源使用信息和所述测试任务对应的任务配置信息，重新生成所述调优任务并进行测试。
15.根据本公开的一个方面，提供一种分布式集群的性能测试系统，包括分布式集群系统中的中心节点和数据节点；所述中心节点用于接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；所述中心节点通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。
16.在本公开的一种示例性实施例中，所述中心节点包括：任务分发模块，用于接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；资源监控模块，用于通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；调优模块，用于根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。根据本公开的一个方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的分布式集群的性能测试方法。
17.根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的分布式集群的性能测试方法。
18.本公开的示例性实施例中的分布式集群的性能测试方法，通过中心节点接收测试任务并发送至数据节点，并通过部署于数据节点上的资源监控组件获取数据节点执行测试任务的资源使用信息，以根据资源使用信息和测试任务对应的任务配置信息确定测试任务的调优参数，根据调优参数对分布式集群系统的参数进行调整。本公开通过部署于数据节点上的资源监控组件获取执行测试任务过程中的资源使用信息，以根据资源使用信息和任务配置信息确定调优参数，对分布式集群的参数进行调整，通过形成测试、调优的闭环测试流程，实现分布式集群层面的性能测试，从而通过集群层面的性能测试来保证集群具有优良性能和执行效率。
19.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
20.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
21.图1示出了根据本公开示例性实施例的分布式集群的性能测试方法的流程图；
22.图2示出了根据本公开示例性实施例的进行数据节点执行集群写操作测试任务和集群读操作测试任务的流程图；
23.图3示出了根据本公开示例性实施例的进行数据节点执行排序测试任务的流程图；
24.图4示出了根据本公开示例性实施例的进行数据节点执行压力测试任务的流程图；
25.图5示出了根据本公开示例性实施例的根据调优参数对分布式集群系统的参数进行调整的流程图；
26.图6示出了根据本公开示例性实施例的分布式集群的性能测试系统的结构示意图；
27.图7示出了根据本公开示例性实施例的中心节点的结构示意图；
28.图8示出了根据本公开示例性实施例的存储介质的示意图；以及
29.图9示出了根据本公开示例性实施例的电子设备的框图。
30.在附图中，相同或对应的标号表示相同或对应的部分。
具体实施方式
31.现在将参考附图更全面地描述示例性实施方式。然而，示例性实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例性实施方式的构思全面地传达给本领域的技术人员。图中相同的附图标记表示相同或类似的结构，因而将省略它们的详细描述。
32.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免模糊本公开的各方面。
33.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
34.在本公开示例性实施例中，首先提供了一种分布式集群的性能测试方法，应用于分布式集群系统，该分布式集群系统包括数据节点和用于调度数据节点执行数据存储操作的中心节点，其中数据节点上部署有资源监控组件。其中，在本公开的示例性实施中，分布式hadoop集群系统可以包括至少4台服务器构成1+3的集群，其中1+3的hadoop集群为1台中心节点服务器和3台数据节点服务器，并且在本公开的示例性实施例中，数据节点服务器的数量可根据实际需求进行自定义设定，本公开对此不做特殊限定。
35.参考图1所示，本公开的分布式集群的性能测试方法包括以下步骤：
36.步骤s110：通过中心节点接收测试任务并发送至数据节点，以由数据节点执行所述测试任务；
37.步骤s120：通过资源监控组件获取数据节点执行测试任务的资源使用信息；
38.步骤s130：根据资源使用信息和测试任务对应的任务配置信息，确定测试任务的调优参数，并根据调优参数对分布式集群系统的参数进行调整。
39.根据本示例实施例中的分布式集群的性能测试方法，通过部署于数据节点上的资源监控组件获取执行测试任务过程中的资源使用信息，以根据资源使用信息和任务配置信息确定调优参数，对分布式集群的参数进行调整，通过形成测试、调优的闭环测试流程，实现分布式集群层面的性能测试，从而通过集群层面的性能测试来保证集群具有优良性能和执行效率。
40.下面对本公开示例性实施例中的分布式集群的性能测试方法进行进一步的说明。
41.在步骤s110中，通过中心节点接收测试任务并发送至数据节点，以由数据节点执行测试任务。
42.在本公开的示例性实施例中，分布式集群部署架构包括一个中心节点namenode和具有预设数量的数据节点datanode，例如包括至少3个数据节点datanode。中心节点为中心服务器，负责管理文件系统的名字空间(namespace)和客户端对文件的访问，以及集群中与
存储相关的调度，如通过调度数据节点来执行测试任务。集群中的数据节点负责管理它所在节点上的存储。也就是说，中心节点维护了整个文件系统的元数据信息，中心节点在文件系统启动时动态地加载文件至内存中以响应客户端的读写请求等，而数据节点则用来执行具体的存储任务，即在执行层面中心节点会将测试任务分发至数据节点来执行数据处理操作，并且通过部署在数据节点的资源监控组件获取数据节点执行测试任务的资源使用信息。另外，数据节点也会定时通过心跳向中心节点报告自身的状态。
43.在一示例性实施例中，资源监控组件例如可以为nmon工具，nmon工作可以帮助在一个屏幕上显示所有的性能优化信息，并动态对其进行更新。利用nomn工具至少可以监控cpu使用率、内存使用情况、内核统计信息和运行队列信息、磁盘i/o速度、传输和读/写比率、文件系统中的可用空间、网络i/o速度、传输和读/写比率等。其中，资源监控工具的采集频率可根据具体测试任务设定，例如每5秒采集一次，共采集60次，等等，本公开对此不做特殊限定。
44.在公开的示例性实施例中，在进行分布式集群的性能测试之前，先清除系统缓存，以避免由于存在的缓存文件干扰测试结果的准确性。
45.在一示例性实施例中，通过中心节点执行测试任务的过程中，还可以检查测试任务的操作用户与执行测试脚本写入的权限目录是否一致，由于运行程序通常使用hdfs(hadoop distributed file system,分布式文件系统)身份运行，但是如果没有在执行测试任务的过程中写入权限目录(result文件的权限)，则测试过程就会出现报错。因此，在通过中心节点执行测试任务的过程中，还可以检查测试任务的操作用户与执行测试脚本写入的权限目录是否一致，以确保测试任务的顺利执行。
46.在本公开的示例性实施例中，中心节点执行的测试任务至少包括集群写操作测试任务和集群读操作测试任务(如基准测试dfsio测试任务)、排序测试任务(如基准测试terasort测试任务)和排序测试任务(如基准测试slive测试任务)。其中，集群写操作测试任务和集群读操作测试任务通过在中心节点执行写压测、读压测脚本，如测试hadoop文件系统通过mapreduce(计算框架)方式处理作业的io性能，处理过程中通过调用mapreduce作业来并发地执行读写操作，每个测试子任务(map任务)通过执行map函数处理完成一个任务，用于读或写每个文件；对执行完map函数后获得的执行结果执行reduce函数处理，完成一个reduce函数处理完成一个reduce任务，reduce任务还用于累积统计信息并产生统计总结。排序测试任务是在集群资源不成为瓶颈时，通过启动多个排序子任务(map)进行并行排序，提高并发处理能力，例如基准测试terasort。压力测试任务用于进行极限情况下的压力测试，例如可以通过模拟大量的数据通信量或服务请求，测试集群在极大业务量的情况下的性能表现，例如基准测试slivetest。在公开的示例性实施例的分布式集群的性能测试方法中，可以分别进行以上三种测试任务，并通过部署在数据节点的资源监控组件获取基准测试任务过程中的资源使用信息。
47.在步骤s120中，通过资源监控组件获取数据节点执行测试任务的资源使用信息。
48.在本公开的示例性实施例中，可以通过资源监控组件获取数据节点执行集群写操作测试任务的第一资源使用信息、数据节点执行集群读操作测试任务的第二资源使用信息、数据节点执行排序测试任务的第三资源使用信息和数据节点执行压力测试任务的第四资源使用信息中的至少一种。
49.在一示例性实施例中，集群读操作测试任务使用集群写操作测试任务写入的数据进行测试，即读数据的场景可以使用写入的数据进行测试，通过写操作和读操作的场景串联，提高分布式集群的测试效率。
50.图2示出了根据本公开的示例性实施例的进行数据节点执行集群写操作测试任务和集群读操作测试任务的流程图，如图2所示，该过程包括如下步骤：
51.在步骤s210中，登陆hadoop服务器。
52.在步骤s220中，检测服务器是否存在缓存，并在存在缓存的情况下将缓存文件进行清除。
53.在步骤s230中，在中心节点上部署资源监控工具nmon。
54.在步骤s240中，中心节点执行testdfsio测试脚本(如testdfsio测试脚本)进行集群并发写操作，例如通过执行测试脚本写入100个512mb的文件。在测试过程中，中心节点将测试任务分发至数据节点进行执行，并通过资源监控工具获取数据节点执行测试任务的资源使用信息，如收集写操作和服务器资源数据等。
55.在步骤s250中，清除系统缓存文件，此过程中可以进行自动化清理。
56.在步骤s260中，通过执行测试脚本进行集群并发读操作，并发读操作的测试可以使用写入的hdfs数据进行测试，并通过资源监控工具获取数据节点执行测试任务的资源使用信息，例如收集读操作和服务器资源数据等。
57.在步骤s270中，将所有的测试数据进行清除，结束当前的测试任务。
58.通过写场景和读场景的串联，实现压测到集群层面的目的，同时通过资源监控工具能够全面且准确地获得hadoop集群的性能测试过程中的各类资源使用信息，不仅提高测试效率，也方便后续根据获取的资源使用信息及时进行性能调优，以确保大数据集群的运行优良性能和执行效率。
59.图3示意性的示出了根据本公开的示例性实施例的进行数据节点执行排序测试任务的流程图，如图3所示，该过程包括如下步骤：
60.在步骤s310中，登陆hadoop服务器。
61.在步骤s320中，检测服务器是否存在缓存，并在存在缓存的情况下将缓存文件进行清除。
62.在步骤s330中，在中心节点上部署资源监控工具nmon。
63.在步骤s340中，中心节点执行测试脚本进行生成用于进行排序测试的随机数，并将随机数分配至多个排序子任务，然后并行执行多个排序子任务，以对生成的随机数运行排序，并通过资源监控工具获取数据节点执行排序测试任务的资源使用信息，如收集每个排序子任务并行排序(并发)的资源使用数据和服务器资源数据等。
64.在步骤s350中，对随机数运行排序的排序结果进行校验。
65.在步骤s360中，最后将所有的测试数据进行清除，结束当前的测试任务。
66.需要说明的是，上述步骤s340中，在生成随机数时，可以控制生成的排序子任务和数据块大小，以同时启动多个排序子任务进行并行排序，通过改变生成排序子任务的数量，得到不同的测试场景从而可以检验多种测试场景下的数据处理能力。例如，可以通过测试脚本执行写入100个10g大小的文件，每个文件的数据块(blocksize)是128mb，通过控制生成文件个数，文件大小，虽然数据总量是一样的，但是排序时间存在差异。在集群资源不成
为瓶颈的时候，文件越零碎，可以通过启动更多的排序子任务并行排序，提高并发度，即进行排序的总耗时降低。
67.图4示意性的示出了根据本公开的示例性实施例的进行数据节点执行压力测试任务的流程图，如图4所示，该过程包括如下步骤：
68.在步骤s410中，登陆hadoop服务器。
69.在步骤s420中，检测服务器是否存在缓存，并在存在缓存的情况下将缓存文件进行清除。
70.在步骤s430中，在中心节点上部署资源监控工具nmon。
71.在步骤s440中，中心节点执行测试脚本进行压测子任务(map任务)的生成操作，通过各压测子任务向中心节点发起目标数量的目标操作请求，通过中心节点将调度数据节点进行处理，以通过资源监控工具获取响应该目标操作请求对应的第四资源使用信息，如收集每个压测子任务发起的目标操作请求和服务器资源数据等。其中，目标数量可根据实际测试需求设定，可以以接近集群处理极限的情况下增大目标数量，但需确保集群不会出现宕机或崩溃等情况。
72.在步骤s450中，最后将所有的测试数据进行清除，结束当前的测试任务。
73.其中，压力测试任务通过生成预设数量的压测子任务发起目标操作请求，以根据响应目标操作请求对应的资源使用信息对中心节点进行性能测试。任一目标操作请求包括但不限于包括预设的请求次数、目标操作请求操作占总操作的百分比、读写数据量和数据块尺寸。
74.在本公开的示例性实施例中，目标操作请求的类型至少包括列出路径下的文件和目录、创建目录操作、重命名文件操作、读取文件内容操作、追加写文件操作、删除文件操作和创建文件操作。其中，压力测试任务通过压测子任务发起的目标操作请求的类型是随机出现的。
75.通过本示例性实施例，可以在多个压测子任务多线程下压测中心节点，从而可以将中心节点的极限性能完全耗尽，从而实现极限情况下对中心节点的性能测试。
76.在步骤s130中，根据资源使用信息和测试任务对应的任务配置信息，确定测试任务的调优参数，并根据调优参数对分布式集群系统的参数进行调整。
77.在本公开的示例性实施例中，测试任务对应的配置信息包括但不限于中心节点的服务器线程数量、数据节点的服务器线程数量、中心节点可以同时处理的数据传输连接数、“过时”的数据节点的处理方式、每个数据节点用于平衡的最大带宽、hdfs可使用每个数据硬盘的空间、hdfs数据的大小、hdfs数据的存储目录、hdfs文件缓冲区的大小等在测试任务执行前的相关配置信息。资源使用信息为能够反映测试任务执行过程中的hadoop集群的实际运行情况的相关信息。
78.在本公开的示例性实施例中，可以根据资源使用信息和测试任务对应的任务配置信息，生成调优任务，并对调优任务进行测试，得到调优参数，并根据调优参数对分布式集群的参数进行调整。为了避免对分布式集群的参数调整对分布式集群的正常运行产生影响，因此可以先根据资源使用信息和任务配置信息生成调优任务，通过对调优任务进行测试来确定调优参数，由于资源使用信息来自对分布式集群执行的测试任务，而配置信息来自分布式集群的真实配置信息，因此结合这两个信息得到的调优任务，能够还原出符合分
布式集群真实运行情况的调优任务。
79.在一示例性实施例中，可以对资源使用信息和任务配置信息进行比对分析，以根据对比分析结果，从资源使用信息和任务配置信息中确定测试任务对应的测试参数分布特征信息，并根据测试参数分布特征信息生成调优任务。其中，可以通过将资源使用信息和任务配置信息进行比对分析，确定分布式集群(hadoop集群)测试任务对应的测试参数分布特征信息，例如，可以确定中心节点的服务器线程的数量区间、可以同时处理的数据传输连接数的数量区间，等等，通过比对，将测试参数确定在一个合理的区间分布范围内。
80.可选地，可以提前配置参数比对结果和测试参数推荐范围的映射关系，在将资源使用信息和任务配置信息进行比对分析后，根据比对分析结果从该映射关系中确定测试参数的分布范围。
81.在一示例性实施例中，在根据测试参数分布特征信息生成调优任务后，可以通过如下步骤对调优任务进行测试得到调优参数，并根据调优参数对分布式集群的参数进行调整。如图5示出了根据本公开的示例性实施例的根据调优参数对分布式集群系统的参数进行调整的流程图，如图5，该过程包括：
82.在步骤s510中，通过资源监控组件获取数据节点执行调优任务的第五资源使用信息。在本示例性实施例中，通过资源监控组件获取数据节点执行测试任务的资源使用信息，该过程同步骤s110至步骤s120，在此不再赘述。
83.在步骤s520中，若第五资源使用信息符合预设的资源使用范围，则确定调优任务对应的测试参数为调优参数，并根据调优参数对分布式集群的参数进行调整。
84.在本示例性实施例中，可以预先根据当前hadoop集群的实际情况，预设资源使用范围，从而可以将第五资源使用信息与预设的资源使用范围进行比对，若符合，则确定该调优任务对应的测试参数符合当前的hadoop集群的运行条件，能够使当前的hadoop集群具有优良性能和执行效率，则确定调优任务对应的测试参数为调优参数，以根据调优参数对hadoop集群数进行调整。
85.在步骤s530中，若第五资源使用信息不符合预设的资源使用范围，则根据测试参数分布特征信息，重新生成调优任务并进行测试。
86.在本示例性实施例中，若第五资源使用信息不符合预设的资源使用范围，则说明根据测试参数分布特征信息确定的调优任务中的测试参数并不能满足当前的hadoop集群的良好运行和执行性能，从而可以根据测试参数分布特征信息，重新生成调优任务并进行测试，直到通过资源监控组件获取数据节点执行调优任务的第五资源使用信息符合预设的资源使用范围，才将调优任务对应的测试参数为调优参数，以根据调优参数对hadoop集群数进行调整。在此过程中，可以动态地生成调优任务、进行测试、验证测试结果形成调优闭环，在反复调试过程中实现对当前的hadoop集群性能的调优，以使hadoop集群能够具有良好运行和执行性能。
87.在本公开的示例性实施例中，还提供了一种分布式集群的性能测试系统，参考图6所示，该分布式集群的性能测试系统600可以包括分布式集群系统中的中心节点610和数据节点620。具体地，
88.中心节点610，用于接收测试任务并发送至数据节点620，以由数据节点620执行测试任务；
89.其中，中心节点610通过资源监控组件获取数据节点620执行测试任务的资源使用信息，根据资源使用信息和测试任务对应的任务配置信息，确定测试任务的调优参数，并根据调优参数对分布式集群系统的参数进行调整。
90.在一示例性实施例中，如图7所示，中心节点还可以包括：
91.任务分发模块710，用于接收测试任务并发送至数据节点620，以由数据节点620执行测试任务；资源监控模块720，用于通过资源监控组件获取数据节点620执行测试任务的资源使用信息；调优模块730，用于根据资源使用信息和测试任务对应的任务配置信息，确定测试任务的调优参数，并根据调优参数对分布式集群系统的参数进行调整。
92.由于本公开的示例性实施例的分布式集群的性能测试系统的各个功能模块与上述分布式集群的性能测试方法的发明实施例中相同，本公开的示例性实施例的分布式集群的性能测试系统的各个功能模块与上述分布式集群的性能测试方法的发明实施例中相同，因此在此均不再赘述。
93.应当注意，尽管在上文详细描述中提及了分布式集群的性能测试系统的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
94.此外，在本公开示例性实施方式中，还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
95.参考图8所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
96.所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
97.计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
98.可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
99.可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
100.此外，在本公开的示例性实施例中，还提供了一种能够实现上述方法的电子设备。所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
101.下面参照图9来描述根据本公开的这种实施例的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
102.如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。
103.其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。
104.存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(rom)923。
105.存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
106.总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
107.电子设备900也可以与一个或多个外部设备1000(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
108.通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例
可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
109.此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
110.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
111.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

技术特征：
1.一种分布式集群的性能测试方法，其特征在于，应用于分布式集群系统，所述分布式集群系统包括数据节点和用于调度所述数据节点执行数据处理操作的中心节点，所述数据节点上部署有资源监控组件，所述方法包括：通过所述中心节点接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。2.根据权利要求1所述的方法，其特征在于，所述通过所述中心节点接收测试任务并发送至所述数据节点，以通过所述数据节点执行所述测试任务，还包括：检查所述测试任务的操作用户与执行测试脚本写入的权限目录是否一致，以避免所述测试任务的执行过程出现报错。3.根据权利要求1所述的方法，其特征在于，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行集群写操作测试任务的第一资源使用信息；通过所述资源监控组件获取所述数据节点执行集群读操作测试任务的第二资源使用信息，所述集群读操作测试任务使用所述集群写操作测试任务写入的数据进行测试。4.根据权利要求1所述的方法，其特征在于，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行排序测试任务的第三资源使用信息；通过所述数据节点执行所述排序测试任务的过程，包括：生成用于进行排序测试的随机数，并将所述随机数分配至多个排序子任务；并行执行所述多个排序子任务，以对生成的随机数运行排序；对所述随机数运行排序的排序结果进行校验；其中，调整所述排序子任务的数量，得到不同的测试场景，以在所述不同的测试场景下执行所述排序测试任务。5.根据权利要求1所述的方法，其特征在于，所述通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，包括：通过所述资源监控组件获取所述数据节点执行压力测试任务的第四资源使用信息；所述压力测试任务的执行过程，包括：生成预设数量的压测子任务；通过各所述压测子任务向所述中心节点发起目标数量的目标操作请求；所述中心节点响应所述目标操作请求并调度所述数据节点进行处理。6.根据权利要求5所述的方法，其特征在于，所述目标操作请求的类型至少包括列出路径下的文件和目录、创建目录操作、重命名文件操作、读取文件内容操作、追加写文件操作、删除文件操作和创建文件操作，且所述压力测试任务通过压测子任务发起的目标操作请求的类型随机出现。7.根据权利要求1所述的方法，其特征在于，所述根据所述资源使用信息和所述测试任
务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整，包括：根据所述资源使用信息和所述测试任务对应的任务配置信息，生成调优任务；对所述调优任务进行测试，得到所述调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。8.根据权利要求7所述的方法，其特征在于，所述根据所述资源使用信息和所述测试任务对应的任务配置信息，生成调优任务，包括：对所述资源使用信息和任务配置信息进行比对分析，并根据对比分析结果，从所述资源使用信息和任务配置信息中确定所述测试任务对应的测试参数分布特征信息；根据所述测试参数分布特征信息，生成所述调优任务。9.根据权利要求7所述的方法，其特征在于，所述对所述调优任务进行测试，得到所述调优参数，并根据所述调优参数对所述分布式集群的参数进行调整，包括：通过所述资源监控组件获取所述数据节点执行所述调优任务的第五资源使用信息；若所述第五资源使用信息符合预设的资源使用范围，则确定所述调优任务对应的测试参数为所述调优参数，并根据所述调优参数对所述分布式集群的参数进行调整；若所述第五资源使用信息不符合预设的资源使用范围，则根据所述资源使用信息和所述测试任务对应的任务配置信息，重新生成所述调优任务并进行测试。10.一种分布式集群的性能测试系统，其特征在于，包括分布式集群系统中的中心节点和部署有资源监控组件的数据节点；所述中心节点用于接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；所述中心节点通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息，根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。11.根据权利要求10所述的系统，其特征在于，所述中心节点包括：任务分发模块，用于接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务；资源监控模块，用于通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；调优模块，用于根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。12.一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现根据权利要求1至9中任一项所述的分布式集群的性能测试方法。13.一种电子设备，其特征在于，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至9中任一项所述的分布式集群的性能测试方法。

技术总结
本公开涉及计算机技术领域，涉及了一种分布式集群的性能测试方法及装置、存储介质和电子设备。该方法包括：通过中心节点接收测试任务并发送至所述数据节点，以由所述数据节点执行所述测试任务，所述数据节点上部署有资源监控组件；通过所述资源监控组件获取所述数据节点执行所述测试任务的资源使用信息；根据所述资源使用信息和所述测试任务对应的任务配置信息，确定所述测试任务的调优参数，并根据所述调优参数对所述分布式集群系统的参数进行调整。本公开通过形成测试闭环实现分布式集群层面的性能测试。层面的性能测试。层面的性能测试。


技术研发人员：杨杨
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2022.01.25
技术公布日：2023/8/5