存储集群管控方法、装置、设备和存储介质与流程

1.本发明涉及数据存储技术领域，具体涉及一种存储集群管控方法、装置、设备和存储介质。


背景技术：

2.目前若存储集群需要扩展存储空间，则需要将多台扩展柜分别连接到多台集中式存储设备上；如四控存储集群需要扩展存储空间时，需要准备两台或两台以上的硬盘扩展柜，分别连接到两台双控存储设备上。因此，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低。


技术实现要素：

3.有鉴于此，本发明提供了一种存储集群管控方法、装置、设备和存储介质，以解决现有存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的问题。
4.第一方面，本发明提供了一种存储集群管控方法，该方法包括：对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组；其中，共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜；当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息；其中，配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。通过上述过程，可以在非双活环境下，使用共享硬盘扩展柜提高集中式存储集群的可靠性和磁盘空间利用率。
5.在一种可选的实施方式中，确定共享硬盘扩展柜与归属组间满足第一类型事例，包括：
6.获取归属组中所有存储节点与共享硬盘扩展柜的连接数；
7.当归属组中所有存储节点均连接至所述共享硬盘扩展柜时，确定共享硬盘扩展柜与归属组间满足第一类型事例；
8.和/或，当归属组中部分存储节点连接至共享硬盘扩展柜，且部分存储节点与共享硬盘扩展柜的连接数大于等于阈值时，确定共享硬盘扩展柜与归属组间满足第一类型事例。
9.在一种可选的实施方式中，确定共享硬盘扩展柜的归属组满足第一类型事例之后，该方法还包括：
10.当与共享硬盘扩展柜连接的归属组中部分存储节点均连接异常，或连接数小于阈值时，将共享硬盘扩展柜的归属组切换为另一归属组；
11.当与共享硬盘扩展柜连接的归属组中部分存储节点均恢复连接，或连接数大于等于阈值时，将共享硬盘扩展柜由另一归属组切换为归属组。
12.在一种可选的实施方式中，确定共享硬盘扩展柜的归属组满足第一类型事例之后，该方法还包括：
13.当与共享硬盘扩展柜连接的归属组中部分存储节点存在连接故障时，增加归属组恢复连接的存储节点，和/或恢复另一归属组与共享硬盘扩展柜的连接；
14.其中，连接故障用于表征无存储节点连接至共享硬盘扩展柜，或剩余的部分存储节点与共享硬盘扩展柜的连接数小于阈值。
15.在一种可选的实施方式中，对纳管的共享硬盘扩展柜进行归属配置之后，该方法还包括：
16.当共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息；
17.其中，配置失败的指示信息用于指示共享硬盘扩展柜的归属组配置失败。
18.在一种可选的实施方式中，确定共享硬盘扩展柜与归属组间满足第二类型事例，包括：
19.当归属组中部分存储节点连接至共享硬盘扩展柜且部分存储节点与共享硬盘扩展柜的连接数小于阈值时，确定共享硬盘扩展柜与归属组间满足第二类型事例。
20.在一种可选的实施方式中，该方法还包括：
21.当共享硬盘扩展柜处于空闲状态时，存储共享硬盘扩展柜中数据；
22.删除纳管的共享硬盘扩展柜的所有信息，解除对共享硬盘扩展柜纳管；
23.当解除纳管的共享硬盘扩展柜与归属组中各存储节点间的连接仍存在，将共享硬盘扩展柜的状态置为待纳管状态；
24.当解除纳管的共享硬盘扩展柜与归属组中各存储节点间的连接断开，将共享硬盘扩展柜的状态置为不可见状态。
25.第二方面，本发明提供了一种存储集群管控装置，该管控装置主要包括：归属组配置模块、配置信息指示模块；其中，归属组配置模块用于对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组，其中共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜；配置信息指示模块用于当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息，其中配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。通过上述过程，可以在非双活环境下，使用共享硬盘扩展柜提高集中式存储集群的可靠性和磁盘空间利用率。
26.第三方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的存储集群管控方法。
27.第四方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的存储集群管控方法。
附图说明
28.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前
提下，还可以根据这些附图获得其他的附图。
29.图1是本发明实施例的一种应用环境的示意图；
30.图2是本发明实施例的存储集群管控方法的流程示意图；
31.图3是本发明实施例的另一存储集群管控方法的流程示意图；
32.图4是本发明实施例的又一存储集群管控方法的流程示意图；
33.图5是本发明实施例的再一存储集群管控方法的数据流示意图；
34.图6是本发明实施例的存储集群管控装置的结构框图；
35.图7是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本发明实施例不做限制。
38.请参阅图1，图1是本发明实施例提供的一种应用环境的示意图，该示意图包括共享硬盘扩展柜100和存储服务器200，共享硬盘扩展柜100和存储服务器200之间通过物理链路连接。其中，存储服务器200接收到共享硬盘扩展柜100上传的接入请求后，可对其进行纳管，并对纳管后的共享硬盘扩展柜100进行归属配置，最终在共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。
39.具体的，存储服务器200获取共享硬盘扩展柜100发起的接入请求后。然后，存储服务器200可以对发起接入请求的共享硬盘扩展柜进行纳管，并对纳管后的共享硬盘扩展柜100进行归属配置，以得到该共享硬盘扩展柜的归属组，最终在共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。其中，配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。
40.本技术实施例中，对纳管的共享硬盘扩展柜进行归属配置的可以是如图1所示的存储服务器200，还可以是和存储服务器有同样的功能的其他计算机终端，或者类似的运算设备。进一步的，该存储服务器200可以替换为一个服务器系统、运算平台或者包含多台服务器的服务器集群。
41.根据本发明实施例，提供了一种存储集群管控方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
42.在本实施例中提供了一种存储集群管控方法，可用于上述的共享硬盘扩展柜，图2
是根据本发明实施例的存储集群管控方法的流程图，如图2所示，该流程包括如下步骤：
43.步骤s201，对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组。
44.本实施例中，首先在接收到共享硬盘扩展柜发起的接入请求时，将该共享硬盘扩展柜进行纳管，并对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组，为后续对共享硬盘扩展柜的管控提供必要条件。该共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜。
45.硬盘扩展柜为存储服务器外接的扩展设备，可直接为存储服务器提供额外的数据存储空间。目前的一台硬盘扩展柜多含有两个扩展柜节点，组成冗余结构，每个扩展柜节点仅能进行物理链路的联通和底层信号处理，无计算功能，即没有cpu、内存、系统硬盘等设备。每个扩展柜节点均含有两组外接口，一组为输入(in)口，用于连接存储节点的输出(out)口；另一组为out口，用于连接下一级硬盘扩展柜的in口。每台集中式存储服务器多含有两个存储节点，每个存储节点可视为一个计算机，通过外接卡可以扩展出多个out口。因此，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低。其中，共享硬盘扩展柜的归属组，是存储集群的一种属性，通常同一个存储集群中不能存在两台相同归属组的存储设备。
46.一种可选的实施方式中，在分别具有一个in口和一个out口的硬盘扩展柜的扩展柜节点中增加一个in口，实现单硬盘扩展柜上存在两组in口和一组out口。然后创建针对额外增加的那组in口与主板底层管理芯片的物理连接通道，使该组in口也可以正常进行数据通信；变更扩充in口后的硬盘扩展柜的型号标识(如共享硬盘扩展柜)，用以同普通的硬盘扩展柜区分。此时，存储集群检测到有接入的硬盘扩展柜后，会检查该硬盘扩展柜型号的标识，判断其为普通硬盘扩展柜还是共享硬盘扩展柜，若检测为普通硬盘扩展柜，则仍以原管控逻辑进行管控，若检测为共享硬盘扩展柜，则对纳管的共享硬盘扩展柜进行归属配置，即对纳管的共享硬盘扩展柜所归属的存储集群的存储节点进行分组，以得到该共享硬盘扩展柜的归属组。可以理解的，上述扩展柜节点中增加一个in口只是举例，新增的in口数量，或者新增out口的数据，均可根据实际应用需求进行调整。
47.步骤s202，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。
48.本实施例中，当对纳管的共享硬盘扩展柜进行归属配置得到该共享硬盘扩展柜的归属组后，可对由该共享硬盘扩展柜参与的存储集群通信进行管控，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。该配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。即本实施例中的共享硬盘扩展柜与归属组间存在部分事例提醒时(如共享硬盘扩展柜与归属组中的存储节点存在连接不完全而触发事例提醒的状况)仍可进行业务下发，能够避免存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的状况。
49.可选的，共享硬盘扩展柜与归属组间满足的第一类型事例可以为归属组中所有存储节点均连接至共享硬盘扩展柜，和/或，归属组中部分存储节点连接至共享硬盘扩展柜且
部分存储节点与共享硬盘扩展柜的连接数大于等于阈值时。即，共享硬盘扩展柜处于联机状态，与共享硬盘扩展柜连接的所有存储节点均可与该共享硬盘扩展柜进行通信，此时判定共享硬盘扩展柜与归属组间满足第一类型事例；和/或，与共享硬盘扩展柜连接的部分存储节点可与该共享硬盘扩展柜进行通信，且与共享硬盘扩展柜连接的部分存储节点的连接数大于等于阈值，此时判定共享硬盘扩展柜与归属组间满足第一类型事例。其中，上述阈值为满足通信要求的连接数，可根据实际需求进行调整。
50.本实施例提供的存储集群管控方法，对纳管的共享硬盘扩展柜进行归属配置，以得到该共享硬盘扩展柜的归属组，且该共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜，为后续对共享硬盘扩展柜的管控提供必要条件；当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息，该配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发，以避免存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的状况；可以在非双活环境下，使用共享硬盘扩展柜提高集中式存储集群的可靠性和磁盘空间利用率。
51.在本实施例中提供了一种存储集群管控方法，可用于上述的共享硬盘扩展柜，图3是根据本发明实施例的存储集群管控方法的流程图，如图3所示，该流程包括如下步骤：
52.步骤s301，对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组。
53.详细请参见图2所示实施例的步骤s201，在此不再赘述。
54.步骤s302，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。
55.具体地，上述步骤s302包括：
56.步骤s3021，获取归属组中所有存储节点与共享硬盘扩展柜的连接数。
57.本实施例中，通过获取归属组中存储节点与共享硬盘扩展柜的连接数，以确定共享硬盘扩展柜与归属组间是否满足第一类型事例。
58.步骤s3022，当归属组中所有存储节点均连接至共享硬盘扩展柜时，确定所述共享硬盘扩展柜与归属组间满足第一类型事例。
59.本实施例中，当归属组中所有存储节点均连接至共享硬盘扩展柜时，即该共享硬盘扩展柜处于联机状态，可进行正常通信，则确定该共享硬盘扩展柜与归属组间满足第一类型事例。
60.举例来讲，以两个共享硬盘扩展柜(第一共享硬盘扩展柜和第二共享硬盘扩展柜)与存储四控集群的通信路径为例，其中，每个共享硬盘扩展柜为存在两组in口和一组out口的硬盘扩展柜，存储四控集群的存储节点分为两个归属组(第一归属组和第二归属组，第一归属组和第二归属组均包括两个存储节点如第一存储节点、第二存储节点)；第一共享硬盘扩展柜和第二共享硬盘扩展柜的第一扩展柜节点和第二扩展柜节点均包括两个in口和一个out口，第一归属组和第二归属组中每个存储节点两个out口分别与第一共享硬盘扩展柜和第二共享硬盘扩展柜中每个扩展柜节点中的一个in口连接。因此正常情况下每个共享硬盘扩展柜的4个in口与4个存储节点连接并通信。此时存在第一通信环境case1，case1：当有4个存储节点均能看到共享硬盘扩展柜时，会判断该共享硬盘扩展柜的状态为联机，此时执
行配置共享硬盘扩展柜归属组的命令可以正常执行，无报错信息，通过查看指令可以看到共享硬盘扩展柜归属组设置成功。
61.可以理解的，上述两个共享硬盘扩展柜与存储四控集群的通信路径只是举例，可根据实际需求进行调整。
62.步骤s3023，当归属组中部分存储节点连接至所述共享硬盘扩展柜，且部分存储节点与共享硬盘扩展柜的连接数大于等于阈值时，确定共享硬盘扩展柜与归属组间满足第一类型事例。
63.本实施例中，当归属组中只有部分存储节点可连接至共享硬盘扩展柜，且部分存储节点与共享硬盘扩展柜的连接数大于等于阈值时，则确定共享硬盘扩展柜与归属组间满足第一类型事例。其中，上述阈值为满足通信要求的连接数，可根据实际需求进行调整。
64.举例来讲，以上述举例为基础进行说明：
65.第二通信环境case2，case2：当有3个存储节点均能看到共享硬盘扩展柜时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，若配置的归属组为两个存储节点均可看到共享硬盘扩展柜的归属组，则命令可以正常执行，同时提示“另一个归属组xxx中存储节点与共享硬盘扩展柜的连接不完全，存在故障，需要尽快排除”，通过查看指令可以看到共享硬盘扩展柜归属组配置成功。
66.第三通信环境case3，case3：当有3个存储节点可以看到共享硬盘扩展柜时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，若配置的归属组为一个存储节点可看到共享硬盘扩展柜的归属组，则命令可以正常执行，同时提示“当前归属组xxx中存储节点与共享硬盘扩展柜的连接不完全，存在故障，需要尽快排除，另一个归属组xxx中存储节点与共享硬盘扩展柜的连接完全，建议优先使用”，通过查看指令可以看到共享硬盘扩展柜归属组配置成功。
67.第四通信环境case4，case4：当有2个存储节点可以看到共享硬盘扩展柜且该两个存储节点处于相同的归属组中时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，若配置的归属组为两个存储节点均可看到共享硬盘扩展柜的归属组，则命令可以正常执行，同时提示“另一个归属组xxx中存储节点与共享硬盘扩展柜的连接不完全，存在故障，需要尽快排除”，通过查看指令可以看到共享硬盘扩展柜归属组配置成功。
68.第六通信环境case6，case6：当有2个存储节点可以看到共享硬盘扩展柜且该两个存储节点处于不同的归属组中时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，命令可以正常执行，同时提示“当前所有归属组中存储节点与共享硬盘扩展柜的连接均不完全，存在故障，建议尽快排除”，通过查看指令可以看到共享硬盘扩展柜归属组设置成功。
69.第七通信环境case7，case7：当仅有1个存储节点可以看到共享硬盘扩展柜时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，若设置的归属组为存储节
点可看到共享硬盘扩展柜的归属组，则命令可以正常执行，同时提示“当前归属组xxx中存储节点与共享硬盘扩展柜的连接不完全，存在故障，需要尽快排除”，通过查看指令可以看到共享硬盘扩展柜归属组设置成功。
70.总的来说，上述部分存储节点与共享硬盘扩展柜的连接数大于等于阈值时，存在如两个归属组中一个归属组中存储节点可正常配置以进行通信，另一个归属组中的存储节点存在连接不完全的状况；或者两个归属组中的每个归属组中存储节点均连接不完全，但可正常配置以进行通信的状况。
71.可见，本实施例中当与共享硬盘扩展柜连接的部分存储节点可与该共享硬盘扩展柜进行通信，且与共享硬盘扩展柜连接的部分存储节点的连接数大于等于阈值，此时判定共享硬盘扩展柜与归属组间存在部分事例提醒时仍可进行业务下发；从而避免了存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的状况。
72.步骤s303，当与共享硬盘扩展柜连接的部分存储节点均连接异常，或连接数小于阈值时，将共享硬盘扩展柜的归属组切换为另一归属组。
73.本实施例中，当与共享硬盘扩展柜连接的部分存储节点均连接异常或连接数小于阈值时，将共享硬盘扩展柜的归属组切换为另一归属组，以进行业务的正常下发。
74.步骤s304，当与共享硬盘扩展柜连接的归属组中部分存储节点均恢复连接，或连接数大于等于阈值时，将共享硬盘扩展柜由另一归属组切换为归属组。
75.本实施例中，当与共享硬盘扩展柜连接的归属组中部分存储节点均恢复连接或连接数大于等于阈值时，将共享硬盘扩展柜由另一归属组切换为归属组，以进行业务的下发。
76.举例来讲，以步骤s302中举例为基础进行说明：
77.配置完毕共享硬盘扩展柜的归属组后，若环境信息符合case1、case2、case3、或case6中描述的情况，假设归属组为0，另一个归属组为1，针对其的管控和数据业务优先从归属组0下发，归属组1的存储节点上接收到的数据业务会转至共享硬盘扩展柜归属组0的存储节点进行数据业务下发；同时存储节点上的out口会定时发送心跳检测信号检查链路和扩展柜节点中in口的状态，当存储集群检测到归属组0与共享硬盘扩展柜之间的所有物理链路出现异常时，会在存储集群的管理界面提示对应的告警信息，并将共享硬盘扩展柜的归属组临时变更为归属组1，此时数据业务转至归属组1的存储节点上进行下发，待异常排除，链路恢复正常后，存储集群会再将共享硬盘扩展柜的归属组变回归属组0；若存储集群检测到归属组1与共享硬盘扩展柜之间的物理链路出现异常时，仅在存储集群的管理界面提示对应的告警信息，并不会变更共享硬盘扩展柜的归属组，数据业务仍然从归属组0下发。
78.可见，当前归属组的优先级大于另一归属组的优先级，优先从最高优先级归属组中存储节点进行业务下发，只有在高优先级的归属组中部分存储节点均连接异常或连接数小于阈值，即无法进行业务的正常下发时，才会切换至次优先的归属组，在最高优先级的归属组恢复正常后仍会切换回最高优先级(第一优先级)归属组中存储节点进行业务下发，且在次优先级(第二优先级)的与共享硬盘扩展柜之间的物理链路出现异常时，仅在存储集群的管理界面提示对应的告警信息，并不会变更共享硬盘扩展柜的归属组，数据业务仍然从
最高优先级归属组下发。
79.步骤s305，当与共享硬盘扩展柜连接的归属组中部分存储节点存在连接故障时，增加归属组恢复连接的存储节点，和/或恢复另一归属组与共享硬盘扩展柜的连接。
80.其中，连接故障用于表征无存储节点连接至所述共享硬盘扩展柜，或剩余的部分存储节点与所述共享硬盘扩展柜的连接数小于阈值。
81.举例来讲，以步骤s302中举例为基础进行说明：
82.若环境信息符合case4、或case7中描述的情况，假设归属组为0，另一个组为1，针对其的管控和数据业务仅能从归属组0下发，此时在存储集群管理界面会有最高优先级的弹窗告警提示当前共享硬盘扩展柜仅与单归属组相连，可靠性丢失等信息，此时若归属组0中的存储节点与共享硬盘扩展柜的节点都失去连接，存储集群不会变更共享硬盘扩展柜的归属组，用户侧的表现为正在进行的业务中断；当存储集群检测到至少有一个存储节点与共享硬盘扩展柜的节点恢复连接后，若恢复连接的存储节点中包含归属组0中的存储节点，则该共享硬盘扩展柜与存储集群间恢复连接，为其提供数据读写业务，若恢复连接的存储节点中不包含归属组0中的存储节点，则存储集群变更共享硬盘扩展柜的归属组0为归属组1，使其与存储集群间恢复连接，为存储集群继续提供数据读写业务。
83.本实施例提供的存储集群管控方法，对纳管的共享硬盘扩展柜进行归属配置，以得到该共享硬盘扩展柜的归属组，且该共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜，为后续对共享硬盘扩展柜的管控提供必要条件；当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息，该配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发，以避免存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的状况；可以在非双活环境下，使用共享硬盘扩展柜提高集中式存储集群的可靠性和磁盘空间利用率。当与共享硬盘扩展柜连接的部分存储节点均连接异常或连接数小于阈值时，将共享硬盘扩展柜的归属组切换为另一归属组，当与共享硬盘扩展柜连接的归属组中部分存储节点均恢复连接或连接数大于等于阈值时，将共享硬盘扩展柜由另一归属组切换为归属组，以保证存储集群业务的正常下发。当与共享硬盘扩展柜连接的归属组中部分存储节点存在连接故障时，增加归属组恢复连接的存储节点和/或恢复另一归属组与所述共享硬盘扩展柜的连接，以提高集中式存储集群的可靠性和磁盘空间利用率。
84.在本实施例中提供了一种存储集群管控方法，可用于上述的共享硬盘扩展柜，图4是根据本发明实施例的存储集群管控方法的流程图，如图4所示，该流程包括如下步骤：
85.步骤s401，对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组。
86.详细请参见图2所示实施例的步骤s201，在此不再赘述。
87.步骤s402，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。
88.详细请参见图3所示实施例的步骤s302，在此不再赘述。
89.步骤s403，当共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息。
90.本实施例中，当对纳管的共享硬盘扩展柜进行归属配置得到该共享硬盘扩展柜的归属组后，可对由共享硬盘扩展柜参与的存储集群通信进行管控，当共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息。该配置失败的指示信息用于指示共享硬盘扩展柜的归属组配置失败。即本实施例中的共享硬盘扩展柜与归属组间配置失败，无法进行数据通信及对应的业务下发。
91.一种可选的实施方式中，当归属组中部分存储节点连接至共享硬盘扩展柜且部分存储节点与共享硬盘扩展柜的连接数小于阈值时，确定共享硬盘扩展柜与归属组间满足第二类型事例。
92.举例来讲，以步骤s302中举例为基础进行说明：
93.第五通信环境case5，case5：当有2个存储节点可以看到共享硬盘扩展柜且该两个存储节点处于相同的归属组中时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，若配置的归属组为两个存储节点均看不到共享硬盘扩展柜的归属组，则命令无法执行，同时提示“所选归属组xxx中与共享硬盘扩展柜无连接”，通过查看指令可以看到共享硬盘扩展柜归属组配置失败。
94.第八通信环境case8，case8：当仅有1个存储节点可以看到共享硬盘扩展柜时，会判断该共享硬盘扩展柜的状态为降级，存储集群管理界面会有告警提示当前的共享硬盘扩展柜链路异常，此时执行配置共享硬盘扩展柜归属组的命令时，若配置的归属组为零个存储节点可看到共享硬盘扩展柜的归属组，则命令无法执行，同时提示“所选归属组xxx中与共享硬盘扩展柜无连接”，通过查看指令可以看到共享硬盘扩展柜归属组配置失败。
95.本实施例提供的存储集群管控方法，当对纳管的共享硬盘扩展柜进行归属配置得到该共享硬盘扩展柜的归属组后，可对由共享硬盘扩展柜参与的存储集群通信进行管控，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。该配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。即本实施例中的共享硬盘扩展柜与归属组间存在部分事例提醒时仍可进行业务下发，避免存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的状况。当归属组中部分存储节点连接至共享硬盘扩展柜且部分存储节点与共享硬盘扩展柜的连接数小于阈值时，确定共享硬盘扩展柜与归属组间满足第二类型事例，并在共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息，以提醒用户是否重新进行共享硬盘扩展柜的归属配置。
96.在本实施例中提供了一种存储集群管控方法，可用于上述的共享硬盘扩展柜，图5是根据本发明实施例的存储集群管控方法的流程图，如图5所示，该流程包括如下步骤：
97.步骤s501，对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组。
98.详细请参见图2所示实施例的步骤s201，在此不再赘述。
99.步骤s502，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。
100.详细请参见图3所示实施例的步骤s302，在此不再赘述。
101.步骤s503，当共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息。
102.详细请参见图4所示实施例的步骤s505，在此不再赘述。
103.步骤s504，当共享硬盘扩展柜处于空闲状态时，存储共享硬盘扩展柜中的数据。
104.本实施例中，当共享硬盘扩展柜处于空闲状态时，存储共享硬盘扩展柜中的数据，以避免在不再使用该共享硬盘扩展柜时，造成共享硬盘扩展柜中的有用数据丢失或重置。
105.步骤s505，删除纳管的所述共享硬盘扩展柜的所有信息，解除对共享硬盘扩展柜纳管。
106.本实施例中，通过将纳管的共享硬盘扩展柜的所有信息删除，以释放存储集群各存储节点的资源；通过解除对共享硬盘扩展柜纳管，以便于在不使用该共享硬盘扩展柜时解除对共享硬盘扩展柜的占用，提高存储集群的可靠性和磁盘空间利用率。
107.步骤s506，当解除纳管的共享硬盘扩展柜与归属组中各存储节点间的连接仍存在，将共享硬盘扩展柜的状态置为待纳管状态。
108.本实施例中，当共享硬盘扩展柜与归属组中各存储节点间的连接仍存在，将共享硬盘扩展柜的状态置为待纳管状态，以便于后续纳管或解除纳管。
109.步骤s507，当解除纳管的共享硬盘扩展柜与归属组中各存储节点间的连接断开，将共享硬盘扩展柜的状态置为不可见状态。
110.本实施例中，当共享硬盘扩展柜与归属组中各存储节点间的连接断开，将共享硬盘扩展柜的状态置为不可见状态，以避免存储集群对可见的存储节点进行纳管时由于纳管失败而产生错误。
111.一种可选的实施方式中，当存储集群不再使用该共享硬盘扩展柜时，需要先将共享硬盘扩展柜中有用的数据存储完毕，然后在存储集群管理系统上删除涉及该共享硬盘扩展柜的卷、raid和池，最后执行解除管理的指令，若解除管理时，存储集群管理系统检测到仍有与共享硬盘扩展柜关联的卷、raid或池，则解除管理命令无法执行，同时提示操作人员对以上资源信息进行再次检查；成功解除管理后，若共享硬盘扩展柜与存储各节点间的连线仍存在，则该硬盘扩展柜在存储集群管理系统上以待管理的方式可见，无法对其进行业务操作，只能重新管理设置归属组后再进行业务操作；若共享硬盘扩展柜与存储各节点间的连线均移除，则该共享硬盘扩展柜在存储集群管理系统上不可见。
112.本实施例提供的存储集群管控方法，当对纳管的共享硬盘扩展柜进行归属配置得到该共享硬盘扩展柜的归属组后，可对由共享硬盘扩展柜参与的存储集群通信进行管控，当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。该配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。即本实施例中的共享硬盘扩展柜与归属组间存在部分事例提醒时仍可进行业务下发，避免存储集群中，当一台集中式存储设备异常无法工作后，其上连接的硬盘扩展柜也在存储集群中不可见，变为脱机状态，对应存储在这台硬盘扩展柜上的数据也对用户无法使用，存储集群的可靠性降低的状况。当归属组中部分存储节点连接至共享硬盘扩展柜且部分存储节点与共享硬盘扩展柜的连接数小于阈值时，确定共享硬盘扩展柜与归属组间满足第二类型事例，并在共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息，以提醒用户是否重新进行共享硬盘扩展柜的归属配置。当共享硬盘扩展柜处于空闲状态时，存储共享硬盘扩展柜中
的数据，以避免在不再使用该共享硬盘扩展柜时，造成共享硬盘扩展柜中的有用数据丢失或重置。通过将纳管的共享硬盘扩展柜的所有信息删除，以释放存储集群各存储节点的资源；通过解除对共享硬盘扩展柜纳管，以便于在不使用该共享硬盘扩展柜时解除对共享硬盘扩展柜的占用，提高存储集群的可靠性和磁盘空间利用率。当共享硬盘扩展柜与归属组中各存储节点间的连接仍存在，将共享硬盘扩展柜的状态置为待纳管状态，以便于后续纳管或解除纳管。当共享硬盘扩展柜与归属组中各存储节点间的连接断开，将共享硬盘扩展柜的状态置为不可见状态，以避免存储集群对可见的存储节点进行纳管时由于纳管失败而产生错误。
113.在本实施例中还提供了一种存储集群管控装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
114.本实施例提供一种存储集群管控装置，如图6所示，包括：
115.归属组配置模块601，用于对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组。
116.其中，共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜。
117.配置信息指示模块602，用于当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。
118.其中，配置成功的指示信息用于指示存在部分事例提醒但可进行业务下发。
119.在一些可选的实施方式中，配置信息指示模块602包括：
120.类型事例确定单元，用于获取归属组中存储节点与共享硬盘扩展柜的连接数；若连接数大于或等于阈值，确定共享硬盘扩展柜与归属组间满足第一类型事例。
121.可选的，当归属组中所有存储节点均连接至共享硬盘扩展柜时，确定共享硬盘扩展柜与归属组间满足第一类型事例。
122.可选的，当归属组中部分存储节点连接至共享硬盘扩展柜，且部分存储节点与共享硬盘扩展柜的连接数大于等于阈值时，确定共享硬盘扩展柜与归属组间满足第一类型事例。
123.归属组切换单元，用于当与共享硬盘扩展柜连接的部分存储节点均连接异常，或连接数小于阈值时，将共享硬盘扩展柜的归属组切换为另一归属组；
124.当与共享硬盘扩展柜连接的归属组中部分存储节点均恢复连接，或连接数大于等于阈值时，将共享硬盘扩展柜由另一归属组切换为所述归属组。
125.归属组恢复单元，用于当与共享硬盘扩展柜连接的归属组中部分存储节点存在连接故障时，增加归属组恢复连接的存储节点，和/或恢复另一归属组与共享硬盘扩展柜的连接。
126.其中，连接故障用于表征无存储节点连接至所述共享硬盘扩展柜，或剩余的部分存储节点与共享硬盘扩展柜的连接数小于阈值。
127.在一些可选的实施方式中，配置信息指示模块602，还用于当共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息。
128.其中，配置失败的指示信息用于指示共享硬盘扩展柜的归属组配置失败。
129.类型事例确定单元，还用于当归属组中部分存储节点连接至共享硬盘扩展柜，且部分存储节点与共享硬盘扩展柜的连接数小于阈值时，确定共享硬盘扩展柜与归属组间满足第二类型事例。
130.在一些可选的实施方式中，上述装置还包括共享硬盘扩展柜管理模块，该共享硬盘扩展柜管理模块用于，当共享硬盘扩展柜处于空闲状态时，存储共享硬盘扩展柜中数据；删除纳管的共享硬盘扩展柜的所有信息，解除对共享硬盘扩展柜纳管；当解除纳管的共享硬盘扩展柜与归属组中各存储节点间的连接仍存在，将共享硬盘扩展柜的状态置为待纳管状态；当解除纳管的共享硬盘扩展柜与归属组中各存储节点间的连接断开，将共享硬盘扩展柜的状态置为不可见状态。
131.本实施例中的存储集群管控装置是以功能单元的形式来呈现，这里的单元是指asic电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
132.上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
133.本发明实施例还提供一种计算机设备，具有上述图6所示的存储集群管控装置。
134.请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。
135.处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
136.其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。
137.存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种小程序落地页的展现的计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
138.存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器
的组合。
139.该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
140.本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
141.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：
1.一种存储集群管控方法，其特征在于，所述方法包括：对纳管的共享硬盘扩展柜进行归属配置，以得到所述共享硬盘扩展柜的归属组；其中，所述共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜；当所述共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。2.根据权利要求1所述的方法，其特征在于，确定所述共享硬盘扩展柜与归属组间满足第一类型事例，包括：获取归属组中所有存储节点与共享硬盘扩展柜的连接数；当归属组中所有存储节点均连接至所述共享硬盘扩展柜时，确定所述共享硬盘扩展柜与归属组间满足第一类型事例；和/或，当归属组中部分存储节点连接至所述共享硬盘扩展柜，且所述部分存储节点与所述共享硬盘扩展柜的连接数大于等于阈值时，确定所述共享硬盘扩展柜与归属组间满足第一类型事例。3.根据权利要求2所述的方法，其特征在于，确定所述共享硬盘扩展柜的归属组满足第一类型事例之后，所述方法还包括：当与所述共享硬盘扩展柜连接的归属组中所述部分存储节点均连接异常，或连接数小于阈值时，将所述共享硬盘扩展柜的归属组切换为另一归属组；当与所述共享硬盘扩展柜连接的归属组中所述部分存储节点均恢复连接，或连接数大于等于阈值时，将所述共享硬盘扩展柜由另一归属组切换为所述归属组。4.根据权利要求3所述的方法，其特征在于，确定所述共享硬盘扩展柜的归属组满足第一类型事例之后，所述方法还包括：当与所述共享硬盘扩展柜连接的归属组中部分存储节点存在连接故障时，增加归属组恢复连接的存储节点，和/或恢复另一归属组与所述共享硬盘扩展柜的连接；其中，所述连接故障用于表征无存储节点连接至所述共享硬盘扩展柜，或剩余的所述部分存储节点与所述共享硬盘扩展柜的连接数小于阈值。5.根据权利要求1所述的方法，其特征在于，对纳管的共享硬盘扩展柜进行归属配置之后，所述方法还包括：当所述共享硬盘扩展柜与归属组间满足第二类型事例时，生成配置失败的指示信息。6.根据权利要求5所述的方法，其特征在于，确定所述共享硬盘扩展柜与归属组间满足第二类型事例，包括：当归属组中部分存储节点连接至所述共享硬盘扩展柜，且所述部分存储节点与所述共享硬盘扩展柜的连接数小于阈值时，确定所述共享硬盘扩展柜与归属组间满足第二类型事例。7.根据权利要求1至6任意一项所述的方法，其特征在于，所述方法还包括：当所述共享硬盘扩展柜处于空闲状态时，存储所述共享硬盘扩展柜中数据；删除纳管的所述共享硬盘扩展柜的所有信息，解除对所述共享硬盘扩展柜纳管；当解除纳管的所述共享硬盘扩展柜与归属组中各存储节点间的连接仍存在，将所述共享硬盘扩展柜的状态置为待纳管状态；当解除纳管的所述共享硬盘扩展柜与归属组中各存储节点间的连接断开，将所述共享硬盘扩展柜的状态置为不可见状态。
8.一种存储集群管控装置，其特征在于，所述装置包括：归属组配置模块，用于对纳管的共享硬盘扩展柜进行归属配置，以得到所述共享硬盘扩展柜的归属组；其中，所述共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜；配置信息指示模块，用于当所述共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息。9.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的方法。

技术总结
本发明涉及数据存储领域，公开了一种存储集群管控方法、装置、设备和存储介质，包括：对纳管的共享硬盘扩展柜进行归属配置，以得到共享硬盘扩展柜的归属组，该共享硬盘扩展柜为扩充扩展柜节点通信路径的硬盘扩展柜；当共享硬盘扩展柜与归属组间满足第一类型事例时，生成配置成功的指示信息；本发明可以在非双活环境下，使用共享硬盘扩展柜提高集中式存储集群的可靠性和磁盘空间利用率。可靠性和磁盘空间利用率。可靠性和磁盘空间利用率。


技术研发人员：孙建
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2023.05.06
技术公布日：2023/8/4