数据读取方法、装置、分布式存储系统、设备和存储介质与流程
未命名
08-05
阅读:119
评论:0

1.本公开涉及人工智能技术领域,具体涉及云计算、云存储和分布式存储等技术,尤其涉及一种数据读取方法、装置、分布式存储系统、设备和存储介质。
背景技术:
2.分布式存储技术是指将数据分散存储在多台机器上。raft算法是一种一致性算法,raft是可靠、可复制、可冗余、可容错(reliable、replicated、redundant、andfault-tolerant)的缩写。
3.基于raft算法的分布式存储系统中,存储节点包括主节点(leader)和从节点(follower),通过raft算法,可以保证主节点和从节点上数据的一致性。
4.相关技术中,需要主节点处于存活状态才能执行数据读取操作。但是,由于需要保证主节点处于存活状态,在主节点不存在时,就会导致无法进行数据读取操作,可用性下降。
技术实现要素:
5.本公开提供了一种数据读取方法、装置、分布式存储系统、设备和存储介质。
6.根据本公开的一方面,提供了一种数据读取方法,应用于分布式存储系统内多个从节点中的任一从节点,所述方法包括:响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号;基于所述局部最新版本号,确定全局最新版本号;基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。
7.根据本公开的另一方面,提供了一种数据读取装置,包括:应用于分布式存储系统内多个从节点中的任一从节点,所述装置包括:获取模块,用于响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号;确定模块,用于基于所述局部最新版本号,确定全局最新版本号;发送模块,用于基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。
8.根据本公开的另一方面,提供了一种分布式存储系统,包括:多个从节点;所述多个从节点中任一从节点包括:如上述任一方面的任一项所述的装置。
9.根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
10.根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
11.根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
12.根据本公开的技术方案,可以提高读写操作的可用性。
13.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.附图用于更好地理解本方案,不构成对本公开的限定。其中:
15.图1是根据本公开第一实施例的示意图;
16.图2是根据本公开实施例提供的应用场景的示意图;
17.图3是根据本公开实施例提供的各个节点上的日志的示意图;
18.图4是根据本公开第二实施例的示意图;
19.图5是根据本公开实施例基于全局最新版本号的处理过程的示意图;
20.图6是根据本公开第三实施例的示意图;
21.图7是根据本公开第四实施例的示意图;
22.图8是用来实现本公开实施例的数据读取方法的电子设备的示意图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
24.相关技术中,客户端可以将读请求发送至主节点,主节点接收到读请求后,将主节点自身存储数据返回给客户端。或者,客户端也可以将读请求发送给从节点,从节点接收到读请求后,向主节点获取最新版本号(log index),在该从节点自身存储数据的版本号达到该最新版本号后,将该从节点自身存储数据返回给客户端。
25.从上述过程可知,相关技术中的数据读取操作需要主节点保持存活状态,但是,在一些场景下,主节点可能处于非存活状态,或者说不存在主节点。例如,raft算法会间隔一段时间重新选举主节点,主节点选举需要一定时间,在未选举得到主节点时,主节点不存在,此时,上述的数据读取操作将无法实现,可用性降低。
26.为了提高读写操作的可用性,本公开提供如下实施例。
27.图1是根据本公开第一实施例的示意图,本实施例提供一种数据读取方法,该方法应用于分布式存储系统内多个从节点中的任一从节点,该方法包括:
28.101、响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号。
29.102、基于所述局部最新版本号,确定全局最新版本号。
30.103、基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。
31.其中,从节点上所存储的数据可以是不断更新的,具体可以是主节点复制给各个从节点的。例如,在第一时刻,主节点接收到数据a,主节点将该数据a复制(写)给各个从节点,在第二时刻,主节点接收到数据b,主节点再将该数据b复制给各个从节点。相应地,针对
从节点,第一时刻存储的数据为a,第二时刻存储的数据为a和b。另外,不同从节点获取数据的速度可能不一样,进而在同一时刻,不同从节点上所存储的数据可能不同。例如,针对同一时刻,第一从节点上所存储的数据为a和b,第二从节点上所存储的数据为a。
32.为了区分,在接收到读请求时,从节点上所存储的数据可以称为候选数据。由于从节点为多个,候选数据也为多组,每组候选数据对应一个从节点。
33.主节点将数据写给从节点时,会为每个写入的数据分配版本号(log index)。版本号通常是按序递增的。例如,基于上述示例,先写入a再写入b,则可以为a分配版本号为1,为b分配版本号为2。
34.最新版本号,是每组数据中最新写入的数据的版本号。由于版本号通常是按序递增的,最新版本号通常是每组数据中的最大版本号。例如,先写入a再写入b,则最新版本号为2。
35.为了区分,一组候选数据的最新版本号可以称为局部最新版本号。
36.由于从节点写入速度不一致,不同从节点上存储的数据可能不同,为此,不同从节点对应的局部最新版本号也可能不同。假设第一从节点上所存储的数据为a和b,第二从节点上所存储的数据为a,基于上述版本号分配规则,则第一从节点对应的局部最新版本号为2,第二从节点对应的局部最新版本号为1。
37.所有局部最新版本号中最新的版本号可以称为全局最新版本号,例如,将最大的局部最新版本号作为全局最新版本号。基于上述示例,两个局部最新版本号分别是2和1,则全局最新版本号是2。
38.目标数据,是指接收到读请求的从节点上的最新版本号达到全局最新版本号时的数据。
39.例如,第一从节点接收到读请求,假设接收到读请求时(假设为t1时刻)该第一从节点上存储的数据为a,即此时(t1时刻)的版本号为1,假设全局最新版本号为2,则此时(t1时刻)第一从节点所存储的数据未达到该全局最新版本号。由于主节点会不断地复制数据给各个从节点,因此,随着时间的推进,在某个时刻(假设为t2时刻),主节点将数据b复制到了第一从节点,则在该时刻(t2时刻),其存储的数据是a和b,由于b的版本号是2,也就是达到全局最新版本号。达到全局最新版本号时的数据(a和b)作为目标数据。
40.第一从节点获取目标数据后,将目标数据发送给客户端。
41.本实施例中,基于从节点获取局部最新版本号,基于局部最新版本号确定全局最新版本号,基于全局最新版本号获取并反馈目标数据,由于局部最新版本号是基于从节点获取的,可以降低对主节点的依赖,提高数据读取操作的可用性。
42.为了更好地理解本公开实施例,对本公开实施例提供的应用场景进行说明。
43.图2是本公开实施例对应的应用场景的示意图。如图2所示,包括客户端(client)201和分布式存储系统202,客户端可以为多个,任一客户端可以向分布式存储系统发送读写请求,以对分布式存储系统进行读写操作,分布式存储系统包括多个存储节点。客户端可以部署在用户终端上,用户终端可以包括:个人电脑(personalcomputer、pc)、移动设备、智能家居设备、智能家居设备、可穿戴式设备等,移动设备例如包括手机、便携式电脑、平板电脑等,智能家居设备例如包括智能音箱、智能电视等,可穿戴式设备例如包括智能手表、智能眼镜等。存储节点可以包括:服务器、磁盘等。客户端与分布式存储系统可以通过有线和/
或无线通信网络进行连接。
44.分布式存储系统内,相同数据可以存储多份,该多份相同的数据可以称为多个副本,这多份相同的数据可以称为一个复制组,每个副本存储在一个存储节点上。基于raft算法的分布式存储系统内,针对同一个复制组,可以分为一个主节点(leader)和多个从节点(follower),主节点上存储的副本可以称为主副本,从节点上存储的副本可以称为从副本。
45.针对同一复制组的多个存储节点(简称为节点),初始均为从节点,经过选举过程确定一个主节点,其他节点为从节点。
46.选举出主节点后,客户端的写请求会被主节点处理,每个数据的修改都会被放入该主节点的日志(log)中,并为每个数据分配版本号(log index),初始时数据的修改操作处于未提交状态,相应的版本号处于未生效状态。之后,主节点会向各个从节点发送写请求,对从节点的数据进行修改,每个数据的修改也被放入各个从节点的日志中,并分配版本号(log index)。从节点完成对应的修改操作后,会向主节点反馈写完成响应,若大部分(如超过一半)从节点反馈了写完成响应,主节点会提交对应数据的修改操作,从而主节点上该数据的版本号处于生效状态,以及主节点指示该大部分从节点进行提交操作,从而在从节点上对应数据的版本号也处于生效状态。
47.上述的版本号是按序递增的,主节点或从节点上生效的最大版本号即为对应节点上的最新版本号。
48.如图3所示,主节点和从节点上可以记录日志(log),日志由日志条目(logentity)组成。每个日志条目内记录主节点的任期(term)号(如1,2,3...)、操作指令,如,将x修改为3(x
←
3),将y修改为1(y
←
1)等,并且,主节点还为每个数据(日志条目)分配版本号(logindex),该版本号是按序递增的,并且在每个从节点上,也记录每个日志条目的版本号。针对每个数据,若大部分从节点都反馈写完成指令,则将该数据进行提交。以大部分从节点为超过一半的从节点为例,所提交的数据为版本号为1~5的数据,相应地,所提交的数据中的最大版本号为最新版本号。
49.各个从节点上的最新版本号称为局部最新版本号,基于图3的示例,第一从节点上的局部最新版本号为5,第二从节点上的局部最新版本号为3,第三从节点上的局部最新版本号为5。
50.全局最新版本号,是所有的局部最新版本号中的最大值,基于上述示例,则全局最新版本号为5。
51.上述描述了针对写请求的处理过程。
52.针对读请求,一种方式中,客户端发送的读请求都被主节点处理,即主节点会将主节点上最新版本号对应的数据,如图3中,是完成版本号1~5对应操作的数据,即数据x=0,y=5返回给客户端。
53.由于客户端的数量可能较多,如果全部的读请求都是主节点处理,则主节点负担较重,且易出现单点故障。为此,另一种方式是,读请求被从节点处理,即客户端发送读请求时,读请求中的目的地址为某个从节点的地址,从而该读请求被发送至该从节点,并由该从节点进行处理。
54.假设接收到读请求的从节点为第一从节点,相关技术中,第一从节点会向主节点获取主节点上的最新版本号(如5),第一从节点在自身存储数据的最新版本号达到(大于或
等于)该主节点上的最新版本号时,将自身存储的数据返回给客户端。基于图3的示例,由于第一从节点自身存储数据的最新版本号为5,与主节点上的最新版本号相同,且基于版本号1~5的数据操作得到的最终数据为x=0,y=5,则将数据(x=0,y=5)返回给客户端。又例如,假设接收到读请求的从节点是第二从节点,由于此时第二从节点上的最新版本号是3,小于主节点上的最新版本号5,则第二从节点执行等待操作,等待主节点复制数据,直至主节点将版本号为5的数据复制给第二从节点后,第二从节点再将数据返回给客户端。
55.上述不论是主节点直接处理读请求,或者从节点向主节点获取最新版本号,都需要主节点处于存活状态,在一些场景(如未选举出主节点)下,由于不存在主节点,会导致不可用。
56.本实施例中,从节点接收到读请求后,不再从主节点获取最新版本号,而是基于从节点上的局部最新版本号确定全局最新版本号,并在自身存储数据的版本号达到该全局最新版本号,返回目标数据给客户端。
57.例如,第一从节点接收到读请求后,可以向其他从节点发送广播消息,查询其他从节点上的局部最新版本号,并基于自身的局部最新版本号和其他从节点上的局部最新版本号,确定全局最新版本号。基于图3的示例,第一从节点的自身局部最新版本号是5,其他从节点上的局部最新版本号分别是3和5,则全局最新版本号是5。由于第一从节点当前时刻自身存储数据的最新版本号是5,与全局最新版本号相同,可以将此时自身存储数据作为目标数据(x=0,y=5)返回给客户端。
58.结合上述应用场景,本公开实施例还提供一种数据读取方法。
59.图4是根据本公开第二实施例的示意图,本实施例提供一种数据读取方法,该方法可以应用于分布式存储系统的任一从节点,该方法包括:
60.401、接收客户端发送的读请求。
61.402、判断是否能够从主节点获取全局最新版本号,若是,执行405,否则执行403。
62.其中,选举得到主节点后,从节点中可以记录主节点信息,从而可以基于主节点信息向主节点发送查询请求,若主节点正常,则主节点可以将主节点上的全局最新版本号返回给从节点。
63.主节点上的全局最新版本号,是主节点所提交的数据的版本号中的最大值。例如,基于图3的示例,由于提交了版本号1~5的数据,最大值为5,则主节点上的全局最新版本号是5。
64.如果主节点在从节点的查询过程中处于存活状态,则从节点能够从主节点获取全局最新版本号。
65.但是,在一些场景下,如从节点发送查询请求之前未选举出主节点,此时由于不存在主节点,从节点无法向主节点发送查询请求;或者,从节点向主节点发送查询请求后,到达主节点重新选举的周期,且未选举出新的主节点时,从节点也无法从主节点获取全局最新版本号。为此,这些情况下从节点不能从主节点获取全局最新版本号。
66.403、基于广播消息,获取其他从节点上的局部最新版本号。
67.具体可以包括:从节点向自身从节点之外的其他从节点发送广播消息,所述广播消息用于查询所述其他从节点上的所述局部最新版本号;接收所述其他从节点发送的响应消息,所述响应消息中包含所述其他从节点上的所述局部最新版本号。
68.404、将其他从节点上的局部最新版本号,以及自身从节点上的局部最新版本号中的最大值,作为全局最新版本号。
69.其中,从节点可以从上述的响应消息中获取其他从节点上的局部最新版本号,并且还可以获取自身存储的候选数据的局部最新版本号,从而获得多个从节点中各个从节点上的局部最新版本号,将其中的最大值作为全局最新版本号。
70.例如,参考图3,假设第二从节点接收到读请求,则第二从节点向第一从节点和第三从节点发送广播消息。第一从节点接收到广播消息后,可以向第二从节点反馈响应消息,其中包含的局部最新版本号是5,类似地,第三从节点接收到广播消息后,可以向第二从节点反馈响应消息,其中包含的局部最新版本号是5。
71.第二从节点接收到其他从节点发送的响应消息后,可以从中获取其他从节点上的局部最新版本号,并且第二从节点还可以获取自身节点上的局部最新版本号,如3。
72.第二从节点接收到全部的局部最新版本号后,可以将其中最大值作为全局最新版本号,基于上述示例,全局最新版本号是5。
73.上述是以广播消息进行查询为例,可以理解的是,也可以采用单播消息的方式,即,接收到读请求的从节点依次向每个其他从节点发送查询请求,以分别获得每个其他从节点上的局部最新版本号。
74.本实施例中,通过向其他从节点发送广播消息,可以基于广播消息获取其他从节点上的局部最新版本号,提高查询效率。
75.本实施例中,通过将最大的局部最新版本号作为全局最新版本号,进而基于全局最新版本号返回目标数据给客户端,可以提高数据读取的准确度。
76.405、基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。
77.针对该步骤,如图5所示,具体可以包括:
78.501、判断自身从节点存储的候选数据的局部最新版本号是否大于或等于全局最新版本号,若是,执行502,否则执行503。
79.502、将所述自身从节点上存储的候选数据作为目标数据,并将所述目标数据发送至客户端。
80.本实施例中,针对某个从节点,若该从节点上的局部最新版本号大于或等于全局最新版本号,表明该从节点存储的候选数据已提交,与主节点上的存储数据一致,通过将该候选数据作为目标数据发送给客户端,可以提升数据读取操作的一致性。
81.503、等待。
82.504、判断预设时长内,是否获取到版本号大于或等于所述全局最新版本号的更新数据,若是,执行505,否则执行506。
83.505、将所述更新数据作为目标数据,并将所述目标数据发送至客户端。
84.其中,主节点可以不断地将数据复制到各个从节点,因此,在预设时长内,从节点可以从主节点获取更新数据。例如,参见图3,第二从节点在等待过程中,主节点可以将版本号为4-5的数据复制给第二从节点,若预设时长内,第二从节点能够从主节点获取版本号为5的数据,则可以将更新数据作为目标数据(x=0,y=5)发送给客户端。
85.本实施例中,针对某个从节点,经过更新过程,若该从节点上的局部最新版本号大
于或等于全局最新版本号,表明该从节点存储的更新数据与主节点上的存储数据一致,通过将该更新数据作为目标数据发送给客户端,可以提升数据读取操作的一致性。
86.506、向客户端发送读响应。
87.其中,读响应可以是第一读响应,所述第一读响应表明读取失败。
88.例如,接收到读请求的从节点是第二从节点,第二从节点可以向客户端直接反馈读取失败响应。客户端接收到读取失败响应后,可以等待一段时长后向该第二从节点重新发送读请求。
89.读响应可以是第二读响应,第二读响应中包含目标从节点信息,所述目标从节点是局部最新版本号大于或等于所述全局最新版本号的从节点。
90.例如,接收到读请求的从节点是第二从节点,第二从节点可以向客户端反馈第二读响应,其中携带第一从节点的信息,之后,客户端可以向第一从节点重新发送读请求,从而可以从第一从节点读取数据。
91.本实施例中,从节点可以向客户端反馈第一读响应,便于客户端重新向之前的从节点发送读请求,可以实现负载均衡性。或者,从节点通过向客户端反馈第二读响应,便于客户端向目标从节点读取数据,提升数据读取效率。
92.图6是根据本公开第三实施例的示意图,本实施例提供一种数据读取装置,应用于分布式存储系统内多个从节点中的任一从节点,该装置600包括:获取模块601、确定模块602和发送模块603。
93.获取模块601用于响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号;确定模块602用于基于所述局部最新版本号,确定全局最新版本号;发送模块603用于基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。
94.本实施例中,基于从节点获取局部最新版本号,基于局部最新版本号确定全局最新版本号,基于全局最新版本号获取并反馈目标数据,由于局部最新版本号是基于从节点获取的,可以降低对主节点的依赖,提高数据读取操作的可用性。
95.一些实施例中,所述获取模块601进一步用于:响应于客户端发送的读请求,向自身从节点之外的其他从节点发送广播消息,所述广播消息用于查询所述其他从节点上的所述局部最新版本号;接收所述其他从节点发送的响应消息,所述响应消息中包含所述其他从节点上的所述局部最新版本号;从所述响应消息中获取所述其他从节点上的所述局部最新版本号,以及获取自身从节点上的所述局部最新版本号。
96.本实施例中,通过向其他从节点发送广播消息,可以基于广播消息获取其他从节点上的局部最新版本号,提高查询效率。
97.一些实施例中,所述局部最新版本号是所述候选数据的版本号中的最大值,所述确定模块602进一步用于:将最大的局部最新版本号,作为所述全局最新版本号。
98.本实施例中,通过将最大的局部最新版本号作为全局最新版本号,进而基于全局最新版本号返回目标数据给客户端,可以提高数据读取的准确度。
99.一些实施例中,所述发送模块603进一步用于:若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,将所述自身从节点上存储的候选数据作为所述目标数据;将所述目标数据发送至所述客户端。
100.本实施例中,针对某个从节点,若该从节点上的局部最新版本号大于或等于全局最新版本号,表明该从节点存储的候选数据已提交,与主节点上的存储数据一致,通过将该候选数据作为目标数据发送给客户端,可以提升数据读取操作的一致性。
101.一些实施例中,所述发送模块603进一步用于:
102.若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内获取到版本号大于或等于所述全局最新版本号的更新数据,将所述更新数据作为所述目标数据;将所述目标数据发送至所述客户端。
103.本实施例中,针对某个从节点,经过更新过程,若该从节点上的局部最新版本号大于或等于全局最新版本号,表明该从节点存储的更新数据与主节点上的存储数据一致,通过将该更新数据作为目标数据发送给客户端,可以提升数据读取操作的一致性。
104.一些实施例中,该装置还可以包括反馈模块,所述反馈模块用于:
105.若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内未获取到版本号大于或等于所述全局最新版本号的更新数据,向所述客户端反馈第一读响应,所述第一读响应表明读取失败;或者,
106.若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内未获取到版本号大于或等于所述全局最新版本号的更新数据,向所述客户端反馈第二读响应,所述第二读响应中包含目标从节点的信息,所述目标从节点是局部最新版本号大于或等于所述全局最新版本号的从节点,以使所述客户端向所述目标从节点重新发送读请求。
107.本实施例中,从节点可以向客户端反馈第一读响应,便于客户端重新向之前的从节点发送读请求,可以实现负载均衡性。或者,从节点通过向客户端反馈第二读响应,便于客户端向目标从节点读取数据,提升数据读取效率。
108.图7是根据本公开第四实施例的示意图,本实施例提供一种分布式存储系统,该系统700包括:多个从节点701。
109.所述多个从节点中任一从节点包括:如上一实施例任一项所述的装置。
110.本实施例中,基于从节点获取局部最新版本号,基于局部最新版本号确定全局最新版本号,基于全局最新版本号获取并反馈目标数据,由于局部最新版本号是基于从节点获取的,可以降低对主节点的依赖,提高数据读取操作的可用性。
111.可以理解的是,本公开实施例中,不同实施例中的相同或相似内容可以相互参考。
112.可以理解的是,本公开实施例中的“第一”、“第二”等只是用于区分,不表示重要程度高低、时序先后等。
113.本公开的技术方案中,所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理,均符合相关法律法规的规定,且不违背公序良俗。
114.根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
115.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备800还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本
文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
116.如图8所示,电子设备800包括计算单元801,其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序,来执行各种适当的动作和处理。在ram803中,还可存储电子设备800操作所需的各种程序和数据。计算单元801、rom802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
117.电子设备800中的多个部件连接至i/o接口805,包括:输入单元806,例如键盘、鼠标等;输出单元807,例如各种类型的显示器、扬声器等;存储单元808,例如磁盘、光盘等;以及通信单元809,例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
118.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理,例如数据读取方法。例如,在一些实施例中,数据读取方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元808。在一些实施例中,计算机程序的部分或者全部可以经由rom802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到ram803并由计算单元801执行时,可以执行上文描述的数据读取方法的一个或多个步骤。备选地,在其他实施例中,计算单元801可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行数据读取方法。
119.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
120.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程负载均衡装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
121.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计
算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
122.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
123.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
124.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtualprivate server",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
125.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
126.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
技术特征:
1.一种数据读取方法,应用于分布式存储系统内多个从节点中的任一从节点,所述方法包括:响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号;基于所述局部最新版本号,确定全局最新版本号;基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。2.根据权利要求1所述的方法,其中,所述响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号,包括:响应于客户端发送的读请求,向自身从节点之外的其他从节点发送广播消息,所述广播消息用于查询所述其他从节点上的所述局部最新版本号;接收所述其他从节点发送的响应消息,所述响应消息中包含所述其他从节点上的所述局部最新版本号;从所述响应消息中获取所述其他从节点上的所述局部最新版本号,以及获取自身从节点上的所述局部最新版本号。3.根据权利要求1所述的方法,其中,所述局部最新版本号是所述候选数据的版本号中的最大值,所述基于所述局部最新版本号,确定全局最新版本号,包括:将最大的局部最新版本号,作为所述全局最新版本号。4.根据权利要求1-3任一项所述的方法,其中,所述基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端,包括:若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,将所述自身从节点上存储的候选数据作为所述目标数据;将所述目标数据发送至所述客户端。5.根据权利要求1-3任一项所述的方法,其中,所述基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端,包括:若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内获取到版本号大于或等于所述全局最新版本号的更新数据,将所述更新数据作为所述目标数据;将所述目标数据发送至所述客户端。6.根据权利要求5所述的方法,还包括:若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内未获取到版本号大于或等于所述全局最新版本号的更新数据,向所述客户端反馈第一读响应,所述第一读响应表明读取失败;或者,若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内未获取到版本号大于或等于所述全局最新版本号的更新数据,向所述客户端反馈第二读响应,所述第二读响应中包含目标从节点的信息,所述目标从节点是局部最新版本号大于或等于所述全局最新版本号的从节点,以使所述客户端向所述目标从节点重新发送读请求。7.一种数据读取装置,应用于分布式存储系统内多个从节点中的任一从节点,所述装置包括:
获取模块,用于响应于客户端发送的读请求,获取所述多个从节点中各个从节点存储的候选数据的局部最新版本号;确定模块,用于基于所述局部最新版本号,确定全局最新版本号;发送模块,用于基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。8.根据权利要求7所述的装置,其中,所述获取模块进一步用于:响应于客户端发送的读请求,向自身从节点之外的其他从节点发送广播消息,所述广播消息用于查询所述其他从节点上的所述局部最新版本号;接收所述其他从节点发送的响应消息,所述响应消息中包含所述其他从节点上的所述局部最新版本号;从所述响应消息中获取所述其他从节点上的所述局部最新版本号,以及获取自身从节点上的所述局部最新版本号。9.根据权利要求7所述的装置,其中,所述局部最新版本号是所述候选数据的版本号中的最大值,所述确定模块进一步用于:将最大的局部最新版本号,作为所述全局最新版本号。10.根据权利要求7-9任一项所述的装置,其中,所述发送模块进一步用于:若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,将所述自身从节点上存储的候选数据作为所述目标数据;将所述目标数据发送至所述客户端。11.根据权利要求7-9任一项所述的装置,其中,所述发送模块进一步用于:若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内获取到版本号大于或等于所述全局最新版本号的更新数据,将所述更新数据作为所述目标数据;将所述目标数据发送至所述客户端。12.根据权利要求11所述的装置,还包括:反馈模块,用于若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内未获取到版本号大于或等于所述全局最新版本号的更新数据,向所述客户端反馈第一读响应,所述第一读响应表明读取失败;或者,若自身从节点存储的候选数据的局部最新版本号大于或等于所述全局最新版本号,且预设时长内未获取到版本号大于或等于所述全局最新版本号的更新数据,向所述客户端反馈第二读响应,所述第二读响应中包含目标从节点的信息,所述目标从节点是局部最新版本号大于或等于所述全局最新版本号的从节点,以使所述客户端向所述目标从节点重新发送读请求。13.一种分布式存储系统,包括:多个从节点;所述多个从节点中任一从节点包括:如权利要求7-12任一项所述的装置。14.一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。15.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。16.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
技术总结
本公开提供了一种数据读取方法、装置、分布式存储系统、设备和存储介质,涉及人工智能技术领域,具体涉及云计算、云存储和分布式存储等技术。数据读取方法包括:响应于客户端发送的读请求,获取多个从节点中各个从节点存储的候选数据的局部最新版本号;基于所述局部最新版本号,确定全局最新版本号;基于所述全局最新版本号确定目标数据,并将所述目标数据发送至所述客户端。本公开可以提高读取操作的可用性。用性。用性。
技术研发人员:李国强 刘涛
受保护的技术使用者:百度在线网络技术(北京)有限公司
技术研发日:2023.05.05
技术公布日:2023/8/4
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/