一种数据处理系统、方法及设备与流程

未命名 08-26 阅读:68 评论:0
一种数据处理系统、方法及设备1.相关申请的交叉引用2.本技术要求在2022年2月14日提交中华人民共和国知识产权局、申请号为202210135308.1、发明名称为“一种融合容灾、备份和分级的系统和方法”的中国专利申请的优先权,其全部内容通过引用结合在本技术中。
技术领域
:3.本技术涉及通信
技术领域
:,尤其涉及一种数据处理系统、方法及设备。
背景技术
::4.随着技术的发展,在存储领域出现了多种数据多副本技术,比如数据容灾备份、数据分级备份、数据备份等。5.容灾是指当存储系统中的节点发生“灾难”无法继续提供服务时,可以由之前进行了数据容灾备份的其他节点代替发生“灾难”的节点继续提供服务。容灾的机制中要求存储系统中的节点需要在该其他节点中备份用于容灾的数据副本。6.数据分级是指按照数据的访问频率将数据分为热数据、温数据以及冷数据等。存储系统中的节点可以在远端节点或者云端节点备份一些访问频率较低的数据(如温数据以及冷数据等)的数据副本,本地只保存热数据,这样的备份方式称为数据分级备份。7.前述的数据备份是指普通的数据备份,也即存储系统中的节点可以将本地存储的数据备份在其他节点,在其他节点形成数据副本,在本地存储的数据发生损坏或丢失等情况下,该节点可以利用其他节点中的数据副本进行恢复等。8.在存储领域,不同的数据多副本技术是相互独立的,用户为了实现不同的技术目的,需要使用不同的多副本技术。例如:为实现容灾的目的而生成的数据副本,为实现数据分级目的,而生成的数据副本,以及为了实现其他目的而生成的数据副本。存储这些副本会导致较多的存储资源会被占用。技术实现要素:9.本技术提供一种数据处理系统、方法及设备,用以解决多副本技术引起的资源浪费。10.第一方面,本技术实施例提供了一种数据处理系统,该数据处理系统中包括多个存储设备,这里以多个存储设备中的第一存储设备、第二存储设备以及第三存储设备为例进行说明。11.在该数据处理系统中,第一存储设备具备数据存储功能,第一存储设备存储数据副本。在第一存储设备中,以数据备份链的形式存储数据副本。该数据备份链是以数据副本备份在第一存储设备的时间顺序记录第一存储设备中的各个数据副本。12.第二存储设备具体数据访问功能。该第二存储设备能够接收数据访问请求,处理数据访问请求,该数据访问请求用于请求访问数据。该第二存储设备在接收到该数据访问请求后,根据数据访问请求访问该第二存储设备的存储空间中的数据。该第二存储设备的存储空间是指该第二存储设备能够直接进行数据读取的缓存,该存储空间可以为该第二存储设备的存储组件,如内存、硬盘等,也可以为第二存储设备上部署的存储软件,如文件系统,还可以是其他设备上部署的存储软件。13.该第二存储设备除了能够处理数据访问请求,还可以进行数据备份。该第二存储设备在进行数据备份时,将该存储空间中的数据备份到第一存储设备中。该第二存储设备每次备份的数据作为第一存储设备中数据备份链中的一个数据副本。14.该数据处理系统还支持如下部分或全部操作:15.(1)、数据容灾。16.当该第二存储设备发生故障时,该第三存储设备能够代替该发生故障的第二存储设备实现数据访问功能,处理数据访问请求。第三存储设备在处理数据访问请求时,根据该数据访问请求访问第一存储设备中的数据副本。该数据副本是发生故障的第二存储设备在故障发生前备份在该第一存储设备中的。17.(2)、数据分级。18.在实现数据分级时,可以将数据进行划分,如划分为低级别数据、高级别数据等多种数据。本技术实施例中并不限定数据划分的方式,例如,按照数据访问频率进行划分,低级别数据是指数据访问频率低于阈值的数据。高级别数据是指数据访问频率高于阈值的数据。又例如,按照数据类型的方式进行划分,低级别数据为语音类型的数据,高级别数据为图片或视频类型的数据。本技术实施例也并不限定数据划分的粒度,如以块为粒度划分数据,又如以对象或文件划分数据。在本技术实施例中,以低级别数据为冷数据,高级别数据为热数据为例进行说明。关于冷数据以及热数据的处理方式同样适用于采用其他数据划分方式、粒度所形成的低级别数据、高级别数据等多种数据。19.当第二存储设备在该第二存储设备的存储空间中的数据中存在冷数据(低级别数据),且冷数据已包含在备份到第一存储设备的数据副本的情况下,第二存储设备删除第二存储设备的存储空间中的冷数据;保留第二存储设备上的热数据(高级别数据)。第二存储设备在该存储空间中保存该冷数据的位置信息,该冷数据的位置信息用于指示冷数据在第一存储设备的存储位置。20.通过上述系统,数据处理系统中的存储设备除了实现数据备份的功能之外,还能够实现数据容灾或者数据分级的功能。保证该数据处理系统支持多种多副本技术的情况下,仅以一个数据备份链的形式存储的数据副本,并不需要存储多份数据备份链。也就是说,仅存储一套副本就实现了多个功能,而不是为了实现每个功能而分别存储副本,因此能够有效减少存储资源的占用。21.在一种可能的实现方式中,当该第三存储设备在代替发生故障的第二存储设备处理数据访问请求时,还可以进行数据备份。该第三存储设备将该第三存储设备的存储空间中的数据备份在第一存储设备中,其中,该第三存储设备每次备份的数据作为数据备份链中的一个数据副本。也就是说,该第三存储设备在处理数据访问请求时将该第三存储设备的存储空间中的数据备份到第一存储设备中。22.通过上述系统,该第二存储设备在实现数据容灾的功能时,该第二存储设备还进行了数据备份,以保证该第二存储设备在处理该数据访问请求时所存储的数据能够保存在第一存储设备中。23.在一种可能的实现方式中,对于该数据处理系统中发生故障的第二存储设备,当该第二存储设备故障恢复后,故障恢复后的第二存储设备能够从该数据备份链中获取该第三存储设备备份的数据副本,利用获取的数据副本恢复第二存储设备的存储空间中的数据。24.通过上述系统,发生故障的第二存储设备在故障恢复后能够利用第一存储设备中存储的数据副本恢复第二存储设备的存储空间中的数据,以保证故障恢复后的第二存储设备能够继续支持数据访问。25.在一种可能的实现方式中,当第二存储设备在冷数据转换为热数据后,第二存储设备用备份到第一存储设备的数据副本中的冷数据恢复第二存储设备的存储空间中的数据。例如,第二存储设备从第一存储设备获取冷数据。在该第二存储设备的存储空间中存储该冷数据。26.通过上述系统,第二存储设备在冷数据转为热数据后,第二存储设备在第二存储设备的存储空间中再重新存储该热数据,保证第二存储设备能够高效的访问该热数据。27.在一种可能的实现方式中,当第二存储设备的存储空间中的数据发生损坏或丢失的情况下,该第二存储设备从数据备份链中获取数据副本,利用获取的数据副本恢复发生损坏或丢失的数据。28.通过上述系统,由于该第二存储设备已进行了数据备份,在存储空间中的数据损坏或丢失时,该第二存储设备及时的利用第一存储设备中的数据副本进行数据恢复。29.在一种可能的实现方式中,第二存储设备在将第二存储设备的存储空间中的数据备份在第一存储设备中时,可以采用全量备份的方式备份数据副本。也即,该第二存储设备将第二存储设备的存储空间中的数据以数据全量的方式备份在第一存储设备中,每次备份的数据作为数据备份链中的一个数据副本,也即每次备份的数据为存储空间中所有数据。该第二存储设备也可以增量备份的方式。也即,第二存储设备将第二存储设备的存储空间中的数据以数据增量的方式备份在第一存储设备中,每次备份的数据作为数据备份链中的一个数据副本;也即每次备份的数据为存储空间中在前一次备份后写入的数据。30.通过上述系统,第二存储设备在进行数据备份采用不同的备份方式,备份方式较为灵活,适用于不同的应用场景。31.在一种可能的实现方式中,数据处理系统中,一个存储设备可以仅具有数据存储设备,如该存储设备仅用于存储数据副本。一个存储设备也可以仅具有数据访问功能,如该存储设备处理数据访问请求、实现数据容灾或数据分级功能。一个存储设备也可以既具有数据存储设备又具备数据访问功能。32.以前述说明中提及的第一存储设备、第二存储设备、以及第三存储设备为例。第一存储设备、第二存储设备、以及第三存储设备可能存在如下部署形式:33.1、第一存储设备、第二存储设备、第三存储设备为不同的设备。34.2、第一存储设备、第二存储设备为同一设备,第三存储设备不同于第二存储设备。35.3、第一存储设备、第三存储设备为同一设备,第二存储设备不同于第三存储设备。36.4、第二存储设备、第三存储设备为同一设备,第一存储设备不同于第三存储设备。37.需要说明的是,当第二存储设备、第三存储设备为同一设备时,理解为该设备从逻辑上分为两部分,一部分用于实现第三存储设备的功能,另一部分用于实现第二存储设备的功能。前述说明中提及的第二存储设备故障理解为用于实现该第二存储设备的功能的部分发生故障,而用于实现第三存储设备的功能的部分不会受到影响,也即未发生故障。例如,一个计算设备上同时部署两个虚拟机,其中一个虚拟机执行第二存储设备在前述说明中提及的操作,另一个虚拟机执行第三存储设备在前述说明中提及的操作。前述说明中提及的第二存储设备故障是指其中一个虚拟机发生故障。38.5、第一存储设备、第二存储设备、第三存储设备为同一设备。39.需要说明的是,当第一存储设备、第二存储设备、第三存储设备为同一设备与第二存储设备、第三存储设备为同一设备类似,也即一个设备从逻辑上分为三部分,该三部分分别用于实现第一存储设备、第二存储设备、第三存储设备的功能。40.在一种可能的实现方式中,该数据处理系统中的第二存储设备支持一种或多种协议的数据访问,也即所接收的数据访问协议一种或多种协议生成的。其中,该协议包括下列的部分或全部:posix协议、nfs、smb协议、hdfs。41.通过上述系统,存储设备能够支持多协议的数据访问,使得该数据处理系统适用于多种场景。42.在一种可能的实现方式中,该数据处理系统中存储设备还具备数据分析功能。例如,第二存储设备从第一存储设备获取数据副本或数据副本中的数据,对获取的数据副本或数据副本中的数据进行分析操作,该分析操作包括下列的部分或全部:查询、统计。查询是指在查找符合条件的数据,统计是指统计符合条件的数据的数量。43.通过上述系统,数据访问实例具备多种功能,有效的扩展了该数据处理系统的应用范围。44.第二方面,本技术实施例提供了一种数据处理方法,该方法由部署在存储设备上的数据访问实例执行,有益效果参见第一方面的相关说明。为了方便区别一个或多个存储设备上部署的不同的数据访问实例,这里以第一数据访问实例以及第二数据访问实例为例进行说明。在该方法中,第一数据访问实例接收数据访问请求,根据数据访问请求访问该第一数据访问实例的存储空间中的数据。第一数据访问实例的存储空间与前述提及的第二存储设备的存储空间类似,可以理解为该硬件组件,也可以理解的文件系统等存储软件。45.第一数据访问实例还可以具备数据备份功能,也即第一数据访问实例将该第一数据访问实例的存储空间中的数据备份在存储设备中。存储设备以数据备份链的形式存储数据副本,数据备份链以备份的时间顺序记录备份在存储设备中的各个数据副本,第一数据访问实例每次备份的数据作为数据备份链中的一个数据副本。46.该数据处理方法还包括如下部分或全部:47.(1)、数据容灾。48.第二数据访问实例在第一数据访问实例发生故障的情况下,该第二数据访问实例代替第一数据访问实例实现数据访问功能,处理数据访问请求。第二数据访问实例在处理数据访问请求下,根据数据访问请求访问存储设备中的数据副本。49.(2)、数据分级。50.第一数据访问实例在该第一数据访问实例的存储空间中的冷数据已包含在备份到存储设备的数据副本的情况下,第一数据访问实例删除第一数据访问实例的存储空间中的冷数据。例如,第一数据访问实例在第一数据访问实例的存储空间中保存冷数据的位置信息,冷数据的位置信息用于指示冷数据在存储设备的存储位置。51.在一种可能的实现方式中,第二数据访问实例在代替第一数据访问实例时,将该第二数据访问实例的存储空间中的数据备份在存储设备中,其中,第二数据访问实例每次备份的数据作为数据备份链中的一个数据副本。该存储空间中的数据为该第二数据访问实例在代替该第一数据访问实例时存储在该第二数据访问实例的存储空间中的数据。52.在一种可能的实现方式中,第一数据访问实例在故障恢复后,第一数据访问实例获取数据备份链中第二数据访问实例备份的数据副本,利用获取的数据副本恢复第一数据访问实例的存储空间中的数据。53.在一种可能的实现方式中,第一数据访问实例在冷数据转换为热数据的情况下,该第一数据访问实例用备份到存储设备的数据副本中的冷数据恢复第一数据访问实例的存储空间中的数据。例如,第一数据访问实例从存储设备获取冷数据;在第一数据访问实例的存储空间中存储冷数据。54.在一种可能的实现方式中,第一数据访问实例还在第一数据访问实例的存储空间中的数据发生损坏或丢失的情况下,从数据备份链中获取数据副本,利用获取的数据副本恢复发生损坏或丢失的数据。55.在一种可能的实现方式中,第一数据访问实例在将第一数据访问实例的存储空间中的数据备份在存储设备时,采用如下方式的部分或全部:56.(1)、增量备份。57.第一数据访问实例将第一数据访问实例的存储空间中的数据以数据增量的方式备份在存储设备中,每次备份的数据作为数据备份链中的一个数据副本。58.(2)、全量备份。59.第一数据访问实例将第一数据访问实例的存储空间中的数据以数据全量的方式备份在存储设备中,每次备份的数据作为数据备份链中的一个数据副本。60.在一种可能的实现方式中,第一数据访问实例、第二数据访问实例的部署方式较为灵活,下面列举几种部署方式:61.1、第一数据访问实例、第二数据访问实例部署在除该存储设备之外的设备上。第一数据访问实例所部署的设备与第二数据访问实例所部署的设备不同。62.2、第一数据访问实例、第二数据访问实例部署在除该存储设备之外的设备上。第一数据访问实例所部署的设备与第二数据访问实例所部署的设备相同。63.3、第一数据访问实例、第二数据访问实例部署在存储设备上。64.4、第一数据访问实例部署在存储设备上,第二数据访问实例部署在除该存储设备之外的设备上。65.5、第二数据访问实例部署在存储设备上,第一数据访问实例部署在除该存储设备之外的设备上。66.在一种可能的实现方式中,第一数据访问实例为虚拟机或容器,第二数据访问实例为虚拟机或容器。67.在一种可能的实现方式中,数据访问请求所基于的协议为下列的部分或全部:posix协议、nfs、smb协议、hdfs。68.在一种可能的实现方式中,第一数据访问实例从存储设备获取数据副本或数据副本中的数据,对获取的数据副本或数据副本中的数据进行分析操作,分析操作包括下列的部分或全部:查询、统计。69.第三方面,本技术实施例提供了一种数据处理方法,该方法由存储设备执行,有益效果参见第一方面的相关说明。存储设备以数据备份链的形式存储数据副本,数据备份链以备份的时间顺序记录备份在存储设备中的各个数据副本。在该方法中:70.存储设备在第一数据访问实例的控制下,将第一数据访问实例的存储空间中的数据备份在存储设备中,第一数据访问实例每次备份的数据作为数据备份链中的一个数据副本。例如,第一数据访问实例向存储设备发送备份请求,该备份请求用于请求备份数据,该备份请求中携带有第一数据访问实例的存储空间中的数据。存储设备在接收到该备份请求后,存储设备基于该备份请求将该备份请求中携带的数据作为数据副本存储在存储设备中。71.当第一数据访问实例发生故障的情况下,第二数据访问实例作为第一数据访问实例的容灾实例,存储设备接收来自第二数据访问实例的请求(如数据请求)。该数据请求用于请求数据。存储设备在第二数据访问实例的请求下,向第二数据访问实例反馈第一数据访问实例备份在存储设备中的数据,该数据也即为数据备份链中的数据副本或数据副本中的数据。72.在一种可能的实现方式中,存储设备在第二数据访问实例的控制下,将第二数据访问实例的存储空间中的数据备份在存储设备中,第二数据访问实例每次备份的数据作为数据备份链中的一个数据副本。73.在一种可能的实现方式中,当第一数据访问实例的存储空间中存在损坏或丢失的数据,或者第一数据访问实例在故障恢复后,第一数据访问实例向存储设备请求数据副本或数据副本中的数据。存储设备在第一数据访问实例的请求下,向第一数据访问实例反馈存储设备中的数据。74.在一种可能的实现方式中,第一数据访问实例每次备份在存储设备中的数据副本为下列的部分或全部:75.第一数据访问实例的存储空间中的所有数据;76.在上一次备份后,第一数据访问实例的存储空间中写入的数据。77.在一种可能的实现方式中,第一数据访问实例、第二数据访问实例以及存储设备的部署方式较为灵活,下面列举几种部署方式:78.1、第一数据访问实例、第二数据访问实例部署在除该存储设备之外的设备上。第一数据访问实例所部署的设备与第二数据访问实例所部署的设备不同。79.2、第一数据访问实例、第二数据访问实例部署在除该存储设备之外的设备上。第一数据访问实例所部署的设备与第二数据访问实例所部署的设备相同。80.3、第一数据访问实例、第二数据访问实例部署在存储设备上。81.4、第一数据访问实例部署在存储设备上,第二数据访问实例部署在除该存储设备之外的设备上。82.5、第二数据访问实例部署在存储设备上,第一数据访问实例部署在除该存储设备之外的设备上。83.第四方面,本技术实施例还提供了一种存储设备,该存储设备具有实现上述第三方面的方法实例中存储设备的行为的功能,有益效果参见第一方面的描述此处不再赘述。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的单元。在一个可能的设计中,数据访问实例的结构中包括存储单元、处理单元,这些单元可以执行上述第三方面方法示例中的相应功能,具体参见方法示例中的详细描述,此处不做赘述。84.第五方面,本技术实施例还提供了一种计算设备,该计算设备包括处理器以及存储器。存储器中存储计算机程序指令,处理器与存储器耦合,处理器可调用该存储器中存储的计算机执行指令,执行上述第二方面以及第二方面的各个可能的实现方式中的方法,或执行上述第三方面以及第三方面的各个可能的实现方式中的方法。85.第六方面,本技术还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第二方面以及第二方面的各个可能的实现方式中的方法,或使得计算机执行上述第三方面以及第三方面的各个可能的实现方式中的方法。86.第七方面,本技术还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第二方面以及第二方面的各个可能的实现方式中的方法,或使得计算机执行上述第三方面以及第三方面的各个可能的实现方式中的方法。87.第八方面,本技术还提供一种计算机芯片,芯片与存储器相连,芯片用于读取并执行存储器中存储的软件程序,执行上述第二方面以及第二方面的各个可能的实现方式中的方法,或执行上述第三方面以及第三方面的各个可能的实现方式中的方法。附图说明88.图1为本技术提供的一种数据处理系统的架构示意图;89.图2a~图2c为本技术提供的一种数据备份链的结构示意图;90.图3~图5为本技术提供的一种数据处理方法示意图;91.图6为本技术提供的一种数据访问实例的结构意图;92.图7为本技术提供的一种计算设备的结构意图。具体实施方式93.如图1所示,为本技术实施例提供的一种数据处理系统,该数据处理系统中包括多个存储设备100,该多个存储设备100中的部分或全部上能够部署数据访问实例200。94.该多个存储设备100存在至少一个存储设备100可用于存储数据副本。该数据副本是该数据处理系统中存储设备上部署的数据访问实例200备份在该存储设备100中的数据。一个数据副本即为该数据处理系统中存储设备上部署的数据访问实例200一次备份到存储设备100中的数据。如图2a所示,在本技术实施例中存储设备100采用数据备份链的形式存储数据副本。也就是说,存储设备100按照备份的时间顺序将备份在存储设备100中的各个数据副本组建起来。各个数据副本按照备份时间组建为一个数据备份链,随着时间的推移,该数据备份链上还会记录备份在存储设备100中的各个数据副本。95.用于存储数据副本的存储设备100能够在数据访问实例200的控制下,将数据访问实例200存储空间中的数据、作为数据备份链中的数据副本保存在数据备份链中。96.该存储设备100还可以在数据访问实例200的请求下向数据访问实例200反馈数据备份链中的数据或数据副本。97.例如,对于其中一个数据访问实例200,该数据访问实例200将该数据访问实例200的存储空间中数据备份在该存储设备100中。当该数据访问实例200的存储空间中存在损坏或丢失的数据时,该数据访问实例200向该存储设备请求备份在该存储设备100中的数据副本或数据副本中的数据,所请求的数据副本或数据用于恢复该数据访问实例200的存储空间中损坏或丢失的数据。98.又例如,当一个数据访问实例200发生故障时,该另一个数据访问实例200作为发生故障的数据访问实例200的容灾实例,代替该数据访问实例200实现数据访问功能。作为容灾实例的数据访问实例200在实现该数据访问功能时,当需要访问数据时,访问发生故障的数据访问实例200在故障发生前备份在该存储设备100的数据副本。也就是说,作为容灾实例的数据访问实例200向存储设备100请求发生故障的数据访问实例200备份在该存储设备100中的数据副本或数据副本中的数据。99.本技术实施例并不限定数据备份链的长度。例如,该数据备份链可以是无穷长的,该数据备份链无限延伸,记录无穷多的数据副本。又例如,该数据备份链可以为固定长度,该数据备份链中只能记录有限数量的数据副本。当数据备份链的长度超过该固定长度时,存储设备100对该数据备份链中的数据备份进行删除、或整合,缩减该数据备份链的长度。100.这种情况下,该存储设备100为一个具备数据存储功能的硬件设备,本技术实施例并不限定存储设备100的具体形态,如服务器、计算机、笔记本电脑、移动终端等硬件设备。101.该多个存储设备100中至少存在一个存储设备100能够部署数据访问实例200。在数据处理系统中,数据访问实例200是以数据访问作为主要功能所创建的实例,该数据访问实例200理解为虚拟机、容器等软件模块。这种情况下,该存储设备100为一个具备数据处理功能的硬件设备。在本技术实施例中数据访问实例200所能执行的操作理解为该数据访问实例200所在的存储设备100所执行的操作。数据访问实例200所具备的功能理解为该数据访问实例200所在的存储设备100所具备的功能。102.在本技术实例中一个存储设备100既能够具备数据存储功能,也即能够存储数据副本。还能够具备数据处理功能,也即该存储设备100上可以部署数据访问实例。103.从结构上,无论数据访问实例200采用哪一种形态,数据访问实例200包括处理模块210以及存储空间220。104.该处理模块210用于实现该数据访问实例200的主要功能,如数据访问(也即处理数据访问请求)、数据备份、数据容灾、数据分级、数据分析等。该处理模块210可以为虚拟处理器或由处理器虚拟化的模块,该处理模块210还可以为处理器等硬件组件。105.存储空间220是指该数据访问实例200用于存储数据的模块,所谓“存储空间220”是该数据访问实例200能够直接进行数据读写的模块。该存储空间220可以为该数据访问实例200所在存储设备100的内存、硬盘、磁盘等存储组件。该存储空间220也可以为该数据访问实例200所在存储设备100上部署的文件系统等用于存储数据的存储软件。该存储空间220还可以是在其他存储设备100上部署的文件系统等用于存储数据的存储软件。凡是允许该数据访问实例200直接访问数据的软件或硬件模块均适用于本技术实施例。由于数据访问实例200所具备的功能理解为该数据访问实例200所在的存储设备100所具备的功能。数据访问实例200也理解为该数据访问实例200所在的存储设备100的存储空间220。106.在本技术实施例中,处理模块210在进行数据写入时,优先将数据写入到该数据访问实例200的存储空间220中。处理模块210在读取数据时,优先从该数据访问实例200的存储空间220中读取数据,若该数据访问实例200的存储空间220中未找到需要读取的数据,处理模块210从存储设备100所存储的数据副本中读取数据。107.从功能上,对于任一个数据访问实例200,该数据访问实例200具备如下部分或全部功能:108.功能一、数据访问,处理数据访问请求。109.数据访问实例200能够接收用于请求访问数据的数据访问请求,还能够处理该数据访问请求,如根据该数据访问请求访问数据。在本技术实施例中数据访问实例200支持多种协议的数据访问请求,也即该数据访问请求是基于不同的协议生成的。如该协议包括但不限于:可移植操作系统接口(portableoperatingsysteminterface,posix)协议、网络文件系统(networkfilesystem,nfs)、服务器消息块(servermessageblock、smb)协议、hadoop分布式文件系统(hadoopdistributefilesystem,hdfs)协议。110.数据访问请求的类型不同,数据访问实例200在根据该数据访问请求访问数据的方式也不同。当数据访问请求为用于请求写入数据的数据写入请求时,数据访问实例200根据该数据写入请求将数据写入到该数据访问实例200的存储空间220中。111.当数据访问请求为用于请求读取数据的数据读取请求时,若需要读取的数据位于该数据访问实例200的存储空间220中,数据访问实例200从该数据访问实例200的存储空间220中读取数据,反馈所读取的数据。若需要读取的数据位于该存储设备100中,数据访问实例200从存储设备100中读取数据,反馈所读取的数据。112.功能二、数据备份。113.数据访问实例200将该数据访问实例200的存储空间220中的数据备份到存储设备100中,数据访问实例200每次备份的数据作为数据备份链中的一个数据副本存储在存储设备100中。114.数据访问实例200采用如下的部分或全部方式进行数据备份:115.方式一、全量备份。116.全量备份是指备份的数据为该数据访问实例200的存储空间220中的全部数据,也即数据访问实例200每次备份的数据是该数据访问实例200的存储空间220中的全部数据。数据备份链中的任一个数据副本即为该数据副本的备份时间下该数据访问实例200的存储空间220中的全部数据。117.图2b示例性的绘制了采用全量备份的情况下,数据备份链结构示意图,从图2b中可以看出,随着备份时间的推移,图2b中第一次备份的数据包括数据a、数据b以及数据c,第二次备份的数据包括数据a、数据b、数据c、和数据d,第三次备份的数据包括数据a、数据b、数据c、数据d以及数据e。第四次备份的数据包括数据a、数据b、数据c、数据d、数据e以及数据f。每次备份在存储设备100的数据副本的数据会增加,且每次备份的数据中还包括上次备份的数据。118.方式二、增量备份。119.增量备份是指备份的数据仅为在前一次备份后新写入到存储空间220增加的数据。数据访问实例200每次只需将前一次备份之后存储空间220中写入的数据备份到存储设备100中。数据备份链中的任一个数据副本即为该数据副本的备份时间与前一个数据备份的备份时间之间该存储空间220中写入的数据。120.图2c示例性的绘制了采用增量备份的情况下,数据备份链结构示意图,从图2c中可以看出,随着备份时间的推移,图2b中第一次备份的数据包括数据a、数据b以及数据c,第二次备份的数据包括数据d,第三次备份的数据包括数据f以及数据e。第四次备份的数据包括数据g。每次备份在存储设备100的数据副本包括的数据为区别于前一次备份的数据的数据。121.数据访问实例200可以采用上述任一种方式进行数据备份,也可以采用两种方式结合的方式进行数据备份,例如数据访问实例200可以在首次进行数据备份时,采用全量备份的方式进行数据备份,在后续进行数据备份时,采用增量备份的方式进行数据备份。122.功能三、数据容灾。123.若该数据处理系统中的一个数据访问实例200发生故障,也即该数据访问实例200无法在处理数据访问请求时,该数据处理系统中的另一个数据访问实例200可以代替发生故障的数据访问实例200实现数据访问功能,处理该数据访问请求,也即实现功能一。该另一个数据访问实例称为容灾实例。当然另一个数据访问实例200能够实现功能二,另一个数据访问实例200将自身存储空间220中的数据备份到存储设备100中。124.功能四、数据分级。125.数据分级的方式之一是按照冷热程度分级。对于任一数据访问实例200,数据访问实例200的存储空间220中存储的数据为后续可能访问到的数据,而存储空间220中的数据的数据访问频率不同,一些数据在一定时间段内会被频繁的访问,一些数据在一定时间段内鲜少被访问甚至不会被访问。在本技术实施例中,为了能够有效利用存储空间220的空间,数据访问实例200的存储空间220中存储一些数据访问频率较高的数据(高级别数据)存储的存储空间220中,对于一些数据访问频率较低的数据(低级别数据),由于这类数据作为数据副本的一部分备份到存储设备100中,存储空间220中不再保留该类数据本身,而是仅存储该类数据的位置信息,该类数据的位置信息指示该类数据在存储设备100中的存储位置。126.在本技术实施例中按照数据访问频率,对数据进行划分,分为热数据(该热数据是指经常被访问的数据,如热数据的数据访问频率大于阈值)、温数据(温数据的数据访问频率低于热数据的数据访问频率,如热数据的数据访问频率大于零,且小于阈值)、冷数据(冷数据是指几乎不被访问的数据,如冷数据的数据访问频率等于零)。需要说明的是,这里将数据划分为热数据、温数据、冷数据的方式进行举例,在实际应用中允许按照数据访问频率进行更加细粒度或更加粗粒度的划分。除了按照数据的冷热程度分级以外,还有其他分级方式,例如:按照数据类型分级,把音频数据和视频数据分为不同等级,音频数据的等级高于视频数据;或者,按照用户的级别分级,vip用户的数据的等级高于普通用户的数据的等级。这三种示例中,按照数据的冷热程度分级,分级的粒度分别通常是以块(block)为粒度,不排除以文件或者对象为粒度;以音频、视频数据分级,则是以文件为粒度;以vip用户和普通用户分级,是以用户为粒度,对用户产生的数据进行分级。127.数据访问实例200在存储空间220中存在冷数据,且该冷数据已包含在备份在存储设备100的数据副本时,删除该存储空间220中的冷数据。数据访问实例200在存储空间220中存储该冷数据的位置信息。数据访问实例200在发现存储空间220中存在温数据时,将删除该温数据,存储该温数据的位置信息。128.数据访问实例200、在存储空间220中存在冷数据变为热数据时,利用已备份在存储设备100的数据副本中的该冷数据恢复存储空间220中的数据。数据访问实例200根据存储的该冷数据的位置信息从存储设备100中获取该冷数据,存储该冷数据(此时该冷数据已经转换为热数据),删除该冷数据的位置信息。数据访问实例200在发现存储空间220中存在温数据变为热数据时,利用已备份在存储设备100的数据副本中的该温数据恢复存储空间220中的数据。数据访问实例200根据存储的该温数据的位置信息从存储设备100中获取该温数据,存储该温数据,删除该温数据的位置信息。129.功能五、数据分析。130.数据访问实例200对存储空间220或者存储设备100中存储的数据副本进行分析操作。在本技术实施例中分析操作包括但不限于:查询、统计。131.查询:数据访问实例200从存储空间220中的数据或存储设备100中存储的数据副本查找符合条件的数据,如数据访问实例200从存储空间220中的数据中查找具备相同或相似文件名的文件。又如若存储空间220中的文件a.txt的当前版本被误删,数据访问实例200在存储空间220中的数据中查找,确定是否存在文件a.txt的历史版本,将该文件a的历史版本将其恢复为当前版本。132.统计:数据访问实例200统计存储空间220中的数据或存储设备100中存储的数据副本中符合条件的数据,如数据访问实例200按照文件的大小或者文件类型等统计存储空间220中的文件。例如在存储空间220中容量占用较高时,数据访问实例200统计下各个用户的所创建的文件,以便后续优化存储空间220的容量。133.下面结合附图对本技术实施例中数据访问实例200实现上述功能(这里也可以理解为部署有数据访问实例200的存储设备100实现上述功能)的方式进行说明。134.(1)、数据访问以及数据备份。135.如图3所示,为本技术实施例提供的一种数据处理方法,在该方法包括:136.步骤301:数据访问实例200接收数据访问请求,该数据访问请求用于请求访问数据。137.用户在需要访问数据时,用户触发生成数据访问请求,数据访问实例200接收该数据访问请求。138.当该数据访问实例200部署在用户侧的存储设备100上时,用户通过操作该存储设备100,如用户通过对与该存储设备100连接的输入输出设备(如键盘、鼠标以及显示屏等)操作,查看某个文件、键入数据或传输文件等。该存储设备100在检测到用户的操作后,生成数据访问请求。部署在该存储设备100的数据访问实例200获取该数据访问请求。139.当该数据访问实例200部署在云端的存储设备100上时,用户通过部署在用户侧的客户端与云端的数据访问实例200建立连接,如用户通过操作客户端,查看某个文件、键入数据或传输文件等。该客户端在检测到用户的操作后,生成数据访问请求。该数据访问请求中携带有用户需要访问的数据的逻辑地址。该客户端将该数据访问请求发送给云端的数据访问实例200。140.在本技术实施例中,数据访问请求包括数据读取请求以及数据写入请求。数据读取请求用于请求读取数据,该数据读取请求中携带有数据的逻辑地址,该数据读取请求用于请求读取的数据为该逻辑地址上存储的数据。数据写入请求用于请求写入数据,该数据写入请求中携带有数据的逻辑地址以及需要写入的数据,该数据写入请求用于请求将需要写入的数据存储在该逻辑地址所指示的位置处。141.需要说明的是,在本技术实施例中并不限定数据访问的具体形式。例如,数据访问可以是基于块级别(block-level)进行的(在这种情况下存储空间220中的数据以及数据备份链中的数据副本的数据存储形式为块存储),也可以是基于文件级别(file-level)进行的(在这种情况下存储空间220中的数据以及数据备份链中的数据副本的数据存储形式为文件存储),还可以是基对象级别(object-level)进行的(在这种情况下存储空间220中的数据以及数据备份链中的数据副本的数据存储形式为对象存储)。数据访问的具体形式不同,数据访问请求中携带的信息也不同。142.对于基于块级别的数据访问,数据写入请求中携带有需要写入的数据、逻辑单元号(logicalunitnumber,lun)、逻辑块编号(logicalblockaddressing,lba)以及数据长度(length)。数据读取请求中携带有需要读取的数据的逻辑单元号、逻辑块编号以及数据长度。逻辑单元号、逻辑块编号)以及数据长度理解为数据的逻辑地址。143.对于基于文件级别的数据访问,数据写入请求中携带有需要写入的数据、该文件路径以及偏移,该文件路径是从根目录逐级向上一直指向文件的一串字符。偏移指示需要写入的数据在该文件中的偏移量。数据读取请求中携带有需要读取数据的文件路径以及偏移,偏移指示需要读取的数据在该文件中的偏移量。文件路径以及偏移从实质上理解为数据的逻辑地址,也即文件路径以及偏移与数据的逻辑地址具有相同的作用,是数据访问的主要依据。144.对于基于对象级别的数据访问,数据写入请求中携带有需要写入的数据、该对象标识以及偏移,该对象标识是对象的唯一标识。偏移指示需要写入的数据在该对象中的偏移量。数据读取请求中携带有需要读取数据的对象标识以及偏移,偏移指示需要读取的数据在该对象中的偏移量。对象标识以及偏移从实质上理解为数据的逻辑地址,也即对象标识以及偏移与数据的逻辑地址具有相同的作用,是数据访问的主要依据。145.步骤302:数据访问实例200根据该数据访问请求访问数据访问实例200的存储空间220中的数据。146.数据访问实例200在获取该数据访问请求后,处理该数据访问请求,根据该数据访问请求中携带的数据访问存储空间220中的数据。147.在本技术实施例中,数据访问主要是指在接收到数据访问请求后,根据数据访问请求所需执行的操作。148.当数据访问请求为数据写入请求时,数据访问实例200将该需要写入的数据存储在存储空间220中,该需要写入的数据在存储空间220的位置即为该数据写入请求中携带的逻辑地址所指示的位置。149.当数据访问请求为数据读取请求时,数据访问实例200根据该数据读取请求中携带的数据的逻辑地址在存储空间220中查找数据,若该逻辑地址上存储的数据为需要读取的数据本身,数据访问实例200直接获取该数据,向用户反馈该数据。若该逻辑地址上未存储的数据,该存储空间220中保留了需要读取的数据的位置信息,数据访问实例200根据该数据的位置信息从存储设备100中获取该数据,在获取该数据后,向用户反馈该数据。150.步骤301~步骤302即为数据访问实例200处理数据访问请求的过程,数据访问实例200除了处理数据访问请求,能够周期性或非周期性的进行数据备份。具体可以参加步骤303~步骤304。151.步骤303:数据访问实例200将存储空间220中的数据备份到存储设备100。数据访问实例200向存储设备200发起备份请求,该备份请求用于请求存储设备100备份该存储空间200中的数据。该备份请求中携带有该数据访问实例200的存储空间220中的数据,也即该数据访问实例200备份的数据。152.这里以周期性的进行数据备份为例进行说明,数据访问实例200自发的、间隔相同的时间进行数据备份,数据访问实例200在到达备份时间时,向该存储设备200发送备份请求,将存储空间220中的数据发送给存储设备100。若数据访问实例200采用全量备份的方式进行数据备份,数据访问实例200在到达备份时间时,通过备份请求将存储空间220中的全部数据发送给存储设备100。若数据访问实例200采用增量备份的方式进行数据备份,数据访问实例200在到达备份时间时,通过该备份请求将上一次数据备份后存储空间220中的新写入的数据发送给存储设备100。153.非周期性的进行数据备份是指数据访问实例200进行数据备份的间隔不同。例如,数据访问实例200侧预先配置一天之内的多个备份时间,该多个备份时间之间的间隔不同,数据访问实例200在到达一个备份时间时,进行一次数据备份。又例如,数据访问实例200在用户的触发下被动的进行数据备份。例如,用户在需要进行数据备份时,向数据访问实例200发送备份请求,请求该数据访问实例200进行数据备份。154.需要说明的是,数据访问实施例在将存储空间220中的数据备份到存储设备100时,并不仅仅只备份存储空间220中存储的数据本身,还会将数据的元数据与该数据一同备份到存储设备100中。其中数据的元数据是数据的描述信息。例如,数据的元数据记录该数据的逻辑地址、数据的修改信息。155.这里以存储空间220中的数据以文件存储的方式进行存储为例,数据访问实例200在进行数据备份时,除了备份文件本身还会备份文件系统元数据,该文件系统元数据描述该文件系统中目录的层级关系以及文件的描述信息(如文件inode等信息)。156.步骤304:存储设备100接收到来自数据访问实例200的备份请求后,将数据访问实例200备份的数据作为数据副本加入到数据备份链中。157.存储设备100在将数据访问实例200备份的数据写入到数据备份链中时,还标注该备份的数据的备份时间。该备份时间可以是数据访问实例200携带在备份的数据中的,也可以是存储设备100根据接收到该备份的时间确定的。158.需要说明的是,数据备份链仅是描述了数据副本的组建方式,也即该数据副本是以备份时间的顺序组建的。本技术实施例中并不限定该数据备份链存储设备100中的存储形态。例如,在存储设备100中数据备份链以文件夹的形式存储,该文件夹中包括多个文件,一个文件即为一个数据副本,该文件还标注了该数据副本的备份时间。159.步骤305:数据访问实例200利用存储设备100中数据备份链中的数据副本恢复存储空间220中损坏或丢失的数据。例如,数据访问实例200在存储空间220中的数据损坏时,数据访问实例200向存储设备100发送数据请求,该数据请求用于请求从存储设备100中获取损坏的数据。数据访问实例200利用获取的数据恢复存储空间220中的数据。又例如,数据访问实例200在存储空间220中的数据丢失时,数据访问实例200向存储设备100发送数据请求,该数据请求用于请求从存储设备100中获取丢失的数据。数据访问实例200利用获取的数据恢复存储空间220中的数据。160.这里以数据损坏为例进行说明,当数据访问实例200发现存储空间220中的数据损坏时,如数据访问实例200发现数据不完整或数据中存在乱码。若数据访问实例200采用全量备份的方式进行数据备份,数据访问实例200通过数据请求从存储设备100中获取存储设备100中数据备份链中最近一次备份的数据副本。在获取该数据副本后,数据访问实例200从该数据副本中获取与该损坏的数据相对应的完整的数据,利用该完整的数据替换损坏的数据。数据访问实例200通过数据请求直接从数据备份链中最近一次备份的数据副本获取与该损坏的数据相对应的完整的数据,之后再利用该完整的数据替换损坏的数据。若数据访问实例200采用增量备份的方式进行数据备份,数据访问实例200先确定该损坏的数据的写入存储空间220的时间,根据该损坏的数据的写入存储空间220的时间推算该损坏的数据的备份时间,该损坏的数据的备份时间通常为该损坏的数据的写入存储空间220后最近一次备份的时间,数据访问实例200通过数据请求从存储设备100中的数据备份链中获取该备份时间下的数据副本或该备份时间下该数据副本中与该损坏的数据相对应的完整的数据,之后再利用获取的数据恢复存储空间220中损失的数据。161.数据丢失情况下数据恢复方式与数据损坏情况下数据恢复方式类似,具体可以参见前述说明,此处不再赘述。162.(2)、数据容灾。163.如图4所示,为本技术实施例提供的一种数据处理方法,为了方便说明,将该数据处理方法中涉及的两个数据访问实例200,分别称为数据访问实例200a和数据访问实例200b,该方法包括:164.步骤401:数据访问实例200a发生故障时,创建数据访问实例200b,将数据访问实例200b作为容灾实例。165.当数据访问实例200a发生故障(如数据访问实例200a所在设备中断、或发生火灾等)时,数据访问实例200a将无法继续处理数据访问请求,为了能继续处理数据访问请求,创建数据访问实例200b。本技术实施例并不限定该数据访问实例200b的创建方式。例如,在该数据处理系统中部署有监控模块,该监控模块监控该数据处理系统中数据访问实例200的状态,若监控模块确定数据访问实例200a发生故障后,监控模块创建数据访问实例200b。又例如,由后台运维人员监控数据访问实例200的状态,在确定数据访问实例200a发生故障后,运维人员手动创建数据访问实例200b。166.步骤402:数据访问实例200b代替数据访问实例200a接收数据访问请求。167.步骤403:数据访问实例200b处理该数据访问请求,例如,数据访问实例200b根据该数据访问请求读取存储设备100中的数据,或数据访问实例200b根据该数据访问请求在存储空间220b中写入数据。168.当数据访问请求为数据写入请求时,数据访问实例200b将该需要写入的数据存储在数据访问实例200b的存储空间220b中,该需要写入的数据在存储空间220b的位置即为该数据写入请求中携带的逻辑地址所指示的位置。169.当数据访问请求为数据读取请求时,数据访问实例200b根据该数据读取请求中携带的数据的逻辑地址在存储空间220b中查找数据,若未查找到该数据,数据访问实例200b根据该逻辑地址向该存储设备100请求数据副本中的数据。存储设备100在数据访问实例200b的请求下向该数据访问实例200反馈该数据。数据访问实例200在从该存储设备100获取该数据后,向用户反馈该数据。若查找到该数据,数据访问实例200b直接在存储空间220b中获取该数据,向用户反馈该数据。170.这里以存储空间220b中的数据以文件存储的方式进行存储为例,数据写入请求中携带有需要写入的数据、该文件路径以及偏移。数据访问实例200b根据文件路径查找到需要写入数据的文件,根据该偏移写入将该需要写入的数据写入到文件中。数据读取请求中携带有需要读取数据的文件路径以及偏移,数据访问实例200b根据文件路径在存储空间220中查找文件,若未查找到该文件,数据访问实例200b根据文件路径向存储设备100请求数据副本中的数据。数据访问实例200b在从存储设备100中获取该数据后,向用户反馈该数据。若在存储空间220b中查找到该文件,数据访问实例200b直接根据偏移在该文件中获取该数据,向用户反馈该数据。171.由上述描述可知,数据访问实例200b处理该数据访问请求的方式与步骤302中数据访问实例200处理数据访问实例200的方式类似。区别在于,步骤302中数据访问实例200在存储空间220中存储有数据,在处理数据访问请求时,优先会访问存储空间220中的数据,只有存储空间220中未存储数据本身(如只存储了数据的位置信息)才会需要从存储设备100中获取数据。而在步骤403中,由于数据访问实例200b中的存储空间220b未存储有数据访问实例200a中存储空间220a中的全部数据,故而,在处理数据读取请求时,可能存在不能在存储空间220b中查找到数据的情况,这种情况下,数据访问实例200b需要根据该数据访问请求访问该存储设备100中的数据副本。172.步骤404:数据访问实例200b将存储空间220b的数据备份到存储设备100。173.在步骤403可知,数据访问实例200b会在数据访问实例200b的存储空间220b中写入数据,数据访问实例200b采用与步骤303相似的方式进行数据备份,数据访问实例200b进行数据备份的方式可以参见步骤303的相关说明,此处不再赘述。174.步骤405:数据访问实例200a故障恢复后,数据访问实例200a从存储设备100获取该数据访问实例200b备份的数据,恢复存储空间220a的数据。175.数据访问实例200a从存储设备100的数据备份链中获取数据访问实例200b备份的数据,若数据访问实例200b采用全量备份的方式,数据访问实例200a获取该数据备份链中数据访问实例200b最近一次备份的数据副本,数据访问实例200a获取该数据副本,将该数据副本保存在数据访问实例200a的存储空间220a,以恢复存储空间220a中的数据。若数据访问实例200b采用增量备份的方式,数据访问实例200a获取该数据备份链中数据访问实例200b备份的所有数据副本,数据访问实例200a获取数据访问实例200b备份的所有数据副本,将获取的所有数据副本保存在数据访问实例200a的存储空间220a中,以恢复存储空间220a中的数据。176.步骤406:数据访问实例200a继续处理数据访问请求,数据访问实例200b停止处理该数据访问请求。177.数据访问实例200a在恢复了存储空间220a中的数据后,数据访问实例200a继续处理数据访问请求。178.(3)、数据分级。179.如图5所示,为本技术实施例提供的一种数据处理方法,在该方法中以冷数据与热数据为例进行说明,该方法包括:180.步骤501:数据访问实例200发现存储空间220中存在冷数据。181.数据访问实例200监控存储空间220中数据的数据访问频率,在发现存储空间220中一些数据的数据访问频率降低,如该数据的数据访问频率已经等于或小于冷数据的数据访问频率,则该数据将变为冷数据。182.步骤502:数据访问实例200将存储空间220中的冷数据删除。数据访问实例200在存储空间220中存储该冷数据的位置信息。该冷数据的位置信息用于指示该冷数据在存储设备100中的存储位置。183.数据访问实例200在存储空间220中存在冷数据时,先确定该冷数据的位置信息。若该数据访问实例200之前在进行数据备份时采用全量备份的方式,数据访问实例200确定存储设备100的数据备份链中最近一次备份的数据副本,该数据副本中该冷数据在存储设备100的存储位置即为该冷数据的位置信息。若该数据访问实例200之前在进行数据备份时采用增量备份的方式,数据访问实例200确定该冷数据的写入存储空间220的时间,从存储设备100的数据备份链查找与该冷数据写入存储空间220后最近一次备份的数据副本,该数据副本中该冷数据在存储设备100的存储位置即为该冷数据的位置信息。184.数据访问实例200在获取该冷数据的位置信息,将存储空间220中缓存的冷数据删除,保留该冷数据的位置信息。185.步骤503:数据访问实例200确定冷数据转换为热数据。186.随着数据访问实例200监控存储空间220中数据的数据访问频率,会发现存储空间220中的一些冷数据的数据访问频率提升,该冷数据的数据访问频率已经等于或大于热数据的数据访问频率,该冷数据会变成热数据。187.步骤504:数据访问实例200根据该冷数据的位置信息从存储设备100中获取该冷数据。188.步骤505:数据访问实例200删除该冷数据的位置信息,在存储空间220中缓存该冷数据。189.数据访问实例200在获取该冷数据后,将该冷数据写入到该冷数据的逻辑地址所指示的位置处,并删除该冷数据的位置信息。190.需要说明的是,在图5所示的实施例中,仅是示例性的描述了数据分级中冷数据、热数据存储方式,对于温数据,可以采用类似冷数据的存储方式。当数据分级中数据的划分方式不同,存储空间220中能够存储数据本地的数据以及存储空间220中仅保留数据的位置信息的数据可能不同,但是数据分级的原理是类似的,也即在数据分级中,数据访问实例200的存储空间220中会尽量存储数据访问频率较高的数据,对于数据访问频率较低的数据,该数据访问实例200的存储空间220中仅保存该数据的位置信息。这样能够有效地利用数据访问实例200存储空间220的存储空间,使得存储空间220中尽可能多的数据访问频率高的数据。191.基于与方法实施例同一发明构思,本技术实施例还提供了一种存储设备,该存储设备用于执行上述如图3~5所示的方法实施例中存储设备执行的方法,相关特征可参见上述方法实施例,此处不再赘述。如图6所示,存储设备600包括存储单元601、处理单元602。192.存储单元601,用于以数据备份链的形式存储数据副本,数据备份链以备份的时间顺序记录备份在存储设备中的各个数据副本。193.处理单元602,用于在第一数据访问实例的控制下,将第一数据访问实例的存储空间中的数据备份在存储设备中,第一数据访问实例每次备份的数据作为数据备份链中的一个数据副本;当第一数据访问实例故障的情况下,根据来自第二数据访问实例的请求,向第二数据访问实例反馈第一数据访问实例备份在存储设备中的数据。194.在一种可能的实施方式中,处理单元602在第二数据访问实例的控制下,将第二数据访问实例的存储空间中的数据备份在存储设备中,第二数据访问实例每次备份的数据作为数据备份链中的一个数据副本。195.在一种可能的实施方式中,当第一数据访问实例的存储空间中的数据发生损坏或丢失的情况下,第一数据访问实例向存储设备发送数据请求。处理单元602在第一数据访问实例的请求下,向第一数据访问实例反馈数据备份链中的数据。第一数据访问实例根据该数据恢复存储空间中损坏或丢失的数据。196.在一种可能的实施方式中,存储设备中的数据副本为下列的部分或全部:197.(1)、第一数据访问实例采用增量备份进行数据备份。198.数据副本为在上一次备份后,第一数据访问实例的存储空间中写入的数据。199.(2)、第一数据访问实例采用全量备份进行数据备份。200.数据副本为第一数据访问实例的存储空间中的所有数据。201.在一种可能的实施方式中,存储设备、第一数据访问实例或第二数据访问实例采用如下部分或全部部署方式:202.第一数据访问实例部署在存储设备上。203.第二数据访问实例部署在存储设备上。204.需要说明的是,本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。在本技术的实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。205.上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质。半导体介质可以是固态硬盘(solidstatedrive,ssd)。206.在一个简单的实施例中,本领域的技术人员可以想到如图3~5所示的实施例中存储设备可采用图7所示的形式。207.如图7所示的计算设备700,包括至少一个处理器701、存储器702,可选的,还可以包括通信接口703。208.存储器702可以是易失性存储器,例如随机存取存储器;存储器也可以是非易失性存储器,例如只读存储器,快闪存储器,硬盘(harddiskdrive,hdd)或固态硬盘(solid-statedrive,ssd)、物理磁盘或者存储器702是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器702可以是上述存储器的组合。209.本技术实施例中不限定上述处理器701以及存储器702之间的具体连接介质。210.处理器701可以为中央处理器(centralprocessingunit,cpu),该处理器701还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircui。asic)、现场可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件、人工智能芯片、片上芯片等。通用处理器可以是微处理器或者是任何常规的处理器等。211.处理器701在与其他设备进行通信时,可以通过通信接口703进行数据传输,如从接收来自数据访问实例的数据请求或备份请求等。212.当所述存储设备采用图7所示的形式时,图7中的处理器701可以通过调用存储器702中存储的计算机执行指令,使得所述计算设备可以执行上述任一方法实施例中的存储设备执行的方法。213.具体的,图6的存储单元、处理单元的功能/实现过程均可以通过图7中的处理器701调用存储器702中存储的计算机执行指令来实现。或者,图6中的存储单元、处理单元的功能/实现过程可以通过图7中的处理器701调用存储器702中存储的计算机执行指令来实现,图6的处理单元中接收或发送的功能/实现过程可以通过图7中的通信接口703来实现。214.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。215.本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。216.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。217.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。218.显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变形在内。当前第1页12当前第1页12
技术特征:
1.一种数据处理系统,其特征在于,所述系统包括:第一存储设备,用于以数据备份链的形式存储数据副本,所述数据备份链以备份的时间顺序记录备份在所述存储设备中的各个数据副本;第二存储设备,用于接收数据访问请求,根据所述数据访问请求访问所述第二存储设备的存储空间中的数据;所述第二存储设备,还用于将所述第二存储设备的存储空间中的数据备份在所述第一存储设备中,所述第二存储设备每次备份的数据作为所述数据备份链中的一个数据副本;其中:所述数据处理系统还包括第三存储设备,所述第三存储设备用于在所述第二存储设备发生故障的情况下,代替所述第二存储设备实例处理所述数据访问请求,根据所述数据访问请求访问所述存储设备中的数据副本;或者所述第二存储设备,还用于:在所述第二存储设备的存储空间中的低级别数据已包含在备份到所述第一存储设备的数据副本的情况下,删除所述第二存储设备的存储空间中的低级别数据。2.如权利要求1所述的系统,其特征在于,所述第三存储设备,还用于:将所述第三存储设备的存储空间中的数据备份在所述第一存储设备中,其中,所述第三存储设备每次备份的数据作为所述数据备份链中的一个数据副本。3.如权利要求1或2所述的系统,其特征在于,所述第二存储设备,还用于在所述低级别数据转换为高级别数据的情况下,用备份到所述第一存储设备的数据副本中的低级别数据恢复所述第二存储设备的存储空间中的数据。4.如权利要求1~3任一项所述的系统,其特征在于,所述第二存储设备,还用于在所述第二存储设备的存储空间中的数据发生损坏或丢失的情况下,从所述数据备份链中获取数据副本,利用所述数据副本恢复发生损坏或丢失的数据。5.如权利要求1~4任一项所述的系统,其特征在于,所述第二存储设备在将所述第二存储设备的存储空间中的数据备份在所述第一存储设备中,用于:将所述第二存储设备的存储空间中的数据以数据增量的方式备份在所述第一存储设备中,每次备份的数据作为所述数据备份链中的一个数据副本;或将所述第二存储设备的存储空间中的数据以数据全量的方式备份在所述第一存储设备中,每次备份的数据作为所述数据备份链中的一个数据副本。6.如权利要求1~5任一项所述的系统,其特征在于,所述第一存储设备、所述第二存储设备或所述第三存储设备采用如下部分或全部部署方式:所述第二存储设备与所述第一存储设备为同一设备;所述第三存储设备与所述第一存储设备为同一设备。7.如权利要求1~6任一项所述的系统,其特征在于,所述数据访问请求所基于的协议为下列的部分或全部:可移植操作系统接口posix协议、网络文件系统nfs、服务器消息块smb协议、hadoop分布式文件系统协议hdfs。8.如权利要求1~7任一项所述的系统,其特征在于,所述第二存储设备,还用于:从所述第一存储设备获取备份的数据副本,对所述数据副本进行分析操作,所述分析
操作包括:查询、统计。9.一种数据处理方法,其特征在于,所述方法包括:第一数据访问实例接收数据访问请求,根据所述数据访问请求访问所述第一数据访问实例的存储空间中的数据;所述第一数据访问实例将所述第一数据访问实例的存储空间中的数据备份在存储设备中,其中,所述存储设备以数据备份链的形式存储数据副本,所述数据备份链以备份的时间顺序记录备份在所述存储设备中的各个数据副本,所述第一数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本;所述数据处理方法还包括如下部分或全部:(1)、第二数据访问实例在所述第一数据访问实例发生故障的情况下,代替所述第一数据访问实例处理所述数据访问请求,根据所述数据访问请求访问所述存储设备中的数据副本;(2)、所述第一数据访问实例在所述第一数据访问实例的存储空间中的低级别数据已包含在备份到所述存储设备的数据副本的情况下,删除所述第一数据访问实例的存储空间中的低级别数据。10.如权利要求9所述的方法,其特征在于,所述第二数据访问实例,还用于:将所述第二数据访问实例的存储空间中的数据备份在所述存储设备中,其中,所述第二数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本。11.如权利要求9或10所述的方法,其特征在于,所述第一数据访问实例,还用于在所述低级别数据转换为高级别数据的情况下,用备份到所述存储设备的数据副本中的低级别数据恢复所述第一数据访问实例的存储空间中的数据。12.如权利要求9~11任一项所述的方法,其特征在于,所述存储设备、所述第一数据访问实例或所述第二数据访问实例采用如下部分或全部部署方式:所述第一数据访问实例部署在所述存储设备上;所述第二数据访问实例部署在所述存储设备上。13.如权利要求9~12任一项所述的方法,其特征在于,所述数据访问请求所基于的协议为下列的部分或全部:可移植操作方法接口posix协议、网络文件方法nfs、服务器消息块smb协议、hadoop分布式文件方法协议hdfs。14.一种数据处理方法,其特征在于,所述方法由存储设备执行,所述存储设备以数据备份链的形式存储数据副本,所述数据备份链以备份的时间顺序记录备份在所述存储设备中的各个数据副本,所述方法包括:在第一数据访问实例的控制下,将第一数据访问实例的存储空间中的数据备份在所述存储设备中,所述第一数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本;当所述第一数据访问实例故障的情况下,根据来自所述第二数据访问实例的请求,向所述第二数据访问实例反馈所述第一数据访问实例备份在所述存储设备中的数据,其中,所述第二数据访问实例为所述第一数据访问实例的容灾实例。15.如权利要求14所述的方法,其特征在于,所述方法还包括:在所述第二数据访问实例的控制下,将所述第二数据访问实例的存储空间中的数据备
份在所述存储设备中,所述第二数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本。16.如权利要求14或15所述的方法,其特征在于,所述方法还包括:在所述第一数据访问实例的请求下,向所述第一数据访问实例反馈所述存储设备中的数据。17.如权利要求14~16任一项所述的方法,其特征在于,所述第一数据访问实例每次备份在所述存储设备中的数据为下列的部分或全部:所述第一数据访问实例的存储空间中的所有数据;在上一次备份后,所述第一数据访问实例的存储空间中写入的数据。18.如权利要求14~17任一项所述的方法,其特征在于,所述存储设备、所述第一数据访问实例或所述第二数据访问实例采用如下部分或全部部署方式:所述第一数据访问实例部署在所述存储设备上;所述第二数据访问实例部署在所述存储设备上。19.一种存储设备,其特征在于,所述存储设备包括存储单元、处理单元;所述存储单元,用于以数据备份链的形式存储数据副本,所述数据备份链以备份的时间顺序记录备份在所述存储设备中的各个数据副本;所述处理单元,用于在第一数据访问实例的控制下,将第一数据访问实例的存储空间中的数据备份在所述存储设备中,所述第一数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本;当所述第一数据访问实例故障的情况下,根据来自所述第二数据访问实例的请求,向所述第二数据访问实例反馈所述第一数据访问实例备份在所述存储设备中的数据。20.如权利要求19所述的设备,其特征在于,所述处理单元,还用于:在所述第二数据访问实例的控制下,将所述第二数据访问实例的存储空间中的数据备份在所述存储设备中,所述第二数据访问实例每次备份的数据作为所述数据备份链中的一个数据副本。21.如权利要求19或20所述的设备,其特征在于,所述处理单元,还用于:在所述第一数据访问实例的请求下,向所述第一数据访问实例反馈所述存储设备中的数据。22.如权利要求19~21任一项所述的设备,其特征在于,所述第一数据访问实例每次备份在所述存储设备中的数据副本为下列的部分或全部:所述第一数据访问实例的存储空间中的所有数据;在上一次备份后,所述第一数据访问实例的存储空间中写入的数据。23.如权利要求19~22任一项所述的设备,其特征在于,所述存储设备、所述第一数据访问实例或所述第二数据访问实例采用如下部分或全部部署方式:所述第一数据访问实例部署在所述存储设备上;所述第二数据访问实例部署在所述存储设备上。24.一种计算设备,其特征在于,所述计算设备包括处理器和存储器,所述处理器调用所述存储器中的计算机执行指令,执行权利要求9至18任一项所述的方法。25.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机可
执行指令,所述计算机可执行指令用于使计算机执行权利要求9至18任一项所述的方法。

技术总结
一种数据处理系统、方法及设备,本申请中,存储设备以数据备份链的形式存储数据副本,该数据备份链是以数据副本备份在存储设备的时间顺序记录存储设备中的各个数据副本。任一数据访问实例,该数据访问实例具体数据访问功能,该数据访问实例能够处理该数据访问请求。该数据访问实例可以进行数据备份,将该数据访问实例存储空间中的数据作为数据备份链中的数据副本备份到存储设备。在存储设备的支持下,数据访问实例还具备数据容灾功能以及数据分级功能。该数据处理系统支持一种或多种多副本技术,且存储设备仅以数据备份链的形式存储的数据副本,并不需要存储多份数据备份链,能够有效减少存储资源的占用。够有效减少存储资源的占用。够有效减少存储资源的占用。


技术研发人员:杨幸坤 陈克云
受保护的技术使用者:华为技术有限公司
技术研发日:2022.04.21
技术公布日:2023/8/23
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐