一种磁盘扫描方法、装置、设备和存储介质与流程

1.本技术涉及数据扫描技术领域，具体涉及一种磁盘扫描方法、装置、设备和存储介质。


背景技术：

2.在很多行业内都需要进行数据采集和积累，以此作为系统或模型进行训练和分析的依据。尤其是在自动驾驶技术领域中，为了便于工程师完善对自动驾驶车辆的控制，需要经常对自动驾驶车辆的行车数据进行采集，并对采集到的数据进行分析整合，以优化对自动驾驶车辆的控制，其中最常用的就是利用磁盘采集自动驾驶车辆的各种数据，在车辆经过一天的行驶后，将磁盘从车辆上取下，再将磁盘中的数据扫描至机器或服务器中，以供后续对数据的分析和研究。
3.但是现有的磁盘扫描方法不能根据磁盘对应的扫描上传目的地进行自主配置，对于不同类型的数据和不同的业务内容，并不能灵活地将磁盘中的数据扫描出来，不方便业内人员对数据的分析和研究。


技术实现要素：

4.有鉴于此，本技术提供了一种磁盘扫描方法、装置、设备和存储介质，用于解决现有的磁盘扫描方法不能根据磁盘对应的扫描上传目的地进行自主配置，对于不同类型的数据和不同的业务内容，并不能灵活地将磁盘中的数据扫描出来，不方便业内人员对数据的分析和研究的问题。
5.为实现以上目的，现提出的方案如下：
6.第一方面，一种磁盘扫描方法，包括：
7.响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；
8.对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；
9.获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；
10.根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。
11.优选地，所述根据所述目标机器的所在地区以及所述机器配置信息，确定与所述目标机器对应的数据定义配置信息，包括：
12.确定所述目标机器的当前运转周期；
13.将所述当前运转周期、目标机器的所在地区以及机器配置信息发送至所述目标机器的云端中，以供所述云端从云端数据库中确定在所述当前运转周期中与所述目标机器的
所在地区以及机器配置信息对应的数据定义配置信息。
14.优选地，在所述对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路之后，还包括：
15.获取所述目标机器的当前所在环境；
16.若所述目标机器的当前所在环境不属于预设的全量带宽环境，则对所述数据定义配置信息进行二次解析，以生成带宽限制信息；
17.以所述带宽限制信息对所述目标机器进行限制。
18.优选地，所述基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据，包括：
19.利用预设的各个数据类型，对所述所有磁盘信息中的各条信息进行标记，得到各条已标记信息；
20.从各条所述已标记信息中，将与预设的各个待扫描类型所对应的各条已标记信息作为各条待扫描信息；
21.针对每一条待扫描信息，将该条待扫描信息与每一个所述数据定义进行对比，以确定该条待扫描信息所对应的数据定义；
22.将各条待扫描信息进行组合和划分，以得到各个类别的目标数据。
23.优选地，所述基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据，包括：
24.在所述所有磁盘信息中，将属于各个所述数据定义的各条数据作为各条第一数据；
25.针对每一条第一数据，获取该条第一数据的扫描路径、所属种类、数据大小以及创建时间；
26.将该条第一数据的扫描路径、所属种类、数据大小以及创建时间进行组合，以得到与该条第一数据对应的目录数据，将该条第一数据与其所对应的目录数据进行整合，得到该条第一数据对应的目标数据；
27.将与该条第一数据所属数据定义相同的其他第一数据所对应的目标数据，以及该条第一数据对应的目标数据作为同一类别的目标数据，从而得到各个类别的目标数据。
28.优选地，所述根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描，包括：
29.针对每一个数据定义所对应的链路，获取与该条链路所对应的数据扫描优先级；
30.根据每一条链路所对应的数据扫描优先级对所述各个类别的目标数据进行排序；
31.按照所述排序的顺序依次对各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。
32.优选地，在所述根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描之后，还包括：
33.判断所述目标机器的当前内存空间是否有剩余；
34.若是，则计算所述目标机器的剩余内存空间，根据所述剩余空间对每一个所述数
据定义所对应的链路进行调整；
35.若否，则对所述目标机器的所在场所的带宽进行上调。
36.第二方面，一种磁盘扫描装置，包括：
37.数据定义配置信息确定模块，用于响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；
38.解析模块，用于根据对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；
39.预处理模块，用于获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；
40.线性处理模块，用于根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。
41.第三方面，一种磁盘扫描设备，包括存储器和处理器；
42.所述存储器，用于存储程序；
43.所述处理器，用于执行所述程序，实现如第一方面所述的磁盘扫描方法的各个步骤。
44.第四方面，一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的磁盘扫描方法的各个步骤。
45.从上述技术方案可以看出，本技术通过响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。本方案通过利用预先确定对应关系的目标机器的地区和自身配置，获取数据定义配置信息，进行解析后可以得到数据定义以及对应链路，从而根据数据定义和对应链路决定对磁盘信息的预处理方式和线性处理方式，可以有选择的将磁盘信息扫描至目标机器中，从而自主灵活的实现对磁盘的扫描，方便业内人员后续对扫描到的数据进行研究和分析。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
47.图1为本技术实施例提供的一种磁盘扫描方法的可选流程图；
48.图2为本技术实施例提供的配置解析模块的结构示意图；
49.图3为本技术实施例提供的数据识别模块的结构示意图；
50.图4为本技术实施例提供的一种磁盘扫描装置的结构示意图；
51.图5为本技术实施例提供的一种磁盘扫描设备的结构示意图；
具体实施方式
52.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.在很多行业内都需要进行数据采集和积累，以此作为系统或模型进行训练和分析的依据。尤其是在自动驾驶技术领域中，自动驾驶模型的稳定与可靠性是依赖于各种各样的数据进行训练所实现的，比如实车视频数据，激光雷达数据以及其他传感器所采集的数据等，因此需要对这些数据进行收集和积累，除此之外，为了便于工程师完善对自动驾驶车辆的控制，在自动驾驶车辆出现问题或发生错误时能够有对应的各种传感器以及系统日志数据进行分析，并在此之上进行开发，因此也会在收集自动驾驶模型训练所依赖的必需的数据之余，额外收集一些冗余的数据用于系统的分析及错误定位，并对收集到的数据进行分析整合，以优化对自动驾驶车辆的控制，其中最常用的就是利用磁盘采集自动驾驶车辆的各种数据，在车辆经过一天的行驶后，将磁盘从车辆上取下，再将磁盘中的数据扫描至机器或服务器中，以供后续对数据的分析和研究。
54.但是现有的磁盘扫描方法不能根据磁盘对应的扫描上传目的地进行自主配置，对于不同类型的数据和不同的业务内容，并不能灵活地将磁盘中的数据扫描出来，不方便业内人员对数据的分析和研究。
55.本发明实施例提供一种磁盘扫描方法，该方法可以应用在各种计算机终端或是智能终端中，其执行主体可以为计算机终端或是智能终端的处理器或服务器，所述方法的方法流程图如图1所示，具体包括：
56.s1：响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息。
57.在本技术中，响应于用户或者目标机器本身发起的对磁盘进行扫描的指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息。可以理解的是，目标机器本身也是有一定的存储空间的，如果并不能一次性将所有磁盘信息都扫描至目标机器，那么将磁盘重新插回至运行端(比如自动驾驶车辆)后，其剩余的磁盘信息将会被自动驾驶车辆新产出的信息覆盖，这样会造成信息的缺失和废弃，因此本技术中需要获取目标机器的机器配置信息，从中确定目标机器的存储空间，以避免上述过程。
58.s2：对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路。
59.对数据定义配置信息进行解析的过程可以看作是自主配置的过程，根据所有磁盘数据的类型，划分为多个数据定义或者是多种不同的数据定义，同时针对每一个数据定义，需要划定其所对应的链路，从而实现对数据以及上传链路的自定义，可以方便用户对于磁盘信息扫描的把控。
60.s3：获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据。
61.在本步骤中，获取磁盘中的所有磁盘信息，根据上一步骤中确定的数据定义，对所有磁盘信息进行预处理，从而得到各个类别的目标数据，具体地，预处理可以是根据多个数据定义对所有磁盘信息进行划分，比如数据定义是根据数据的类型进行划分的，那么所有磁盘信息将会被划分为多个类型，每个类型对应多条信息；或者数据定义是根据数据的报警级别程度进行划分的，被划分为同一个数据定义的磁盘信息同属于一个报警级别，本实施例对此不作限制。
62.s4：根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。
63.许多情况下，在进行数据通信时，两个端口之间的通路往往是由许多的链路串接而成的，因此，在本技术中，针对不同的数据定义，对应设置不同的链路可以对不同的磁盘信息进行区分。在一个示例中，对于自动驾驶车辆中的磁盘而言，自动驾驶车辆的报警信息被数据定义划分为数据1，自动驾驶车辆的正常行驶信息被数据定义划分为数据2，而数据1所对应的链路为链路1，数据2所对应的链路为链路2，另外，链路1和链路2的信息传输方式不同，传输速度不同，因此扫描的效率也会不同。所以根据每一个数据定义所对应的链路对每一个类别的目标数据进行线性处理，可以提高磁盘扫描的效率，还可以从中筛选重要的磁盘信息进行优先上传。
64.从上述技术方案可以看出，本技术通过响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。本方案通过利用预先确定对应关系的目标机器的地区和自身配置，获取数据定义配置信息，进行解析后可以得到数据定义以及对应链路，从而根据数据定义和对应链路决定对磁盘信息的预处理方式和线性处理方式，可以有选择的将磁盘信息扫描至目标机器中，从而自主灵活的实现对磁盘的扫描，方便业内人员后续对扫描到的数据进行研究和分析。
65.本发明实施例提供的方法中，根据所述目标机器的所在地区以及所述机器配置信息，确定与所述目标机器对应的数据定义配置信息的过程，具体说明如下所述：
66.确定所述目标机器的当前运转周期；
67.将所述当前运转周期、目标机器的所在地区以及机器配置信息发送至所述目标机器的云端中，以供所述云端从云端数据库中确定在所述当前运转周期中与所述目标机器的所在地区以及机器配置信息对应的数据定义配置信息。
68.具体地，在一个场景中，目标机器当前位于一个办公室中，并且办公室附近的数据存储中心存在多个，而考虑到磁盘信息上传目的地对扫描过程会产生影响，因此针对目标机器本身因素的影响，根据目标机器的所在地区、附近数据存储中心的位置，需要选择一个最近的数据存储中新，以实现成本的节约；另外在确定数据定义配置信息的过程中，由于运
转周期的变化，目标机器的配置也会发生变化，因此首先需要确定目标机器的当前运转周期，再将当前运转周期以及之前获取到的目标机器所在地区和机器配置信息发送至云端，云端接收到这些信息后，将与其对应的数据定义配置信息返回，并存入至数据存储中心，以供后续的解析过程。
69.上述实施例对本技术的根据所述目标机器的所在地区以及所述机器配置信息，确定与所述目标机器对应的数据定义配置信息的过程进行了说明，那么在对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路之后，本技术还包括以下步骤：
70.获取所述目标机器的当前所在环境；
71.若所述目标机器的当前所在环境不属于预设的全量带宽环境，则对所述数据定义配置信息进行二次解析，以生成带宽限制信息；
72.以所述带宽限制信息对所述目标机器进行限制。
73.具体的，全量带宽环境指的是目标机器可以全量使用带宽的场所。不同企业或单位对于目标机器的放置位置大不相同，有的将目标机器放置于办公室，有些将目标机器放置于机房，而不同的放置位置会对目标机器的带宽使用情况产生影响，比如机房的带宽限制少，速度快，那么将目标机器放置于机房中，可以使其全量使用带宽。因此在本技术中，若目标机器的当前所在环境不属于预设的全量带宽环境，那么除了对数据定义配置进行解析生成数据定义以及对应链路外，还需要进行二次解析，以得到带宽限制信息，根据带宽限制信息对目标机器进行限制，达到减少磁盘信息扫描的目的，保证磁盘信息的利用度。
74.下面对本技术中的基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据的过程进行说明。下面列举两种方式：
75.(一)利用预设的各个数据类型，对所述所有磁盘信息中的各条信息进行标记，得到各条已标记信息；
76.从各条所述已标记信息中，将与预设的各个待扫描类型所对应的各条已标记信息作为各条待扫描信息；
77.针对每一条待扫描信息，将该条待扫描信息与每一个所述数据定义进行对比，以确定该条待扫描信息所对应的数据定义；
78.将各条待扫描信息进行组合和划分，以得到各个类别的目标数据。
79.在上述过程中，对于自动驾驶领域而言，自动驾驶车辆所生成的多种信息将会无差别的存入至车辆磁盘中，但是具体来说，每一种信息的重要程度并不相同，如果将所有磁盘数据都扫描至目标机器，会造成目标机器的卡顿和浪费，并且效率低下，并不能有效筛选出更加重要的信息加以利用。因此设置了待扫描类型，待扫描类型就是真正需要扫描到目标机器中的磁盘信息。另外预设多个数据类型，将每一种数据类型作为标签，分别对所有磁盘信息中的每一条信息进行标记，得到各条已标记信息，根据预设的待扫描类型将各条已标记信息进行一一对应，以从各条已标记信息中筛选出待扫描信息，然后再根据数据定义，即可实现待扫描信息的组合和划分，得到各个类别的目标数据。
80.(一)在所述所有磁盘信息中，将属于各个所述数据定义的各条数据作为各条第一数据；
81.针对每一条第一数据，获取该条第一数据的扫描路径、所属种类、数据大小以及创
建时间；
82.将该条第一数据的扫描路径、所属种类、数据大小以及创建时间进行组合，以得到与该条第一数据对应的目录数据，将该条第一数据与其所对应的目录数据进行整合，得到该条第一数据对应的目标数据；
83.将与该条第一数据所属数据定义相同的其他第一数据所对应的目标数据，以及该条第一数据对应的目标数据作为同一类别的目标数据，从而得到各个类别的目标数据。
84.具体地，将各个数据定义与所有磁盘信息中的每一条数据进行对照，将属于各个所述数据定义的各条数据作为第一数据。可以理解的是，每一条第一数据都会有其对应的扫描路径、所属种类、数据大小以及创建时间，将这些信息与本身数据进行整合后，可得到各条目标数据。接下来就是进行划分、归类，组合，从而得到各个类别的目标数据。
85.上述实施例对本技术中的基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据的过程进行了说明，下述实施例对本技术中的根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描的过程进行详细的说明，具体如下：
86.针对每一个数据定义所对应的链路，获取与该条链路所对应的数据扫描优先级；
87.根据每一条链路所对应的数据扫描优先级对所述各个类别的目标数据进行排序；
88.按照所述排序的顺序依次对各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。
89.具体地，在一个示例中，某地区的某个办公室的带宽只有100mb，目标机器位于此办公室中，且目标机器的存储空间只有500gb，即使在一天内将磁盘中的各个类别的目标数据进行不间断的扫描上传，那么只需要两三天，目标机器的内存空间就没有剩余了，所以通过在链路中设定数据扫描优先级的方式，将目标数据进行排序，较为重要的数据排列在前，或者将占用带宽较小的数据排列在前，这样就可以保证这些数据可以优先扫描至目标机器中，保证了数据的高利用率和扫描效率，对于其他不重要的数据，可以直接删除。
90.可以理解的是，在已经对扫描过程进行筛选后，本方法还可以包括：判断所述目标机器的当前内存空间是否有剩余；若是，则计算所述目标机器的剩余内存空间，根据所述剩余空间对每一个所述数据定义所对应的链路进行调整；若否，则对所述目标机器的所在场所的带宽进行上调。沿用上述例子，将该办公室的带宽申请上调至1000m，则可以将所有磁盘信息完整的扫描上传。
91.可选的，本技术实施例还提供了一种磁盘扫描装置，该装置包括配置解析模块、数据识别模块和数据链路处理模块，其中：
92.配置解析模块的结构图如图2所示，其中设置有syncconfig函数，用于响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息，并存入装置内存中；还设置有configparser函数，用于对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路，还可能包括一些额外的带宽限制信息等；另外还设置了storeconfig函数，用于将configparser函数解析到的各种信息存储在本装置的内存中，以供后续其他模块访问调用。
93.数据识别模块的结构图如图3所示，其中设置有getdatadefinition函数，用于从storeconfig函数中获取解析的各种信息；还设置有distinguishdata函数，用于根据getdatadefinition函数获取到的信息中的各个数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据，或者是负责遍历存储了特定数据目录中的各条第一数据，将第一数据的扫描路径、所属种类、数据大小以及创建时间进行整合，再生成各个类别的目标数据存入本装置内存中；还设置了storedatainfo函数，用于将各个类别的目标数据存入本地数据库中。
94.数据链路处理模块用于根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描；还可以用来对数据上传的异常状态进行监控。其中，该模块主要负责的就是对这些链路通知其他对应的模块来进行执行。
95.数据链路处理模块与配置解析模块、数据识别模块共同构成了一套完整的可供用户自定义配置且具备扩展性的，并且拥有数据上传异常状态监控，能够监测异常数据上传状况的磁盘扫描装置(磁盘扫描器)。
96.与图1所述的方法相对应，本发明实施例还提供了另一种磁盘扫描装置，用于对图1中方法的具体实现，本发明实施例提供的这种磁盘扫描装置可以在计算机终端或各种移动设备中，结合图4，对磁盘扫描装置进行介绍，如图4所示，该装置可以包括：
97.数据定义配置信息确定模块10，用于响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；
98.解析模块20，用于根据对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；
99.预处理模块30，用于获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；
100.线性处理模块40，用于根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。
101.从上述技术方案可以看出，本技术通过响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。本方案通过利用预先确定对应关系的目标机器的地区和自身配置，获取数据定义配置信息，进行解析后可以得到数据定义以及对应链路，从而根据数据定义和对应链路决定对磁盘信息的预处理方式和线性处理方式，可以有选择的将磁盘信息扫描至目标机器中，从而自主灵活的实现对磁盘的扫描，方便业内人员后续对扫描到的数据进行研究和分析。
102.在一个示例中，所述数据定义配置信息确定模块10可以包括：
103.模块，用于确定所述目标机器的当前运转周期；
104.模块，用于将所述当前运转周期、目标机器的所在地区以及机器配置信息发送至所述目标机器的云端中，以供所述云端从云端数据库中确定在所述当前运转周期中与所述目标机器的所在地区以及机器配置信息对应的数据定义配置信息。
105.在一个示例中，所述装置可以包括：
106.环境获取模块，用于获取所述目标机器的当前所在环境；
107.二次解析模块，用于若所述目标机器的当前所在环境不属于预设的全量带宽环境，则对所述数据定义配置信息进行二次解析，以生成带宽限制信息；
108.限制模块，用于以所述带宽限制信息对所述目标机器进行限制。
109.在一个示例中，所述预处理模块30可以包括：
110.标记模块，用于利用预设的各个数据类型，对所述所有磁盘信息中的各条信息进行标记，得到各条已标记信息；
111.筛选模块，用于从各条所述已标记信息中，将与预设的各个待扫描类型所对应的各条已标记信息作为各条待扫描信息；
112.对比模块，用于针对每一条待扫描信息，将该条待扫描信息与每一个所述数据定义进行对比，以确定该条待扫描信息所对应的数据定义；
113.组合划分模块，用于将各条待扫描信息进行组合和划分，以得到各个类别的目标数据。
114.在一个示例中，所述预处理模块30还可以包括：
115.对照模块，用于在所述所有磁盘信息中，将属于各个所述数据定义的各条数据作为各条第一数据；
116.基础信息获取模块，用于针对每一条第一数据，获取该条第一数据的扫描路径、所属种类、数据大小以及创建时间；
117.整合模块，用于将该条第一数据的扫描路径、所属种类、数据大小以及创建时间进行组合，以得到与该条第一数据对应的目录数据，将该条第一数据与其所对应的目录数据进行整合，得到该条第一数据对应的目标数据；
118.归类模块，用于将与该条第一数据所属数据定义相同的其他第一数据所对应的目标数据，以及该条第一数据对应的目标数据作为同一类别的目标数据，从而得到各个类别的目标数据。
119.在一个示例中，所述线性处理模块40可以包括：
120.优先级获取模块，用于针对每一个数据定义所对应的链路，获取与该条链路所对应的数据扫描优先级；
121.排序模块，用于根据每一条链路所对应的数据扫描优先级对所述各个类别的目标数据进行排序；
122.传入模块，用于按照所述排序的顺序依次对各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。
123.在一个示例中，所述装置还可以包括：
124.判断模块，用于判断所述目标机器的当前内存空间是否有剩余；
125.链路调整模块，用于若是，则计算所述目标机器的剩余内存空间，根据所述剩余空
间对每一个所述数据定义所对应的链路进行调整；
126.带宽上调模块，用于若否，则对所述目标机器的所在场所的带宽进行上调。
127.更进一步地，本技术实施例提供了一种磁盘扫描设备。可选的，图5示出了磁盘扫描设备的硬件结构框图，参照图5，磁盘扫描设备的硬件结构可以包括：至少一个处理器01，至少一个通信接口02，至少一个存储器03和至少一个通信总线04。
128.在本技术实施例中，处理器01、通信接口02、存储器03、通信总线04的数量为至少一个，且处理器01、通信接口02、存储器03通过通信总线04完成相互间的通信。
129.处理器01可以是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等。
130.存储器03可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器。
131.其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于执行下述磁盘扫描方法，包括：
132.响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；
133.对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；
134.获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；
135.根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。可选的，程序的细化功能和扩展功能可参照方法实施例中的磁盘扫描方法的描述。
136.本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，在所述程序运行时控制所述存储介质所在的设备执行下述磁盘扫描方法，包括：
137.响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；
138.对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；
139.获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；
140.根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。
141.具体地，该存储介质可以是一种计算机可读存储介质，计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。
142.可选的，程序的细化功能和扩展功能可参照方法实施例中的磁盘扫描方法的描
述。
143.另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。
144.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
145.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
146.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种磁盘扫描方法，其特征在于，包括：响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据存储至所述目标机器中，从而完成对磁盘的扫描。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息，包括：确定所述目标机器的当前运转周期；将所述当前运转周期、目标机器的所在地区以及机器配置信息发送至所述目标机器的云端中，以供所述云端从云端数据库中确定在所述当前运转周期中与所述目标机器的所在地区以及机器配置信息对应的数据定义配置信息。3.根据权利要求1所述的方法，其特征在于，在所述对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路之后，还包括：获取所述目标机器的当前所在环境；若所述目标机器的当前所在环境不属于预设的全量带宽环境，则对所述数据定义配置信息进行二次解析，以生成带宽限制信息；以所述带宽限制信息对所述目标机器进行限制。4.根据权利要求1所述的方法，其特征在于，所述基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据，包括：利用预设的各个数据类型，对所述所有磁盘信息中的各条信息进行标记，得到各条已标记信息；从各条所述已标记信息中，将与预设的各个待扫描类型所对应的各条已标记信息作为各条待扫描信息；针对每一条待扫描信息，将该条待扫描信息与每一个所述数据定义进行对比，以确定该条待扫描信息所对应的数据定义；将各条待扫描信息进行组合和划分，以得到各个类别的目标数据。5.根据权利要求1所述的方法，其特征在于，所述基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据，包括：在所述所有磁盘信息中，将属于各个所述数据定义的各条数据作为各条第一数据；针对每一条第一数据，获取该条第一数据的扫描路径、所属种类、数据大小以及创建时间；将该条第一数据的扫描路径、所属种类、数据大小以及创建时间进行组合，以得到与该条第一数据对应的目录数据，将该条第一数据与其所对应的目录数据进行整合，得到该条第一数据对应的目标数据；
将与该条第一数据所属数据定义相同的其他第一数据所对应的目标数据，以及该条第一数据对应的目标数据作为同一类别的目标数据，从而得到各个类别的目标数据。6.根据权利要求1所述的方法，其特征在于，所述根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描，包括：针对每一个数据定义所对应的链路，获取与该条链路所对应的数据扫描优先级；根据每一条链路所对应的数据扫描优先级对所述各个类别的目标数据进行排序；按照所述排序的顺序依次对各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。7.根据权利要求1所述的方法，其特征在于，在所述根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描之后，还包括：判断所述目标机器的当前内存空间是否有剩余；若是，则计算所述目标机器的剩余内存空间，根据所述剩余空间对每一个所述数据定义所对应的链路进行调整；若否，则对所述目标机器的所在场所的带宽进行上调。8.一种磁盘扫描装置，其特征在于，包括：数据定义配置信息确定模块，用于响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，根据所述目标机器的所在地区以及机器配置信息，确定与所述目标机器对应的数据定义配置信息；解析模块，用于根据对所述数据定义配置信息进行解析，以生成多个数据定义以及每一个所述数据定义所对应的链路；预处理模块，用于获取所述磁盘中的所有磁盘信息，并基于各个所述数据定义，对所述所有磁盘信息进行预处理，得到各个类别的目标数据；线性处理模块，用于根据每一个所述数据定义所对应的链路对所述各个类别的目标数据进行线性处理，以将所述各个类别的目标数据传入至所述目标机器中，从而完成对磁盘的扫描。9.一种磁盘扫描设备，其特征在于，包括存储器和处理器；所述存储器，用于存储程序；所述处理器，用于执行所述程序，实现如权利要求1-7任一项所述的磁盘扫描方法的各个步骤。10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的磁盘扫描方法的各个步骤。

技术总结
本申请公开一种磁盘扫描方法、装置、设备和存储介质，通过响应于磁盘扫描指令，获取待扫描的磁盘当前所对应目标机器的所在地区以及机器配置信息，并根据这些信息确定与目标机器对应的数据定义配置信息，然后对数据定义配置信息进行解析，以生成多个数据定义以及每一个数据定义所对应的链路；再基于各个数据定义，对获取到的所有磁盘信息进行预处理，得到各个类别的目标数据；根据每一个数据定义所对应的链路对各个类别的目标数据进行线性处理，以将各个类别的目标数据存储至目标机器中，从而完成对磁盘的扫描。本方案可以有选择的将磁盘信息扫描至目标机器中，从而自主灵活的实现对磁盘的扫描，方便后续对扫描到的数据进行研究和分析。究和分析。究和分析。


技术研发人员：楼旭
受保护的技术使用者：广州文远知行科技有限公司
技术研发日：2023.05.25
技术公布日：2023/8/16