链路动态调整和数据处理方法、装置、计算机设备及介质与流程

1.本发明涉及链路平台技术领域，具体链路动态调整和数据处理方法、装置、计算机设备及介质。


背景技术：

2.随着新能源汽车在市场中的保有量的逐年增加，新能源汽车的安全问题成为了我们国家关注的重点。目前国家要求市面上的所有新能源汽车都需要按照国家标准要求，通过车企的监控平台接入到“新能源汽车国家检测与管理平台”、“新能源汽车地方检测与管理平台”并实时上报车辆数据。
3.车企需要提前与监控平台申请连接链路和账号信息，当车企新能源汽车数量增长到服务端节点数无法支撑，工作人员需要手动增加节点以及链路的配置等工作，会影响到服务的可用性及故障恢复时间，且运维人工成本较大。


技术实现要素：

4.有鉴于此，本发明提供了一种链路动态调整和数据处理方法、装置、计算机设备及介质，以解决工作人员需要手动增加节点以及链路的配置等工作，会影响到服务的可用性及故障恢复时间，且运维人工成本较大的问题。
5.第一方面，本发明提供了一种链路动态调整方法，获取链路调整数据信息，所述链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台；判断本地数据库中所述第一平台对应的第一备用链路的状态是否为开启状态，所述本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态；当本地数据库中所述第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，所述缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率。
6.本发明实施例提供了一种链路动态调整方法，通过获取链路调整数据信息，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，将第一平台对应的第一备用链路设置在目标服务节点，自动实时监测每一平台的数据量，当监测到某一平台数据量激增时，管理节点自动将备用链路设置在目标服务节点中，提高了服务、运维的效率，且实现了全自动化减少了人工成本。
7.在一种可选的实施方式中，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，包括：判断所述缓存数据库中是否存在资源使用率小于预设使用阈值的候选服务节点；若所述缓存数据库中存在资源使用率小于预设使用阈值的候选服务节点时，将资源使用率最小的候选服务节点确定为目标服务节点。
8.通过判断所有服务节点的资源使用率与预设使用阈值的大小关系，并选取资源使
用率最小的候选服务节点确定为目标服务节点，可防止在有新的链路数据增加时，导致服务节点的资源使用率超过预设使用阈值，影响服务节点的传输流畅度，并放在资源使用率最小的服务节点可增加该服务节点的资源浪费。
9.在一种可选的实施方式中，该链路动态调整方法还包括：若所述缓存数据库中不存在资源使用率小于预设使用阈值的候选服务节点时，将创建的新服务节点确定为目标服务节点
10.通过在不存在资源使用率小于预设使用阈值的候选服务节点的情况下，将预先创建的新的服务节点作为目标服务节点，可随时保证有空闲的服务节点供新的链路接入，提高了链路调整的连续性。
11.在一个可选的实施方式中，所述新服务节点通过下述步骤得到：判断所述缓存数据库中各服务节点的资源利用率与预设扩容阈值的关系，所述预设扩容阈值小于所述预设使用阈值；当存在任一服务节点的资源利用率大于预设扩容阈值时，创建新服务节点。
12.本方案设置预设扩容阈值，使得扩容阈值小于预设使用阈值，可以在即将服务节点的资源使用率过高时，提前准备了新的服务节点来接入链路，且通过k8s创建新节点，资源利用率更高、且更合理、全方面提升业务服务的稳定性。
13.在一个可选的实施方式中，该链路动态调整方法还包括：
14.间隔预设时间段向所有服务节点发送心跳请求；接收所有服务节点发动的心跳响应信息，所述心跳响应信息包括服务节点的资源使用率；基于接收到的各服务节点的资源使用率对所述服务节点的链路进行调整。
15.通过实时向服务节点发送心跳请求，进行线上链路情况的实时监控，获取服务节点的资源使用率，避免数据量激增，还需对所有服务节点的资源使用率进行计算，浪费时间，提升了业务服务的效率。
16.在一个可选的实施方式中，所述基于接收到的任一服务节点的资源使用率对所述服务节点的链路状态进行调整，包括：当判断第二服务节点的资源使用率小于预设删减阈值，统计所述第二服务节点中不同平台对应的链路数量；对所述第二服务节点中链路数量最多的当前平台对应的任一链路进行删减操作，并将进行删减操作的链路在本地数据库中对应的状态变更为关闭状态。
17.通过实时判断各个服务节点的资源使用率，当某一服务节点的资源使用率过低，则删除该服务节点的某一链路，可减少资源使用成本。
18.在一个可选的实施方式中，该链路动态调整方法还包括：接收第二平台接入信息；判断本地数据库中所述第二平台对应的第二备用链路是否为开启状态；若判断本地数据库中所述第二平台对应的第二备用链路为开启状态，将所述开启状态的第二备用链路设置在所述缓存数据库中资源使用率小于预设使用阈值的当前目标服务节点；在所述当前目标服务节点创建所述第二平台对应的消费者，使得所述消费者对所述第二平台通过第二备用链路传输的数据进行数据处理。
19.在由新的平台加入时，可完全自动化的创建消费者、增加对应的链路，避免由于业务增加需要修改代码进行上线发布到模式，提升了业务服务的效率。
20.第二方面，本发明提供了一种数据处理方法，接收数据信息，所述数据信息包括数据和所述数据对应的平台标识；基于所述数据对应的平台标识对数据进行分类处理，得到
每一平台对应的数据；将分类处理后的第三平台对应的数据通过所述第三平台对应的链路进行数据传输至对应的服务节点，所述链路和服务节点为上述第一方面或其对应的任一实施方式所述的链路动态调整方法得到的。
21.本发明通过基于数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据，基于分类处理后的平台对应数据通过平台对应的链路传输至对应的服务节点，相比于之前将所有的数据分别都传输给所有的平台，基于数据处理减少了传输的数据量，优化了资源使用，可降低各平台消费全量数据的流量带宽。
22.第三方面，本发明提供了一种链路动态调整装置，数据信息获取模块，用于获取链路调整数据信息，所述链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台；链路状态判断模块，用于判断本地数据库中所述第一平台对应的第一备用链路的状态是否为开启状态，所述本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态；目标服务节点确定模块，用于当本地数据库中所述第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，所述缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率；链路放置模块，用于将所述第一平台对应的第一备用链路设置在所述目标服务节点。
23.第四方面，本发明提供了一种数据处理装置，数据信息接收模块，用于接收数据信息，所述数据信息包括数据和所述数据对应的平台标识；数据处理模块，用于基于所述数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据；数据传输模块，用于将分类处理后的第三平台对应的数据通过所述第三平台对应的链路进行数据传输至对应的服务节点，所述链路和服务节点为通过上述第一方面或其对应的任一实施方式的链路动态调整方法得到的
24.第五方面，本发明提供了一种计算机设备，包括：存储器和处理器，存储器和处理器之间互相通信连接，存储器中存储有计算机指令，处理器通过执行计算机指令，从而执行上述第一方面或其对应的任一实施方式的链路动态调整方法，或执行上述第二方面的数据处理方法。
25.第六方面，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机指令，计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的链路动态调整方法，或执行上述第二方面的数据处理方法。
附图说明
26.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是根据本发明实施例的链路动态调整方法的流程示意图；
28.图2是根据本发明实施例的另一链路动态调整方法的流程示意图；
29.图3是根据本发明实施例的又一链路动态调整方法的流程示意图；
30.图4是根据本发明实施例的数据处理方法的流程示意图；
31.图5是根据本发明实施例的链路动态调整装置的结构框图；
32.图6是根据本发明实施例的数据处理装置的结构框图；
33.图7是本发明实施例的计算机设备的硬件结构示意图。
具体实施方式
34.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.随着新能源汽车在市场中的保有量的逐年增加，新能源汽车的安全问题成为了我们国家关注的重点。目前国家要求市面上的所有新能源汽车都需要按照国家标准要求，通过车企的监控平台接入到“新能源汽车国家检测与管理平台”、“新能源汽车地方检测与管理平台”并实时上报车辆数据。
36.车企需要提前与监控平台申请连接链路和账号信息，当车企新能源汽车数量增长到服务端节点数无法支撑，工作人员需要手动增加节点以及链路的配置等工作，会影响到服务的可用性及故障恢复时间，且运维人工成本较大。
37.本发明实施例提供了一种链路动态调整方法，通过获取链路调整数据信息，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，将第一平台对应的第一备用链路设置在目标服务节点，自动实时监测每一平台的数据量，当监测到某一平台数据量激增时，管理节点自动将备用链路设置在目标服务节点中，提高了服务、运维的效率，且实现了全自动化减少了人工成本。
38.根据本发明实施例，提供了一种链路动态调整方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
39.在本实施例中提供了一种链路动态调整方法，可用于上述的计算机设备，图1是根据本发明实施例的链路动态调整方法的流程图，如图1所示，该流程包括如下步骤：
40.步骤s101，获取链路调整数据信息。
41.其中，链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台。
42.本技术实施例中由数据源上传的数据信息可以预先保存在数据链路池中，比如可以是mysql数据链路池，可由mysql数据链路池对数据信息进行提前识别，判断该数据信息属于哪一平台，当判断某一平台的数据量增长量大于预设增长阈值，其中，预设增长阈值可根据实际情况自行确定，mysql数据链路池可生成链路调整数据信息，其中链路调整数据信息包括数据量增长量大于预设增长阈值对应的平台标识，获取链路调整数据信息进行后续操作，其中，平台可以是国家平台和地方平台，比如北京、上海等平台，比如判断北京平台的数据量激增，国家平台必须进行链路调整，对应的北京平台的链路需调整，此时生成的链路调整数据信息包括国家平台和北京平台两个平台的链路调整数据信息。
43.步骤s102，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状
态。
44.其中，本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态。
45.本技术实施例中本地数据库可以是mysql数据库，mysql数据库中包括多个平台、平台对应的多个链路以及链路对应的状态，当上述mysql数据链路池判断某一平台的数据量增长量大于预设增长阈值，mysql数据链路池可提前将该平台对应的备用链路变更为开启状态，方便后续使用，其中，备用链路可是提前与政府平台申请对应的链路和账号，可使每一平台冗余一个备用链路，以备线上服务突发流量即数据量激增时可以用来扩容，管理节点获取到链路调整数据信息后，判断mysql数据库中该平台对应的备用链路是否为开启状态，比如上述生成的链路调整数据信息包括国家平台和北京平台，则判断mysql数据库中判断国家平台和北京平台两个平台的备用链路是否为开启状态，仅作为举例。
46.步骤s103，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点。
47.其中，缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率。
48.本技术实施例中缓存数据库可以是redis数据库，redis数据库中可包括多个服务节点和每一服务节点对应的资源使用率，基于上述步骤判断mysql数据库中数据量激增的平台对应的备用链路的状态为开启状态后，比如判断国家平台和北京平台两个平台的备用链路为开启状态，需要将这个两个备用链路放置在任一服务节点中，可判断redis数据库中每一服务节点的资源使用率可通过比如资源使用率cpu或使用内存的百分比表示，比较其与预设使用阈值的大小关系，确定目标服务节点，确定目标服务节点的方法不做限定，比如判断随机某一服务节点的资源使用率小于预设使用阈值，即可选取该服务节点作为目标服务节点，其中，基于实际情况预先设定预设使用阈值以防止某服务节点资源过剩，影响该服务节点的流。
49.步骤s104，将第一平台对应的第一备用链路设置在目标服务节点。
50.本技术实施例中当确定好目标服务节点后，即可将国家平台和数据量激增的平台的备用链路设置在目标服务节点上。redis数据库中还可以包括每一服务节点实际使用过程中包括的平台和平台对应的链路，其中，redis数据库中的链路实时分布情况中的链路数据才是服务节点真实正在使用的链路，将上述两个平台的备用链路设置在目标服务节点后实时更新redis数据库中的平台、链路情况，且实时更新每一服务节点的资源使用情况。
51.本实施例提供的链路动态调整方法，通过获取链路调整数据信息，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，将第一平台对应的第一备用链路设置在目标服务节点，自动实时监测每一平台的数据量，当监测到某一平台数据量激增时，管理节点自动将备用链路设置在目标服务节点中，提高了服务、运维的效率，且实现了全自动化减少了人工成本。
52.在本实施例中提供了一种链路动态调整方法，可用于上述的移动终端，如上述的计算设备等，图2是根据本发明实施例的链路动态调整方法的流程图，如图2所示，该流程包括如下步骤：
53.步骤s201，获取链路调整数据信息。其中，链路调整数据信息包括数据量增长量大
于预设增长阈值对应的第一平台。详细请参见图1所示实施例的步骤s101，在此不再赘述。
54.步骤s202，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态。其中，本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态。详细请参见图1所示实施例的步骤s102，在此不再赘述。
55.步骤s203，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点。其中，缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率。
56.具体地，上述步骤s203包括：
57.步骤s2031，判断缓存数据库中是否存在资源使用率小于预设使用阈值的候选服务节点。
58.示例性地，本技术实施例中判断redis数据库中的每一服务节点的资源使用情况是否小于预设使用阈值，若存在一个或多个服务节点的资源使用率小于预设使用阈值，则将所有小于预设使用阈值的服务节点确定为候选服务节点。
59.步骤s2032，若缓存数据库中存在资源使用率小于预设使用阈值的候选服务节点时，将资源使用率最小的候选服务节点确定为目标服务节点。
60.本技术实施例在得到候选服务节点后，统计每一候选服务节点的资源使用情况，可将资源使用率最小的候选服务节点确定为目标服务节点，也可根据实际情况自行选取合适的候选服务节点确定为目标服务节点，比如某一服务节点中没有上述数据量激增对应的平台和链路，则可将该服务节点选择为目标服务节点，仅作为举例。
61.通过判断所有服务节点的资源使用率与预设使用阈值的大小关系，并选取资源使用率最小的候选服务节点确定为目标服务节点，可防止在有新的链路数据增加时，导致服务节点的资源使用率超过预设使用阈值，影响服务节点的传输流畅度，并放在资源使用率最小的服务节点可增加该服务节点的资源浪费。
62.步骤204，将第一平台对应的第一备用链路设置在目标服务节点，详细请参见图1所示实施例的步骤s104，在此不再赘述。
63.步骤205，若缓存数据库中不存在资源使用率小于预设使用阈值的候选服务节点时，将创建的新服务节点确定为目标服务节点。
64.示例性地，本技术实施例若判断redis数据库中所有的服务节点的资源使用情况都大于预设使用阈值，则可将预先创建的新的服务节点确定为目标服务节点，新的服务节点的创建方式不做限定，比如在管理节点获取到链路调整数据信息后，就可预先创建新的服务节点，其中，创建新的服务节点的方法不做限定，比如可以用k8s扩容的方式创建新的服务节点，仅作为举例。
65.通过在不存在资源使用率小于预设使用阈值的候选服务节点的情况下，将预先创建的新的服务节点作为目标服务节点，可随时保证有空闲的服务节点供新的链路接入，提高了链路调整的连续性。
66.步骤206，间隔预设时间段向所有服务节点发送心跳请求；接收所有服务节点发送的心跳响应信息，基于接收到的各服务节点的资源使用率对服务节点的链路进行调整。
67.其中，心跳响应信息包括服务节点的资源使用率；
68.示例性地，本技术实施例中redis数据库中还可以包括每一服务节点对应的ip地
址和每一链路对应的ip地址，通过配置的ip地址，管理节点可间隔某一时间段向所有的服务节点发送心跳请求，其中间隔的某一时间段可自行确定，比如5分钟发送一次心跳请求，若向各个服务节点的心跳请求发送成功，就可收到各个服务节点回应的心跳响应信息，其中，心跳响应信息可包括每一服务节点的资源使用率，也可以包括链路的状态等，可将接收到的每一服务节点的资源使用率实时更新到redis数据库中，将链路的状态实时更新到mysql数据库中，基于接收到的各服务节点的资源使用率通过上述步骤对服务节点的链路进行调整，比如服务节点的资源使用率过高，则可增加链路或新的服务节点，服务节点的资源使用率过低，则可减少该服务节点中的链路，仅作为举例，如果向某一服务节点发送心跳请求失败，则将该服务节点不可用，发送报警信息，可选举新的服务节点来分摊该服务节点中的链路数据，仅作为举例。
69.服务节点通过可通过配置的ip地址向管理节点发送注册信息，如果注册成功，管理节点收到注册请求后，将注册信息加入到注册列表中，进行上述实施例的方法。如果注册失败，发送报警信息表示该服务节点异常，仅作为举例。
70.通过实时向服务节点发送心跳请求，进行线上链路情况的实时监控，获取服务节点的资源使用率，避免数据量激增，还需对所有服务节点的资源使用率进行计算，浪费时间，提升了业务服务的效率。
71.步骤207，接收第二平台接入信息；判断本地数据库中第二平台对应的第二备用链路是否为开启状态；若判断本地数据库中第二平台对应的第二备用链路为开启状态，将开启状态的第二备用链路设置在缓存数据库中资源使用率小于预设使用阈值的当前目标服务节点；在当前目标服务节点创建第二平台对应的消费者，使得消费者对第二平台通过第二备用链路传输的数据进行数据处理。
72.示例性地，本技术实施例中如果有新的平台需要接入本技术的整体传输处理的过程中，创建链路以及放置在某一服务节点的方法参见上述实施例，在此不再赘述，对新的平台创建链路并放置在合适的服务节点上后，在服务节点创建新的平台对应的消费者加入消费者组，消费者可以对后续读取的该平台的数据进行逻辑处理等，本发明中，国家监控平台和各地方监控平台的链路可以任意共用后台微服务，不再针对平台进行隔离区分，也无需考虑消费者组内各平台的链路数量的一致性。
73.本技术实施例管理节点若接收到某一平台删减信息，则将该平台在服务节点上的链路进行销毁，同时在mysql数据库中将该平台对应的链路状态变更为关闭状态，实时更新redis数据库，同时，删除该平台在服务节点对应的消费者，仅作为举例。
74.在由新的平台加入时，可完全自动化的创建消费者、增加对应的链路，避免由于业务增加需要修改代码进行上线发布到模式，提升了业务服务的效率。
75.在本实施例中提供了一种链路动态调整方法，可用于上述的移动终端，如手机、平板电脑等，图3是根据本发明实施例的链路动态调整方法的流程图，如图3所示，该流程包括如下步骤：
76.步骤s301，获取链路调整数据信息。其中，链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台。详细请参见图1所示实施例的步骤s101，在此不再赘述。
77.步骤s302，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态。其中，本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态。详细请
参见图1所示实施例的步骤s102，在此不再赘述
78.步骤s303，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点。其中，缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率，详细请参见图1所示实施例的步骤s103，在此不再赘述。
79.步骤s304，将第一平台对应的第一备用链路设置在目标服务节点，详细请参见图1所示实施例的步骤s104，在此不再赘述。
80.步骤s305，若缓存数据库中不存在资源使用率小于预设使用阈值的候选服务节点时，将创建的新服务节点确定为目标服务节点。
81.具体地，上述步骤s305中，上述新服务节点通过下述步骤得到：
82.步骤s3051，判断缓存数据库中各服务节点的资源使用率与预设扩容阈值的关系，预设扩容阈值小于预设使用阈值。
83.示例性地，预设扩容阈值是基于实际情况自行确定的，要求预设扩容阈值小于预设使用阈值，实时获取各个服务节点的资源使用率，并比较各个服务节点的资源使用率与预设扩容阈值的大小关系。
84.步骤s3052，当存在任一服务节点的资源利用率大于预设扩容阈值时，创建新服务节点。
85.本技术实施例在比较各个服务节点的资源使用率与预设扩容阈值的大小关系后，当比较出任一服务节点的资源使用率大于预设扩容阈值后，表示需要创建新服务节点，以备后续服务节点的资源使用率过剩，可将链路分配到新服务节点。
86.本方案设置预设扩容阈值，使得扩容阈值小于预设使用阈值，可以在即将服务节点的资源使用率过高时，提前准备了新的服务节点来接入链路，且通过k8s创建新节点，资源利用率更高、且更合理、全方面提升业务服务的稳定性。
87.步骤s306，间隔预设时间段向所有服务节点发送心跳请求；接收所有服务节点发送的心跳响应信息，基于接收到的各服务节点的资源使用率对服务节点的链路进行调整。
88.具体地，上述步骤306包括：
89.步骤s3061，当判断第二服务节点的资源使用率小于预设删减阈值，统计第二服务节点中不同平台对应的链路数量。
90.本技术实施例实时获取各个服务节点的资源使用率，比较各个服务节点的资源使用率与预设删减阈值的大小关系，其中，预设删减阈值是基于实际情况确定的最小阈值，且小于预设使用阈值，若判断某一服务节点的资源使用率小于预设删减阈值，表示该服务节点的资源太少，浪费链路等的成本，所以可统计该服务节点上的每一平台对应的链路数量。
91.步骤s3062，对第二服务节点中链路数量最多的当前平台对应的任一链路进行删减操作，并将进行删减操作的链路在本地数据库中对应的状态变更为关闭状态。
92.本技术实施例中统计该服务节点上的每一平台对应的链路数量，比如国家平台对应的链路数量为3个、北京平台对应的链路数量为1个，仅作为举例，可以将国家平台对应的3个中的任一链路进行删减，同时将该链路在mysql数据库中的链路状态改为关闭状态，也可实时更新redis中的链路情况，仅作为举例。
93.通过实时判断各个服务节点的资源使用率，当某一服务节点的资源使用率过低，
则删除该服务节点的某一链路，可减少资源使用成本。
94.步骤s307，接收第二平台接入信息；判断本地数据库中第二平台对应的第二备用链路是否为开启状态；若判断本地数据库中第二平台对应的第二备用链路为开启状态，将开启状态的第二备用链路设置在缓存数据库中资源使用率小于预设使用阈值的当前目标服务节点；在当前目标服务节点创建第二平台对应的消费者，使得消费者对第二平台通过第二备用链路传输的数据进行数据处理。详细请参见图2所示实施例的步骤s207，在此不再赘述。
95.根据本发明实施例，提供了一种数据处理方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
96.在本发明实施例还提供了一种数据处理方法，应用于数据处理平台，用于在所有数据接入时，对数据进行分类过滤处理，其中，数据处理平台可以为kafka，仅作为举例。如图4所示，该数据处理方法包括：
97.步骤s401，接收数据信息，数据信息包括数据和数据对应的平台标识。
98.步骤s402，基于数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据。
99.步骤s403，将分类处理后的第三平台对应的数据通过第三平台对应的链路进行数据传输至对应的服务节点，链路和服务节点为通过上述实施例的链路动态调整方法。
100.本技术实施例中所有数据信息从数据源传到整个系统之前，可先由kafka对数据进行分类过滤处理，其中，数据信息中包括数据对应的平台标识，根据平台标识对所有的数据进行分类，预先已按照各平台数量创建各平台的topic(每个平台的数据接入口)，对所有数据进行分类后，将各个平台需要的部分数据重新写入到对应平台的新的topic中，继而通过平台对应的链路进行数据传输至对应的服务节点，比如现在有1一个国家平台和10个地方平台，一共1万辆车。国家平台要全量的1万辆车的数据，而每个地方平台分别对应隶属于他们区域的车辆都是1000辆，这样经过预处理后，数据流量为国家的1万辆车数据+10个地方平台的总和1万辆车的数据＝2万辆车的数据，如果没有经过预处理，一共10个地方平台共同消费1万辆车的数据，再接收到数据后再判断这个车是不是属于本地方，如果不是选择丢弃的话，实际上的流量为国家1万辆车数据+10个地方平台的总和10万辆车的数据＝11万辆车的数据，仅作为举例。
101.本发明通过基于数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据，基于分类处理后的平台对应数据通过平台对应的链路传输至对应的服务节点，相比于之前将所有的数据分别都传输给所有的平台，基于数据处理减少了传输的数据量，优化了资源使用，可降低各平台消费全量数据的流量带宽。
102.在本实施例中还提供了一种链路动态调整装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
103.本实施例提供一种链路动态调整装置，如图5所示，包括：
104.数据信息获取模块501，用于获取链路调整数据信息，链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台。
105.链路状态判断模块502，用于判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态，本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态。
106.目标服务节点确定模块503，用于当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率。
107.链路放置模块504，用于将第一平台对应的第一备用链路设置在目标服务节点。
108.本发明实施例提供了一种链路动态调整装置，通过获取链路调整数据信息，判断本地数据库中第一平台对应的第一备用链路的状态是否为开启状态，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，将第一平台对应的第一备用链路设置在目标服务节点，自动实时监测每一平台的数据量，当监测到某一平台数据量激增时，管理节点自动将备用链路设置在目标服务节点中，提高了服务、运维的效率，且实现了全自动化减少了人工成本。
109.在一些可选的实施方式中，目标服务节点确定模块502包括：
110.资源使用率比较单元，用于判断缓存数据库中是否存在资源使用率小于预设使用阈值的候选服务节点。
111.目标服务节点确定单元，用于若缓存数据库中存在资源使用率小于预设使用阈值的候选服务节点时，将资源使用率最小的候选服务节点确定为目标服务节点。
112.在一些可选的实施方式中，该装置还包括：
113.新服务节点确定模块，用于若缓存数据库中不存在资源使用率小于预设使用阈值的候选服务节点时，将创建的新服务节点确定为目标服务节点。
114.在一些可选的实施方式中，新服务节点确定模块，包括：
115.资源使用率比较单元，用于判断缓存数据库中各服务节点的资源利用率与预设扩容阈值的关系，预设扩容阈值小于预设使用阈值。
116.新服务节点创建单元，用于当存在任一服务节点的资源利用率大于预设扩容阈值时，创建新服务节点。
117.在一些可选的实施方式中，该装置还包括：
118.心跳请求发送模块，用于间隔预设时间段向所有服务节点发送心跳请求。
119.心跳响应信息接收模块，用于接收所有服务节点发动的心跳响应信息，心跳响应信息包括服务节点的资源使用率。
120.链路调整模块，用于基于接收到的各服务节点的资源使用率对服务节点的链路进行调整。
121.在一些可选的实施方式中，链路调整模块，包括：
122.链路数量统计单元，用于当判断第二服务节点的资源使用率小于预设删减阈值，统计第二服务节点中不同平台对应的链路数量。
123.状态变更单元，用于对第二服务节点中链路数量最多的当前平台对应的任一链路进行删减操作，并将进行删减操作的链路在本地数据库中对应的状态变更为关闭状态。
124.在一些可选的实施方式中，该装置还包括：
125.平台信息接收模块，用于接收第二平台接入信息。
126.状态判断模块，用于判断本地数据库中第二平台对应的第二备用链路是否为开启状态。
127.确定目标服务节点模块，用于若判断本地数据库中第二平台对应的第二备用链路为开启状态，将开启状态的第二备用链路设置在缓存数据库中资源使用率小于预设使用阈值的当前目标服务节点。
128.消费者创建模块，用于在当前目标服务节点创建第二平台对应的消费者，使得消费者对第二平台通过第二备用链路传输的数据进行数据处理。
129.上述各个模块和单元的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
130.在本实施例中还提供了一种数据处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
131.本实施例提供一种数据处理装置，如图6所示，包括：
132.数据信息接收模块601，用于接收数据信息，数据信息包括数据和数据对应的平台标识；
133.数据处理模块602，用于基于数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据；
134.数据传输模块603，用于将分类处理后的第三平台对应的数据通过第三平台对应的链路进行数据传输至对应的服务节点，链路和服务节点为通过上述实施例的链路动态调整方法得到的。
135.上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
136.本发明通过基于数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据，基于分类处理后的平台对应数据通过平台对应的链路传输至对应的服务节点，相比于之前将所有的数据分别都传输给所有的平台，基于数据处理减少了传输的数据量，优化了资源使用，可降低各平台消费全量数据的流量带宽。
137.本实施例中的链路动态调整装置是以功能单元的形式来呈现，这里的单元是指asic(application specific integrated circuit，专用集成电路)电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
138.本发明实施例还提供一种计算机设备，具有上述图5所示的链路动态调整装置和上述图6所示的数据处理装置。
139.请参阅图7，图7是本发明可选实施例提供的一种计算机设备的结构示意图，如图7所示，该计算机设备包括：一个或多个处理器10、存储器20，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相通信连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在计算机设备内执行的指令进行处
理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在一些可选的实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个计算机设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器10为例。
140.处理器10可以是中央处理器，网络处理器或其组合。其中，处理器10还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路，可编程逻辑器件或其组合。上述可编程逻辑器件可以是复杂可编程逻辑器件，现场可编程逻辑门阵列，通用阵列逻辑或其任意组合。
141.其中，存储器20存储有可由至少一个处理器10执行的指令，以使至少一个处理器10执行实现上述实施例示出的方法。
142.存储器20可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器20可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些可选的实施方式中，存储器20可选包括相对于处理器10远程设置的存储器，这些远程存储器可以通过网络连接至该计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
143.存储器20可以包括易失性存储器，例如，随机存取存储器；存储器也可以包括非易失性存储器，例如，快闪存储器，硬盘或固态硬盘；存储器20还可以包括上述种类的存储器的组合。
144.该计算机设备还包括通信接口30，用于该计算机设备与其他设备或通信网络通信。
145.本发明实施例还提供了一种计算机可读存储介质，上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可记录在存储介质，或者被实现通过网络下载的原始存储在远程存储介质或非暂时机器可读存储介质中并将被存储在本地存储介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件的存储介质上的这样的软件处理。其中，存储介质可为磁碟、光盘、只读存储记忆体、随机存储记忆体、快闪存储器、硬盘或固态硬盘等；进一步地，存储介质还可以包括上述种类的存储器的组合。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件，当软件或计算机代码被计算机、处理器或硬件访问且执行时，实现上述实施例示出的方法。
146.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所限定的范围之内。

技术特征：
1.一种链路动态调整方法，其特征在于，所述方法包括：获取链路调整数据信息，所述链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台；判断本地数据库中所述第一平台对应的第一备用链路的状态是否为开启状态，所述本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态；当本地数据库中所述第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，所述缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率；将所述第一平台对应的第一备用链路设置在所述目标服务节点。2.根据权利要求1所述的链路动态调整方法，其特征在于，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，包括：判断所述缓存数据库中是否存在资源使用率小于预设使用阈值的候选服务节点；若所述缓存数据库中存在资源使用率小于预设使用阈值的候选服务节点时，将资源使用率最小的候选服务节点确定为目标服务节点。3.根据权利要求1所述的链路动态调整方法，其特征在于，所述方法还包括：若所述缓存数据库中不存在资源使用率小于预设使用阈值的候选服务节点时，将创建的新服务节点确定为目标服务节点。4.根据权利要求3所述的链路动态调整方法，其特征在于，所述新服务节点通过下述步骤得到：判断所述缓存数据库中各服务节点的资源使用率与预设扩容阈值的关系，所述预设扩容阈值小于所述预设使用阈值；当存在任一服务节点的资源使用率大于预设扩容阈值时，创建新服务节点。5.根据权利要求1所述的链路动态调整方法，其特征在于，所述方法还包括：间隔预设时间段向所有服务节点发送心跳请求；接收所有服务节点发送的心跳响应信息，所述心跳响应信息包括服务节点的资源使用率；基于接收到的各服务节点的资源使用率对所述服务节点的链路进行调整。6.根据权利要求5所述的链路动态调整方法，其特征在于，所述基于接收到的任一服务节点的资源使用率对所述服务节点的链路状态进行调整，包括：当判断第二服务节点的资源使用率小于预设删减阈值，统计所述第二服务节点中不同平台对应的链路数量；对所述第二服务节点中链路数量最多的当前平台对应的任一链路进行删减操作，并将进行删减操作的链路在本地数据库中对应的状态变更为关闭状态。7.根据权利要求1所述的链路动态调整方法，其特征在于，所述方法还包括：接收第二平台接入信息；判断本地数据库中所述第二平台对应的第二备用链路是否为开启状态；若判断本地数据库中所述第二平台对应的第二备用链路为开启状态，将所述开启状态的第二备用链路设置在所述缓存数据库中资源使用率小于预设使用阈值的当前目标服务节点；
在所述当前目标服务节点创建所述第二平台对应的消费者，使得所述消费者对所述第二平台通过第二备用链路传输的数据进行数据处理。8.一种数据处理方法，其特征在于，所述方法包括：接收数据信息，所述数据信息包括数据和所述数据对应的平台标识；基于所述数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据；将分类处理后的第三平台对应的数据通过所述第三平台对应的链路进行数据传输至对应的服务节点，所述链路和服务节点为通过上述权利要求1-7任一项所述的链路动态调整方法得到的。9.一种链路动态调整装置，其特征在于，所述装置包括：数据信息获取模块，用于获取链路调整数据信息，所述链路调整数据信息包括数据量增长量大于预设增长阈值对应的第一平台；链路状态判断模块，用于判断本地数据库中所述第一平台对应的第一备用链路的状态是否为开启状态，所述本地数据库中包括多个平台、平台对应的多个链路以及链路对应的状态；目标服务节点确定模块，用于当本地数据库中所述第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，所述缓存数据库中包括多个服务节点以及每一服务节点对应的资源使用率；链路放置模块，用于将所述第一平台对应的第一备用链路设置在所述目标服务节点。10.一种数据处理装置，其特征在于，所述装置包括：数据信息接收模块，用于接收数据信息，所述数据信息包括数据和所述数据对应的平台标识；数据处理模块，用于基于所述数据对应的平台标识对数据进行分类处理，得到每一平台对应的数据；数据传输模块，用于将分类处理后的第三平台对应的数据通过所述第三平台对应的链路进行数据传输至对应的服务节点，所述链路和服务节点为通过上述权利要求1-7任一项所述的链路动态调整方法得到的。11.一种计算机设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1至7中任一项所述的链路动态调整方法，或执行权利要求8所述的数据处理方法。12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中任一项所述的链路动态调整方法，或执行权利要求8所述的数据处理方法。

技术总结
本发明涉及链路平台技术领域，公开了链路动态调整和数据处理方法、装置、计算机设备及介质，本发明获取链路调整数据信息；判断本地数据库中所述第一平台对应的第一备用链路的状态是否为开启状态，当本地数据库中第一平台对应的第一备用链路的状态为开启状态，基于缓存数据库中各服务节点的资源使用率与预设使用阈值的关系，确定目标服务节点，将第一平台对应的第一备用链路设置在目标服务节点，自动实时监测每一平台的数据量，当监测到某一平台数据量激增时，管理节点自动将备用链路设置在目标服务节点中，提高了服务、运维的效率，且实现了全自动化减少了人工成本。现了全自动化减少了人工成本。现了全自动化减少了人工成本。


技术研发人员：白兆光
受保护的技术使用者：南京四维智联科技有限公司
技术研发日：2023.06.09
技术公布日：2023/9/9