数据请求处理方法、装置及设备与流程
未命名
07-22
阅读:83
评论:0

1.本技术涉及计算机技术领域,尤其涉及一种数据请求处理方法、装置及设备。
背景技术:
2.内容分发网络(content delivery network,cdn)网络中可以包括多个cdn节点。cdn节点可以对客户端发送的数据请求进行识别,确定数据请求对应的网络类型,从而为该数据请求选择不同的网络策略。
3.在相关技术中,可以在cdn节点中设置人工智能(artificial intelligence,ai)模型,通过ai模型确定数据请求对应的网络类型。然而,在上述方式中,是在cdn节点获取数据请求之后,再通过ai模型确定数据请求对应的网络类型,延长了cdn节点处理数据请求的时长,导致cdn节点处理数据请求的效率低。
技术实现要素:
4.本技术的多个方面提供一种数据请求处理方法、装置及设备,用以提高处理数据请求的效率。
5.第一方面,本技术实施例提供一种数据请求处理方法,应用于内容分发网络cdn网络中的第一cdn节点,包括:
6.获取第一客户端发送的第一数据请求;
7.获取多个网络地址区间和多个网络类型之间的网络对应关系;
8.确定所述第一数据请求的源网络地址;
9.根据所述源网络地址所在的网络地址区间和所述网络对应关系,确定所述第一数据请求对应的第一网络类型。
10.在一种可能的实施方式中,根据所述源网络地址所在的网络地址区间和所述网络对应关系,确定所述第一数据请求对应的第一网络类型,包括:
11.确定所述源网络地址所在的第一网络地址区间;
12.根据所述第一网络地址区间和所述网络对应关系,确定所述第一网络类型,所述第一网络地址区间的长度为m,所述m为大于1的整数。
13.在一种可能的实施方式中,根据所述第一网络地址区间和所述网络对应关系,确定所述第一网络类型,包括:
14.若所述网络对应关系中存在所述第一网络地址区间对应的网络类型,则将所述第一网络地址区间对应的网络类型确定为所述第一网络类型;
15.若所述网络对应关系中不存在第一网络地址区间对应的网络类型,则确定所述源网络地址所在的第二网络地址区间,并在所述网络对应关系中确定所述第二网络地址区间对应的网络类型,并将所述第二网络地址区间对应的网络类型确定为所述第一网络类型,所述第二网络地址区间的长度为n,所述n为大于1的整数,所述n为小于所述m的整数。
16.在一种可能的实施方式中,获取多个网络地址区间和多个网络类型之间的网络对
应关系,包括:
17.在所述第一cdn节点的预设存储空间中获取所述网络对应关系,所述网络对应关系为预先获取并存储在所述预设存储空间的。
18.在一种可能的实施方式中,在所述第一cdn节点的预设存储空间中获取所述网络对应关系之前,还包括:
19.接收第一设备发送的所述网络对应关系,所述第一设备为所述cdn网络中的第一cdn节点或者人工智能ai服务器,所述网络对应关系为所述第一设备生成的;
20.在所述预设存储空间存储所述网络对应关系。
21.在一种可能的实施方式中,所述方法还包括:
22.获取多个传输日志;
23.确定所述多个传输日志对应的多个源网络地址;
24.通过ai模型对所述多个传输日志进行处理,得到所述多个传输日志对应的网络类型;
25.根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,生成所述网络对应关系。
26.在一种可能的实施方式中,根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,生成所述网络对应关系,包括:
27.根据所述多个源网络地址所在的n位网络地址区间,在所述多个源网络地址中确定多个源网络地址集合,所述源网络地址集合中的源网络地址所在的n位网络地址区间相同,所述n位网络地址区间的长度为所述n;
28.根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,确定各源网络地址对应的网络类型;
29.根据所述多个源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,生成所述网络对应关系。
30.在一种可能的实施方式中,根据所述多个源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,生成所述网络对应关系,包括:
31.针对任意一个源网络地址集合,根据所述源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,确定所述源网络地址集合对应的子对应关系,所述子对应关系包括至少一个网络地址区间和各网络地址区间对应的网络类型;
32.根据所述多个源网络地址集合对应的子对应关系,确定所述网络对应关系。
33.在一种可能的实施方式中,根据所述源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,确定所述源网络地址集合对应的子对应关系,包括:
34.根据所述源网络地址集合中各源网络地址所对应的网络类型,确定多种网络类型中各网络类型的类型占比,所述多种网络类型包括如下至少一种:通用移动通信技术的长期演进lte、第五代移动通信技术5g、无线网络通信技术wifi、第四代移动通信技术4g;
35.根据所述源网络地址集合、所述源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定所述源网络地址集合对应的子对应关系。
36.在一种可能的实施方式中,根据所述源网络地址集合、所述源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定所述源网络地址集合对
应的子对应关系,包括:
37.根据各网络类型的类型占比在所述多种网络类型中确定目标网络类型,所述目标网络类型的类型占比最大;
38.确定所述源网络地址集合对应的初始网络地址区间,所述初始网络地址区间的长度为所述n;
39.若所述目标网络类型的类型占比大于或等于第一阈值,则确定所述子对应关系包括所述初始网络地址区间和所述目标网络类型之间的对应关系;
40.若所述目标网络类型的类型占比小于第一阈值,则在所述源网络地址集合中确定多个待选源网络地址,并在所述多个待选源网络地址中确定多个源网络地址子集合,并根据所述初始网络地址区间、所述目标网络类型、所述多个源网络地址子集合、以及所述源网络地址子集合中各源网络地址对应的网络类型,生成所述子对应关系;
41.其中,所述待选源网络地址对应的网络类型为除所述目标网络类型之外的其它网络类型,所述源网络地址子集合中各源网络地址所在的m位网络地址区间相同,所述m位网络地址区间的长度为所述m。
42.在一种可能的实施方式中,根据所述初始网络地址区间、所述目标网络类型、所述多个源网络地址子集合、以及所述源网络地址子集合中各源网络地址对应的网络类型,生成所述子对应关系,包括:
43.针对任意一个源网络地址子集合,确定所述源网络地址子集合对应的扩展网络地址区间,根据所述源网络地址子集合中各源网络地址对应的网络类型,确定所述扩展网络地址区间对应的网络类型;
44.确定所述子对应关系包括:所述初始网络地址区间与所述目标网络类型之间的对应关系、以及所述扩展网络地址区间与对应的网络类型之间的对应关系。
45.在一种可能的实施方式中,所述方法还包括:
46.根据所述第一数据请求对应的第一网络类型,确定网络策略,所述网络策略包括如下至少一种:拥塞控制策略、丢包恢复策略或冲刺策略;
47.根据所述网络策略对所述第一数据请求进行处理。
48.第二方面,本技术实施例提供一种数据请求处理装置,应用于内容分发网络cdn网络中的第一cdn节点,所述装置包括:第一获取模块、第二获取模块、第一确定模块和第二确定模块,其中,
49.所述第一获取模块用于,获取第一客户端发送的第一数据请求;
50.所述第二获取模块用于,获取多个网络地址区间和多个网络类型之间的网络对应关系;
51.所述第一确定模块用于,确定所述第一数据请求的源网络地址;
52.所述第二确定模块用于,根据所述源网络地址所在的网络地址区间和所述网络对应关系,确定所述第一数据请求对应的第一网络类型。
53.在一种可能的实施方式中,所述第二确定模块具体用于:
54.确定所述源网络地址所在的第一网络地址区间;
55.根据所述第一网络地址区间,确定所述第一网络类型,所述第一网络地址区间的长度为m,所述m为大于1的整数。
56.在一种可能的实施方式中,所述第二确定模块具体用于:
57.若所述网络对应关系中存在所述第一网络地址区间对应的网络类型,则将所述第一网络地址区间对应的网络类型确定为所述第一网络类型;
58.若所述网络对应关系中不存在第一网络地址区间对应的网络类型,则确定所述源网络地址所在的第二网络地址区间,并在所述网络对应关系中确定所述第二网络地址区间对应的网络类型,并将所述第二网络地址区间对应的网络类型确定为所述第一网络类型,所述第二网络地址区间的长度为n,所述n为大于1的整数,所述n为小于所述m的整数。
59.在一种可能的实施方式中,所述第二获取模块具体用于:
60.在所述第一cdn节点的预设存储空间中获取所述网络对应关系,所述网络对应关系为预先获取并存储在所述预设存储空间的。
61.在一种可能的实施方式中,所述装置还包括接收模块和存储模块,其中,
62.所述接收模块用于,接收第一设备发送的所述网络对应关系,所述第一设备为所述cdn网络中的第一cdn节点或者人工智能ai服务器,所述网络对应关系为所述第一设备生成的;
63.所述存储模块用于,在所述预设存储空间存储所述网络对应关系。
64.在一种可能的实施方式中,
65.所述第一获取模块还用于,获取多个传输日志;
66.所述第二确定模块还用于,确定所述多个传输日志对应的多个源网络地址;
67.在一种可能的实施方式中,所述装置还包括处理模块、生成模块,其中,
68.所述处理模块用于,通过ai模型对所述多个传输日志进行处理,得到所述多个传输日志对应的网络类型;
69.所述生成模块用于,根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,生成所述网络对应关系。
70.在一种可能的实施方式中,所述生成模块具体用于:
71.根据所述多个源网络地址所在的n位网络地址区间,在所述多个源网络地址中确定多个源网络地址集合,所述源网络地址集合中的源网络地址所在的n位网络地址区间相同,所述n位网络地址区间的长度为所述n;
72.根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,确定各源网络地址对应的网络类型;
73.根据所述多个源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,生成所述网络对应关系。
74.在一种可能的实施方式中,所述生成模块具体用于:
75.针对任意一个源网络地址集合,根据所述源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,确定所述源网络地址集合对应的子对应关系,所述子对应关系包括至少一个网络地址区间和各网络地址区间对应的网络类型;
76.根据所述多个源网络地址集合对应的子对应关系,确定所述网络对应关系。
77.在一种可能的实施方式中,所述生成模块具体用于:
78.根据所述源网络地址集合中各源网络地址所对应的网络类型,确定多种网络类型中各网络类型的类型占比,所述多种网络类型包括如下至少一种:通用移动通信技术的长
期演进lte、第五代移动通信技术5g、无线网络通信技术wifi、第四代移动通信技术4g;
79.根据所述源网络地址集合、所述源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定所述源网络地址集合对应的子对应关系。
80.在一种可能的实施方式中,所述生成模块具体用于:
81.根据各网络类型的类型占比在所述多种网络类型中确定目标网络类型,所述目标网络类型的类型占比最大;
82.确定所述源网络地址集合对应的初始网络地址区间,所述初始网络地址区间的长度为所述n;
83.若所述目标网络类型的类型占比大于或等于第一阈值,则确定所述子对应关系包括所述初始网络地址区间和所述目标网络类型之间的对应关系;
84.若所述目标网络类型的类型占比小于第一阈值,则在所述源网络地址集合中确定多个待选源网络地址,并在所述多个待选源网络地址中确定多个源网络地址子集合,并根据所述初始网络地址区间、所述目标网络类型、所述多个源网络地址子集合、以及所述源网络地址子集合中各源网络地址对应的网络类型,生成所述子对应关系;
85.其中,所述待选源网络地址对应的网络类型为除所述目标网络类型之外的其它网络类型,所述源网络地址子集合中各源网络地址所在的m位网络地址区间相同,所述m位网络地址区间的长度为所述m。
86.在一种可能的实施方式中,所述生成模块具体用于:
87.针对任意一个源网络地址子集合,确定所述源网络地址子集合对应的扩展网络地址区间,根据所述源网络地址子集合中各源网络地址对应的网络类型,确定所述扩展网络地址区间对应的网络类型;
88.确定所述子对应关系包括:所述初始网络地址区间与所述目标网络类型之间的对应关系、以及所述扩展网络地址区间与对应的网络类型之间的对应关系。
89.在一种可能的实施方式中,
90.所述确定模块还用于,根据所述第一数据请求对应的第一网络类型,确定网络策略,所述网络策略包括如下至少一种:拥塞控制策略、丢包恢复策略或冲刺策略;
91.所述处理模块还用于,根据所述网络策略对所述第一数据请求进行处理。
92.第三方面,本技术实施例提供一种cdn节点,包括:存储器和处理器;
93.所述存储器存储计算机执行指令;
94.所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行第一方面任一项所述的数据请求处理方法。
95.第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的数据请求处理方法。
96.第五方面,本技术实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面任一项所示的数据请求处理方法。
97.本技术实施例提供一种数据请求处理方法、装置及设备,可以获取第一客户端发送的第一数据请求,并获取多个网络地址区间和多个网络类型之间的网络对应关系。可以确定第一数据请求的源网络地址,并且可以根据源网络地址所在的网络地址区间和网络对
应关系,确定第一数据请求对应的第一网络类型。由于网络对应关系是预先根据多个传输日志确定的,当cdn节点接收到数据请求之后可以确定数据请求对应的网络地址区间,并且可以根据网络对应关系确定数据请求对应的网络类型,无需通过ai模型计算数据请求对应的网络类型,实现了ai计算过程与数据请求处理过程的分离,避免了ai计算过程影响数据请求处理过程,提高了处理数据请求的效率。
附图说明
98.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
99.图1为本技术示例性实施例提供的一种应用场景的示意图;
100.图2为本技术示例性实施例提供的一种数据请求处理方法的流程示意图;
101.图3为本技术示例性实施例提供的另一种数据请求处理方法的流程示意图;
102.图4为本技术示例性实施例提供的一种数据请求处理方法的过程示意图;
103.图5为本技术示例性实施例提供的一种数据请求处理装置的结构示意图;
104.图6为本技术示例性实施例提供的另一种数据请求处理装置的结构示意图;
105.图7为本技术示例性实施例提供的一种cdn节点的结构示意图。
具体实施方式
106.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
107.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
108.图1为本技术示例性实施例提供的一种应用场景的示意图。请参见图1,包括多个客户端和cdn节点。多个客户端可以分别为客户端1、客户端2、
……
、客户端n,n为大于或等于1的整数。任意一个客户端与cdn节点之间可以互相进行通信。
109.针对任意一个客户端,客户端可以向cdn节点发送数据请求。
110.cdn节点接收到数据请求之后,可以确定数据请求对应的网络类型,进而可以根据网络类型,确定数据请求对应的网络策略,并且可以根据对应的网络策略对数据请求进行处理。
111.例如,客户端1可以向cdn节点发送数据请求1。cdn节点接收到数据请求1之后,可以确定数据请求1对应的网络类型。假设网络类型1为4g类型,则可以根据4g类型确定4g类型对应的网络策略,并且可以根据该网络策略对数据请求进行处理。
112.在相关技术中,可以在cdn节点中设置ai模型,可以通过ai模型确定数据请求对应的网络类型。然而,在上述方式中,是在cdn节点获取数据请求之后,再通过ai模型确定数据请求对应的网络类型,延长了cdn节点处理数据请求的时长,导致cdn节点处理数据请求的
效率低。
113.在本技术实施例中,可以预先根据cdn网络中的多个传输日志,确定多个网络地址区间和多个网络类型之间的网络对应关系。cdn节点中可以保存有网络对应关系。当cdn节点接收到数据请求之后,可以确定数据请求对应的网络地址区间,进而可以根据网络对应关系,确定数据请求对应的网络类型,无需通过ai模型计算数据请求对应的网络类型,实现了ai计算过程与数据请求处理过程的分离,避免了ai计算过程影响数据请求处理过程,提高了处理数据请求的效率。
114.下面,通过具体实施例对本技术所示的技术方案进行详细说明。需要说明的是,下面几个实施例可以单独存在,也可以相互结合,对于相同或相似的内容,在不同的实施例中不再重复说明。
115.图2为本技术示例性实施例提供的一种数据请求处理方法的流程示意图。请参见图2,所述方法可以包括:
116.s201、获取第一客户端发送的第一数据请求。
117.本技术实施例的执行主体可以为第一cdn节点,也可以为设置在第一cdn节点中的数据请求处理装置。数据请求处理装置可以通过软件实现,也可以通过软件和硬件的结合实现。数据请求处理装置可以为第一cdn节点中的处理器。为了便于理解,在下文中,以执行主体为第一cdn节点为例进行说明。
118.在cdn网络中可以包括多个cdn节点,该多个cdn节点中可以包括第一cdn节点。
119.针对第一cdn节点,第一cdn节点可以对应多个客户端。第一客户端可以为该多个客户端中的任意一个客户端。
120.第一客户端与第一cdn节点之间互相可以进行通信。第一客户端可以向第一cdn节点发送第一数据请求,第一cdn节点可以获取第一客户端发送的第一数据请求。
121.例如,若第一cdn节点对应的多个客户端为客户端1、客户端2、
……
、客户端10,若第一客户端为客户端2,则客户端2可以向第一cdn节点发送第一数据请求,第一cdn节点可以获取该客户端2发送的第一数据请求。
122.s202、获取多个网络地址区间和多个网络类型之间的网络对应关系。
123.多个网络地址区间中可以包括第一网络地址区间和/或第二网络地址区间。其中,第一网络地址区间的长度可以为m,第二网络地址区间的长度可以为n。其中,n为大于1的整数,n为小于m的整数。
124.例如,若m为24,第一网络地址区间的长度为24,则第一网络地址区间可以为24位网络地址区间,第一网络地址区间可以为192.167.1;若n为16,第二网络地址区间的长度为16,则第二网络地址区间可以为16位网络地址区间,第二网络地址区间可以为192.167。
125.多个网络类型可以包括如下至少一种:通用移动通信技术的长期演进(long term evolution,lte)、第五代移动通信技术(5th generation mobile communication technology,5g)、无线网络通信技术(wireless fidelity,wifi)、第四代移动通信技术(the 4th generation mobile communication technology,4g)。
126.网络对应关系可以是根据cdn网络中的多个传输日志确定的。例如,网络对应关系可以如表1所示:
127.表1
128.网络地址区间网络类型192.1675g192.168lte 192.169wifi192.169.14g192.169.54g
…………
129.如表1中所示,192.167、192.168和192.169可以为第二网络地址区间。192.169.1和192.169.5为第一网络区间。
130.其中,第二网络地址区间192.167对应的网络类型可以为5g、第二网络地址区间192.168对应的网络类型可以为lte。由于第二网络地址区间192.169中包括第一网络地址区间192.169.1和第一网络地址区间192.169.5,其中,第一网络地址区间192.169.1对应的网络类型可以为4g,第一网络地址区间192.169.5对应的网络类型可以为4g,因此在第二网络地址区间192.169中,除第一网络地址区间192.169.1和第一网络地址区间192.169.5之外,其他第一网络地址区间对应的网络类型均为wifi。例如,在第二网络地址区间192.169中,192.169.2、192.169.3、192.169.4、192.169.6、
……
、192.169.255等第一网络地址区间,对应的网络类型均为wifi。
131.可选地,第一cdn节点可以在预设存储空间中获取网络对应关系。
132.s203、确定第一数据请求的源网络地址。
133.可选地,可以通过如下方式,确定第一数据请求对应的源网络地址:可以根据第一数据请求确定对应的传输日志;可以在传输日志中确定第一客户端的网络地址;将第一客户端的网络地址确定为第一数据请求的源网络地址。
134.传输日志可以为传输控制协议(transmission control protocol,tcp)传输日志。
135.第一cdn节点接收到第一客户端发送的第一数据请求之后,可以生成第一数据请求对应的传输日志。传输日志中可以包括发送第一数据请求的第一客户端的网络地址。
136.例如,若第一客户端为客户端2,客户端2的网络地址为192.169.1.1,若第一cdn节点接收到客户端2发送的第一数据请求1之后,可以根据第一数据请求1生成对应的传输日志1。传输日志1中可以包括客户端2的网络地址192.169.1.1,第一cdn节点可以在传输日志1中确定客户端2的网络地址,并将客户端2的网络地址确定为第一数据请求1对应的源网络地址,即第一数据请求1对应的源网络地址为192.169.1.1。
137.s204、根据源网络地址所在的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型。
138.在一可选实施例中,可以通过如下方式,确定第一数据请求对应的第一网络类型:确定源网络地址所在的第一网络地址区间;根据第一网络地址区间,确定第一网络类型。
139.确定第一数据请求对应的源网络地址之后,可以确定源网络地址所在的第一网络地址区间,进而可以根据源网络地址所在的第一网络地址区间,确定第一网络类型。
140.例如,若第一数据请求对应的源网络地址为192.169.1.1,则可以确定该源网络地址所在的第一网络地址区间为192.169.1,则可以根据该第一网络地址区间,确定第一网络
类型。
141.可选地,确定第一网络类型,可以包括如下2种情况:
142.情况1:网络对应关系中存在第一网络地址区间对应的网络类型。
143.在该种情况下,则可以将第一网络地址区间对应的网络类型确定为第一网络类型。
144.例如,若第一数据请求对应的第一网络地址区间为192.169.1,若网络对应关系如表1所示,则由于网络对应关系中存在192.169.1对应的网络类型为4g,则可以确定第一网络类型为4g。
145.情况2:网络对应关系中不存在第一网络地址区间对应的网络类型。
146.在该种情况下,则可以确定网络地址所在的第二网络地址区间,并在网络对应关系中确定第二网络地址区间对应的网络类型,并将第二网络地址区间对应的网络类型确定为第一网络类型。
147.例如,若第一数据请求对应的源网络地址为192.169.2.1,所在的第一网络地址区间为192.169.2,若网络对应关系如表1所示,则由于网络对应关系中不存在第一网络地址区间192.169.2对应的网络类型,则可以确定网络地址所在的第二网络地址区间为192.169,由于网络对应关系中存在第二网络192.169对应的网络类型为wifi,则可以确定第一网络类型为wifi。
148.在本技术实施例中,第一cdn节点可以获取第一客户端发送的第一数据请求,并获取多个网络地址区间和多个网络类型之间的网络对应关系。第一cdn节点确定第一数据请求的源网络地址,并且可以根据源网络地址所在的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型。由于网络对应关系是预先根据多个传输日志确定的,当第一cdn节点接收到数据请求之后,可以确定数据请求对应的网络地址区间,并且可以根据网络对应关系确定数据请求对应的网络类型,无需通过ai模型计算数据请求对应的网络类型,实现了ai计算过程与数据请求处理过程的分离,避免了ai计算过程影响数据请求处理过程,提高了处理数据请求的效率。
149.下面,在图2所示实施例的基础上,结合图3,对上述数据请求处理方法,进行进一步详细说明。
150.图3为本技术示例性实施例提供的另一种数据请求处理方法的流程示意图。请参见图3,该方法可以包括:
151.s301、获取多个传输日志。
152.可选地,第一cdn节点可以在预设存储空间,获取多个数据请求分别对应的多个传输日志。
153.例如,第一cdn节点可以获取100个数据请求对应分别对应的传输日志,即100个传输日志。
154.s302、确定多个传输日志对应的多个源网络地址。
155.针对任意一个传输日志,传输日志中可以包括发送数据请求的客户端的网络地址,第一cdn节点可以将客户端的网络地址,确定传输日志对应的源网络地址。
156.例如,若传输日志1为数据请求1对应的日志,数据请求1是客户端1向第一cdn节点发送的,则传输日志1中可以包括客户端1的网络地址1,则可以将网络地址1确定为传输日
志1对应的源网络地址。
157.第一cdn节点可以在多个传输日志中,分别确定对应的多个源网络地址。
158.例如,多个传输日志对应的多个源网络地址可以如表2所示:
159.表2
160.传输日志源网络地址传输日志1192.167.1.1传输日志2192.169.2.1传输日志3192.168.1.1传输日志4192.169.5.1传输日志5192.169.1.1
…………
161.s303、通过ai模型对多个传输日志进行处理,得到多个传输日志对应的网络类型。
162.传输日志中还可以包括tcp的通告窗口、建连时长、最大报文段长度(maximum segment size,mss)。
163.tcp的通告窗口是指第一cdn节点可以接收的数据量。例如,tcp的通告窗口可以为4095字节。
164.建连时长是指第一客户端与第一cdn节点建立连接所耗费的时长。例如,第一客户端与第一cdn节点之间的建连时长可以为80毫秒(ms)。
165.最大报文段长度mss是用于在tcp连接建立时,收发双方协商通信时每一个报文段所能承载的最大数据长度。例如,mss可以为1370字节。
166.在一可选实施例中,可以通过ai模型在传输日志中确定tcp的通告窗口、建连时长和mss,进而可以根据tcp的通告窗口、建连时长和mss,确定该传输日志对应的网络类型。
167.例如,若ai模型在传输日志1中确定:tcp的通告窗口为4095字节、建连时长为80ms、mss为1370字节,则可以根据该tcp的通告窗口、建连时长和mss,确定传输日志1对应的网络类型1,假设传输日志1对应的网络类型1为4g。
168.可选地,通过ai模型对多个传输日志进行处理,得到多个传输日志分别对应的网络类型。
169.例如,若多个传输日志如表2中所示,则该多个传输日志分别对应的网络类型可以如表3所示:
170.表3
171.[0172][0173]
s304、根据多个传输日志对应的多个源网络地址、以及多个传输日志对应的网络类型,生成网络对应关系。
[0174]
在一可选实施例中,可以通过如下方式,生成网络对应关系:根据多个源网络地址所在的n位网络地址区间,在多个源网络地址中确定多个源网络地址集合;根据多个传输日志对应的多个源网络地址、以及多个传输日志对应的网络类型,确定各源网络地址对应的网络类型;根据多个源网络地址集合、以及网络地址集合中各源网络地址所对应的网络类型,生成网络对应关系。
[0175]
源网络地址集合中的各个源网络地址所在的n位网络地址区间可以相同,n位网络地址区间的长度为n。
[0176]
例如,若n为16,源网络地址集合1中可以包括300个源网络地址。该300个源网络地址可以分别为192.167.0.1、192.167.1.2、192.167.2.1、192.167.2.3、192.167.2.3、
……
等,则该300个源网络地址所在的16位网络地址区间均为192.167,192.167的长度为16位。
[0177]
可选地,第一cdn节点可以确定多个源网络地址,并根据多个源网络地址所在的n位网络地址区间,在多个源网络地址中确定多个源网络地址集合。
[0178]
例如,第一cdn节点可以确定2000个源网络地址,可以在该2000个源网络地址中确定500个源网络地址集合,可以分别为源网络地址集合1、源网络地址集合2、
……
、源网络地址集合500。
[0179]
由于在步骤s302中确定了多个传输日志对应的多个源网络地址,在步骤s303中确定了多个传输日志对应的网络类型,则可以根据多个传输日志对应的多个源网络地址、以及多个传输日志对应的网络类型,确定各源网络地址对应的网络类型。
[0180]
例如,若多个传输日志对应的多个源网络地址如表2所示,多个传输日志对应的多个网络类型如表3所示,则可以确定各源网络地址对应的网络类型,如表4所示:
[0181]
表4
[0182]
传输日志源网络地址网络类型传输日志1192.167.1.15g传输日志2192.169.2.1wifi传输日志3192.168.1.1lte传输日志4192.169.5.14g传输日志5192.169.1.14g
………………
[0183]
可选地,针对任意一个源网络地址集合,可以根据源网络地址集合、以及源网络地址集合中各源网络地址所对应的网络类型,确定源网络地址集合对应的子对应关系,进而可以根据多个源网络地址集合对应的子对应关系,确定网络对应关系。
[0184]
由于任意一个源网络地址集合可以对应一个n位网络地址区间,因此源网络地址集合对应的子对应关系包括至少一个网络地址区间和各网络地址区间对应的网络类型。
[0185]
在一可选实施例中,可以通过如下方式,确定源网络地址集合对应的子对应关系:根据源网络地址集合中各源网络地址所对应的网络类型,确定多种网络类型中各网络类型
的类型占比;根据源网络地址集合、源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定源网络地址集合对应的子对应关系。
[0186]
例如,若源网络地址集合1中包括300个源网络地址,其中有290个源网络地址对应的网络类型均为5g,有6个源网络地址对应的网络类型为4g,有4个源网络地址对应的网络类型为wifi,则可以确定在该300个源网络地址对应的300个网络类型中,5g的类型占比约为97%,4g的类型占比约为2%,wifi的类型占比约为1%。
[0187]
确定各网络类型的类型占比之后,则可以根据各网络类型的类型占比在多种网络类型中确定目标网络类型,并确定源网络地址集合对应的初始网络地址区间。
[0188]
目标网络类型的类型占比可以为最大。例如,若源网络地址集合1中包括300个源网络地址,在该300个源网络地址对应的300个网络类型中,5g的类型占比约为97%,4g的类型占比约为2%,wifi的类型占比约为1%,则可以确定目标网络类型为5g。
[0189]
初始网络地址区间的长度可以为n。例如,若n为16,源网络地址集合1中包括300个源网络地址,该300个源网络地址所在的16位网络地址区间均为192.167,则可以确定源网络地址集合1对应的初始网络地址区间为192.167,初始网络地址区间的长度可以为16。
[0190]
可选地,根据目标网络类型和初始网络确定子对应关系,可以包括如下2种情况:
[0191]
情况1:目标网络类型的类型占比大于或等于第一阈值。
[0192]
在该种情况下,则可以确定子对应关系包括初始网络地址区间和目标网络类型之间的对应关系。
[0193]
第一阈值可以是由人为预先设定的。例如,第一阈值可以为95%。
[0194]
例如,若源网络地址集合1对应的目标网络类型为5g,5g的类型占比约为97%,若第一阈值为95%,若源网络地址集合1对应的初始网络地址区间为192.167,则由于目标网络类型的类型占比97%,大于第一阈值95%,则可以确定子对应关系为:初始网络192.167对应网络类型5g。
[0195]
情况2:目标网络类型的类型占比小于第一阈值。
[0196]
在该种情况下,则可以在源网络地址集合中确定多个待选源网络地址,并在多个待选源网络地址中确定多个源网络地址子集合,并根据初始网络地址区间、目标网络类型、多个源网络地址子集合、以及源网络地址子集合中各源网络地址对应的网络类型,生成子对应关系;
[0197]
待选源网络地址对应的网络类型可以为除目标网络类型之外的其它网络类型。
[0198]
源网络地址子集合中各源网络地址所在的m位网络地址区间相同,m位网络地址区间的长度为m。
[0199]
例如,若m为24,源网络地址子集合中包括20个源网络地址,该20个源网络地址可以分别为192.169.1.1、192.169.1.2、192.169.1.4、192.169.1.8、192.169.1.25、
……
等,则该20个源网络地址所在的24位网络地址区间均为192.169.1,192.169.1的长度为24位。
[0200]
例如,若源网络地址集合2对应的初始网络地址区间为192.169,源网络地址集合2中包括280个源网络地址,在该280个源网络地址对应的280个网络类型中,wifi的类型占比约为80%,4g的类型占比约为9%,5g的类型占比约为11%,则由于wifi的类型占比最大,可以确定目标网络类型为wifi,则可以确定子对应关系中包括:初始网络地址区间192.169对应wifi。
[0201]
若第一阈值为95%,由于目标网络类型wifi的类型占比80%,小于第一阈值95%,则可以在源网络地址集合2中,将网络类型为4g和5g对应的源网络地址确定为待选源网络地址,则待选源网络地址有280*(9%+11%)=56个。在该56个待选源网络地址中,有31个待选源网络地址对应的网络类型为5g,有25个待选源网络地址对应的网络类型为4g。假设可以在该56个待选源网络地址中,确定2个源网络地址子集合,可以分别为源网络地址子集合1和源网络地址子集合2。
[0202]
可选地,针对任意一个源网络地址子集合,可以确定源网络地址子集合对应的扩展网络地址区间,并且可以根据源网络地址子集合中各源网络地址对应的网络类型,确定扩展网络地址区间对应的网络类型,进而可以确定子对应关系包括:初始网络地址区间与目标网络类型之间的对应关系、以及扩展网络地址区间与对应的网络类型之间的对应关系。
[0203]
扩展网络地址区间对应的长度可以为m。例如,若m为24,源网络地址子集合1中包括20个源网络地址,该20个源网络地址所在的24位网络地址区间均为192.169.1,则可以确定源网络地址子集合1对应的拓展网络地址区间为192.169.1,192.169.1的长度为24位。
[0204]
可选地,可以根据源网络地址子集合中各源网络地址对应的网络类型,确定各网络类型的类型占比,并将占比最大的网络类型确定为扩展网络地址区间对应的网络类型。
[0205]
例如,若源网络地址子集合1对应的拓展网络地址区间为192.169.1,源网络地址子集合1中包括20个源网络地址,其中有16个源网络地址对应的网络类型为4g,有4个源网络地址对应的网络类型为5g,则可以确定在该20个源网络地址对应的20个网络类型中,4g的类型占比为80%,5g的类型占比为20%。由于4g的类型占比最大,则可以确定拓展网络地址区间192.169.1对应的网络类型为4g。
[0206]
若源网络地址集合2对应的初始网络地址区间为192.169,对应目标网络类型为wifi,在源网络地址集合2中存在2个源网络地址子集合,其中源网络地址子集合1对应的拓展网络地址区间为192.169.1,对应的网络类型为4g;源网络地址子集合2对应的拓展网络地址区间为192.169.5,对应的网络类型为4g,则可以确定子对应关系包括:初始网络地址区间192.169对应网络类型wifi、拓展网络地址区间192.169.1对应网络类型4g、拓展网络地址区间192.169.5对应网络类型4g。
[0207]
可选地,确定多个源网络地址集合对应的子对应关系之后,则可以确定网络对应关系。网络对应关系包括多个源网络地址集合对应的子对应关系。
[0208]
例如,若源网络地址集合1对应的子对应关系为:网络地址区间192.167对应网络类型5g;源网络地址集合2对应的子对应关系为:网络地址区间192.168对应网络类型lte;源网络地址集合3对应的子对应关系为:网络地址区间192.169对应网络类型wifi;源网络地址子集合1对应的子对应关系为:网络地址区间192.169.1对应网络类型4g;源网络地址子集合2对应的子对应关系为:网络地址区间192.169.5对应网络类型4g;
……
,则可以根据该多个源网络地址集合对应的子对应关系,确定网络对应关系如表1中所示。
[0209]
需要说明的是,步骤s301~步骤s304为生成网络对应关系的过程,网络对应关系可以是在第一设备中生成的。第一设备可以为第一cdn节点,也为ai服务器。ai服务器可以为cdn网络中的多个cdn节点之外的服务器。
[0210]
网络对应关系可以是周期性生成的。例如,可以每30分钟(min)生成一次网络对应
关系。
[0211]
s305、在预设存储空间存储网络对应关系。
[0212]
若第一设备为第一cdn节点,则第一cdn节点生成网络对应关系之后,可以在预设存储空间预先存储该网络对应关系。
[0213]
若第一设备为不同于第一cdn节点的ai服务器,则可以周期性地向第一cdn节点发送网络对应关系,以使第一cdn节点可以接收第一设备发送的网络对应关系,并在预设存储空间预先存储该网络对应关系。
[0214]
由于可以通过第一设备生成网络对应关系,并且可以向任意一个cdn节点同步该网络对应关系,无需在每个cdn节点中设置ai模型进行ai计算,大大降低了所占用的计算资源,减少了计算成本。
[0215]
s306、获取第一客户端发送的第一数据请求。
[0216]
当客户有需求时,第一客户端可以向第一cdn节点发送第一数据请求,第一cdn节点可以获取第一客户端发送的第一数据请求。
[0217]
s307、在第一cdn节点的预设存储空间中获取网络对应关系。
[0218]
例如,若预设存储空间中存储网络对应关系1,则第一cdn节点可以在预设存储空间中获取该网络对应关系1。
[0219]
s308、确定第一数据请求的源网络地址。
[0220]
需要说明的是,步骤s308的具体执行过程可以参见步骤s203的具体执行过程,此处不再进行赘述。
[0221]
s309、根据源网络地址所在的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型。
[0222]
需要说明的是,步骤s309的具体执行过程可以参见步骤s204的具体执行过程,此处不再进行赘述。
[0223]
s310、根据第一数据请求对应的第一网络类型,确定网络策略。
[0224]
网络策略可以包括如下至少一种:拥塞控制策略、丢包恢复策略或冲刺策略。
[0225]
例如,若第一数据请求对应的第一网络类型为4g,则第一cdn节点可以根据第一网络类型4g,确定对应的网络策略。
[0226]
s311、根据网络策略对第一数据请求进行处理。
[0227]
例如,若第一数据请求对应的第一网络类型为4g,第一cdn节点确定第一网络类型4g对应的网络策略之后,则可以根据对应的网络策略对第一数据请求进行处理。
[0228]
在本技术实施例中,可以获取多个传输日志,并确定多个传输日志对应的多个源网络地址。可以通过ai模型对传输日志进行处理,得到传输日志对应的网络类型,进而可以根据多个传输日志对应的多个源网络地址、以及多个传输日志对应的网络类型,生成网络对应关系,并预设存储空间存储网络对应关系。第一cdn节点可以获取第一客户端发送的第一数据请求,并在预设存储空间中获取网络对应关系。第一cdn节点可以根据第一数据请求对应的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型,并根据第一数据请求对应的第一网络类型,确定网络策略,进而可以根据网络策略对第一数据请求进行处理。由于第一设备可以预先周期性地生成网络对应关系,cdn节点可以预先获取网络对应关系并保存在预设存储空间。当第一cdn节点接收到数据请求之后,可以确定数据请求
对应的网络地址区间,并且可以根据网络对应关系确定数据请求对应的网络类型,无需通过ai模型计算数据请求对应的网络类型,实现了ai计算过程与数据请求处理过程的分离,避免了ai计算过程影响数据请求处理过程,提高了处理数据请求的效率。
[0229]
下面,在上述任一实施例的基础上,通过具体示例,结合图4对上述数据请求处理过程进行进一步详细说明。
[0230]
图4为本技术示例性实施例提供的一种数据请求处理方法的过程示意图。请参见图4,包括模型训练设备、cdn网络和多个客户端。cdn网络中可以包括多个cdn节点,该多个cdn节点可以分别为cdn节点1、cdn节点2、
……
、cdn节点k,k为大于或等于1的整数。该多个客户端可以分别为客户端1、客户端2、
……
、客户端m,m为大于或等于1的整数。
[0231]
模型训练设备可以与第一cdn节点进行通信。例如,第一cdn节点可以为cdn节点1,模型训练设备可以与cdn节点1进行通信。
[0232]
第一cdn节点可以有对应的多个客户端。针对该多个客户端中的任意一个客户端,客户端可以与第一cdn节点进行通信。客户端可以向第一cdn节点发送一个第一数据请求。当客户端向第一cdn节点发送一个第一数据请求时,客户端可以生成该第一数据请求对应的客户端日志,第一cdn节点接收到该第一数据请求后,第一cdn节点可以生成该第一数据请求对应的传输日志。
[0233]
模型训练设备可以为cdn网络之外的设备,可以用于训练ai模型。例如,模型训练设备可以为服务器或计算设备等。
[0234]
在进行对ai模型进行训练之前,可以人为通过多个客户端向模型训练设备发送多个客户端日志,以使模型训练设备可以接收多个客户端日志。客户端日志中可以包括发送第一数据请求的时间戳、客户端的网络地址和端口号、以及目标cdn节点的网络地址和端口号、网络类型。
[0235]
可以通过多个cdn节点向模型训练设备发送多个传输日志,以使模型训练设备可以接收多个传输日志。传输日志中可以包括接收第一数据请求的时间戳、客户端的网络地址和端口号、以及cdn节点的网络地址和端口号。
[0236]
模型训练设备接收到多个客户端日志和多个传输日志之后,可以确定客户端日志中的时间戳、客户端的网络地址和端口号、目标cdn节点的网络地址和端口号、以及传输日志中的时间戳、客户端的网络地址和端口号、cdn节点的网络地址和端口号,并对客户端日志和传输日志进行关联处理。
[0237]
可选地,对客户端日志和传输日志进行关联处理,可以包括如下2种情况:
[0238]
情况1:客户端日志中的时间戳、客户端的网络地址和端口号、目标cdn节点的网络地址和端口号、以及传输日志中的时间戳、客户端的网络地址和端口号、cdn节点的网络地址和端口号一致。
[0239]
在该种情况下,则可以对客户端日志和传输日志进行关联处理。
[0240]
例如,若模型训练设备中包括客户端日志1和传输日志1,若模型训练设备确定客户端日志1中包括时间戳为1679386411,客户端的网络地址为192.168.1.1、端口号为3000,目标cdn节点的网络地址为192.168.2.6、端口号为2080;若模型训练设备确定传输日志1中包括时间戳为1679386411,客户端的网络地址为192.168.1.1、端口号为3000,cdn节点的网络地址为192.168.2.6、端口号为2080,则由于客户端日志1和传输日志1中时间戳、客户端
的网络地址、端口号、以及cdn节点的网络地址和端口号一致,则可以确定客户端日志1和传输日志1为同一第一数据请求对应的日志,则可以将客户端日志1和传输日志1关联起来。
[0241]
情况2:客户端日志中的时间戳、客户端的网络地址和端口号、目标cdn节点的网络地址和端口号、以及传输日志中的时间戳、客户端的网络地址和端口号、cdn节点的网络地址和端口号不一致。
[0242]
在该种情况下,可以不用对客户端日志和传输日志进行关联处理。
[0243]
例如,若模型训练设备中包括客户端日志1和传输日志1,若模型训练设备确定客户端日志1中包括时间戳为1679386309,客户端的网络地址为192.168.1.1、端口号为3000,目标cdn节点的网络地址为192.168.2.6、端口号为2080;若模型训练设备确定传输日志1中包括时间戳为1679386309,客户端的网络地址为192.168.2.1、端口号为2095,cdn节点的网络地址为192.168.2.6、端口号为2080,则由于客户端日志1和传输日志1中客户端的网络地址、端口号不一致,则可以确定客户端日志1和传输日志1为不同第一数据请求对应的日志,则可以无需将客户端日志1和传输日志1关联起来。
[0244]
可选地,对多个客户端日志和多个传输日志进行关联处理,以确定每个客户端日志关联的传输日志。由于客户端日志中可以包括第一数据请求对应的网络类型,则可以在客户端中确定网络类型,进而可以关联传输日志对应的网络类型。
[0245]
例如,若客户端日志1关联传输日志1,若在客户端日志1中确定第一数据请求对应的网络类型为4g,则可以关联传输日志1对应的网络类型为4g。
[0246]
可选地,关联传输日志对应的网络类型之后,可以将关联了网络类型的多个传输日志作为训练数据,对ai模型进行模型训练。
[0247]
由于传输日志中还可以包括tcp的通告窗口、建连时长、mss,在ai模型的训练过程中,ai模型可以对传输日志进行识别处理,即可以在传输日志中确定tcp的通告窗口、建连时长和mss,进而可以根据传输日志对应的网络类型,确定tcp的通告窗口、建连时长和mss对应的网络类型。
[0248]
例如,若传输日志1对应的网络类型为4g,若ai模型在传输日志1中确定:tcp的通告窗口为4095字节、建连时长为80ms、mss为1370字节,由于传输日志1对应的网络类型为4g,则ai模型可以确定tcp的通告窗口为4095字节、建连时长为80ms、mss为1370字节时,对应的网络类型为4g。
[0249]
可以对ai模型进行若干次训练,以使ai模型可以根据传输日志中tcp的通告窗口、建连时长和mss,准确地确定对应的网络类型。
[0250]
模型训练设备得到ai模型之后,可以在预设存储空间保存ai模型。
[0251]
在步骤
①
中,模型训练设备可以向第一设备定期发送ai模型。第一设备可以为cdn网络中的第一cdn节点。例如,第一cdn节点可以为cdn节点1,模型训练设备可以向cdn节点1发送ai模型,ai模型的更新周期可以为1年。
[0252]
需要说明的是,在一个cdn网络的多个cdn节点中可以包括第一cdn节点和多个第二cdn节点,只需在第一cdn节点上设有ai模型。例如,若cdn网络中包括k个cdn节点,第一cdn节点可以为cdn节点1,第二cdn节点为cdn节点2、
……
、cdn节点k,则可以在cdn节点1中设有ai模型,cdn节点2、
……
、cdn节点k中无需设有ai模型。
[0253]
在步骤
②
中,多个第二cdn节点可以向第一cdn节点实时发送多个传输日志,以使
第一cdn节点获取多个传输日志。该多个传输日志是多个第二cdn节点接收数据请求时生成的传输日志。例如,cdn节点2、
……
、cdn节点k分别可以向cdn节点1发送多个传输日志。
[0254]
在步骤
③
中,针对任意一个传输日志,第一cdn节点可以通过ai模型对传输日志进行识别处理,即可以在传输日志中确定tcp的通告窗口、建连时长和mss,进而可以根据tcp的通告窗口、建连时长和mss,确定该传输日志对应的网络类型。
[0255]
例如,若ai模型在传输日志1中确定:tcp的通告窗口为4095字节、建连时长为80ms、mss为1370字节,则可以根据该tcp的通告窗口、建连时长和mss,确定传输日志1对应的网络类型1,假设传输日志1对应的网络类型1为4g。
[0256]
可选地,通过ai模型对多个传输日志进行处理,得到多个传输日志分别对应的网络类型。该多个传输日志中可以包括多个第二cdn节点发送的传输日志、以及第一cdn节点根据数据请求生成的传输日志。例如,多个传输日志分别对应的网络类型可以如表3所示。
[0257]
针对任意一个传输日志,第一cdn节点可以将客户端的网络地址,确定传输日志对应的源网络地址。例如,多个传输日志对应的多个源网络地址可以如表2所示。
[0258]
第一cdn节点可以通过ai模型,根据多个传输日志对应的多个源网络地址、以及多个传输日志对应的网络类型,生成网络对应关系。生成网络对应关系的执行过程可以参见步骤s304,此处不再进行赘述。例如,网络对应关系可以如表1所示。第一cdn节点可以在预设存储空间存储网络对应关系。
[0259]
在步骤
④
中,第一cdn节点可以向多个第二cdn节点周期性地发送该网络对应关系,以使多个第二cdn节点可以接收网络对应关系,并存储在预设存储空间。例如,cdn节点1可以每隔30min,分别向cdn节点2、
……
、cdn节点k发送网络对应关系,cdn节点2、
……
、cdn节点k中可以存储有网络对应关系。
[0260]
由于多个第二cdn节点中可以存储有网络对应关系,无需在多个第二cdn节点中部署ai模型,大大减少了所占用的计算资源,降低了计算成本。
[0261]
在步骤
⑤
中,当客户有需求时,第一客户端可以向第一cdn节点发送第一数据请求,第一cdn节点可以获取第一客户端发送的第一数据请求。例如,第一客户端可以为客户端2,客户端2可以向cdn节点1发送第一数据请求。
[0262]
在步骤
⑥
中,第一cdn节点获取第一数据请求之后,可以在预设存储空间中获取网络对应关系,并根据第一数据请求对应的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型,进而可以根据第一数据请求对应的第一网络类型,确定网络策略,并且可以根据网络策略对第一数据请求进行处理。例如,第一cdn节点可以根据网络对应关系,确定第一数据请求对应的第一网络类型为4g,则第一cdn节点可以根据第一网络类型4g,确定对应的网络策略,并且可以根据对应的网络策略对第一数据请求进行处理。
[0263]
需要说明的是,由于第二cdn节点中也存储有网络对应关系,因此,同样地,第二cdn节点获取第一数据请求之后,可以在预设存储空间中获取网络对应关系,并根据第一数据请求对应的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型,进而可以根据第一数据请求对应的第一网络类型,确定网络策略,并且可以根据网络策略对第一数据请求进行处理。
[0264]
第一cdn节点或第二cdn节点可以根据网络对应关系,确定数据请求对应的网络类型,实现了在使用非常小量的计算资源的前提下(相比现有技术的1/10-1/20),确定每个第
一数据请求对应的网络类型,准确率可以达到90%以上,且由于网络对应关系是预先确定的,不会影响数据请求的处理过程,使得任务侵入性非常小。
[0265]
在本技术实施例中,模型训练设备可以获取多个客户端日志、以及多个传输日志,并且可以对多个客户端日志和多个传输日志进行关联处理,进而可以确定多个传输日志分别关联的网络类型,并将关联了网络类型的多个传输日志作为训练数据,对ai模型进行模型训练,得到ai模型后可以向第一cdn节点发送ai模型。第一cdn节点可以获取多个传输日志,并确定多个传输日志对应的多个源网络地址;可以通过ai模型对传输日志进行识别处理,以确定传输日志对应的网络类型;进而可以通过ai模型,根据多个传输日志对应的多个源网络地址、以及多个传输日志对应的网络类型,生成网络对应关系,并预设存储空间存储网络对应关系。第一cdn节点可以获取第一客户端发送的第一数据请求,并在预设存储空间中获取网络对应关系。第一cdn节点可以根据第一数据请求对应的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型,并根据第一数据请求对应的第一网络类型,确定网络策略,进而可以根据网络策略对第一数据请求进行处理。由于可以预先周期性地生成网络对应关系,可以向多个cdn节点发送网络对应关系,以使多个cdn节点都可以使用该网络对应关系。当cdn节点接收到数据请求之后,可以确定数据请求对应的网络地址区间,并且可以根据网络对应关系确定数据请求对应的网络类型,无需通过ai模型计算数据请求对应的网络类型,实现了ai计算过程与数据请求处理过程的分离,避免了ai计算过程影响数据请求处理过程,提高了处理数据请求的效率。
[0266]
图5为本技术示例性实施例提供的一种数据请求处理装置的结构示意图。请参见图5,所述装置可以应用于内容分发网络cdn网络中的第一cdn节点,所述装置可以包括:第一获取模块11、第二获取模块12、第一确定模块13和第二确定模块14,其中,
[0267]
所述第一获取模块11用于,获取第一客户端发送的第一数据请求;
[0268]
所述第二获取模块12用于,获取多个网络地址区间和多个网络类型之间的网络对应关系,所述网络对应关系为根据所述cdn网络中的多个传输日志确定得到的;
[0269]
所述第一确定模块13用于,确定所述第一数据请求的源网络地址;
[0270]
所述第二确定模块14用于,根据所述源网络地址所在的网络地址区间和所述网络对应关系,确定所述第一数据请求对应的第一网络类型。
[0271]
本技术实施例提供的数据请求处理装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
[0272]
在一种可能的实施方式中,所述第二确定模块14具体用于:
[0273]
确定所述源网络地址所在的第一网络地址区间;
[0274]
根据所述第一网络地址区间,确定所述第一网络类型,所述第一网络地址区间的长度为m,所述m为大于1的整数。
[0275]
在一种可能的实施方式中,所述第二确定模块14具体用于:
[0276]
若所述网络对应关系中存在所述第一网络地址区间对应的网络类型,则将所述第一网络地址区间对应的网络类型确定为所述第一网络类型;
[0277]
若所述网络对应关系中不存在第一网络地址区间对应的网络类型,则确定所述源网络地址所在的第二网络地址区间,并在所述网络对应关系中确定所述第二网络地址区间对应的网络类型,并将所述第二网络地址区间对应的网络类型确定为所述第一网络类型,
所述第二网络地址区间的长度为n,所述n为大于1的整数,所述n为小于所述m的整数。
[0278]
在一种可能的实施方式中,所述第二获取模块12具体用于:
[0279]
在所述第一cdn节点的预设存储空间中获取所述网络对应关系,所述网络对应关系为预先获取并存储在所述预设存储空间的。
[0280]
本技术实施例提供的数据请求处理装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
[0281]
图6为本技术示例性实施例提供的另一种数据请求处理装置的结构示意图。请参见图6,在图5所示装置的基础上,所述装置还可以包括:接收模块15、存储模块16、处理模块17和生成模块18,其中,
[0282]
所述接收模块15用于,接收第一设备发送的所述网络对应关系,所述第一设备为所述cdn网络中的第一cdn节点或者人工智能ai服务器,所述网络对应关系为所述第一设备生成的;
[0283]
所述存储模块16用于,在所述预设存储空间存储所述网络对应关系。
[0284]
本技术实施例提供的数据请求处理装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
[0285]
在一种可能的实施方式中,
[0286]
所述第一获取模块11还用于,获取多个传输日志;
[0287]
所述第二确定模块14还用于,确定所述多个传输日志对应的多个源网络地址;
[0288]
在一种可能的实施方式中,
[0289]
所述处理模块17用于,通过ai模型对所述多个传输日志进行处理,得到所述多个传输日志对应的网络类型;
[0290]
所述生成模块18用于,根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,生成所述网络对应关系。
[0291]
在一种可能的实施方式中,所述生成模块18具体用于:
[0292]
根据所述多个源网络地址所在的n位网络地址区间,在所述多个源网络地址中确定多个源网络地址集合,所述源网络地址集合中的源网络地址所在的n位网络地址区间相同,所述n位网络地址区间的长度为所述n;
[0293]
根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,确定各源网络地址对应的网络类型;
[0294]
根据所述多个源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,生成所述网络对应关系。
[0295]
在一种可能的实施方式中,所述生成模块18具体用于:
[0296]
针对任意一个源网络地址集合,根据所述源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,确定所述源网络地址集合对应的子对应关系,所述子对应关系包括至少一个网络地址区间和各网络地址区间对应的网络类型;
[0297]
根据所述多个源网络地址集合对应的子对应关系,确定所述网络对应关系。
[0298]
在一种可能的实施方式中,所述生成模块18具体用于:
[0299]
根据所述源网络地址集合中各源网络地址所对应的网络类型,确定多种网络类型中各网络类型的类型占比,所述多种网络类型包括如下至少一种:通用移动通信技术的长
期演进lte、第五代移动通信技术5g、无线网络通信技术wifi、第四代移动通信技术4g;
[0300]
根据所述源网络地址集合、所述源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定所述源网络地址集合对应的子对应关系。
[0301]
在一种可能的实施方式中,所述生成模块18具体用于:
[0302]
根据各网络类型的类型占比在所述多种网络类型中确定目标网络类型,所述目标网络类型的类型占比最大;
[0303]
确定所述源网络地址集合对应的初始网络地址区间,所述初始网络地址区间的长度为所述n;
[0304]
若所述目标网络类型的类型占比大于或等于第一阈值,则确定所述子对应关系包括所述初始网络地址区间和所述目标网络类型之间的对应关系;
[0305]
若所述目标网络类型的类型占比小于第一阈值,则在所述源网络地址集合中确定多个待选源网络地址,并在所述多个待选源网络地址中确定多个源网络地址子集合,并根据所述初始网络地址区间、所述目标网络类型、所述多个源网络地址子集合、以及所述源网络地址子集合中各源网络地址对应的网络类型,生成所述子对应关系;
[0306]
其中,所述待选源网络地址对应的网络类型为除所述目标网络类型之外的其它网络类型,所述源网络地址子集合中各源网络地址所在的m位网络地址区间相同,所述m位网络地址区间的长度为所述m。
[0307]
在一种可能的实施方式中,所述生成模块18具体用于:
[0308]
针对任意一个源网络地址子集合,确定所述源网络地址子集合对应的扩展网络地址区间,根据所述源网络地址子集合中各源网络地址对应的网络类型,确定所述扩展网络地址区间对应的网络类型;
[0309]
确定所述子对应关系包括:所述初始网络地址区间与所述目标网络类型之间的对应关系、以及所述扩展网络地址区间与对应的网络类型之间的对应关系。
[0310]
在一种可能的实施方式中,
[0311]
所述第二确定模块14还用于,根据所述第一数据请求对应的第一网络类型,确定网络策略,所述网络策略包括如下至少一种:拥塞控制策略、丢包恢复策略或冲刺策略;
[0312]
所述处理模块17还用于,根据所述网络策略对所述第一数据请求进行处理。
[0313]
本技术实施例提供的数据请求处理装置可以执行上述方法实施例所示的技术方案,其实现原理以及有益效果类似,此处不再进行赘述。
[0314]
本技术示例性实施例提供一种cdn节点的结构示意图,请参见图7,该cdn节点20可以包括处理器21和存储器22。示例性地,处理器21、存储器22,各部分之间通过总线23相互连接。
[0315]
所述存储器22存储计算机执行指令;
[0316]
所述处理器21执行所述存储器22存储的计算机执行指令,使得所述处理器21执行如上述方法实施例所示的数据处理方法。
[0317]
相应地,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被处理器执行时用于实现上述任一方法实施例所述的数据请求处理方法。
[0318]
相应地,本技术实施例还可提供一种计算机程序产品,包括计算机程序,该计算机
程序被处理器执行时,可实现上述任一方法实施例所示的数据请求处理方法。
[0319]
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0320]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0321]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0322]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0323]
在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0324]
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0325]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
[0326]
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0327]
以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员
来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。
技术特征:
1.一种数据请求处理方法,其特征在于,应用于内容分发网络cdn网络中的第一cdn节点,包括:获取第一客户端发送的第一数据请求;获取多个网络地址区间和多个网络类型之间的网络对应关系;确定所述第一数据请求的源网络地址;根据所述源网络地址所在的网络地址区间和所述网络对应关系,确定所述第一数据请求对应的第一网络类型。2.根据权利要求1所述的方法,其特征在于,根据所述源网络地址所在的网络地址区间和所述网络对应关系,确定所述第一数据请求对应的第一网络类型,包括:确定所述源网络地址所在的第一网络地址区间;根据所述第一网络地址区间和所述网络对应关系,确定所述第一网络类型,所述第一网络地址区间的长度为m,所述m为大于1的整数。3.根据权利要求2所述的方法,其特征在于,根据所述第一网络地址区间和所述网络对应关系,确定所述第一网络类型,包括:若所述网络对应关系中存在所述第一网络地址区间对应的网络类型,则将所述第一网络地址区间对应的网络类型确定为所述第一网络类型;若所述网络对应关系中不存在第一网络地址区间对应的网络类型,则确定所述源网络地址所在的第二网络地址区间,并在所述网络对应关系中确定所述第二网络地址区间对应的网络类型,并将所述第二网络地址区间对应的网络类型确定为所述第一网络类型,所述第二网络地址区间的长度为n,所述n为大于1的整数,所述n为小于所述m的整数。4.根据权利要求1-3任一项所述的方法,其特征在于,获取多个网络地址区间和多个网络类型之间的网络对应关系,包括:在所述第一cdn节点的预设存储空间中获取所述网络对应关系,所述网络对应关系为预先获取并存储在所述预设存储空间的。5.根据权利要求4所述的方法,其特征在于,在所述第一cdn节点的预设存储空间中获取所述网络对应关系之前,还包括:接收第一设备发送的所述网络对应关系,所述第一设备为所述cdn网络中的第一cdn节点或者人工智能ai服务器,所述网络对应关系为所述第一设备生成的;在所述预设存储空间存储所述网络对应关系。6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:获取多个传输日志;确定所述多个传输日志对应的多个源网络地址;通过ai模型对所述多个传输日志进行处理,得到所述多个传输日志对应的网络类型;根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,生成所述网络对应关系。7.根据权利要求6所述的方法,其特征在于,根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,生成所述网络对应关系,包括:根据所述多个源网络地址所在的n位网络地址区间,在所述多个源网络地址中确定多个源网络地址集合,所述源网络地址集合中的源网络地址所在的n位网络地址区间相同,所
述n位网络地址区间的长度为所述n;根据所述多个传输日志对应的多个源网络地址、以及所述多个传输日志对应的网络类型,确定各源网络地址对应的网络类型;根据所述多个源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,生成所述网络对应关系。8.根据权利要求7所述的方法,其特征在于,根据所述多个源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,生成所述网络对应关系,包括:针对任意一个源网络地址集合,根据所述源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,确定所述源网络地址集合对应的子对应关系,所述子对应关系包括至少一个网络地址区间和各网络地址区间对应的网络类型;根据所述多个源网络地址集合对应的子对应关系,确定所述网络对应关系。9.根据权利要求8所述的方法,其特征在于,根据所述源网络地址集合、以及所述源网络地址集合中各源网络地址所对应的网络类型,确定所述源网络地址集合对应的子对应关系,包括:根据所述源网络地址集合中各源网络地址所对应的网络类型,确定多种网络类型中各网络类型的类型占比,所述多种网络类型包括如下至少一种:通用移动通信技术的长期演进lte、第五代移动通信技术5g、无线网络通信技术wifi、第四代移动通信技术4g;根据所述源网络地址集合、所述源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定所述源网络地址集合对应的子对应关系。10.根据权利要求9所述的方法,其特征在于,根据所述源网络地址集合、所述源网络地址集合中各源网络地址所对应的网络类型、以及各网络类型的类型占比,确定所述源网络地址集合对应的子对应关系,包括:根据各网络类型的类型占比在所述多种网络类型中确定目标网络类型,所述目标网络类型的类型占比最大;确定所述源网络地址集合对应的初始网络地址区间,所述初始网络地址区间的长度为所述n;若所述目标网络类型的类型占比大于或等于第一阈值,则确定所述子对应关系包括所述初始网络地址区间和所述目标网络类型之间的对应关系;若所述目标网络类型的类型占比小于第一阈值,则在所述源网络地址集合中确定多个待选源网络地址,并在所述多个待选源网络地址中确定多个源网络地址子集合,并根据所述初始网络地址区间、所述目标网络类型、所述多个源网络地址子集合、以及所述源网络地址子集合中各源网络地址对应的网络类型,生成所述子对应关系;其中,所述待选源网络地址对应的网络类型为除所述目标网络类型之外的其它网络类型,所述源网络地址子集合中各源网络地址所在的m位网络地址区间相同,所述m位网络地址区间的长度为所述m。11.根据权利要求10所述的方法,其特征在于,根据所述初始网络地址区间、所述目标网络类型、所述多个源网络地址子集合、以及所述源网络地址子集合中各源网络地址对应的网络类型,生成所述子对应关系,包括:针对任意一个源网络地址子集合,确定所述源网络地址子集合对应的扩展网络地址区
间,根据所述源网络地址子集合中各源网络地址对应的网络类型,确定所述扩展网络地址区间对应的网络类型;确定所述子对应关系包括:所述初始网络地址区间与所述目标网络类型之间的对应关系、以及所述扩展网络地址区间与对应的网络类型之间的对应关系。12.根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:根据所述第一数据请求对应的第一网络类型,确定网络策略,所述网络策略包括如下至少一种:拥塞控制策略、丢包恢复策略或冲刺策略;根据所述网络策略对所述第一数据请求进行处理。13.一种cdn节点,其特征在于,包括:存储器和处理器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,使得所述处理器执行如权利要求1-12任一项所述的数据请求处理方法。14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当所述计算机执行指令被处理器执行时用于实现权利要求1至12任一项所述的数据请求处理方法。
技术总结
本申请实施例提供一种数据请求处理方法、装置及设备,该方法可以包括:获取第一客户端发送的第一数据请求;获取多个网络地址区间和多个网络类型之间的网络对应关系;确定第一数据请求的源网络地址;根据源网络地址所在的网络地址区间和网络对应关系,确定第一数据请求对应的第一网络类型。提高了处理数据请求的效率。率。率。
技术研发人员:陈晨 邱于兵 邓雨田 陈溢铭
受保护的技术使用者:阿里巴巴(中国)有限公司
技术研发日:2023.04.23
技术公布日:2023/7/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/