一种基于DPI平台的数据获取方法及装置与流程

一种基于dpi平台的数据获取方法及装置
技术领域
1.本技术属于dpi系统的数据获取技术，特别涉及一种基于dpi平台的数据获取方法及装置。


背景技术：

2.随着5g用户的不断增加移动互联网网络流量规模巨大，移动互联网流量数据的相关业务越来越多，基于dpi(deep packet inspection，深度包检测)系统流量采集及分发系统的灵活性是要解决的重大难题之一。无论是弹性高协同的dpi数据采集技术，还是基于规则引擎的报文获取技术，都是为了实现灵活的、根据业务需求进行动态的、精确的数据采集。但现有移动互联网dpi采集平台只能支持信令面和用户面的全量采集，采集方法比较单一，不支持绝大多数协议的载荷灵活采集，难以完全满足现网业务分析部门的业务多样性需求。


技术实现要素：

3.为了解决所述现有技术的不足，本技术提供了一种基于dpi平台的数据获取方法及装置，旨在提供根据业务需求灵活的获取数据，瞒足现网业务分析部门的业务多样性需求。
4.本技术所要达到的技术效果通过以下方案实现：
5.第一方面，本技术提供一种基于dpi平台的数据获取方法，所述方法包括：
6.根据业务需求确定数据获取策略；
7.根据所述数据获取策略确定在dpi平台所需的资源支撑参数；
8.判断所述资源支撑参数是否过载；
9.若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效；
10.其中，所述数据获取策略包括数据采集类型、数据采集参数、数据采集路径、数据采集流程、以及策略生命周期管理。
11.可选地，多个所述数据获取策略在所述dpi平台中运行；
12.在所述根据所述数据获取策略确定在dpi平台所需的资源支撑参数步骤前，所述方法包括：
13.对多个所述数据获取策略进行策略冲突检测，所述策略冲突检测内容包括检测数据采集路径、数据类型覆盖范围；
14.若所述数据获取策略有冲突，则根据所述数据获取策略的优先级确定所述数据获取策略的生效。
15.可选地，所述对多个所述数据获取策略进行策略冲突检测，包括：
16.对任意两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围进行对比，若两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围均不一致，则
判定两个所述数据获取策略没有冲突。
17.可选地，多个所述数据获取策略在所述dpi平台中运行；
18.所述资源支撑参数至少包括cpu的算力、内存、存储和带宽；所述判断所述资源支撑参数是否过载，包括：
19.将多个所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽，与dpi平台中的cpu的算力、内存、存储和带宽进行对比，若所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽中的其中之一超出dpi平台的，则判定所述资源支撑参数为过载。
20.可选地，所述若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效，包括：
21.所述若所述资源支撑参数为过载，根据dpi平台的资源参数以及所述最优资源占用降阶算法调整所述数据获取策略，得到更新的所述数据获取策略；
22.运行更新的所述数据获取策略，使更新的所述数据获取策略生效。
23.可选地，所述最优资源占用降阶算法包括：
24.获取多个所述数据获取策略的优先顺序，根据所述优先顺序排列多个所述述数据获取策略；
25.根据所述优先顺序排列的多个所述数据获取策略和所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第1数据获取策略组；
26.根据剩余的所述数据获取策略所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第2数据获取策略组......第n数据获取策略组，n为大于1的自然数；
27.其中，所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组总的所述资源支撑参数未过载，在所述dpi平台依次运行所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组；
28.所述数据获取策略包括：
29.数据获取超出命中流量后，按照策略序号采取从低到高的顺序进行策略老化，以满足命中流量在规定范围内，相反的，当流量减小到一定程度后，启动流量恢复机制，进行策略的恢复，完成流量的自动调节；
30.策略先进先出，未命中的策略，先淘汰已命中策略，需要考虑策略是否命中，对未命中的策略不淘汰；或
31.所述数据获取策略包括：
32.数据获取超出命中流量后，为减少命中流量的数量，所有策略均采取只回传首包的模式进行，以满足命中流量在规定范围内，相反的，当流量减小到一定程度后，启动流量恢复机制，进行策略的恢复，完成流量的自动调节。
33.可选地，所述根据业务需求确定数据获取策略步骤后，包括：
34.接收和/或翻译所述数据获取策略，所述翻译是指将所述数据获取策略的信息转化成所述dpi平台能够执行的策略指令，翻译所述数据获取策略的应用场景包括获取网络层原始报文数据、传输层原始报文数据、传输层原始报文数据、应用层原始报文数据以及特
定条件的日志数据。
35.可选地，所述数据采集流程包括：
36.上传已有的所述数据获取策略，请求根据业务需求确定的数据获取策略；
37.发现已有的所述数据获取策略与根据业务需求确定的数据获取策略相同；
38.再次请求根据业务需求确定的数据获取策略，以获得更新的数据获取策略。
39.可选地，所述若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效步骤后包括：
40.对运用所述数据获取策略获取到的数据进行传输、过滤、管理以及质量检测；
41.将进行传输、过滤、管理以及质量检测后的数据分发到各个数据接收分发系统。
42.第二方面，本技术提供一种基于dpi平台的数据获取装置，所述装置包括：
43.第一确定单元，用于根据业务需求确定数据获取策略；
44.第二确定单元，用于根据所述数据获取策略确定在dpi平台所需的资源支撑参数；
45.判断单元，用于判断所述资源支撑参数是否过载；
46.执行单元，用于若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效；
47.其中，所述数据获取策略包括数据采集类型、数据采集参数、数据采集路径、数据采集流程、以及策略生命周期管理。
48.第三方面，本技术提供一种可读介质，所述可读介质包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
49.第四方面，本技术提供一种电子设备，所述电子设备包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
50.本技术具有以下优点：
51.本技术一种基于dpi平台的数据获取方法，可以根据业务需求确定数据获取策略；接着，根据所述数据获取策略确定在dpi平台所需的资源支撑参数；然后，判断所述资源支撑参数是否过载；再然后，若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效。本技术基于dpi平台的数据获取方法根据业务需求灵活制定数据获取策略，使数据获取策略生效，以根据数据获取策略获取数据，瞒足现网业务分析部门的业务多样性需求。
附图说明
52.为了更清楚地说明本技术实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
53.图1为本技术中一实施例中基于dpi平台的数据获取方法的流程示意图一；
54.图2为本技术中一实施例中基于dpi平台的数据获取方法的流程示意图二；
55.图3为本技术中一实施例数据采集流程的流程示意图；
56.图4为本技术中一实施例互联网采集平台的结构示意图；
57.图5为本技术中一实施例中基于dpi平台的数据获取装置的结构示意图；
58.图6为本技术中一实施例中电子设备的结构示意图。
具体实施方式
59.为使本技术的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本技术的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
60.现有移动互联网dpi(deep packet inspection，深度包检测)采集平台只能支持信令面和用户面的全量采集，采集方法比较单一，不支持绝大多数协议的载荷灵活采集，难以完全满足现网业务分析部门的业务多样性需求。
61.有鉴于此，本技术提供一种基于dpi平台的数据获取方法及装置，旨在提供根据业务需求灵活的获取数据，瞒足现网业务分析部门的业务多样性需求。
62.下面结合附图，详细地说明本技术的非限制性实施方案。
63.如附图1所示，为本技术一实施中基于dpi平台的数据获取方法的流程结构示意图。从附图中可知，基于dpi平台的数据获取方法包括步骤s02、步骤s04、步骤s06以及步骤s08。
64.步骤s02：根据业务需求确定数据获取策略；
65.步骤s04：根据所述数据获取策略确定在dpi平台所需的资源支撑参数；
66.步骤s06：判断所述资源支撑参数是否过载；
67.步骤s08：若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效。数据获取策略的生效是指在dpi平台中运行数据获取策略，以获取所需数据。
68.根据业务需求去确定数据获取策略，可以灵活的获取数据。其中，数据获取策略包括数据采集类型、数据采集参数、数据采集路径、数据采集流程、以及策略生命周期管理。示例性地，数据类型包括网络层原始报文数据、网络层原始报文数据、传输层原始报文数据-ip(internet protocol，互联网协议)五元组、传输层原始报文数据-特定位置载荷、应用层原始报文数据、以及特定条件的日志数据等中的至少一种。数据采集参数包括采集数据所需的算力、存储、宽带以及采集时间等中的至少一种，数据采集路径是指通过哪条网路路线或是哪条网路渠道获取所述数据。数据采集流程是指采集时进行的步骤，例如采集前的信号握手、数据获取策略上报、应答策略请求消息等中的至少一个步骤。策略生命周期管理基于管理的方法，支持管控设备内所有数据获取策略的加载、卸载、执行时长等全生命周期的管理，用于数据获取策略所获取的数据在整个生命周期内的流动。从数据获取策略加载到卸载等全过程自动化，通常根据特定的方法将数据获取策略组织成各个不同的层，并基于那些关键条件自动地将数据从一个层移动到另一个层。支持数据获取策略创建和变更后的自动加载，以及删除后的自动卸载，支持快速处理数据获取策略的变更，提交变更数据获取策略后自动调整，主动评估数据获取策略变更影响，通过敏捷化来预分析新建或变更的数据获取策略变化所产生的业务数据流对资源的影响，尽可能的利用现有数据获取策略和对象来减少数据获取策略混乱以及复杂性。
69.示例性地，dpi平台具有智能策略校验机制，对数据获取策略进行梳理，对隐藏的数据获取策略、冗余的数据获取策略、空的数据获取策略等进行优化，避免不合规的数据获取策略带来的业务风险和安全风险，针对临时开启或过期的数据获取策略进行及时清理，避免造成数据获取策略的冗余。
70.本技术实施例中通过数据获取策略在dpi平台中获取数据，示例性地，数据至少包括网络层原始报文数据、网络层原始报文数据、传输层原始报文数据-ip五元组、传输层原始报文数据-特定位置载荷、应用层原始报文数据、以及特定条件的日志数据等。
71.综上所述，基于dpi平台的数据获取方法根据业务需求灵活制定数据获取策略，使数据获取策略生效，以根据数据获取策略获取数据，瞒足现网业务分析部门的业务多样性需求。
72.在一实施例中，多个所述数据获取策略在所述dpi平台中运行。如附图2所示，在步骤s04，根据所述数据获取策略确定在dpi平台所需的资源支撑参数前，基于dpi平台的数据获取方法包括步骤s031以及步骤s032。
73.步骤s031：对多个所述数据获取策略进行策略冲突检测，所述策略冲突检测内容包括检测数据采集路径、数据类型覆盖范围；
74.步骤s032：若所述数据获取策略有冲突，则根据所述数据获取策略的优先级确定所述数据获取策略的生效。
75.可以知道地，dpi平台可以同时运行多个数据获取策略，但是得在多个数据获取策略没有冲突的情况下同时进行。若多个数据获取策略有冲突，这说明多个数据获取策略中有至少两个数据获取策略的数据采集路径是相同的，如果两个数据获取策略同时通过一条路径获取数据，这条路径的宽带是固定的，可以支持一个数据获取策略获取数据，若两个以及两个以上数据获取策略同时通过该路径获取数据时，会造成该路径的堵塞，或是获取数据参数错乱，从而造成获取数据失败。故而在dpi平台同时运行多个数据获取策略前，得检测多个数据获取策略是否有冲突，从而保证dpi平台的正常运行。同样地，若多个数据获取策略中获取的数据是有重复的，那么多次获取该数据是在重复做工，或者会造成同时访问存储该数据的内存，造成访问内存的频率较高，同样会造成访问的卡顿。故而需要检测多个数据获取策略所需获取的数据类型覆盖范围是否重复。如果多个数据获取策略有冲突，则所述数据获取策略的优先级确定所述数据获取策略的生效。示例性地，可以根据数据获取策略的优先级排列多个数据获取策略的生效时间，避免多个数据获取策略同时运行。
76.在一实施例中，步骤s031，对多个所述数据获取策略进行策略冲突检测包括步骤s0311。
77.步骤s0311：对任意两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围进行对比，若两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围均不一致，则判定两个所述数据获取策略没有冲突。
78.在上述实施例中可知，若多个数据获取策略有冲突，这说明多个数据获取策略中有至少两个数据获取策略的数据采集路径相同的或是数据类型覆盖范围有重合。为了辨别是否具有两个数据获取策略的数据采集路径是相同的，或是是否具有两个数据获取策略的数据类型覆盖范围有重合。对任意两个数据获取策略的所述数据采集路径、所述数据类型覆盖范围进行对比，以防止多个数据获取策略中有至少两个数据获取策略的数据采集路径
相同的或是数据类型覆盖范围有重合。
79.在一实施例中，多个数据获取策略在dpi平台中运行，资源支撑参数至少包括cpu的算力、内存、存储和带宽。步骤s06，判断资源支撑参数是否过载，包括步骤s061。
80.步骤s061：将多个所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽，与dpi平台的资源参数进行对比，即与dpi平台中的cpu的算力、内存、存储和带宽进行对比，若所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽中的其中之一超出dpi平台的，则判定所述资源支撑参数为过载。
81.可以知道地，数据获取策略在dpi平台运行时，需要一定的cpu算力、内存、存储和带宽，才能够在dpi平台顺畅或成功运行。若dpi平台的cpu算力、内存、存储和带宽无法瞒足数据获取策略的要求，则该数据获取策略无法在dpi平台运行，或者容易在dpi平台运行时卡顿。
82.在一实施例中，步骤s08，若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效，包括步骤s081和步骤s082。
83.步骤s081：所述若所述资源支撑参数为过载，根据dpi平台的资源参数以及所述最优资源占用降阶算法调整所述数据获取策略，得到更新的所述数据获取策略；
84.步骤s082：运行更新的所述数据获取策略，使更新的所述数据获取策略生效。
85.可以知道的，dpi平台的资源参数无法瞒足数据获取策略的资源参数时，即数据获取策略无法在该dpi平台顺畅或顺利运行。这时需要根据dpi平台的资源参数与所述最优资源占用降阶算法调整所述数据获取策略，从而使得更新后的数据获取策略适于在dpi平台运行。
86.在一实施例中，最优资源占用降阶算法包括步骤a、步骤b、以及步骤c。
87.步骤a：获取多个所述数据获取策略的优先顺序，根据所述优先顺序排列多个所述述数据获取策略；
88.步骤b：根据所述优先顺序排列的多个所述数据获取策略和所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第1数据获取策略组；
89.步骤c：根据剩余的所述数据获取策略和所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第2数据获取策略组......第n数据获取策略组，n为大于1的自然数。
90.其中，所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组总的所述资源支撑参数未过载，在所述dpi平台依次运行所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组。
91.在一实施例中，多个所述数据获取策略包括数据获取策略a、数据获取策略b、数据获取策略c、数据获取策略d、数据获取策略e、数据获取策略f、数据获取策略g。根据优先顺序排列多个述数据获取策略为数据获取策略a、数据获取策略c、数据获取策略d、数据获取策略b、数据获取策略f、数据获取策略g、数据获取策略e。根据优先顺序排列的多个数据获取策略和dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个数据获取策略作为优先生效的第1数据获取策略组{数据获取策略a、数据获取策略c、数据获取策略d}。根据剩余的所述数据获取策略和所述dpi平台中的cpu的算力、内存、存储和带
宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第2数据获取策略组{数据获取策略b、数据获取策略f}，第3数据获取策略组{数据获取策略g、数据获取策略e}。第1数据获取策略组{数据获取策略a、数据获取策略c、数据获取策略d}、第2数据获取策略组{数据获取策略b、数据获取策略f}以及第3数据获取策略组{数据获取策略g、数据获取策略e}中的总的资源支撑参数未过载，数据获取策略a、数据获取策略c、以及数据获取策略d的资源支撑参数之和未过载，数据获取策略b和数据获取策略f的资源支撑参数之和未过载，数据获取策略g和数据获取策略e的资源支撑参数之和未过载，即未超过dpi平台的资源参数。第1数据获取策略组{数据获取策略a、数据获取策略c、数据获取策略d}、第2数据获取策略组{数据获取策略b、数据获取策略f}以及第3数据获取策略组{数据获取策略g、数据获取策略e}依次按顺序在dpi平台上运行。
92.数据获取策略冲突主要体现在数据获取策略的优先级上，网络层原始报文数据、传输层原始报文数据-ip五元组、传输层原始报文数据-特定位置载荷、应用层原始报文数据、特定条件的日志数据这5种场景的数据获取策略冲突检测可以归类为原始报文数据策略冲突检测和日志数据策略冲突检测两大类，系统设计基于关联性和优先级双重方案进行策略冲突检测，即当新数据获取策略到来时，判断对比新数据获取策略和已有生效的策略的关联性和优先级。
93.在数据获取策略上，不同的数据获取策略采用不同的匹配实现，ip规则使用trie树(字典树)进行匹配，业务应用id使用哈希表进行匹配，以此提高规则匹配的效率；
94.系统运行过程中，随着下发数据获取策略的变化和接入流量数据的变化，会引起命中流量的波动，当命中流量超过规范要求的指标范围时，为了不影响整个系统的运行，系统采取流量丢弃数据获取策略进行保护，目前数据获取策略包括两种方式：
95.策略老化机制，数据获取超出命中流量后，按照策略序号采取从低到高的顺序进行策略老化，以满足命中流量在规定范围内，相反的，当流量减小到一定程度后，启动流量恢复机制，进行策略的恢复，完成流量的自动调节；
96.策略先进先出，未命中的策略，先淘汰已命中策略，需要考虑策略是否命中，对未命中的策略不淘汰；
97.回传首包机制，数据获取超出命中流量后，为减少命中流量的数量，所有规则均采取只回传首包的模式进行，以满足命中流量在规定范围内，相反的，当流量减小到一定程度后，启动流量恢复机制，进行规则的恢复，完成流量的自动调节。
98.可以采用以上任意一种方式进行流量获取。
99.在一实施例中，步骤s02，根据业务需求确定数据获取策略后，基于dpi平台的数据获取方法包括：
100.dpi平台接收和/或翻译所述数据获取策略，所述翻译是指将所述数据获取策略的信息转化成所述dpi平台能够执行的策略指令，翻译所述数据获取策略的应用场景包括获取网络层原始报文数据、传输层原始报文数据、传输层原始报文数据、应用层原始报文数据以及特定条件的日志数据。
101.在一实施例中，如附图3所示，数据采集流程包括步骤2、步骤4以及步骤6。
102.步骤2：上传已有的所述数据获取策略，请求根据业务需求确定的数据获取策略；
103.步骤4：发现已有的所述数据获取策略与根据业务需求确定的数据获取策略相同；
104.步骤6：再次请求根据业务需求确定的数据获取策略，以获得更新的数据获取策略。
105.在一实施例中，步骤s08，若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效后，基于dpi平台的数据获取方法包括步骤s09以及步骤s10。
106.步骤s09：对运用所述数据获取策略获取到的数据进行传输、过滤、管理以及质量检测；
107.步骤s10：将进行传输、过滤、管理以及质量检测后的数据分发到各个数据接收分发系统。
108.在一实施例中，基于dpi平台的数据获取方法运用于互联网。如附图4所示，互联网采集平台设有数据共享管理平台和dpi平台。数据共享管理平台包括策略管理子系统和数据接收分发子系统。dpi平台包括新型管控设备和数据上报接口。在数据共享管理平台中的第一确定单元根据业务需求确定数据获取策略，策略管理子系统给dpi平台下发和分配数据获取策略，数据获取策略包括特定条件的日志数据获取策略、传输层原始报文数据策略、传输层原始报文数据策略等。dpi平台的新型管控设备接收数据获取策略，新型管控设备的翻译单元对数据获取策略进行翻译，新型管控设备的检测单元对数据获取策略进行检测，新型管控设备执行数据获取策略的路径选择，且管理的策略生命周期。根据数据获取策略在dpi平台获得所需数据后，dpi平台的数据上报接口对数据订阅、传送、过滤、管理以及质量检测，并将数据发送给数据接收分发子系统，数据接收分发子系统接收和验证所述数据。
109.互联网采集平台在接入服务接口时，充分虑所采集数据的交互频率和传输信息大小，尽量降低对平采集台的性能消耗。按照数据发送频率和文件容量大小，可分为以下两种类型数据交互模式：非实时大批量数据
–
如业务日志数据或原始码流数据，容量大、频率低；建议取“web service+ftp”的模式，web service为网络服务，ftp为ftp(file transfer protocol，文件传输协议)是tcp/ip协议组中的协议之一。采集后生成文件，将文件所在的ftp信息通过web service协议发送，上层应用系统在接受到web service请求后，根据ftp信息内容登陆ftp服务器获取文件。流量较小的实时类数据
–
如实时告警、位置变化和实时跟踪等数据，容量小、频率高；此类数据发送频率较高，对实时性有一定要求，建议采取速度较快交互协议(如mq、socket等)直接发送数据。
110.互联网采集平台支持数据订阅发布，具有数据订阅发布中心，实现对数据分类、数据发布和订阅信息的集中管理。文件接口主要用于dpi系统向弹性采集管理平台提供原始码流、大量xdr(external data representation，外部数据)基础数据和明细数据的批量访问，弹性管理平台也可以订阅方式获取xdr基础数据和明细数据。消息接口主要支持dpi系统向弹性采集管理平台提供数据查询能力。弹性采集管理平台向dpi系统发送原始码流和xdr明细数据查询策略。
111.文件接口使用ftp/sftp协议上报xdr，它可以将生产者生产的文件实时、高效并以多种方式发送给消费者，其具有的功能可满足大部分项目的需求，可上传已经存在的文件或实时生成的文件。支持负载均衡、优先级等多种上传模式。支持压缩上传、支持在目的服务器按照指定模式归档存放文件等。
112.文件接口可以同时执行多个项目的上传任务，为保证上传效率，上传线程为多线程的线程组。要保证多个上传线程，均匀的执行多个项目(最大限度利用带宽)的上传任务，
同时会实时的输出上传日志到mysql、redis等数据库，采用异常模式，程序耦合低，即使网络不畅，或mysql服务器宕机，上传日志将保存在缓存中，不会导致数据丢失，完全不影响上传线程的工作。
113.采集平台所下发的所有采集流量和日志的策略直接影响到系统的数据流入和流出情况，需要针对资源占用情况进行严密监控，主要包括平台监控、服务监控、性能仪表盘、策略智能分析以及统计报表。平台监控完成对系统本身运行状态的监控，如系统的cpu占用/负载状态、存储占用情况、数据上报带宽资源，关键模块所占用队列负载/性能等的监控。服务监控完成对系统封装的服务运行状态的监控，如服务的调用频率分析、服务的数据量分析、服务的响应时间分析、服务的监控状况等。性能仪表盘，以仪表盘的方式从宏观上把控平台的总体性能运行情况，为宏观决策提供指导依据。策略智能分析通过对采集策略定制的业务数据进行挖掘和分析，对数据流量进行提前预判，对相关资源进行分析，对系统性能和关键瓶颈进行断定，同时支持对单独的采集策略分析其影响的范围。统计报表通过对采集策略所定制数据进行抽取、清洗、统计，通过多维度报表的方式进行展现，直观显示各采集策略数据量和对系统性能等的影响情况。
114.互联网按照数据采集流程进行数据采集，首先，dpi平台上传已有数据获取策略给数据共享管理平台，数据共享管理平台给dpi平台发送数据获取策略请求消息。若是dpi平台翻译发现已有相同策略在执行，dpi平台回复策略应答消息，数据共享管理平台删除数据获取策略请求消息，dpi平台删除策略应答消息。数据共享管理平台再次给dpi平台发送数据获取策略请求消息，若是dpi平台翻译未发现有相同策略在执行，dpi平台回复策略应答消息，且上传给数据共享管理平台更新后的策略数据。
115.本技术还提供一种基于dpi平台的数据获取装置，如附图5所示，所述装置包括：
116.第一确定单元，用于根据业务需求确定数据获取策略；
117.第二确定单元，用于根据所述数据获取策略确定在dpi平台所需的资源支撑参数；
118.判断单元，用于判断所述资源支撑参数是否过载；
119.执行单元，用于若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效；
120.其中，所述数据获取策略包括数据采集类型、数据采集参数、数据采集路径、数据采集流程、以及策略生命周期管理。
121.可选地，多个所述数据获取策略在所述dpi平台中运行，所述装置包括：
122.检测单元，用于对多个所述数据获取策略进行策略冲突检测，所述策略冲突检测内容包括检测数据采集路径、数据类型覆盖范围；
123.若所述数据获取策略有冲突，则根据所述数据获取策略的优先级确定所述数据获取策略的生效。
124.可选地，检测单元用于：对任意两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围进行对比，若两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围均不一致，则判定两个所述数据获取策略没有冲突。
125.可选地，检测单元用于：对任意两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围进行对比，若两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围均不一致，则判定两个所述数据获取策略没有冲突。
126.可选地，判断单元用于：将多个所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽，与dpi平台中的cpu的算力、内存、存储和带宽进行对比，若所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽中的其中之一超出dpi平台的，则判定所述资源支撑参数为过载。
127.可选地，执行单元用于：所述若所述资源支撑参数为过载，根据dpi平台的资源参数以及所述最优资源占用降阶算法调整所述数据获取策略，得到更新的所述数据获取策略；
128.运行更新的所述数据获取策略，使更新的所述数据获取策略生效。
129.可选地，执行单元用于：获取多个所述数据获取策略的优先顺序，根据所述优先顺序排列多个所述述数据获取策略；
130.根据所述优先顺序排列的多个所述数据获取策略和所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第1数据获取策略组；
131.根据剩余的所述数据获取策略所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第2数据获取策略组......第n数据获取策略组，n为大于1的自然数；
132.其中，所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组总的所述资源支撑参数未过载，在所述dpi平台依次运行所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组。
133.图6是本技术实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
134.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
135.存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。
136.在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成基于dpi平台的数据获取方法。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本技术任一实施例中提供的基于dpi平台的数据获取方法。
137.上述如本技术图6所示实施例提供的基于dpi平台的数据获取方法执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软
件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
138.结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
139.本技术实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本技术任一实施例中提供的基于dpi平台的数据获取方法，并具体用于执行上述基于dpi平台的数据获取方法。
140.前述各个实施例中所述的电子设备可以为计算机。
141.本领域内的技术人员应明白，本技术的实施例可提供为方法或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
142.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
143.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
144.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种基于dpi平台的数据获取方法，其特征在于，所述方法包括：根据业务需求确定数据获取策略；根据所述数据获取策略确定在dpi平台所需的资源支撑参数；判断所述资源支撑参数是否过载；若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效；其中，所述数据获取策略包括数据采集类型、数据采集参数、数据采集路径、数据采集流程、以及策略生命周期管理。2.如权利要求1所述的基于dpi平台的数据获取方法，其特征在于，多个所述数据获取策略在所述dpi平台中运行；在所述根据所述数据获取策略确定在dpi平台所需的资源支撑参数步骤前，所述方法包括：对多个所述数据获取策略进行策略冲突检测，所述策略冲突检测内容包括检测数据采集路径、数据类型覆盖范围；若所述数据获取策略有冲突，则根据所述数据获取策略的优先级确定所述数据获取策略的生效。3.如权利要求2所述的基于dpi平台的数据获取方法，其特征在于，所述对多个所述数据获取策略进行策略冲突检测，包括：对任意两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围进行对比，若两个所述数据获取策略的所述数据采集路径、所述数据类型覆盖范围均不一致，则判定两个所述数据获取策略没有冲突。4.如权利要求1所述的基于dpi平台的数据获取方法，其特征在于，多个所述数据获取策略在所述dpi平台中运行；所述资源支撑参数至少包括cpu的算力、内存、存储和带宽；所述判断所述资源支撑参数是否过载，包括：将多个所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽，与dpi平台中的cpu的算力、内存、存储和带宽进行对比，若所述数据获取策略在dpi平台所需的cpu的算力、内存、存储和带宽中的其中之一超出dpi平台的，则判定所述资源支撑参数为过载。5.如权利要求4所述的基于dpi平台的数据获取方法，其特征在于，所述若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效，包括：所述若所述资源支撑参数为过载，根据dpi平台的资源参数以及所述最优资源占用降阶算法调整所述数据获取策略，得到更新的所述数据获取策略；运行更新的所述数据获取策略，使更新的所述数据获取策略生效。6.如权利要求5所述的基于dpi平台的数据获取方法，其特征在于，所述最优资源占用降阶算法包括：获取多个所述数据获取策略的优先顺序，根据所述优先顺序排列多个所述述数据获取策略；根据所述优先顺序排列的多个所述数据获取策略和所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的
第1数据获取策略组；根据剩余的所述数据获取策略所述dpi平台中的cpu的算力、内存、存储和带宽，确定优先顺序中排在前面的至少一个所述数据获取策略作为优先生效的第2数据获取策略组......第n数据获取策略组，n为大于1的自然数；其中，所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组总的所述资源支撑参数未过载，在所述dpi平台依次运行所述第1数据获取策略组、所述第1数据获取策略组.....第n数据获取策略组；所述数据获取策略包括：数据获取超出命中流量后，按照策略序号采取从低到高的顺序进行策略老化，以满足命中流量在规定范围内，相反的，当流量减小到一定程度后，启动流量恢复机制，进行策略的恢复，完成流量的自动调节；策略先进先出，未命中的策略，先淘汰已命中策略，需要考虑策略是否命中，对未命中的策略不淘汰；或所述数据获取策略包括：数据获取超出命中流量后，为减少命中流量的数量，所有策略均采取只回传首包的模式进行，以满足命中流量在规定范围内，相反的，当流量减小到一定程度后，启动流量恢复机制，进行策略的恢复，完成流量的自动调节。7.如权利要求1所述的基于dpi平台的数据获取方法，其特征在于，所述根据业务需求确定数据获取策略步骤后，包括：接收和/或翻译所述数据获取策略，所述翻译是指将所述数据获取策略的信息转化成所述dpi平台能够执行的策略指令，翻译所述数据获取策略的应用场景包括获取网络层原始报文数据、传输层原始报文数据、传输层原始报文数据、应用层原始报文数据以及特定条件的日志数据。8.如权利要求3所述的基于dpi平台的数据获取方法，其特征在于，所述数据采集流程包括：上传已有的所述数据获取策略，请求根据业务需求确定的数据获取策略；发现已有的所述数据获取策略与根据业务需求确定的数据获取策略相同；再次请求根据业务需求确定的数据获取策略，以获得更新的数据获取策略。9.如权利要求1所述的基于dpi平台的数据获取方法，其特征在于，所述若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效步骤后包括：对运用所述数据获取策略获取到的数据进行传输、过滤、管理以及质量检测；将进行传输、过滤、管理以及质量检测后的数据分发到各个数据接收分发系统。10.一种基于dpi平台的数据获取装置，其特征在于，所述装置包括：第一确定单元，用于根据业务需求确定数据获取策略；第二确定单元，用于根据所述数据获取策略确定在dpi平台所需的资源支撑参数；判断单元，用于判断所述资源支撑参数是否过载；执行单元，用于若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效；其中，所述数据获取策略包括数据采集类型、数据采集参数、数据采集路径、数据采集
流程、以及策略生命周期管理。11.一种可读介质，其特征在于，所述可读介质包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如权利要求1-9中任一所述的方法。12.一种电子设备，其特征在于，所述电子设备包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如权利要求1-9中任一所述的方法。

技术总结
本申请公开了一种基于DPI平台的数据获取方法，可以根据业务需求确定数据获取策略；接着，根据所述数据获取策略确定在DPI平台所需的资源支撑参数；然后，判断所述资源支撑参数是否过载；再然后，若所述资源支撑参数为过载，则通过最优资源占用降阶算法确定数据获取策略的生效。本申请基于DPI平台的数据获取方法根据业务需求灵活制定数据获取策略，使数据获取策略生效，以根据数据获取策略获取数据，满足现网业务分析部门的业务多样性需求。足现网业务分析部门的业务多样性需求。足现网业务分析部门的业务多样性需求。


技术研发人员：邹学强 马璐
受保护的技术使用者：国家计算机网络与信息安全管理中心
技术研发日：2023.07.05
技术公布日：2023/9/9