一种用于互联网信息安全的智能数据监测系统及方法与流程

1.本发明涉及监测技术领域，具体涉及一种用于互联网信息安全的智能数据监测系统及方法。


背景技术：

2.随着社会的快速发展，网络已经与人们的日常生活、工作密不可分，但是，网络在提高人们工作效率的同时，其数据存储、访问控制以及传输的安全性问题越来越突出。现有的互联网安全监测系统中的网络安全/数据安全监测能力较弱，不能智能地进行数据监测、不能及时发现网络异常情况。


技术实现要素：

3.本发明正是基于上述问题，提出了一种用于互联网信息安全的智能数据监测系统及方法，通过本发明的方案能及时、智能、高效地进行数据监测并处理网络异常。
4.有鉴于此，本发明的一方面提出了一种用于互联网信息安全的智能数据监测系统，包括：网络管理服务器、数据处理中心、控制中心；
5.所述网络管理服务器被配置为：
6.根据第一预设条件对网络进行划分，得到多个第一网络；
7.在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据；
8.将所述第一网络数据通过安全可靠的第一通信方式发送至所述数据处理中心；
9.所述数据处理中心被配置为：
10.对所述第一网络数据进行预处理得到第二网络数据；
11.对预处理后的所述第二网络数据进行智能分析得到第一分析数据；
12.对所述第一分析数据进行评估和推理得到第一评估数据；
13.根据所述第一评估数据确定第一预警策略；
14.根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至所述控制中心；
15.所述控制中心被配置为：
16.根据所述第一数据安全分析报告和建议制定第一处置措施和流程；
17.根据所述第一处置措施和流程执行处置措施。
18.可选地，所述在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据的步骤，所述网络管理服务器被配置为：
19.根据预设的采集节点部署规则，在所述第一网络上部署所述多个数据采集节点；
20.根据预设的威胁检测模型，控制所述多个数据采集节点进行数据采集；
21.其中，所述威胁检测模型的训练过程如下：
22.获取历史正常网络数据与历史异常网络数据；
23.采用深度神经网络来对所述历史正常网络数据与所述历史异常网络数据进行训
练，建立威胁检测模型，具体是：
24.从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据；利用所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据对深度学习模型进行训练得到初始威胁检测模型；
25.对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型；
26.定期审核所述威胁检测模型产生的检测报告与警示，判断其准确性与误报情况，并将判断结果反馈至系统，对所述威胁检测模型的检测算法与模型进行再训练与优化；
27.利用最新收集的数据源与威胁情报进行所述威胁检测模型更新。
28.可选地，所述对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型的步骤，所述网络管理服务器被配置为：
29.步骤1：对学习率lr进行优化控制以控制所述模型参数更新的幅度，通过以下公式优化：
30.lr＝lr_init*(1-k/max_k)^0.9；
31.其中lr_init为初始学习率，k为当前迭代轮次，max_k为总迭代次数；
32.步骤2：通过以下方式来确定迭代次数k的合适范围：
33.当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第一数据量范围时，k∈[50，100]；
[0034]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第二数据量范围时，k∈[100，500]；
[0035]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第三数据量范围时，k∈[1000，+∞]；
[0036]
步骤3：根据如下公式得出节点数量num_nodes的搜索区间：
[0037]
num_nodes＝(f+c)/2*m，其中，f为特征数量；c为类别数量；m为放大倍数，一般在2-10之间；
[0038]
步骤4：在超参数取值范围内通过反向渐变对dropout率、批量大小、l1/l2正则化参数进行超参数调优来搜索最优值。
[0039]
可选地，所述从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据的步骤，所述网络管理服务器被配置为：
[0040]
步骤1：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量数据、日志数据、用户行为数据、系统操作数据、文件读写数据；
[0041]
步骤2：将所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据通过时间同步和/或id映射进行关联；
[0042]
步骤3：从关联后的所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据提取不同维度的特征变量，得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据，并构建全面的第一特征空间；
[0043]
步骤4：利用窗口技术对时间序列数据进行滑动计算高阶特征；
[0044]
步骤5：移除冗余与不相关特征，选择对模型性能影响最大的特征子集；
[0045]
步骤6：对特征进行变换来发现特征间的内在关系，构建更高维的特征空间，并得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据。
[0046]
可选地，所述对预处理后的所述第二网络数据进行智能分析得到第一分析数据的步骤，所述数据处理中心被配置为：
[0047]
从所述历史正常网络数据和所述历史异常网络数据提取第一预设时间范围内的历史网络数据，构建历史数据集；
[0048]
根据所述第二网络数据构建实时数据集；
[0049]
对所述历史数据集进行缺失值填充、标准化操作；
[0050]
对所述实时数据集使用所述历史数据集的均值和标准差进行标准化；
[0051]
利用第一特征工程从所述历史数据集中提取第一特征矩阵；
[0052]
利用所述第一特征工程从所述实时数据集中提取第二特征矩阵；
[0053]
分别计算所述实时数据集与所述历史数据集的第一实时数据均值与第一历史数据均值；
[0054]
分别计算所述实时数据集与所述历史数据集的第一实时数据标准差与第一历史数据标准差；
[0055]
计算所述第一特征矩阵与所述第二特征矩阵间的第一距离；
[0056]
计算所述第一特征矩阵与所述第二特征矩阵间的第一特征差值；
[0057]
若所述第一距离大于预设的第一距离阈值且所述第一特征差值大于预设的第一特征差值阈值且所述第一实时数据均值大于所述第一历史数据均值与预设的第一均值系数的乘积且所述第一实时数据标准差大于所述第一历史数据标准差与预设的第一标准差系数的乘积，则生成所述第一网络中存在数据异常的第一分析数据。
[0058]
本发明的另一方面提供一种用于互联网信息安全的智能数据监测方法，应用于一种用于互联网信息安全的智能数据监测系统，所述用于互联网信息安全的智能数据监测系统包括网络管理服务器、数据处理中心、控制中心，所述用于互联网信息安全的智能数据监测方法包括：
[0059]
所述网络管理服务器根据第一预设条件对网络进行划分，得到多个第一网络；
[0060]
所述网络管理服务器在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据；
[0061]
所述网络管理服务器将所述第一网络数据通过安全可靠的第一通信方式发送至所述数据处理中心；
[0062]
所述数据处理中心对所述第一网络数据进行预处理得到第二网络数据；
[0063]
所述数据处理中心对预处理后的所述第二网络数据进行智能分析得到第一分析数据；
[0064]
所述数据处理中心对所述第一分析数据进行评估和推理得到第一评估数据；
[0065]
所述数据处理中心根据所述第一评估数据确定第一预警策略；
[0066]
所述数据处理中心根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至所述控制中心；
[0067]
所述控制中心根据所述第一数据安全分析报告和建议制定第一处置措施和流程；
[0068]
所述控制中心根据所述第一处置措施和流程执行处置措施。
[0069]
可选地，所述网络管理服务器在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据的步骤，包括：
[0070]
根据预设的采集节点部署规则，在所述第一网络上部署所述多个数据采集节点；
[0071]
根据预设的威胁检测模型，控制所述多个数据采集节点进行数据采集；
[0072]
其中，所述威胁检测模型的训练过程如下：
[0073]
获取历史正常网络数据与历史异常网络数据；
[0074]
采用深度神经网络来对所述历史正常网络数据与所述历史异常网络数据进行训练，建立威胁检测模型，具体是：
[0075]
从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据；利用所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据对深度学习模型进行训练得到初始威胁检测模型；
[0076]
对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型；
[0077]
定期审核所述威胁检测模型产生的检测报告与警示，判断其准确性与误报情况，并将判断结果反馈至系统，对所述威胁检测模型的检测算法与模型进行再训练与优化；
[0078]
利用最新收集的数据源与威胁情报进行所述威胁检测模型更新。
[0079]
可选地，所述对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型的步骤，包括：
[0080]
步骤1：对学习率lr进行优化控制以控制所述模型参数更新的幅度，通过以下公式优化：
[0081]
lr＝lr_init*(1-k/max_k)^0.9；
[0082]
其中lr_init为初始学习率，k为当前迭代轮次，max_k为总迭代次数；
[0083]
步骤2：通过以下方式来确定迭代次数k的合适范围：
[0084]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第一数据量范围时，k∈[50，100]；
[0085]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第二数据量范围时，k∈[100，500]；
[0086]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第三数据量范围时，k∈[1000，+∞]；
[0087]
步骤3：根据如下公式得出节点数量num_nodes的搜索区间：
[0088]
num_nodes＝(f+c)/2*m，其中，f为特征数量；c为类别数量；m为放大倍数，一般在2-10之间；
[0089]
步骤4：在超参数取值范围内通过反向渐变对dropout率、批量大小、l1/l2正则化参数进行超参数调优来搜索最优值。
[0090]
可选地，所述从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据的步骤，包括：
[0091]
步骤1：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量数据、日志数据、用户行为数据、系统操作数据、文件读写数据；
[0092]
步骤2：将所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据通过时间同步和/或id映射进行关联；
[0093]
步骤3：从关联后的所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据提取不同维度的特征变量，得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据，并构建全面的第一特征空间；
[0094]
步骤4：利用窗口技术对时间序列数据进行滑动计算高阶特征；
[0095]
步骤5：移除冗余与不相关特征，选择对模型性能影响最大的特征子集；
[0096]
步骤6：对特征进行变换来发现特征间的内在关系，构建更高维的特征空间，并得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据。
[0097]
可选地，所述对预处理后的所述第二网络数据进行智能分析得到第一分析数据的步骤，包括：
[0098]
从所述历史正常网络数据和所述历史异常网络数据提取第一预设时间范围内的历史网络数据，构建历史数据集；
[0099]
根据所述第二网络数据构建实时数据集；
[0100]
对所述历史数据集进行缺失值填充、标准化操作；
[0101]
对所述实时数据集使用所述历史数据集的均值和标准差进行标准化；
[0102]
利用第一特征工程从所述历史数据集中提取第一特征矩阵；
[0103]
利用所述第一特征工程从所述实时数据集中提取第二特征矩阵；
[0104]
分别计算所述实时数据集与所述历史数据集的第一实时数据均值与第一历史数据均值；
[0105]
分别计算所述实时数据集与所述历史数据集的第一实时数据标准差与第一历史数据标准差；
[0106]
计算所述第一特征矩阵与所述第二特征矩阵间的第一距离；
[0107]
计算所述第一特征矩阵与所述第二特征矩阵间的第一特征差值；
[0108]
若所述第一距离大于预设的第一距离阈值且所述第一特征差值大于预设的第一特征差值阈值且所述第一实时数据均值大于所述第一历史数据均值与预设的第一均值系数的乘积且所述第一实时数据标准差大于所述第一历史数据标准差与预设的第一标准差系数的乘积，则生成所述第一网络中存在数据异常的第一分析数据。
[0109]
采用本发明的技术方案，根据第一预设条件对网络进行划分，得到多个第一网络；在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据将所述第一网络数据通过安全可靠的第一通信方式发送至数据处理中心；对所述第一网络数据进行预处理得到第二网络数据；对预处理后的所述第二网络数据进行智能分析得到第一分析数据；对所述第一分析数据进行评估和推理得到第一评估数据；根据所述第一评估数据确定第一预警策略；根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至控制中心；根据所述第一数据安全分析报告和建议制定第一处置措施和
流程；根据所述第一处置措施和流程执行处置措施。通过本方案，能及时、智能、高效地进行数据监测及处理网络异常。
附图说明
[0110]
图1是本发明一个实施例提供的用于互联网信息安全的智能数据监测系统的示意框图；
[0111]
图2是本发明一个实施例提供的用于互联网信息安全的智能数据监测方法流程图。
具体实施方式
[0112]
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
[0113]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
[0114]
本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0115]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0116]
下面参照图1至图2来描述根据本发明一些实施方式提供的一种用于互联网信息安全的智能数据监测系统及方法。
[0117]
如图1所示，本发明一个实施例提供一种用于互联网信息安全的智能数据监测系统，包括：网络管理服务器、数据处理中心、控制中心；
[0118]
所述网络管理服务器被配置为：
[0119]
根据第一预设条件(比如根据周期性的数据传输需求建立监测范围模型，以监测范围模型进行网络划分)对网络进行划分，得到多个第一网络；
[0120]
在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据，比如对第一网络上产生、传输、存储、处理和使用的各类数据进行实时采集，包括网络流量数据、网络日志数据、网络用户数据、网络内容数据等，以获取对网络安全状况有价值的信息；在不同的节点/不同的时间采集数据的采集方式不同，如采集周期、采集类型等不同；
[0121]
将所述第一网络数据通过安全可靠的第一通信方式发送至所述数据处理中心，所述数据处理中心是一个负责对数据进行处理和分析的专业机构，具有强大的计算能力和存储能力；
[0122]
所述数据处理中心被配置为：
[0123]
对所述第一网络数据进行预处理得到第二网络数据，包括但不限于去重、清洗、格式化等操作，去除无效、重复、错误等数据，以提高数据质量，统一数据格式和编码，便于后续的分析；
[0124]
对预处理后的所述第二网络数据进行智能分析得到第一分析数据，包括但不限于使用人工智能、大数据、云计算等技术，对第二网络数据进行分类、聚类、关联、挖掘等操作，以提取出有价值的数据安全信息，如网络攻击类型、网络攻击源、网络攻击目标、网络攻击手段、网络攻击影响等；
[0125]
对所述第一分析数据进行评估和推理得到第一评估数据，包括使用机器学习、深度学习等技术，对第一分析数据进行自动化的归类、标注、评估和推理，以形成数据安全评估报告和建议，如网络安全风险等级、网络安全威胁程度、网络安全事件原因、网络安全事件后果等；
[0126]
根据所述第一评估数据确定第一预警策略；比如，根据不同类型和级别的网络安全风险和威胁，制定相应的预警标准和应对策略，并将其存储在预警策略库中，预警标准是用于判断是否需要发出预警信号的阈值或条件，预警策略是用于指导如何发出预警信号的方法或规则；
[0127]
根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至所述控制中心；
[0128]
所述控制中心被配置为：
[0129]
根据所述第一数据安全分析报告和建议制定第一处置措施和流程，比如在控制中心，根据接收到的数据安全分析报告和建议，制定相应的处置措施和流程，并将其存储在处置措施库和处置流程库中，处置措施是用于应对网络安全事件的具体操作或方案，处置流程是用于指导如何执行处置措施的步骤或程序；
[0130]
根据所述第一处置措施和流程执行处置措施，比如根据制定好的处置措施和流程，执行处置措施，以实现对网络安全事件的快速响应和有效处理，如隔离网络、清除病毒、恢复数据、追踪源头等。
[0131]
采用该实施例的技术方案，根据第一预设条件对网络进行划分，得到多个第一网络；在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据将所述第一网络数据通过安全可靠的第一通信方式发送至数据处理中心；对所述第一网络数据进行预处理得到第二网络数据；对预处理后的所述第二网络数据进行智能分析得到第一分析数据；对所述第一分析数据进行评估和推理得到第一评估数据；根据所述第一评估数据确定第一预警策略；根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至控制中心；根据所述第一数据安全分析报告和建议制定第一处置措施和流程；根据所述第一处置措施和流程执行处置措施。通过本方案，能及时、智能、高效地进行数据监测及处理网络异常。
[0132]
应当知道的是，图1所示的用于互联网信息安全的智能数据监测系统的框图仅作示意，其所示出的各模块的数量并不对本发明的保护范围进行限定。
[0133]
在本发明一些可能的实施方式中，所述在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据的步骤，所述网络管理服务器被配置为：
[0134]
根据预设的采集节点部署规则，在所述第一网络上部署所述多个数据采集节点；
[0135]
根据预设的威胁检测模型，控制所述多个数据采集节点进行数据采集；
[0136]
其中，所述威胁检测模型的训练过程如下：
[0137]
获取历史正常网络数据与历史异常网络数据；
[0138]
采用深度神经网络来对所述历史正常网络数据与所述历史异常网络数据进行训练，建立威胁检测模型，具体是：
[0139]
从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据；利用所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据对深度学习模型进行训练得到初始威胁检测模型；可以提取更多维度的特征变量进行建模，还可以研究特征之间的内在联系与依赖关系，采用特征工程方法构建更高质量的特征；
[0140]
对所述初始威胁检测模型的各个模型参数(如学习率、迭代次数、节点数量等)进行优化以得到所述威胁检测模型，比如通过调整不同参数对模型性能产生的影响，选取最优的参数配置以得到最佳的检测效果；
[0141]
定期审核所述威胁检测模型产生的检测报告与警示，判断其准确性与误报情况，并将判断结果反馈至系统，对所述威胁检测模型的检测算法与模型进行再训练与优化以有效纠正算法的判断偏差,不断提高其精度；
[0142]
随着时间推移，网络环境与攻击手法都在不断变化，需要对威胁检测模型进行定期的再训练，利用最新收集的数据源与威胁情报进行所述威胁检测模型更新，以适应环境变化并检测最新的威胁，再训练的频率需要根据实际情况来判断；
[0143]
在本实施例中，要不断提高检测精度，最关键的是采用更加高级的深度学习算法，利用更丰富的数据源与特征进行训练，然后通过人工审核与定期再训练来不断优化与更新模型，使其判断始终符合最新的环境与威胁情况。
[0144]
在本发明一些可能的实施方式中，所述对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型的步骤，所述网络管理服务器被配置为：
[0145]
步骤1：对学习率lr进行优化控制以控制所述模型参数更新的幅度(过大会发散，过小收敛慢。一般设置0.001-0.5之间)，通过以下公式优化：
[0146]
lr＝lr_init*(1-k/max_k)^0.9；
[0147]
其中lr_init为初始学习率，k为当前迭代轮次，max_k为总迭代次数；
[0148]
步骤2：通过以下方式来确定迭代次数k的合适范围(迭代次数k为模型训练的轮次，过小无法收敛，过大会过拟合)：
[0149]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第一数据量范围时，k∈[50，100]；
[0150]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第二数据量范围时，k∈[100，500]；
[0151]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第三数据量范围时，k∈[1000，+∞]；
[0152]
步骤3：根据如下公式得出节点数量num_nodes(神经网络各隐藏层的节点数，影响
模型的表达能力)的搜索区间：
[0153]
num_nodes＝(f+c)/2*m，其中，f为特征数量；c为类别数量；m为放大倍数，一般在2-10之间；
[0154]
步骤4：在超参数取值范围内通过反向渐变对dropout率、批量大小、l1/l2正则化参数进行超参数调优来搜索最优值，具体可以是但不限于：
[0155]
构建函数g1(目标函数fun，初始超参数x0，学习率lr＝0.1，收敛阈值eps＝1e-6，最大迭代数max_iter＝100)；
[0156]
定义超参数x，并将x赋值x0以初始化超参数；
[0157]
定义迭代次数i，i的取值从0依次到max_iter，并循环执行如下操作：利用目标函数计算当前loss＝fun(x)；计算grad＝数值计算梯度(fun，x)；更新超参数x，使得x＝x-lr*grad；若grad的l2范数《eps，即梯度的l2范数小于阈值，优化结束；结束循环并返回x的当前值；
[0158]
定义用于计算偏导数的极小值h＝1e-4；
[0159]
将grad赋值为全0数组以将梯度初始化为0；
[0160]
对超参数索引j的取值从0依次到x.shape(即超参数x元素数量)，循环执行如下操作：存储x[j]的原值；在原值上增加极小值h；计算增加h后的目标函数值；减少极小值h；计算减少h后的目标函数值；用中心差分法估计梯度；还原x[j]的值；返回估计得到的梯度。
[0161]
在本实施例中，通过不断调整超参数，最小化loss，从而搜索最优超参数配置，需要设定学习率lr与收敛条件eps，以确保可以逐渐逼近最优值。综上，要优化模型参数与超参数，关键是定义好每个参数的搜索区间与范围，然后利用上述方法来搜索最优的参数配置，达到模型性能的最佳效果。
[0162]
在本发明一些可能的实施方式中，所述从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据的步骤，所述网络管理服务器被配置为：
[0163]
步骤1：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量数据、日志数据、用户行为数据、系统操作数据、文件读写数据；
[0164]
步骤2：将所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据通过时间同步和/或id映射进行关联；
[0165]
步骤3：从关联后的所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据提取不同维度的特征变量，得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据，并构建全面的第一特征空间，通过时间同步、id映射等方法实现多源关联；
[0166]
步骤4：利用窗口技术对时间序列数据进行滑动计算高阶特征，如平均值、最大值、标准差、协方差等；
[0167]
步骤5：移除冗余与不相关特征，选择对模型性能影响最大的特征子集；
[0168]
步骤6：对特征进行变换来发现特征间的内在关系，构建更高维的特征空间，并得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据。
[0169]
本实施例中，要构建更丰富的特征，关键是利用多数据源、多种统计方法与特征选
择变换技术来挖掘与提取更加全面与高阶的特征，表达特征间的内在依赖关系，这可以为机器学习模型提供更加准确与详尽的数据信息，从而提高检测与建模的效果。
[0170]
在本发明一些可能的实施方式中，所述对预处理后的所述第二网络数据进行智能分析得到第一分析数据的步骤，所述数据处理中心被配置为：
[0171]
从所述历史正常网络数据和所述历史异常网络数据提取第一预设时间范围内(可根据如产生时间、数据量大小、数据量类型等数据特征确定)的历史网络数据，构建历史数据集；
[0172]
根据所述第二网络数据构建实时数据集；
[0173]
对所述历史数据集进行缺失值填充、标准化操作；
[0174]
对所述实时数据集使用所述历史数据集的均值和标准差进行标准化；
[0175]
利用第一特征工程从所述历史数据集中提取第一特征矩阵；
[0176]
利用所述第一特征工程从所述实时数据集中提取第二特征矩阵；
[0177]
分别计算所述实时数据集与所述历史数据集的第一实时数据均值与第一历史数据均值；
[0178]
分别计算所述实时数据集与所述历史数据集的第一实时数据标准差与第一历史数据标准差；
[0179]
计算所述第一特征矩阵与所述第二特征矩阵间的第一距离(欧式距离或cos距离)；
[0180]
计算所述第一特征矩阵与所述第二特征矩阵间的第一特征差值；
[0181]
若所述第一距离大于预设的第一距离阈值且所述第一特征差值大于预设的第一特征差值阈值且所述第一实时数据均值大于所述第一历史数据均值与预设的第一均值系数的乘积且所述第一实时数据标准差大于所述第一历史数据标准差与预设的第一标准差系数的乘积，则生成所述第一网络中存在数据异常的第一分析数据。
[0182]
在本实施例中，通过计算两组数据在统计指标与特征空间的差异与变化，来判断实时数据是否发生异常，这可以用于检测网络中的突发事件与潜在威胁。
[0183]
请参见图2，本发明的另一实施例提供一种用于互联网信息安全的智能数据监测方法，应用于一种用于互联网信息安全的智能数据监测系统，所述用于互联网信息安全的智能数据监测系统包括网络管理服务器、数据处理中心、控制中心，所述用于互联网信息安全的智能数据监测方法包括：
[0184]
所述网络管理服务器根据第一预设条件(比如根据周期性的数据传输需求建立监测范围模型，以监测范围模型进行网络划分)对网络进行划分，得到多个第一网络；
[0185]
所述网络管理服务器在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据，比如对第一网络上产生、传输、存储、处理和使用的各类数据进行实时采集，包括网络流量数据、网络日志数据、网络用户数据、网络内容数据等，以获取对网络安全状况有价值的信息；在不同的节点/不同的时间采集数据的采集方式不同，如采集周期、采集类型等不同；
[0186]
所述网络管理服务器将所述第一网络数据通过安全可靠的第一通信方式发送至所述数据处理中心，所述数据处理中心是一个负责对数据进行处理和分析的专业机构，具有强大的计算能力和存储能力；
[0187]
所述数据处理中心对所述第一网络数据进行预处理得到第二网络数据，包括但不限于去重、清洗、格式化等操作，去除无效、重复、错误等数据，以提高数据质量，统一数据格式和编码，便于后续的分析；
[0188]
所述数据处理中心对预处理后的所述第二网络数据进行智能分析得到第一分析数据，包括但不限于使用人工智能、大数据、云计算等技术，对第二网络数据进行分类、聚类、关联、挖掘等操作，以提取出有价值的数据安全信息，如网络攻击类型、网络攻击源、网络攻击目标、网络攻击手段、网络攻击影响等；
[0189]
所述数据处理中心对所述第一分析数据进行评估和推理得到第一评估数据，包括使用机器学习、深度学习等技术，对第一分析数据进行自动化的归类、标注、评估和推理，以形成数据安全评估报告和建议，如网络安全风险等级、网络安全威胁程度、网络安全事件原因、网络安全事件后果等；
[0190]
所述数据处理中心根据所述第一评估数据确定第一预警策略；比如，根据不同类型和级别的网络安全风险和威胁，制定相应的预警标准和应对策略，并将其存储在预警策略库中，预警标准是用于判断是否需要发出预警信号的阈值或条件，预警策略是用于指导如何发出预警信号的方法或规则；
[0191]
所述数据处理中心根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至所述控制中心；
[0192]
所述控制中心根据所述第一数据安全分析报告和建议制定第一处置措施和流程，比如在控制中心，根据接收到的数据安全分析报告和建议，制定相应的处置措施和流程，并将其存储在处置措施库和处置流程库中，处置措施是用于应对网络安全事件的具体操作或方案，处置流程是用于指导如何执行处置措施的步骤或程序；
[0193]
所述控制中心根据所述第一处置措施和流程执行处置措施，比如根据制定好的处置措施和流程，执行处置措施，以实现对网络安全事件的快速响应和有效处理，如隔离网络、清除病毒、恢复数据、追踪源头等。
[0194]
本发明实施例的方案中，根据第一预设条件对网络进行划分，得到多个第一网络；在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据将所述第一网络数据通过安全可靠的第一通信方式发送至数据处理中心；对所述第一网络数据进行预处理得到第二网络数据；对预处理后的所述第二网络数据进行智能分析得到第一分析数据；对所述第一分析数据进行评估和推理得到第一评估数据；根据所述第一评估数据确定第一预警策略；根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至控制中心；根据所述第一数据安全分析报告和建议制定第一处置措施和流程；根据所述第一处置措施和流程执行处置措施。通过本方案，能及时、智能、高效地进行数据监测及处理网络异常。
[0195]
在本发明一些可能的实施方式中，所述网络管理服务器在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据的步骤，包括：
[0196]
根据预设的采集节点部署规则，在所述第一网络上部署所述多个数据采集节点；
[0197]
根据预设的威胁检测模型，控制所述多个数据采集节点进行数据采集；
[0198]
其中，所述威胁检测模型的训练过程如下：
[0199]
获取历史正常网络数据与历史异常网络数据；
[0200]
采用深度神经网络来对所述历史正常网络数据与所述历史异常网络数据进行训练，建立威胁检测模型，具体是：
[0201]
从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据；利用所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据对深度学习模型进行训练得到初始威胁检测模型；可以提取更多维度的特征变量进行建模，还可以研究特征之间的内在联系与依赖关系，采用特征工程方法构建更高质量的特征；
[0202]
对所述初始威胁检测模型的各个模型参数(如学习率、迭代次数、节点数量等)进行优化以得到所述威胁检测模型，比如通过调整不同参数对模型性能产生的影响，选取最优的参数配置以得到最佳的检测效果；
[0203]
定期审核所述威胁检测模型产生的检测报告与警示，判断其准确性与误报情况，并将判断结果反馈至系统，对所述威胁检测模型的检测算法与模型进行再训练与优化以有效纠正算法的判断偏差,不断提高其精度；
[0204]
随着时间推移，网络环境与攻击手法都在不断变化，需要对威胁检测模型进行定期的再训练，利用最新收集的数据源与威胁情报进行所述威胁检测模型更新，以适应环境变化并检测最新的威胁，再训练的频率需要根据实际情况来判断；
[0205]
在本实施例中，要不断提高检测精度，最关键的是采用更加高级的深度学习算法，利用更丰富的数据源与特征进行训练，然后通过人工审核与定期再训练来不断优化与更新模型，使其判断始终符合最新的环境与威胁情况。
[0206]
在本发明一些可能的实施方式中，所述对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型的步骤，包括：
[0207]
步骤1：对学习率lr进行优化控制以控制所述模型参数更新的幅度(过大会发散，过小收敛慢。一般设置0.001-0.5之间)，通过以下公式优化：
[0208]
lr＝lr_init*(1-k/max_k)^0.9；
[0209]
其中lr_init为初始学习率，k为当前迭代轮次，max_k为总迭代次数；
[0210]
步骤2：通过以下方式来确定迭代次数k的合适范围(迭代次数k为模型训练的轮次，过小无法收敛，过大会过拟合)：
[0211]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第一数据量范围时，k∈[50，100]；
[0212]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第二数据量范围时，k∈[100，500]；
[0213]
当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第三数据量范围时，k∈[1000，+∞]；
[0214]
步骤3：根据如下公式得出节点数量num_nodes(神经网络各隐藏层的节点数，影响模型的表达能力)的搜索区间：
[0215]
num_nodes＝(f+c)/2*m，其中，f为特征数量；c为类别数量；m为放大倍数，一般在2-10之间；
[0216]
步骤4：在超参数取值范围内通过反向渐变对dropout率、批量大小、l1/l2正则化
参数进行超参数调优来搜索最优值，具体可以是但不限于：
[0217]
构建函数g1(目标函数fun，初始超参数x0，学习率lr＝0.1，收敛阈值eps＝1e-6，最大迭代数max_iter＝100)；
[0218]
定义超参数x，并将x赋值x0以初始化超参数；
[0219]
定义迭代次数i，i的取值从0依次到max_iter，并循环执行如下操作：利用目标函数计算当前loss＝fun(x)；计算grad＝数值计算梯度(fun，x)；更新超参数x，使得x＝x-lr*grad；若grad的l2范数《eps，即梯度的l2范数小于阈值，优化结束；结束循环并返回x的当前值；
[0220]
定义用于计算偏导数的极小值h＝1e-4；
[0221]
将grad赋值为全0数组以将梯度初始化为0；
[0222]
对超参数索引j的取值从0依次到x.shape(即超参数x元素数量)，循环执行如下操作：存储x[j]的原值；在原值上增加极小值h；计算增加h后的目标函数值；减少极小值h；计算减少h后的目标函数值；用中心差分法估计梯度；还原x[j]的值；返回估计得到的梯度。
[0223]
在本实施例中，通过不断调整超参数x，最小化loss，从而搜索最优超参数配置，需要设定学习率lr与收敛条件eps，以确保可以逐渐逼近最优值。综上，要优化模型参数与超参数，关键是定义好每个参数的搜索区间与范围，然后利用上述方法来搜索最优的参数配置，达到模型性能的最佳效果。
[0224]
在本发明一些可能的实施方式中，所述从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据的步骤，包括：
[0225]
步骤1：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量数据、日志数据、用户行为数据、系统操作数据、文件读写数据；
[0226]
步骤2：将所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据通过时间同步和/或id映射进行关联；
[0227]
步骤3：从关联后的所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据提取不同维度的特征变量，得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据，并构建全面的第一特征空间，通过时间同步、id映射等方法实现多源关联；
[0228]
步骤4：利用窗口技术对时间序列数据进行滑动计算高阶特征，如平均值、最大值、标准差、协方差等；
[0229]
步骤5：移除冗余与不相关特征，选择对模型性能影响最大的特征子集；
[0230]
步骤6：对特征进行变换来发现特征间的内在关系，构建更高维的特征空间，并得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据。
[0231]
本实施例中，要构建更丰富的特征，关键是利用多数据源、多种统计方法与特征选择变换技术来挖掘与提取更加全面与高阶的特征，表达特征间的内在依赖关系，这可以为机器学习模型提供更加准确与详尽的数据信息，从而提高检测与建模的效果。
[0232]
在本发明一些可能的实施方式中，所述对预处理后的所述第二网络数据进行智能分析得到第一分析数据的步骤，包括：
[0233]
从所述历史正常网络数据和所述历史异常网络数据提取第一预设时间范围内(可根据如产生时间、数据量大小、数据量类型等数据特征确定)的历史网络数据，构建历史数据集；
[0234]
根据所述第二网络数据构建实时数据集；
[0235]
对所述历史数据集进行缺失值填充、标准化操作；
[0236]
对所述实时数据集使用所述历史数据集的均值和标准差进行标准化；
[0237]
利用第一特征工程从所述历史数据集中提取第一特征矩阵；
[0238]
利用所述第一特征工程从所述实时数据集中提取第二特征矩阵；
[0239]
分别计算所述实时数据集与所述历史数据集的第一实时数据均值与第一历史数据均值；
[0240]
分别计算所述实时数据集与所述历史数据集的第一实时数据标准差与第一历史数据标准差；
[0241]
计算所述第一特征矩阵与所述第二特征矩阵间的第一距离(欧式距离或cos距离)；
[0242]
计算所述第一特征矩阵与所述第二特征矩阵间的第一特征差值；
[0243]
若所述第一距离大于预设的第一距离阈值且所述第一特征差值大于预设的第一特征差值阈值且所述第一实时数据均值大于所述第一历史数据均值与预设的第一均值系数的乘积且所述第一实时数据标准差大于所述第一历史数据标准差与预设的第一标准差系数的乘积，则生成所述第一网络中存在数据异常的第一分析数据。
[0244]
在本实施例中，通过计算两组数据在统计指标与特征空间的差异与变化，来判断实时数据是否发生异常，这可以用于检测网络中的突发事件与潜在威胁。
[0245]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0246]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0247]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0248]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0249]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0250]
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0251]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
[0252]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。
[0253]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。

技术特征：
1.一种用于互联网信息安全的智能数据监测系统，其特征在于，包括：网络管理服务器、数据处理中心、控制中心；所述网络管理服务器被配置为：根据第一预设条件对网络进行划分，得到多个第一网络；在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据；将所述第一网络数据通过安全可靠的第一通信方式发送至所述数据处理中心；所述数据处理中心被配置为：对所述第一网络数据进行预处理得到第二网络数据；对预处理后的所述第二网络数据进行智能分析得到第一分析数据；对所述第一分析数据进行评估和推理得到第一评估数据；根据所述第一评估数据确定第一预警策略；根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至所述控制中心；所述控制中心被配置为：根据所述第一数据安全分析报告和建议制定第一处置措施和流程；根据所述第一处置措施和流程执行处置措施。2.根据权利要求1所述的用于互联网信息安全的智能数据监测系统，其特征在于，所述在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据的步骤，所述网络管理服务器被配置为：根据预设的采集节点部署规则，在所述第一网络上部署所述多个数据采集节点；根据预设的威胁检测模型，控制所述多个数据采集节点进行数据采集；其中，所述威胁检测模型的训练过程如下：获取历史正常网络数据与历史异常网络数据；采用深度神经网络来对所述历史正常网络数据与所述历史异常网络数据进行训练，建立威胁检测模型，具体是：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据；利用所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据对深度学习模型进行训练得到初始威胁检测模型；对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型；定期审核所述威胁检测模型产生的检测报告与警示，判断其准确性与误报情况，并将判断结果反馈至系统，对所述威胁检测模型的检测算法与模型进行再训练与优化；利用最新收集的数据源与威胁情报进行所述威胁检测模型更新。3.根据权利要求2所述的用于互联网信息安全的智能数据监测系统，其特征在于，所述对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型的步骤，所述网络管理服务器被配置为：步骤1：对学习率lr进行优化控制以控制所述模型参数更新的幅度，通过以下公式优化：lr＝lr_init*(1-k/max_k)^0.9；
其中lr_init为初始学习率，k为当前迭代轮次，max_k为总迭代次数；步骤2：通过以下方式来确定迭代次数k的合适范围：当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第一数据量范围时，k∈[50，100]；当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第二数据量范围时，k∈[100，500]；当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第三数据量范围时，k∈[1000，+∞]；步骤3：根据如下公式得出节点数量num_nodes的搜索区间：num_nodes＝(f+c)/2*m，其中，f为特征数量；c为类别数量；m为放大倍数，一般在2-10之间；步骤4：在超参数取值范围内通过反向渐变对dropout率、批量大小、l1/l2正则化参数进行超参数调优来搜索最优值。4.根据权利要求3所述的用于互联网信息安全的智能数据监测系统，其特征在于，所述从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据的步骤，所述网络管理服务器被配置为：步骤1：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量数据、日志数据、用户行为数据、系统操作数据、文件读写数据；步骤2：将所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据通过时间同步和/或id映射进行关联；步骤3：从关联后的所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据提取不同维度的特征变量，得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据，并构建全面的第一特征空间；步骤4：利用窗口技术对时间序列数据进行滑动计算高阶特征；步骤5：移除冗余与不相关特征，选择对模型性能影响最大的特征子集；步骤6：对特征进行变换来发现特征间的内在关系，构建更高维的特征空间，并得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据。5.根据权利要求1-4所述的用于互联网信息安全的智能数据监测系统，其特征在于，所述对预处理后的所述第二网络数据进行智能分析得到第一分析数据的步骤，所述数据处理中心被配置为：从所述历史正常网络数据和所述历史异常网络数据提取第一预设时间范围内的历史网络数据，构建历史数据集；根据所述第二网络数据构建实时数据集；对所述历史数据集进行缺失值填充、标准化操作；对所述实时数据集使用所述历史数据集的均值和标准差进行标准化；利用第一特征工程从所述历史数据集中提取第一特征矩阵；
利用所述第一特征工程从所述实时数据集中提取第二特征矩阵；分别计算所述实时数据集与所述历史数据集的第一实时数据均值与第一历史数据均值；分别计算所述实时数据集与所述历史数据集的第一实时数据标准差与第一历史数据标准差；计算所述第一特征矩阵与所述第二特征矩阵间的第一距离；计算所述第一特征矩阵与所述第二特征矩阵间的第一特征差值；若所述第一距离大于预设的第一距离阈值且所述第一特征差值大于预设的第一特征差值阈值且所述第一实时数据均值大于所述第一历史数据均值与预设的第一均值系数的乘积且所述第一实时数据标准差大于所述第一历史数据标准差与预设的第一标准差系数的乘积，则生成所述第一网络中存在数据异常的第一分析数据。6.一种用于互联网信息安全的智能数据监测方法，其特征在于，应用于一种用于互联网信息安全的智能数据监测系统，所述用于互联网信息安全的智能数据监测系统包括网络管理服务器、数据处理中心、控制中心，所述用于互联网信息安全的智能数据监测方法包括：所述网络管理服务器根据第一预设条件对网络进行划分，得到多个第一网络；所述网络管理服务器在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据；所述网络管理服务器将所述第一网络数据通过安全可靠的第一通信方式发送至所述数据处理中心；所述数据处理中心对所述第一网络数据进行预处理得到第二网络数据；所述数据处理中心对预处理后的所述第二网络数据进行智能分析得到第一分析数据；所述数据处理中心对所述第一分析数据进行评估和推理得到第一评估数据；所述数据处理中心根据所述第一评估数据确定第一预警策略；所述数据处理中心根据所述第一预警策略，将由所述第一评估数据得到的第一数据安全分析报告和建议发送至所述控制中心；所述控制中心根据所述第一数据安全分析报告和建议制定第一处置措施和流程；所述控制中心根据所述第一处置措施和流程执行处置措施。7.根据权利要求6所述的用于互联网信息安全的智能数据监测方法，其特征在于，所述网络管理服务器在所述第一网络上部署多个数据采集节点并采集所述第一网络的第一网络数据的步骤，包括：根据预设的采集节点部署规则，在所述第一网络上部署所述多个数据采集节点；根据预设的威胁检测模型，控制所述多个数据采集节点进行数据采集；其中，所述威胁检测模型的训练过程如下：获取历史正常网络数据与历史异常网络数据；采用深度神经网络来对所述历史正常网络数据与所述历史异常网络数据进行训练，建立威胁检测模型，具体是：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据；利用所述网络流量特
征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据对深度学习模型进行训练得到初始威胁检测模型；对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型；定期审核所述威胁检测模型产生的检测报告与警示，判断其准确性与误报情况，并将判断结果反馈至系统，对所述威胁检测模型的检测算法与模型进行再训练与优化；利用最新收集的数据源与威胁情报进行所述威胁检测模型更新。8.根据权利要求7所述的用于互联网信息安全的智能数据监测方法，其特征在于，所述对所述初始威胁检测模型的各个模型参数进行优化以得到所述威胁检测模型的步骤，包括：步骤1：对学习率lr进行优化控制以控制所述模型参数更新的幅度，通过以下公式优化：lr＝lr_init*(1-k/max_k)^0.9；其中lr_init为初始学习率，k为当前迭代轮次，max_k为总迭代次数；步骤2：通过以下方式来确定迭代次数k的合适范围：当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第一数据量范围时，k∈[50，100]；当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第二数据量范围时，k∈[100，500]；当所述历史正常网络数据与所述历史异常网络数据的总数据量属于第三数据量范围时，k∈[1000，+∞]；步骤3：根据如下公式得出节点数量num_nodes的搜索区间：num_nodes＝(f+c)/2*m，其中，f为特征数量；c为类别数量；m为放大倍数，一般在2-10之间；步骤4：在超参数取值范围内通过反向渐变对dropout率、批量大小、l1/l2正则化参数进行超参数调优来搜索最优值。9.根据权利要求8所述的用于互联网信息安全的智能数据监测方法，其特征在于，所述从所述历史正常网络数据和所述历史异常网络数据中提取网络流量特征数据、日志特征数据、用户行为特征数据、系统操作特征数据、文件读写特征数据的步骤，包括：步骤1：从所述历史正常网络数据和所述历史异常网络数据中提取网络流量数据、日志数据、用户行为数据、系统操作数据、文件读写数据；步骤2：将所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据通过时间同步和/或id映射进行关联；步骤3：从关联后的所述网络流量数据、所述日志数据、所述用户行为数据、所述系统操作数据、所述文件读写数据提取不同维度的特征变量，得到所述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据，并构建全面的第一特征空间；步骤4：利用窗口技术对时间序列数据进行滑动计算高阶特征；步骤5：移除冗余与不相关特征，选择对模型性能影响最大的特征子集；步骤6：对特征进行变换来发现特征间的内在关系，构建更高维的特征空间，并得到所
述网络流量特征数据、所述日志特征数据、所述用户行为特征数据、所述系统操作特征数据、所述文件读写特征数据。10.根据权利要求9所述的用于互联网信息安全的智能数据监测方法，其特征在于，所述对预处理后的所述第二网络数据进行智能分析得到第一分析数据的步骤，包括：从所述历史正常网络数据和所述历史异常网络数据提取第一预设时间范围内的历史网络数据，构建历史数据集；根据所述第二网络数据构建实时数据集；对所述历史数据集进行缺失值填充、标准化操作；对所述实时数据集使用所述历史数据集的均值和标准差进行标准化；利用第一特征工程从所述历史数据集中提取第一特征矩阵；利用所述第一特征工程从所述实时数据集中提取第二特征矩阵；分别计算所述实时数据集与所述历史数据集的第一实时数据均值与第一历史数据均值；分别计算所述实时数据集与所述历史数据集的第一实时数据标准差与第一历史数据标准差；计算所述第一特征矩阵与所述第二特征矩阵间的第一距离；计算所述第一特征矩阵与所述第二特征矩阵间的第一特征差值；若所述第一距离大于预设的第一距离阈值且所述第一特征差值大于预设的第一特征差值阈值且所述第一实时数据均值大于所述第一历史数据均值与预设的第一均值系数的乘积且所述第一实时数据标准差大于所述第一历史数据标准差与预设的第一标准差系数的乘积，则生成所述第一网络中存在数据异常的第一分析数据。

技术总结
本发明提出一种用于互联网信息安全的智能数据监测系统及方法，方法包括：根据第一预设条件对网络进行划分，得到多个第一网络；在第一网络上部署多个数据采集节点并采集第一网络数据；将第一网络数据通过第一通信方式发送至数据处理中心；对第一网络数据进行预处理得到第二网络数据；对第二网络数据进行智能分析得到第一分析数据；对第一分析数据进行评估和推理得到第一评估数据；根据第一评估数据确定第一预警策略；根据第一预警策略，将由第一评估数据得到的第一数据安全分析报告和建议发送至控制中心；根据第一数据安全分析报告和建议制定第一处置措施和流程并执行处置措施。本方案能及时、智能、高效地进行数据监测及处理网络异常。理网络异常。理网络异常。


技术研发人员：张爱平 杨声奇 刘伟杭
受保护的技术使用者：深圳市奥晏科技发展有限公司
技术研发日：2023.07.03
技术公布日：2023/9/9