基于机器学习与异常行为分析的网络安全监管系统与方法与流程

1.本发明涉及信息安全领域，更为具体的，涉及一种基于机器学习与异常行为分析的网络安全监管系统与方法。


背景技术：

2.随着我国网络信息系统的深入发展以及信息化程度的快速提升，以及数字产业化、产业数字化、数字孪生的逐步加深，网络安全威胁也呈现出多元化、复杂化的趋势，网络安全的边界和风险开始大幅扩散、放大，前所未知、前所未有的新威胁接踵而来。与此同时，传统安全设备大多是被动式的防御，虽然可以降低绝大部分已知安全威胁，但是面对日新月异的攻击手段，传统安全设备的缺点也逐渐暴露。因此，在新的网络空间安全形势下，利用机器学习与异常行为分析等先进技术，实现主动式的安全防御能力与网络监管能力，对网络空间安全性的提升尤为重要。
3.运用安全监测技术监控和识别系统网络中的安全漏洞和入侵行为，快速发现网络内部安全漏洞、在入侵发生或入侵造成严重后果前，对威胁进行战略战术预警，并对攻击源进行溯源定位，实现对信息系统各个要素的全天候全方位网络安全态势感知，形成对安全态势和安全威胁动态感知和主动防御的能力。目前利用机器学习技术进行安全监管的研究还比较少，但关于安全态势感知、安全威胁预警、安全事件处置等领域已有大量研究成果，主要包括：
4.(1)安全态势感知，从近年的现实情况来看，网络空间安全威胁形势严峻。网络安全问题的产生一方面是由于网络自身的缺陷，另一方面是由于恶意的网络攻击行为。传统的网络安全技术由于防护手段的局限性，难以探测深层次的安全威胁，无法快速发现网络攻击行为。
5.(2)安全威胁预警，近年来，由复杂网络攻击行为引发的信息安全事件层出不穷，由于复杂网络攻击行为具有攻击方法多样化、攻击技术复杂先进、攻击持续时间长等特点，传统基于特征匹配、边界防护的安全防范措施在应对时存在不足。
6.(3)安全事件处置，目前安全事件处置以人工处置为主、主要依赖专家经验，处置效率不高；上下级协同渠道不顺畅，安全事件存在得不到及时处置而扩散的情况。


技术实现要素：

7.本发明的目的在于克服现有技术的不足，提供一种基于机器学习与异常行为分析的网络安全监管系统与方法，增强了对网络运行状况的安全态势感知和综合掌控能力等。
8.本发明的目的是通过以下方案实现的：
9.一种基于机器学习与异常行为分析的网络安全监管系统，包括安全监测管控中心、安全分析研判中心和安全监管前置系统；
10.所述安全监管前置系统，用于执行对安全运维管理对象的数据采集，并通过其对管理对象进行运维管控、设备策略下发操作；
11.所述安全分析研判中心，用于采用大数据的分析计算平台架构，通过对历史和实时网络运维数据、安全监控数据的抽取、分析、清洗，并采用事件关联分析为上层业务应用提供数据支撑服务；
12.所述安全监测管控中心，用于依据安全分析研判中心的分析结果，对网络资源、安全资源进行运行监测和资源监测；对全网整体态势、威胁态势、风险管理、业务健康、资产态势和防护态势进行评估；对攻击与违规行为进行溯源、取证。
13.进一步地，所述安全监管前置系统的采集监测对象包括路由设备、终端和服务器系统、数据库、应用系统、漏洞扫描、防火墙、ids/ips、网络与数据审计系统、信任服务系统、终端安全登录系统、主机监控与审计系统、运维审计系统；所述安全监管前置系统采集的数据类型包括日志数据、事件数据、审计数据和状态数据。
14.进一步地，所述安全监管前置系统包括数据采集模块或者探针；若系统中的专业管理系统支持的采集的设备信息，能够通过部署数据采集模块采集安全数据，则数据采集模块通过接口向各专业管理系统采集数据，作为服务器单独部署；若专业管理系统未能提供支持的设备，则通过部署探针直接对设备进行数据采集，并将探针与被监管设备部署在一起。
15.进一步地，还包括数据安全传输模块，数据安全传输模块的数据传输流程为三段式调用方式，先发送控制信息表单，再发送文件内容，最后发送传输结束控制信息，最后标识本次任务传输完成。
16.进一步地，所述安全分析研判中心包括数据预处理模块、构建安全资源库模块和安全分析引擎；
17.所述数据预处理模块，用于通过统一的数据接收规范接口对不同来源、不同类型、不同格式的事件数据进行收取，同时完成对各类事件、日志数据清洗、数据转换和数据归并的预处理过程；
18.所述构建安全资源库模块，用于监管网络中各类采集、监测数据经过处理后，保存在基础资源库中；平台上各应用功能、管理功能均依托基础资源库作为数据来源和应用支撑；所述基础资源库用于存储各类安全事件、告警数据、资产数据信息资源和为领域知识资源库的建立提供业务领域知识，且所述基础资源库包括事件/告警库、情报库、知识库、资产库、漏洞库和其它相关数据库；
19.所述安全分析引擎，用于以机器学习、人工智能为基础建立专家智库，将领域专家和第三方数据资源结合，准确获取领域资源，再应用深度学习、文本挖掘和模式识别抽取领域知识概念，构建领域知识的层次结构和基于本体建模方法的概念网络，形成领域知识库，为网络安全实时分析引擎、离线分析引擎提供知识支撑。
20.进一步地，所述安全分析引擎包括事件关联分析模块；所述事件关联分析模块，用于根据实际网络划分情况、防护体系建设情况、数据对接情况和工作流程/制度要求，融合多源不同的安全事件、审计日志、状态数据信息，持续不断的挖掘有价值的、实用的关联分析场景，用于增强系统的威胁、异常检测能力。
21.进一步地，所述安全分析引擎包括用户行为异常分析模块；所述用户行为异常分析模块，用于通过基于机器学习检测人员异常行为，并支持统计算法、聚类算法、分类算法、图算法和时序算法，能够根据现场对接的数据，通过界面快速创建相应的ai分析任务，与关
联分析手段进行互补；并且能够对设备上报日志量建立基线模型，及时发现某设备日志量远低于或远高于基线的异常场景。
22.进一步地，所述安全分析引擎包括资产风险分析模块、追踪溯源分析模块和情报关联分析模块；
23.所述资产风险分析模块包括础运行分析和脆弱性分析；所述基础运行分析用于展现网络基础网络是否能够正常工作、及时向用户提供服务，并结合各设备硬件能力，考察长期运行负载，评估出设备的历史性能基线，继而以历史性能基线为标准度量当前设备过载系数，并对过载系数进行归一化处理形成基础运行指数评估算法的输入，按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的基础运行因子；所述脆弱性分析用于在没有攻击的情况下，考察网络自身的脆弱情况，并通过对缺陷、漏洞数据采集、映射、归一化处理后形成脆弱性指数评估算法的输入，再按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的脆弱性因子；
24.所述追踪溯源分析模块，用于通过关联分析系统层的日志、数据库日志、应用层的日志及网络数据，再现用户的完整操作过程；并结合信任服务系统将用户在不同系统中的身份标识统一成唯一标识，并将唯一标识用户的记录，按照时序进行自始至终顺序检查、审查，通过对异常行为的跟踪，提供追究责任的依据；
25.所述情报关联分析模块，用于针对不同种类的原始数据，分别根据其特点建立对关键属性的提取及重建机制，形成基础数据及中间数据；具体属性抽取包括：对常见数据各字段属性值的自动提取，并结合基础数据和中间数据的实际业务含义，进行相关数据的关联拓展，并建立相应的关联关系。
26.进一步地，还包括安全智能监管模块，所述安全智能监管模块包括自动化处置单元、自动化告警单元、安全设备监管单元、安全风险评估单元；
27.所述自动化处置单元，用于将分散的检测与响应的机制结合起来，形成一体化的自动处置方式；所述一体化的自动处置方式包括：如果内网发现勒索病毒，则系统收集防病毒软件杀毒日志信息，获取被感染宿主机ip，通过编排的响应处置流程，给防火墙下发ip封禁策略，同时下发相关端口封堵策略，从而避免病毒网络扩散和端口传播；在策略生效之后，下发杀毒查杀指令，快速查杀病毒；
28.所述自动化告警单元，用于当系统检测到该告警已经不存在或状态恢复时，自动对相关告警进行处置，并记录处置的原因；将人工进行统计汇总的告警情况进行统计并输出报表；
29.所述安全设备监管单元，用于设计安全设备监管视图，能够对所有安全设备相关日志上报状态进行动态监管，在出现上报异常的时候进行有效提示，并且安全设备监管视图同时支持管理入口跳转能力；
30.所述安全风险评估单元，用于在系统内置包含网络安全、运维安全、终端安全、用户行为四大维度的安全风险评估指标模型，全方位的针对现网的安全风险进行体系化评估；同时，基于安全风险评估规范采用智能的安全风险评估算法，用于针对变化的网络环境进行实时计算，精准评估当前整体网络安全风险状况；其中评估指标模型能够依据实际业务场景调整权重配比。
31.一种基于机器学习与异常行为分析的网络安全监管方法，基于如上所述的基于机
器学习与异常行为分析的网络安全监管系统，且所述数据安全传输模块的数据传输流程，具体包括以下步骤：
32.步骤1：调用“传输开始”接口发送整个传输任务的控制信息表单；
33.步骤2：调用“正文传输”接口发送正文；
34.步骤3：如果正文需要分片，需调用“正文传输”接口进行正文的多次发送，并使用标识该文件的分片序号；发送时需按分片顺序依次发送，不得乱序发送；
35.步骤4：如果有附件，则调用“附件发送接口”发送附件；
36.步骤5：如果附件需要分片或者有多个附件，则多次重复步骤3与步骤4，并标识该文件的分片序号；
37.步骤6：调用“传输结束”发送表单，表示本次传输任务完成。
38.本发明的有益效果包括：
39.(1)本发明实现了整体安全态势的掌控、安全风险的预防、安全事件的处置和安全策略的调整、追溯安全威胁来源、辅助领导决策指挥等，增强了对网络运行状况的安全态势感知和综合掌控能力，能够把各类安全设备有机的“联”起来。
40.(2)本发明通过机器学习与异常行为分析让攻击行为、违规行为、异常行为无处遁形，提升全网整体安全防护效能。
41.(3)本发明通过对安全日志历史上报数据分析，利用机器自学习技术，构建日志上报基线，能够按照设备类型自动检测日志上报异常设备，加强了对安全设备防护有效性的动态监测。
42.(4)本发明实现了安全告警能够以工单形式进行流转处置，支撑用户进行日常安全告警处置工作，能够实现“告警信息可流转、处置过程可追溯、处置结果可统计”目标。
附图说明
43.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
44.图1为本发明实施例的系统总体架构图；
45.图2为本发明实施例的数据安全传输流程图；
46.图3为本发明实施例的基线分析流程图；
47.图4为本发明实施例的无监督机器学习分析流程图；
48.图5为本发明实施例的有监督机器学习分析流程图；
49.图6为本发明实施例的安全风险评估流程图。
具体实施方式
50.本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
51.本发明提供了一种基于机器学习与异常行为分析的网络安全监管系统与方法，旨在解决如下技术问题：
52.(1)针对网络安全告警误报率高的问题，通过设置一系列告警规则，确保告警规的低误报率。
53.(2)针对内部人员违规行为，对不通用户行为进行智能分析，及时、准确发现用户违规情况与异常行为。
54.在进一步的实施方式中，本发明提出一种基于机器学习与异常行为分析的网络安全监管系统，总体架构如图1所示，包括安全监测管控中心、安全分析研判中心和安全监管前置系统。
55.安全监管前置系统执行对网络资源、安全资源等安全运维管理对象的日志信息、资产信息、配置信息、性能信息等的数据采集，并通过其对管理对象进行运维管控、设备策略下发操作。
56.安全分析研判中心采用大数据的分析计算平台架构，通过对历史和实时网络运维数据、安全监控数据的抽取、分析、清洗等过程，采用事件关联分析等分析技术，为上层业务应用提供数据支撑服务。
57.安全监测管控中心主要依据安全分析研判中心的分析结果，对网络资源、安全资源进行运行监测和资源监测；对全网整体态势、威胁态势、风险管理、业务健康、资产态势和防护态势进行评估；对攻击与违规行为进行溯源、取证。
58.安全监管前置系统实现数据采集与下发。采集监测对象可包括并不限于路由设备、终端和服务器系统、数据库、应用系统、漏洞扫描、防火墙、ids/ips、网络与数据审计系统、信任服务系统、终端安全登录系统、主机监控与审计系统、运维审计系统等。采集的数据类型包括日志数据、事件数据、审计数据和状态数据。
59.在具体实施方式中，安全监管前置系统包括数据采集模块或者探针。
60.若系统中的专业管理系统支持的采集的设备信息，可通过部署数据采集模块采集安全数据，数据采集模块通过syslog、snmp、jdbc、webservice等接口向各专业管理系统采集数据,可作为服务器单独部署。
61.若专业管理系统未能提供支持的设备，可通过部署探针直接对设备进行数据采集，探针与被监管设备部署在一起。
62.安全监管前置系统采用数据安全传输协议与网络信息安全分析中心进行数据交互。
63.本发明系统设计了数据安全传输协议，数据传输流程为三段式调用方式，先发送控制信息表单，再发送文件内容，最后发送传输结束控制信息，标识本次任务传输完成，具体步骤如下：
64.步骤1：调用“传输开始”接口发送整个传输任务的控制信息表单；
65.步骤2：调用“正文传输”接口发送正文；
66.步骤3：可选的，如果正文需要分片，需调用“正文传输”接口进行正文的多次发送，并使用标识该文件的分片序号。发送时需按分片顺序依次发送，不得乱序发送；
67.步骤4：可选的，如果有附件，则调用“附件发送接口”发送附件；
68.步骤5：可选的，如果附件需要分片或者有多个附件，需多次重复步骤3与步骤4，并使用标识该文件的分片序号；
69.步骤6：调用“传输结束”发送表单，表示本次传输任务完成。
70.数据安全传输典型流程如图2所示。
71.安全分析研判中心采用大数据的分析计算平台架构，对历史和实时网络运维数据、安全监控数据的抽取、分析、清洗等过程，将格式化的数据，通过事件关联分析等分析技术，形成运维人员或系统可以利用的价值信息，为上层业务应用提供数据支撑服务。
72.数据预处理：数据预处理具备接收多源异构数据的能力，通过统一的数据接收规范接口对不同来源、不同类型、不同格式的事件数据进行收取。同时完成对各类事件、日志等数据清洗、数据转换和数据归并这一系列预处理过程，从而提高来源数据质量，进而提高数据分析效率、提升分析结果质量和降低数据存储需求。
73.构建安全资源库：监管网络中各类采集、监测数据经过处理后，全部集中保存在基础资源库中。平台上各应用功能、管理功能均依托基础资源库作为数据来源和应用支撑。基础资源库不仅存储各类安全事件、告警数据、资产数据等信息资源，还为领域知识资源库的建立提供重要的业务领域知识。基础资源库主要包括事件/告警库、情报库、知识库、资产库、漏洞库和其它相关数据库等。
74.资源库主要内容如表1所示：
75.表1数据资源库主要内容表
[0076][0077]
安全分析引擎以机器学习、人工智能等先进技术为基础建立专家智库，将领域专家和第三方数据资源有机结合，准确获取领域资源，应用深度学习、文本挖掘和模式识别技术，抽取领域知识概念，构建领域知识的层次结构和基于本体建模方法的概念网络，形成领域知识库，为网络安全实时分析引擎、离线分析引擎提供知识支撑。
[0078]
系统支持结合历史事件进行离线长周期分析，支持时间序列异常与基线方差衍进机器学习算法，发现未知威胁事件。支持任务模式，可批量运行得出结果，结果可展现相关联的原始事件详细内容。
[0079]
事件关联分析：综合安全监管系统将根据实际网络划分情况、防护体系建设情况、数据对接情况和工作流程/制度等要求，融合多源不同的安全事件、审计日志、状态数据信息，持续不断的挖掘有价值的、实用的关联分析场景，增强系统的威胁、异常检测能力。主要的关联分析场景如表2所示。
[0080]
表2关联分析场景表
[0081][0082][0083]
用户行为异常分析：
[0084]
通过基于机器学习技术检测人员异常行为，支持统计算法、聚类算法、分类算法、图算法、时序算法等，能够根据现场对接的数据，通过界面快速创建相应的ai分析任务，与关联分析手段进行互补。例如针对打印、刻录行为可按不同人员分别建立基线模型，避免用同一套异常判定条件来衡量所有人，另外也可对设备上报日志量建立基线模型，及时发现某设备日志量远低于或远高于基线的异常场景。用户行为分析流程主要包括无监督机器学习、有监督机器学习、基线分析。主要流程分别如图2、图3、图4所示。
[0085]
资产风险分析：信息资产风险分析主要是包括基础运行分析和脆弱性分析。基础运行分析主要展现网络基础网络是否能够正常工作、及时向用户提供服务。结合各设备硬件能力，考察长期运行负载，评估出设备的历史性能基线，继而以历史性能基线为标准度量当前设备过载系数，并对过载系数进行归一化处理形成基础运行指数评估算法的输入，按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的基础运行因子。
[0086]
脆弱性分析主要考察资产的漏洞情况，即在没有攻击的情况下，网络自身的脆弱
情况。网络内设备自身存在缺陷、漏洞，这些缺陷、漏洞可能会被利用进行攻击，继而威胁网络安全。对缺陷、漏洞数据采集、映射、归一化处理后形成脆弱性指数评估算法的输入，再按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的脆弱性因子。
[0087]
追踪溯源分析：通过关联分析系统层的日志、数据库日志、应用层的日志及网络数据，尤其是针对网络核心关键应用相关的应用访问、修改和删除等操作记录，再现用户的完整操作过程。结合信任服务系统将用户在不同系统中的身份标识统一成唯一标识，并将唯一标识用户的记录，按照时序进行的自始至终顺序检查、审查，通过对异常行为的跟踪，提供追究责任的依据。
[0088]
情报关联分析：威胁情报就是可以帮助运维人员识别安全威胁并做出明确决定的知识，是安全态势感知系统不可缺少的能力之一，威胁情报事件是指使用威胁情报发现的威胁事件。
[0089]
情报分析可针对不同种类的原始数据，如域名注册信息、域名与ip的历史解析关系、样本文件的检测和解析结果、数字证书等，分别根据其特点建立对关键属性的提取及重建机制，形成基础数据及中间数据。具体属性抽取包括不限于：对常见数据各字段属性值的自动提取，并结合基础数据和中间数据的实际业务含义，进行相关数据的关联拓展，并建立相应的关联关系。
[0090]
系统应可通过ip、域名、url、文件或文件的hash值等信息判断网络中潜在的安全威胁，比如事件所涉及的ip是否在某些已知的黑名单之中，相关的域名是否被已知的黑客组织使用等。此外，当用户试图分析一个可疑事件时，威胁情报可以为用户判定可疑事件的性质提供有用的参考。
[0091]
在安全智能监管上，包括自动化处置、自动化告警、安全设备监管和安全风险评估。
[0092]
1)自动化处置：网络安全瞬息万变，为了提升安全响应效率，快速地定位问题、解决问题，从全网整体安全运维的角度来考虑，需要将分散的检测与响应的机制有机的结合起来，形成一体化的自动处置方式。结合目前前沿的安全事件编排自动化响应(soar)技术，契合内网实际安全运维思路形成基于多种场景的自动化处置手段，如内网发现勒索病毒，系统收集防病毒软件杀毒日志信息，获取被感染宿主机ip，通过编排的响应处置流程，给防火墙下发ip封禁策略，同时下发相关端口封堵策略，避免病毒网络扩散和端口传播，在策略生效之后，下发杀毒查杀指令，快速查杀病毒。通过这一系列自动化响应操作快速提升安全事件响应效率，并逐步推进编排和剧本场景能力，使处置更灵活，更易用。
[0093]
2)自动化告警：对于系统产生的告警，当系统检测到该告警已经不存在或状态恢复时，系统可自动对相关告警进行处置，并记录处置的原因，减轻运维人员的工作。常见告警处置如表3所示。
[0094]
表3告警处理场景表
[0095][0096][0097]
系统支持按天每日定时生成告警报表，也可手动选择时间段输出对应周期告警报表，将人工进行统计汇总的告警情况自动的进行统计并输出报表，大大降低告警处置及汇报的时间，提高工作效率。
[0098]
3)安全设备监管：为了更方便和直观的看到各个安全设备是否在持续发挥效能，体现综合安全监管系统的顶层管理，设计了安全设备监管视图，一方面可以对所有安全设备相关日志上报状态进行动态监管，在出现上报异常的时候进行有效提示；另一方面，为了更快的处理各类安全风险和设备异常，安全设备监管视图同时支持管理入口跳转能力。
[0099]
4)安全风险评估：系统内置了一个包含网络安全、运维安全、终端安全、用户行为四大维度的安全风险评估指标模型，全方位的针对现网的安全风险进行体系化评估；同时，基于安全风险评估规范设计了一套智能的安全风险评估算法，能够快速的针对变化的网络环境进行实时计算，精准评估当前整体网络安全风险状况。其中评估指标模型可以依据实际业务场景调整权重配比，安全风险评估流程如图6所示。
[0100]
需要说明的是，在本发明权利要求书中所限定的保护范围内，以下实施例均可以从上述具体实施方式中，例如公开的技术原理，公开的技术特征或隐含公开的技术特征等，以合乎逻辑的任何方式进行组合和/或扩展、替换。
[0101]
实施例1
[0102]
一种基于机器学习与异常行为分析的网络安全监管系统，包括安全监测管控中心、安全分析研判中心和安全监管前置系统；
[0103]
所述安全监管前置系统，用于执行对安全运维管理对象的数据采集，并通过其对管理对象进行运维管控、设备策略下发操作；
[0104]
所述安全分析研判中心，用于采用大数据的分析计算平台架构，通过对历史和实时网络运维数据、安全监控数据的抽取、分析、清洗，并采用事件关联分析为上层业务应用提供数据支撑服务；
[0105]
所述安全监测管控中心，用于依据安全分析研判中心的分析结果，对网络资源、安全资源进行运行监测和资源监测；对全网整体态势、威胁态势、风险管理、业务健康、资产态
势和防护态势进行评估；对攻击与违规行为进行溯源、取证。
[0106]
实施例2
[0107]
在实施例1的基础上，所述安全监管前置系统的采集监测对象包括路由设备、终端和服务器系统、数据库、应用系统、漏洞扫描、防火墙、ids/ips、网络与数据审计系统、信任服务系统、终端安全登录系统、主机监控与审计系统、运维审计系统；所述安全监管前置系统采集的数据类型包括日志数据、事件数据、审计数据和状态数据。
[0108]
实施例3
[0109]
在实施例1的基础上，所述安全监管前置系统包括数据采集模块或者探针；若系统中的专业管理系统支持的采集的设备信息，能够通过部署数据采集模块采集安全数据，则数据采集模块通过接口向各专业管理系统采集数据，作为服务器单独部署；若专业管理系统未能提供支持的设备，则通过部署探针直接对设备进行数据采集，并将探针与被监管设备部署在一起。
[0110]
实施例4
[0111]
在实施例1～实施例3的基础上，还包括数据安全传输模块，数据安全传输模块的数据传输流程为三段式调用方式，先发送控制信息表单，再发送文件内容，最后发送传输结束控制信息，最后标识本次任务传输完成。
[0112]
实施例5
[0113]
在实施例1的基础上，所述安全分析研判中心包括数据预处理模块、构建安全资源库模块和安全分析引擎；
[0114]
所述数据预处理模块，用于通过统一的数据接收规范接口对不同来源、不同类型、不同格式的事件数据进行收取，同时完成对各类事件、日志数据清洗、数据转换和数据归并的预处理过程；
[0115]
所述构建安全资源库模块，用于监管网络中各类采集、监测数据经过处理后，保存在基础资源库中；平台上各应用功能、管理功能均依托基础资源库作为数据来源和应用支撑；所述基础资源库用于存储各类安全事件、告警数据、资产数据信息资源和为领域知识资源库的建立提供业务领域知识，且所述基础资源库包括事件/告警库、情报库、知识库、资产库、漏洞库和其它相关数据库；
[0116]
所述安全分析引擎，用于以机器学习、人工智能为基础建立专家智库，将领域专家和第三方数据资源结合，准确获取领域资源，再应用深度学习、文本挖掘和模式识别抽取领域知识概念，构建领域知识的层次结构和基于本体建模方法的概念网络，形成领域知识库，为网络安全实时分析引擎、离线分析引擎提供知识支撑。
[0117]
实施例6
[0118]
在实施例5的基础上，所述安全分析引擎包括事件关联分析模块；所述事件关联分析模块，用于根据实际网络划分情况、防护体系建设情况、数据对接情况和工作流程/制度要求，融合多源不同的安全事件、审计日志、状态数据信息，持续不断的挖掘有价值的、实用的关联分析场景，用于增强系统的威胁、异常检测能力。
[0119]
实施例7
[0120]
在实施例5的基础上，所述安全分析引擎包括用户行为异常分析模块；所述用户行为异常分析模块，用于通过基于机器学习检测人员异常行为，并支持统计算法、聚类算法、
分类算法、图算法和时序算法，能够根据现场对接的数据，通过界面快速创建相应的ai分析任务，与关联分析手段进行互补；并且能够对设备上报日志量建立基线模型，及时发现某设备日志量远低于或远高于基线的异常场景。
[0121]
实施例8
[0122]
在实施例5的基础上，所述安全分析引擎包括资产风险分析模块、追踪溯源分析模块和情报关联分析模块；
[0123]
所述资产风险分析模块包括础运行分析和脆弱性分析；所述基础运行分析用于展现网络基础网络是否能够正常工作、及时向用户提供服务，并结合各设备硬件能力，考察长期运行负载，评估出设备的历史性能基线，继而以历史性能基线为标准度量当前设备过载系数，并对过载系数进行归一化处理形成基础运行指数评估算法的输入，按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的基础运行因子；所述脆弱性分析用于在没有攻击的情况下，考察网络自身的脆弱情况，并通过对缺陷、漏洞数据采集、映射、归一化处理后形成脆弱性指数评估算法的输入，再按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的脆弱性因子；
[0124]
所述追踪溯源分析模块，用于通过关联分析系统层的日志、数据库日志、应用层的日志及网络数据，再现用户的完整操作过程；并结合信任服务系统将用户在不同系统中的身份标识统一成唯一标识，并将唯一标识用户的记录，按照时序进行自始至终顺序检查、审查，通过对异常行为的跟踪，提供追究责任的依据；
[0125]
所述情报关联分析模块，用于针对不同种类的原始数据，分别根据其特点建立对关键属性的提取及重建机制，形成基础数据及中间数据；具体属性抽取包括：对常见数据各字段属性值的自动提取，并结合基础数据和中间数据的实际业务含义，进行相关数据的关联拓展，并建立相应的关联关系。
[0126]
实施例9
[0127]
在实施例1的基础上，还包括安全智能监管模块，所述安全智能监管模块包括自动化处置单元、自动化告警单元、安全设备监管单元、安全风险评估单元；
[0128]
所述自动化处置单元，用于将分散的检测与响应的机制结合起来，形成一体化的自动处置方式；所述一体化的自动处置方式包括：如果内网发现勒索病毒，则系统收集防病毒软件杀毒日志信息，获取被感染宿主机ip，通过编排的响应处置流程，给防火墙下发ip封禁策略，同时下发相关端口封堵策略，从而避免病毒网络扩散和端口传播；在策略生效之后，下发杀毒查杀指令，快速查杀病毒；
[0129]
所述自动化告警单元，用于当系统检测到该告警已经不存在或状态恢复时，自动对相关告警进行处置，并记录处置的原因；将人工进行统计汇总的告警情况进行统计并输出报表；
[0130]
所述安全设备监管单元，用于设计安全设备监管视图，能够对所有安全设备相关日志上报状态进行动态监管，在出现上报异常的时候进行有效提示，并且安全设备监管视图同时支持管理入口跳转能力；
[0131]
所述安全风险评估单元，用于在系统内置包含网络安全、运维安全、终端安全、用户行为四大维度的安全风险评估指标模型，全方位的针对现网的安全风险进行体系化评估；同时，基于安全风险评估规范采用智能的安全风险评估算法，用于针对变化的网络环境
进行实时计算，精准评估当前整体网络安全风险状况；其中评估指标模型能够依据实际业务场景调整权重配比。
[0132]
实施例10
[0133]
一种基于机器学习与异常行为分析的网络安全监管方法，基于实施例4所述的基于机器学习与异常行为分析的网络安全监管系统，且所述数据安全传输模块的数据传输流程，具体包括以下步骤：
[0134]
步骤1：调用“传输开始”接口发送整个传输任务的控制信息表单；
[0135]
步骤2：调用“正文传输”接口发送正文；
[0136]
步骤3：如果正文需要分片，需调用“正文传输”接口进行正文的多次发送，并使用标识该文件的分片序号；发送时需按分片顺序依次发送，不得乱序发送；
[0137]
步骤4：如果有附件，则调用“附件发送接口”发送附件；
[0138]
步骤5：如果附件需要分片或者有多个附件，则多次重复步骤3与步骤4，并标识该文件的分片序号；
[0139]
步骤6：调用“传输结束”发送表单，表示本次传输任务完成。
[0140]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0141]
根据本发明实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0142]
作为另一方面，本发明实施例还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0143]
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
[0144]
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
[0145]
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

技术特征：
1.一种基于机器学习与异常行为分析的网络安全监管系统，其特征在于，包括安全监测管控中心、安全分析研判中心和安全监管前置系统；所述安全监管前置系统，用于执行对安全运维管理对象的数据采集，并通过其对管理对象进行运维管控、设备策略下发操作；所述安全分析研判中心，用于采用大数据的分析计算平台架构，通过对历史和实时网络运维数据、安全监控数据的抽取、分析、清洗，并采用事件关联分析为上层业务应用提供数据支撑服务；所述安全监测管控中心，用于依据安全分析研判中心的分析结果，对网络资源、安全资源进行运行监测和资源监测；对全网整体态势、威胁态势、风险管理、业务健康、资产态势和防护态势进行评估；对攻击与违规行为进行溯源、取证。2.根据权利要求1所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，所述安全监管前置系统的采集监测对象包括路由设备、终端和服务器系统、数据库、应用系统、漏洞扫描、防火墙、ids/ips、网络与数据审计系统、信任服务系统、终端安全登录系统、主机监控与审计系统、运维审计系统；所述安全监管前置系统采集的数据类型包括日志数据、事件数据、审计数据和状态数据。3.根据权利要求1所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，所述安全监管前置系统包括数据采集模块或者探针；若系统中的专业管理系统支持的采集的设备信息，能够通过部署数据采集模块采集安全数据，则数据采集模块通过接口向各专业管理系统采集数据，作为服务器单独部署；若专业管理系统未能提供支持的设备，则通过部署探针直接对设备进行数据采集，并将探针与被监管设备部署在一起。4.根据权利要求1～3任一所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，还包括数据安全传输模块，数据安全传输模块的数据传输流程为三段式调用方式，先发送控制信息表单，再发送文件内容，最后发送传输结束控制信息，最后标识本次任务传输完成。5.根据权利要求1所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，所述安全分析研判中心包括数据预处理模块、构建安全资源库模块和安全分析引擎；所述数据预处理模块，用于通过统一的数据接收规范接口对不同来源、不同类型、不同格式的事件数据进行收取，同时完成对各类事件、日志数据清洗、数据转换和数据归并的预处理过程；所述构建安全资源库模块，用于监管网络中各类采集、监测数据经过处理后，保存在基础资源库中；平台上各应用功能、管理功能均依托基础资源库作为数据来源和应用支撑；所述基础资源库用于存储各类安全事件、告警数据、资产数据信息资源和为领域知识资源库的建立提供业务领域知识，且所述基础资源库包括事件/告警库、情报库、知识库、资产库、漏洞库和其它相关数据库；所述安全分析引擎，用于以机器学习、人工智能为基础建立专家智库，将领域专家和第三方数据资源结合，准确获取领域资源，再应用深度学习、文本挖掘和模式识别抽取领域知识概念，构建领域知识的层次结构和基于本体建模方法的概念网络，形成领域知识库，为网络安全实时分析引擎、离线分析引擎提供知识支撑。6.根据权利要求5所述的基于机器学习与异常行为分析的网络安全监管系统，其特征
在于，所述安全分析引擎包括事件关联分析模块；所述事件关联分析模块，用于根据实际网络划分情况、防护体系建设情况、数据对接情况和工作流程/制度要求，融合多源不同的安全事件、审计日志、状态数据信息，持续不断的挖掘有价值的、实用的关联分析场景，用于增强系统的威胁、异常检测能力。7.根据权利要求5所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，所述安全分析引擎包括用户行为异常分析模块；所述用户行为异常分析模块，用于通过基于机器学习检测人员异常行为，并支持统计算法、聚类算法、分类算法、图算法和时序算法，能够根据现场对接的数据，通过界面快速创建相应的ai分析任务，与关联分析手段进行互补；并且能够对设备上报日志量建立基线模型，及时发现某设备日志量远低于或远高于基线的异常场景。8.根据权利要求5所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，所述安全分析引擎包括资产风险分析模块、追踪溯源分析模块和情报关联分析模块；所述资产风险分析模块包括础运行分析和脆弱性分析；所述基础运行分析用于展现网络基础网络是否能够正常工作、及时向用户提供服务，并结合各设备硬件能力，考察长期运行负载，评估出设备的历史性能基线，继而以历史性能基线为标准度量当前设备过载系数，并对过载系数进行归一化处理形成基础运行指数评估算法的输入，按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的基础运行因子；所述脆弱性分析用于在没有攻击的情况下，考察网络自身的脆弱情况，并通过对缺陷、漏洞数据采集、映射、归一化处理后形成脆弱性指数评估算法的输入，再按照基于层次的权重累加求和算法整合出设备级、子域级、子网级、全网级的脆弱性因子；所述追踪溯源分析模块，用于通过关联分析系统层的日志、数据库日志、应用层的日志及网络数据，再现用户的完整操作过程；并结合信任服务系统将用户在不同系统中的身份标识统一成唯一标识，并将唯一标识用户的记录，按照时序进行自始至终顺序检查、审查，通过对异常行为的跟踪，提供追究责任的依据；所述情报关联分析模块，用于针对不同种类的原始数据，分别根据其特点建立对关键属性的提取及重建机制，形成基础数据及中间数据；具体属性抽取包括：对常见数据各字段属性值的自动提取，并结合基础数据和中间数据的实际业务含义，进行相关数据的关联拓展，并建立相应的关联关系。9.根据权利要求1所述的基于机器学习与异常行为分析的网络安全监管系统，其特征在于，还包括安全智能监管模块，所述安全智能监管模块包括自动化处置单元、自动化告警单元、安全设备监管单元、安全风险评估单元；所述自动化处置单元，用于将分散的检测与响应的机制结合起来，形成一体化的自动处置方式；所述一体化的自动处置方式包括：如果内网发现勒索病毒，则系统收集防病毒软件杀毒日志信息，获取被感染宿主机ip，通过编排的响应处置流程，给防火墙下发ip封禁策略，同时下发相关端口封堵策略，从而避免病毒网络扩散和端口传播；在策略生效之后，下发杀毒查杀指令，快速查杀病毒；所述自动化告警单元，用于当系统检测到该告警已经不存在或状态恢复时，自动对相关告警进行处置，并记录处置的原因；将人工进行统计汇总的告警情况进行统计并输出报表；
所述安全设备监管单元，用于设计安全设备监管视图，能够对所有安全设备相关日志上报状态进行动态监管，在出现上报异常的时候进行有效提示，并且安全设备监管视图同时支持管理入口跳转能力；所述安全风险评估单元，用于在系统内置包含网络安全、运维安全、终端安全、用户行为四大维度的安全风险评估指标模型，全方位的针对现网的安全风险进行体系化评估；同时，基于安全风险评估规范采用智能的安全风险评估算法，用于针对变化的网络环境进行实时计算，精准评估当前整体网络安全风险状况；其中评估指标模型能够依据实际业务场景调整权重配比。10.一种基于机器学习与异常行为分析的网络安全监管方法，其特征在于，基于权利要求4所述的基于机器学习与异常行为分析的网络安全监管系统，且所述数据安全传输模块的数据传输流程，具体包括以下步骤：步骤1：调用“传输开始”接口发送整个传输任务的控制信息表单；步骤2：调用“正文传输”接口发送正文；步骤3：如果正文需要分片，需调用“正文传输”接口进行正文的多次发送，并使用标识该文件的分片序号；发送时需按分片顺序依次发送，不得乱序发送；步骤4：如果有附件，则调用“附件发送接口”发送附件；步骤5：如果附件需要分片或者有多个附件，则多次重复步骤3与步骤4，并标识该文件的分片序号；步骤6：调用“传输结束”发送表单，表示本次传输任务完成。

技术总结
本发明公开了一种基于机器学习与异常行为分析的网络安全监管系统与方法，属于信息安全领域，包括：安全监管前置系统，用于执行对安全运维管理对象的数据采集，并通过其对管理对象进行运维管控、设备策略下发操作；安全分析研判中心，用于采用大数据的分析计算平台架构，通过对历史和实时网络运维数据、安全监控数据的抽取、分析、清洗，并采用事件关联分析为上层业务应用提供数据支撑服务；安全监测管控中心，用于依据安全分析研判中心的分析结果，对网络资源、安全资源进行运行监测和资源监测；对全网整体态势、威胁态势、风险管理、业务健康、资产态势和防护态势进行评估。本发明增强了对网络运行状况的安全态势感知和综合掌控能力。控能力。控能力。


技术研发人员：曾梦岐 郭青成 李军 朱鹏飞 秦鸿飞
受保护的技术使用者：中国电子科技集团公司第三十研究所
技术研发日：2023.05.24
技术公布日：2023/8/21