一种网络资产数据的收集方法、系统、终端及存储介质与流程

1.本技术涉及网络资产识别领域，尤其是涉及一种网络资产数据的收集方法、系统、终端及存储介质。


背景技术：

2.网络资产数据可通过网络测绘和漏洞扫描而得到，大量的网络资产数据用于供web安全工程师和渗透测试工程师在攻防演练的场景中作为战略支点，以更好的模拟现场实际攻击环境，从而取得有效的攻防效果。
3.然而，当前可利用的网络资产数据少，这是因为现有技术中存在以下两个问题：1.测绘效率低。在整理企业的网络资产清单时，首先是将企业的域名或名称转换成ip资产，然后再使用network mapper工具对ip资产的整个c段端口进行检查，为了不被安全设备感知到，在检查过程中需要降低查询的线程量，而线程量降低则检查的时间周期将变长，因此得到测绘结果的时间就延长；2.漏洞探测效果差。随着网络安全进一步的发展，基于web漏洞的检测软件系统越来越多。各版本、各类型的检测软件系统具有不同的优劣势，但对于漏洞的探测基本都是在检测网络资产的组件后，利用现有公布的或产商自有的漏洞库中每个漏洞的版本号同组件版本相碰撞，匹配命中即为存在安全风险，此种漏洞探测的方式存在较高的误报率，得到的结果准确性不高。
4.因此，当前亟需一种用于快速收集高质量的网络资产的技术手段。


技术实现要素：

5.本技术提供一种网络资产数据的收集方法、系统、终端及存储介质，具有快速收集高质量的网络资产的特点。
6.本技术目的一是提供一种网络资产数据的收集方法。
7.本技术的上述申请目的一是通过以下技术方案得以实现的：一种网络资产数据的收集方法，包括：获取初始资产数据；提取初始资产数据的初始ip地址；扩充所述初始ip地址的c段地址得到目标ip地址；根据所述目标ip地址和漏洞检测模型得到目标资产数据。
8.通过采用上述技术方案，在提取到初始资产数据后，补充初始ip地址的c段地址得到目标ip地址，再采用漏洞检测模型探测目标ip地址所属的端口是否存在漏洞风险。对于探测得到的存在漏洞风险的端口，web安全工程师和渗透测试工程师可以尝试获取该端口的权限，以更好的模拟现场实际攻击环境，从而取得有效的攻防效果。
9.本技术在一较佳示例中可以进一步配置为：所述获取初始资产数据包括：采用api接口传递查询语法查询日志信息库、网络资产测绘库以及漏洞探测数据
库中的网络资产；将查询得到的网络资产按照指定的格式输出为初始资产数据。
10.通过采用上述技术方案，由于日志信息库、网络资产测绘库以及漏洞探测数据库内物料丰富，而且各大数据库为了保证网络资产在一段时间内的可用性，会让底层引擎持续不断的去扫描探测网络资产是否处于存活状态，因此直接调用这些数据库中的网络资产可大大降低收集网络资产数据的时间成本。
11.本技术在一较佳示例中可以进一步配置为：所述提取初始资产数据的初始ip地址包括：将缺失信息的、重复的初始资产数据标记为无效的初始资产数据，并剔除无效的初始资产数据；采用网络空间搜索引擎定位、提取保留下来的初始资产数据的初始ip地址。
12.通过采用上述技术方案，剔除无效的初始资产数据后，再提取保留下来的初始资产数据的初始ip地址，从而避免了针对于无效的初始资产数据进行提取ip地址的操作流程，从而降低了采集网络资产数据的时间。
13.本技术在一较佳示例中可以进一步配置为：采用fofaviewer工具和eeyes工具驱动所述网络空间搜索引擎定位、提取保留下来的初始资产数据的初始ip地址。
14.通过采用上述技术方案，fofaviewer工具和eeyes工具均具有基于域名查找ip地址的功能，所以既可以直接输入ip地址定位所需的初始ip地址，还可以输入与初始ip地址对应的域名而定位到所需的初始ip地址，从而能够保障提取到更多的初始ip地址，进而为后续得到高质量的网络资产数据提供技术保障。
15.本技术在一较佳示例中可以进一步配置为：所述扩充所述初始ip地址的c段地址得到目标ip地址包括：基于所述初始ip地址的c段地址，扩充同c段内的253个地址；扩充所得的地址标记为目标地址。
16.通过采用上述技术方案，由于初始ip地址的前三段号码相同，且c段地址从0至253，所以在确定初始ip地址的c段地址后，就能够扩充得到与该初始ip地址位于同一c段地址内的剩余的253个目标ip地址，从而能够保障后续得到高质量的网络资产数据的量足够丰富。
17.本技术在一较佳示例中可以进一步配置为：所述根据所述目标ip地址和漏洞检测模型得到目标资产数据包括：扫描目标ip地址所对应的端口；采用goby工具和xray工具分别探测经过扫描后的端口是否存在漏洞风险；将探测结果为存在漏洞风险的端口标记为目标端口，并将目标端口的网络资产标记为目标资产数据。
18.通过采用上述技术方案，由于goby工具和xray工具的后端一直在迭代和补充更实用的漏洞poc信息，所以依据这两个漏洞探测工具能够拓宽得到的漏洞端口的广度，即得到高质量的网络资产数据，将高质量的网络资产数据应用至安全领域中，以便于web安全工程师和渗透测试工程师在攻防演练的场景中更快找到突破口。
19.本技术目的二是提供一种一种网络资产数据的收集系统。
20.本技术的上述申请目的二是通过以下技术方案得以实现的：一种网络资产数据的收集系统，包括：数据获取模块，用于获取初始资产数据；数据提取模块，用于提取初始资产数据的初始ip地址；数据处理模块，用于扩充所述初始ip地址的c段地址得到目标ip地址；数据生成模块，用于根据所述目标ip地址和漏洞检测模型得到目标资产数据。
21.本技术目的三是提供一种智能终端。
22.本技术的上述申请目的三是通过以下技术方案得以实现的：一种终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行的上述网络资产数据的收集方法的计算机程序指令。
23.本技术目的四是提供一种计算机介质，能够存储相应的程序。
24.本技术的上述申请目的四是通过以下技术方案得以实现的：一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种网络资产数据的收集方法的计算机程序。
25.综上所述，本技术包括以下至少一种有益技术效果：1.首先，直接调用日志信息库、网络资产测绘库以及漏洞探测数据库内的网络资产作为初始资产数据，由于这些数据库为了保证网络资产在一段时间内的可用性，会让底层引擎持续不断的去扫描探测网络资产是否处于存活状态，从而避免了再次收集网络资产数据所花费的时间，即节约了时间。
26.2.其次，本技术采用fofaviewer引擎和eeyes引擎提取初始资产数据的初始ip地址，由于fofaviewer引擎和eeyes引擎均具有基于域名查找ip地址的功能，所以既可以直接输入ip地址定位所需的初始ip地址，还可以输入与初始ip地址对应的域名而定位到所需的初始ip地址，从而能够保障提取到更多的初始ip地址，进而为后续得到高质量的网络资产数据提供技术保障；3.另外，本技术采用goby工具和xray工具分别探测端口是否存在漏洞风险，由于goby工具和xray工具的后端一直在迭代和补充更实用的漏洞poc信息，所以依据这两个漏洞探测工具能够拓宽得到的漏洞端口的广度，即得到高质量的网络资产数据，将高质量的网络资产数据应用至安全领域中，以便于web安全工程师和渗透测试工程师在攻防演练的场景中更快找到突破口。
附图说明
27.图1是本技术实施例的一种网络资产数据的收集方法流程图。
28.图2是本技术实施例的一种网络资产数据的收集系统框图。
29.附图标记说明：1、数据获取模块；2、数据提取模块；3、数据处理模块；4、数据生成模块。
具体实施方式
30.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是
本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的全部其他实施例，都属于本技术保护的范围。
31.为了快速收集高质量的网络资产，以能够保障web安全工程师和渗透测试工程师在攻防演练的场景中，具有足够多的高质量的网络资产数据作为战略支撑，从而使得攻防演练的效果更佳，本技术提供了一种网络资产数据的收集方法，参照图1，该方法的主要流程描述如下。
32.步骤s1：获取初始资产数据。
33.首先，通过提前设定的api接口传递查询语法从已公开的数据库中查询网络资产，并将查询到的网络资产按照原路传递，待遍历数据库中的网络资产后，再将查询得到的所有网络资产按照指定的格式输出，并将以指定的格式输出的网络资产标记为初始资产数据。
34.在本实施例中，上述公开的数据库可以是日志信息库、网络资产测绘库、漏洞探测数据库等公开的数据库，而使用公开的数据库是因为这些数据库已经完成了部分网络资产收集的工作，并且各大数据库为了保证网络资产在一段时间内的可用性，会让底层引擎持续不断的去扫描探测网络资产是否处于存活状态，因此直接调用数据库中的网络资产可大大降低再次收集网络资产数据的时间成本。
35.上述的api接口传递查询语法是指发送查询指令至api接口集群中，在第一个api接口接收到查询指令后，会传递查询指令至相邻的api接口上，直至遍历全部的api接口为止。而每一个api接口在获取到查询指令时，均会将自身接口中的网络资产按原路返回。
36.另外，上述的指定格式为：host-标题-ip-端口-域名-协议-证书绑定的域名-server指纹。其中，host是业务系统主机名，标题是业务系统标题名称或概述信息，ip是目标/业务系统的ip地址，端口是系统所使用的端口号，域名是网站的根域名，协议是进行通信时所使用的协议，证书绑定的域名与域名相关，而server指纹则是所属的服务器软件。例如一个api接口返回的网络资产为angdrs.meghalaya.gov.in-302 found-164.100.250.85-80-meghalaya.gov.in-http-ngdrs.meghalaya.gov.in-apache,则ngdrs.meghalaya.gov.in为host，302 found为标题，164.100.250.85为ip地址，80为该ip地址的端口号，meghalaya.gov.in为该ip地址的域名，通信时使用的协议是http,ngdrs.meghalaya.gov.in为该站点的证书所绑定的域名，apache为该api端口的server指纹。需要说明的是，当api端口返回多条网络资产时，返回的网络资产均按照上述的指定格式输出。
37.步骤s2：提取初始资产数据的初始ip地址。
38.得到初始资产数据后，首先对初始资产数据进行预处理操作，然后再提取经过预处理后的初始资产数据的ip栏信息，即提取初始资产数据的ip地址，本示例将初始资产数据的ip地址也称为初始ip地址。
39.具体地，对初始资产数据进行预处理操作是将缺失信息的、重复的初始资产数据标记为无效的初始资产数据，然后剔除无效的初始资产数据。其中，判断初始资产数据是否缺失信息就是判断初始资产数据在host、标题、ip、端口、域名、协议、证书绑定的域名、server指纹栏中的一栏或者多栏缺少对应的信息，若是，则该初始资产数据为无效的数据。而判断重复就是对比两条初始资产数据在host、标题、ip、端口、域名、协议、证书绑定的域
名、server指纹栏中的信息是否一致，若一致，则说明该初始资产数据重复，仅保留重复中的一条初始资产数据，剩余的都标记为无效的初始资产数据并剔除。
40.在本示例中，采用fofaviewer工具、eeyes工具等具有基于域名收集ip地址的网络工具驱动网络空间搜索引擎定位、提取保留下来的初始资产数据的初始ip地址。
41.步骤s3：扩充初始ip地址的c段地址得到目标ip地址。
42.初始ip地址的c段指段c网络段，范围由192．0．0．1到223．255．255．254，例如192.0.0.1至192.0.0.254中的1-253为一个c段，或者192.255.255.0至192.255.255.254中的0-253为一个c段，又或者198.0.0.0至198.0.0.254中的0-253为一个c段。也就是说，只要任意两个初始ip地址的前三段号码相同，不论第四段是多少，其二者的ip地址均属于同一个c段中。
43.因此，在得到初始ip地址的c段地址后，能够扩充处于同c段内的剩余的253个地址，然后将扩充得到的ip地址标记为目标ip地址。例如，初始ip地址为192.0.100.0，则扩充得到253个目标ip地址，分别从192.0.100.1到192.0.100.254。在其他示例中，还可以依据初始ip地址的c段地址扩充相邻c段的ip地址，如初始ip地址为192.0.100.11，则相邻c段的ip地址为192.0.99.11和192.0.101.11。当然，扩充c段地址的方法不止上述的方式，还可以为其他，在此均不作限制。
44.需要说明的是，本示例依据初始ip地址的c段进行扩充得到多个目标ip地址是因为：一个企业、单位常将业务系统部署在连续的、同属于一个c段上的ip地址上。所以扩充后c段地址后，就可以利用工具对整个c段进行排查摸底，对于有漏洞风险的ip地址，再尝试获取其系统权限，若获取成功，则说明该系统确实存在漏洞，以便于后续加强该系统的防护，同时，也证明了用于采集网络资产的系统的准确度；而若未获取成功，则说明该系统的安全防护很高，后续还需要加强用于采集网络资产的系统的攻击力度。
45.具体地，利用工具对c段地址进行排查摸底如步骤s4所示。
46.步骤s4：根据目标ip地址和漏洞检测模型得到目标资产数据。
47.在得到目标ip地址后，首先采用自研发的goby工具扫描每一个目标ip地址所对应的端口，由于goby工具是基于go语言开发，在go语言上具有多线程的优势，所以采用goby扫描端口的效率更高，其次，goby工具本身集合有指纹类型，当采用goby扫描端口时，能够自动补充与目标ip地址同属于一个网络资产中的server指纹。
48.在扫描目标ip地址所对应的端口后，再采用goby工具和xray工具分别探测经过扫描后的端口是否存在漏洞，将探测结果为存在漏洞风险的端口标记为目标端口，而该目标端口的网络资产标记为目标资产数据。
49.需要说明的是，由于goby工具和xray工具的后端一直在迭代和补充更实用的漏洞poc信息，在安全圈中poc指观点验证程序，也指概念验证，是用于对某些想法的可行性验证。所以依据这两个漏洞探测工具能够拓宽得到的漏洞端口的广度，从而将更大广度的探测结果应用至安全领域中，以便于web安全工程师和渗透测试工程师在攻防演练的场景中更快找到突破口。
50.综上所述，本技术实施例一种网络资产数据的收集方法的实施原理为：首先，从已经公开的数据库中查询网络资产并按照指定的格式输出为初始资产数据，然后，提取初始资产数据的初始ip地址，并补充初始ip地址的c段地址得到多个目标ip地址，最后，采用
goby工具和xray工具探测多个目标地址的ip地址得到目标资产数据，该目标资产数据也为漏洞端口。在得到漏洞端口后，web安全工程师和渗透测试工程师可以尝试获取漏洞端口的权限，以更好的模拟现场实际攻击环境，从而取得有效的攻防效果。
51.本技术还提供了一种网络资产数据的收集系统，如图2所示，一种网络资产数据的收集系统包括数据获取模块1、数据提取模块2、数据处理模块3以及数据生成模块4，数据获取模块1、数据提取模块2、数据处理模块3以及数据生成模块4依次连接。
52.其中，数据获取模块1用于获取初始资产数据。数据提取模块2用于提取初始资产数据的初始ip地址。数据处理模块3用于扩充初始ip地址的c段地址得到目标ip地址。数据生成模块4用于根据目标ip地址和漏洞检测模型得到目标资产数据。
53.为了更好地执行上述方法的程序，本技术还提供一种终端，终端包括存储器和处理器。
54.其中，存储器可用于存储指令、程序、代码、代码集或指令集。存储器可以包括存储程序区和存储数据区，其中存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令以及用于实现上述网络资产数据的收集方法的指令等；存储数据区可存储上述网络资产数据的收集方法中涉及到的数据等。
55.处理器可以包括一个或者多个处理核心。处理器通过运行或执行存储在存储器内的指令、程序、代码集或指令集，调用存储在存储器内的数据，执行本技术的各种功能和处理数据。处理器可以为特定用途集成电路、数字信号处理器、数字信号处理装置、可编程逻辑装置、现场可编程门阵列、中央处理器、控制器、微控制器和微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。
56.本技术还提供一种计算机可读存储介质，例如包括：u盘、移动硬盘、只读存储器（read only memory，rom）、随机存取存储器（random access memory，ram）、磁碟或者光盘等各种可以存储程序代码的介质。该计算机可读存储介质存储有能够被处理器加载并执行上述网络资产数据的收集方法的计算机程序。
57.以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本技术中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种网络资产数据的收集方法，其特征在于，包括：获取初始资产数据；提取初始资产数据的初始ip地址；扩充所述初始ip地址的c段地址得到目标ip地址；根据所述目标ip地址和漏洞检测模型得到目标资产数据。2.根据权利要求1所述的网络资产数据的收集方法，其特征在于，所述获取初始资产数据包括：采用api接口传递查询语法查询日志信息库、网络资产测绘库以及漏洞探测数据库中的网络资产；将查询得到的网络资产按照指定的格式输出为初始资产数据。3.根据权利要求1所述的网络资产数据的收集方法，其特征在于，所述提取初始资产数据的初始ip地址包括：将缺失信息的、重复的初始资产数据标记为无效的初始资产数据，并剔除无效的初始资产数据；采用网络空间搜索引擎定位、提取保留下来的初始资产数据的初始ip地址。4.根据权利要求3所述的网络资产数据的收集方法，其特征在于，采用fofaviewer工具和eeyes工具驱动所述网络空间搜索引擎定位、提取保留下来的初始资产数据的初始ip地址。5.根据权利要求1所述的网络资产数据的收集方法，其特征在于，所述扩充所述初始ip地址的c段地址得到目标ip地址包括：基于所述初始ip地址的c段地址，扩充同c段内的253个地址；扩充所得的地址标记为目标地址。6.根据权利要求1所述的网络资产数据的收集方法，其特征在于，所述根据所述目标ip地址和漏洞检测模型得到目标资产数据包括：扫描目标ip地址所对应的端口；采用goby工具和xray工具分别探测经过扫描后的端口是否存在漏洞风险；将探测结果为存在漏洞风险的端口标记为目标端口，并将目标端口的网络资产标记为目标资产数据。7.一种网络资产数据的收集系统，其特征在于，包括：数据获取模块(1)，用于获取初始资产数据；数据提取模块(2)，用于提取初始资产数据的初始ip地址；数据处理模块(3)，用于扩充所述初始ip地址的c段地址得到目标ip地址；数据生成模块(4)，用于根据所述目标ip地址和漏洞检测模型得到目标资产数据。8.一种终端，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1-6中任一种方法的计算机程序指令。9.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1-6中任一种方法的计算机程序。

技术总结
本申请涉及一种网络资产数据的收集方法、系统、终端及存储介质，其属于网络资产识别领域，该方法包括获取初始资产数据；提取初始资产数据的初始IP地址；扩充所述初始IP地址的C段地址得到目标IP地址；根据所述目标IP地址和漏洞检测模型得到目标资产数据。本申请能够快速收集高质量的网络资产。速收集高质量的网络资产。速收集高质量的网络资产。


技术研发人员：蔡万强 赵武 邓焕
受保护的技术使用者：北京华顺信安信息技术有限公司
技术研发日：2023.06.25
技术公布日：2023/9/7