一种垂直领域下的网络信息采集方法及装置与流程

1.本发明属于网络信息采集技术领域，具体涉及一种垂直领域下的网络信息采集方法及装置。


背景技术：

2.垂直领域即为某一特定主题或特定群体。显然，垂直领域下的网络信息检索是各行各业从业者进行信息收集和整理的主要方式。在常规的垂直领域信息检索过程中，从业者往往需要手工检索信息并耗费大量精力浏览、筛选、整理和保存有效内容。
3.网络爬虫技术(又称网络机器人)目前发展较为成熟，是网络数据获取的重要手段。这一技术一般受到具体需求的限制，而且当页面的组织呈现形式变化时，相关方法需要进行对应的微调。同时，搜索引擎及其后台的网络爬虫只能将获取的网络页面信息返回给用户，用户依然需要人工进行浏览、整理以及查阅。因此，网络爬虫作为一个机械化的独立模块进行工作时，其带来的效益较为有限。现有的网络文本关键信息提取方法有两种：一是采用基于规则或统计的分词和词性解析。这种方法的缺点在于研发成本高昂，需要标准词典、语料库或句法规则库等大量辅助工具，且一直未能解决词语歧义现象；二是借助深度神经网络，采用端到端机器学习的方法进行，直接给出文本篇章的关键信息。这一方法依赖大量精细的数据标注，而且参与运算的模型经常陷入过拟合或可解释性差等情况，无法给出高准确率的结构化信息。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种垂直领域下的网络信息采集方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种垂直领域下的网络信息采集方法，包括以下步骤：
7.接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；
8.对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；
9.基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。
10.进一步地，所述方法还包括建立与每个垂直领域主题对应的网络地址库，所述网络地址库保存了与所述垂直领域主题有关的网络地址；在向垂直领域网络爬虫输入垂直领域主题后，垂直领域网络爬虫从所述网络地址库获取网络地址。
11.进一步地，所述对所述网络页面进行解析及去冗余信息处理，包括：
12.判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的内容；
13.根据不同用户代理字段的设置，判断移动端和个人电脑端的呈现信息是否有差异，如有差异，则删除差异部分，保留移动端和个人电脑端呈现信息的交集；
14.判断所述网络页面是否需要登录验证，如需要，使用用户代理字段和cookie登录访问；
15.解析目标信息的标签组织规则，得到包括多个自然段的文本主体。
16.进一步地，将所述页面正文文本转换成短句向量序列的方法包括：
17.以标点符号为分割点，将每个自然段划分为短句序列；
18.将每个序列的每个短句输入开源的中文bert模型，得到每个短句的句向量表示，从而得到每个自然段的短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,ni，m为自然段的数量，ni为第i个自然段的短句的数量。
19.进一步地，所述短语类别检测模型的网络结构包括由lstm组成的编码器和由lstm组成的解码器。
20.进一步地，所述方法还包括数据存储步骤：成对保存短语及其所属的短语类别，并同步存储所述短语的网络链接。
21.第二方面，本发明提供一种垂直领域下的网络信息采集装置，包括：
22.网络页面获取模块，用于接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；
23.正文文本获取模块，用于对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；
24.短语类别检测模块，用于基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。
25.进一步地，所述装置还包括地址库建立模块，用于建立与每个垂直领域主题对应的网络地址库，所述网络地址库保存了与所述垂直领域主题有关的网络地址；在向垂直领域网络爬虫输入垂直领域主题后，垂直领域网络爬虫从所述网络地址库获取网络地址。
26.进一步地，所述对所述网络页面进行解析及去冗余信息处理，包括：
27.判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的内容；
28.根据不同用户代理字段的设置，判断移动端和个人电脑端的呈现信息是否有差异，如有差异，则删除差异部分，保留移动端和个人电脑端呈现信息的交集；
29.判断所述网络页面是否需要登录验证，如需要，使用用户代理字段和cookie登录访问；
30.解析目标信息的标签组织规则，得到包括多个自然段的文本主体。
31.进一步地，将所述页面正文文本转换成短句向量序列的方法包括：
32.以标点符号为分割点，将每个自然段划分为短句序列；
33.将每个序列的每个短句输入开源的中文bert模型，得到每个短句的句向量表示，从而得到每个自然段的短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,ni，m为自然段的数量，ni为第i个自然段的短句的数量。
34.进一步地，所述短语类别检测模型的网络结构包括由lstm组成的编码器和由lstm组成的解码器。
35.进一步地，所述装置还包括数据存储模块，用于成对保存短语及其所属的短语类别，并同步存储所述短语的网络链接。
36.与现有技术相比，本发明具有以下有益效果。
37.本发明通过接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面，对所述网络页面进行解析及去冗余信息处理后得到页面正文文本，基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句，实现了垂直领域下的网络信息采集。本发明通过同时采用垂直领域网络爬虫和通用网络爬虫获取可浏览的网络页面，利用两种网络爬虫获取信息的互补性，能够在拥有庞大数据量的互联网上，快速、精准、实时地获取垂直领域下的有效信息；本发明通过构建短语类别检测模型得到属于每个短语类别的短句，有利于获得关键信息。
附图说明
38.图1为本发明实施例一种垂直领域下的网络信息采集方法的流程图。
39.图2为短语类别检测模型的网络结构示意图。
40.图3为本发明实施例一种垂直领域下的网络信息采集装置的方框图。
具体实施方式
41.为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
42.图1为本发明实施例一种垂直领域下的网络信息采集方法的流程图，包括以下步骤：
43.步骤101，接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；
44.步骤102，对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；
45.步骤103，基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。
46.本实施例中，步骤101主要用于获取网络页面。本实施例在开始进行网络信息采集前，先接收用户手动输入的垂直领域主题，比如“标准”(各种国标、军标等)，然后将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，由两种网络爬虫获取可浏览的网络页面。网络爬虫(又称为网页蜘蛛、网络机器人、蚂蚁等)，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。本实施例的垂直领域网络爬虫擅长获取专门知识，通用网络爬虫擅长获取与特定领域的专门知识相关的政策性、新闻性文本，两种网络爬虫具有信息互补性。本实施例的垂直领域网络爬虫主要由管理器、解析器、下载器等组成。工作时先启动管理器，进行垂直领域下的网络信息采集过程。管理器接受有效网站域名、代理ip和用户代理字段构成的网络信息获取请求。此后，依照robots协议，获知有效网站页面上允许被下载保存的内容。对于有效网站域名，管理器向解析器下达指示，将网站域名明确解析为ip地
址；对于存储网络信息的服务器，管理器向下载器下达指示，下载被此ip地址标识的服务器上的允许下载的文本内容。本实施例的通用型网络爬虫，考虑到构建通用型网络爬虫的成本高、人力投入巨大，直接采用现有的bing web search应用程序接口(api)实现这一功能。
47.本实施例中，步骤102主要用于获取页面正文文本。本实施例先对上一步获取的网络页面进行解析，保留文本内容、删除以其他媒体形式呈现的内容；然后再对文本内容进行去冗余信息处理，去除广告、样式、动画等冗余信息，得到页面正文文本。本实施例对具体的解析去冗余处理方法不作限定，后面的实施例将给出一种具体的解析去冗余处理方法。
48.本实施例中，步骤103主要用于将正文文本分割为短句并识别短句的短语类别。前面获得的页面正文文本一般包括多个自然段，根据文本中的标点符号对每个自然段进行分割，得到一个短句序列；再将每个短句转换成向量得到一个短句向量序列。本实施例通过基于神经网络构建短语类别检测模型，将短句向量序列输入到训练好的短语类别检测模型，得到属于每个短语类别的所有短句。短语类别与垂直领域主题有关，一般依赖专家知识和行业经验确定。例如在检索“安全事故”主题时，短语类别包括时间、地点、人物、原因、结果、处置手段等。当然，有的短句没用太大的信息量，要针对这些语句设置一个无用类别。
49.本实施例通过同时采用垂直领域网络爬虫和通用网络爬虫获取可浏览的网络页面，利用两种网络爬虫获取信息的互补性，能够在拥有庞大数据量的互联网上，快速、精准、实时地获取垂直领域下的有效信息；本实施例通过构建短语类别检测模型得到属于每个短语类别的短句，有利于获得关键信息。
50.作为一可选实施例，所述方法还包括建立与每个垂直领域主题对应的网络地址库，所述网络地址库保存了与所述垂直领域主题有关的网络地址；在向垂直领域网络爬虫输入垂直领域主题后，垂直领域网络爬虫从所述网络地址库获取网络地址。
51.本实施例给出了建立网络地址库的一种技术方案。本实施例借助专家知识构建垂直领域下的网络地址库，该库包含：(1)由专家知识提供的预设网站域名及与该域名对应的若干个ip地址集合，为本实施例获取信息的数据来源之一；(2)代理ip地址集合，网络爬虫获取网络信息时，需要提供自身的ip地址以提交信息获取需求，而同一ip地址使用频次过高时，网络爬虫则会被封禁，因此，网络爬虫需要使用开源的代理ip地址替换自身的实际ip地址，向数据来源网站提交信息获取需求。可以采用开源的ip2region和geoip等库；(3)用户代理字段集合，该字段即为一种特征字符串，在网络爬虫向数据源网站发起信息获取请求时，该字段提供网络爬虫方的应用类型、操作系统、软件开发商以及版本号。该字段的高频出现也会提升网络爬虫的被封禁风险，因此该字段也需定期更换。该字段集合可以通过对应用类型、操作系统、软件开发商以及版本号等字符串进行排列组合，采用穷举法构建。应定时检测上述数据库中的网站域名、代理ip和用户代理字段的可用性，同时支持手动添加有效网站域名、代理ip和用户代理字段放入上述数据库中。
52.作为一可选实施例，所述对所述网络页面进行解析及去冗余信息处理，包括：
53.判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的内容；
54.根据不同用户代理字段的设置，判断移动端和个人电脑端的呈现信息是否有差异，如有差异，则删除差异部分，保留移动端和个人电脑端呈现信息的交集；
55.判断所述网络页面是否需要登录验证，如需要，使用用户代理字段和cookie登录访问；
56.解析目标信息的标签组织规则，得到包括多个自然段的文本主体。
57.本实施例给出了对网络页面进行解析去冗余处理的一种技术方案。对网络页面进行解析去冗余处理的目的是获得包含有效信息的文本主题，具体过程如下：(1)判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的非文本内容；(2)根据不同用户代理字段的设置，得到移动端和个人电脑端呈现信息是否有差异，如有差异，则保留移动端和个人电脑端呈现信息的交集，删去差异部分；(3)判断该页面是否需要登录验证，并使用用户代理字段和cookie登录访问；(4)解析目标信息的标签组织规则，得到文本主体及其文本自然段的标签(标签位于文本主体的起点和终点处)。至此，依照标签的划定范围，即可得到完整的文本主体及其文本自然段。
58.作为一可选实施例，将所述页面正文文本转换成短句向量序列的方法包括：
59.以标点符号为分割点，将每个自然段划分为短句序列；
60.将每个序列的每个短句输入开源的中文bert模型，得到每个短句的句向量表示，从而得到每个自然段的短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,ni，m为自然段的数量，ni为第i个自然段的短句的数量。
61.本实施例给出了由正文文本得到短句向量序列的一种技术方案。具体包括以下两个步骤：(1)以每个自然段中所有标点为分割点，将相邻两个分割点(标点)之间的文本视为一个短句，将每个自然段切分为有序短句序列；(2)对短句序列进行逐短句处理，将每个短句输入开源的中文bert模型(链接位于https://storage.googleapis.com/bert_models/2018_11_03/chinese_l-12_h-768_a-12.zip)，便可得到每个自然语言短句的句向量表示。至此，将自然语言段落转化为有序短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,ni，m为自然段的数量，ni为第i个自然段的短句的数量。
62.作为一可选实施例，所述短语类别检测模型的网络结构包括由lstm组成的编码器和由lstm组成的解码器。
63.本实施例给出了短语类别检测模型的一种网络结构。本实施例的短语类别检测模型采用编码器-解码器结构，所述编码器和解码器均采用长短期记忆人工神经网络lstm(long short-term memory)。lstm循环神经网络rnn(recurrent neural network)。rnn可用来处理时序数据，但rnn在学习过程中存在梯度消失或爆炸问题，很难建模长时间间隔的状态之间的依赖关系。为了改善rnn的长程依赖问题，一种很好的解决方案是引入门控机制来控制信息的累积速度，包括有选择地加入新的信息，并有选择地遗忘之前累积的信息。lstm就是这样一种引入了输入门、遗忘门和输出门的rnn。短语类别检测模型的结构示意图如图2所示。图2的输入为短句向量序列，左下方排列的lstm神经元表示编码器，右上方排列的lstm神经元表示解码器。为便于描述，下面以包含4个短句的自然段(“x年x月x日[x1]，x团队研究人员宣布[x2]，经过多年深耕[x3]，x技术取得重突破[x4]。”)为例进行说明，该自然段的短句向量序列为x＝[x1,x2,x3,x4]，短语类别设置为四种：时间，人物，事件以及无关。这样就将文本处理任务建模为短句向量分类任务。图2中的[1,0,0,0]、[0,1,0,0]、[0,0,0,1]、[0,0,1,0]为采用独热码的四种短语类别目标真值编码。在解码计算当中，解码器
以输出门的输出作为输入序列，并将编码器最终输出的隐状态和单元状态作为解码器的初始状态。此后，解码器通过计算得到隐状态序列，并计算每个短句向量对应每个短语类别的概率，按照取用概率最大化的原则，得到属于每一短语类别的网络信息文本中的相应内容(短句)。
[0064]
作为一可选实施例，所述方法还包括数据存储步骤：成对保存短语及其所属的短语类别，并同步存储所述短语的网络链接。
[0065]
本实施例给出了对采集数据进行存储的一种技术方案。通过将短句向量序列输入短语类别检测模型，可以得到每个短句所属的短语类别，通常将每个短句对应的短语类别称为键值对，将此键值对与网络连接进行合并存储即可完成采集数据存储。
[0066]
图3为本发明实施例一种垂直领域下的网络信息采集装置的组成示意图，所述装置包括：
[0067]
网络页面获取模块11，用于接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；
[0068]
正文文本获取模块12，用于对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；
[0069]
短语类别检测模块13，用于基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。
[0070]
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
[0071]
作为一可选实施例，所述装置还包括地址库建立模块，用于建立与每个垂直领域主题对应的网络地址库，所述网络地址库保存了与所述垂直领域主题有关的网络地址；在向垂直领域网络爬虫输入垂直领域主题后，垂直领域网络爬虫从所述网络地址库获取网络地址。
[0072]
作为一可选实施例，所述对所述网络页面进行解析及去冗余信息处理，包括：
[0073]
判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的内容；
[0074]
根据不同用户代理字段的设置，判断移动端和个人电脑端的呈现信息是否有差异，如有差异，则删除差异部分，保留移动端和个人电脑端呈现信息的交集；
[0075]
判断所述网络页面是否需要登录验证，如需要，使用用户代理字段和cookie登录访问；
[0076]
解析目标信息的标签组织规则，得到包括多个自然段的文本主体。
[0077]
作为一可选实施例，将所述页面正文文本转换成短句向量序列的方法包括：
[0078]
以标点符号为分割点，将每个自然段划分为短句序列；
[0079]
将每个序列的每个短句输入开源的中文bert模型，得到每个短句的句向量表示，从而得到每个自然段的短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,ni，m为自然段的数量，ni为第i个自然段的短句的数量。
[0080]
作为一可选实施例，所述短语类别检测模型的网络结构包括由lstm组成的编码器和由lstm组成的解码器。
[0081]
作为一可选实施例，所述装置还包括数据存储模块，用于成对保存短语及其所属
的短语类别，并同步存储所述短语的网络链接。
[0082]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种垂直领域下的网络信息采集方法，其特征在于，包括以下步骤：接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。2.根据权利要求1所述的垂直领域下的网络信息采集方法，其特征在于，所述方法还包括建立与每个垂直领域主题对应的网络地址库，所述网络地址库保存了与所述垂直领域主题有关的网络地址；在向垂直领域网络爬虫输入垂直领域主题后，垂直领域网络爬虫从所述网络地址库获取网络地址。3.根据权利要求1所述的垂直领域下的网络信息采集方法，其特征在于，所述对所述网络页面进行解析及去冗余信息处理，包括：判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的内容；根据不同用户代理字段的设置，判断移动端和个人电脑端的呈现信息是否有差异，如有差异，则删除差异部分，保留移动端和个人电脑端呈现信息的交集；判断所述网络页面是否需要登录验证，如需要，使用用户代理字段和cookie登录访问；解析目标信息的标签组织规则，得到包括多个自然段的文本主体。4.根据权利要求1所述的垂直领域下的网络信息采集方法，其特征在于，将所述页面正文文本转换成短句向量序列的方法包括：以标点符号为分割点，将每个自然段划分为短句序列；将每个序列的每个短句输入开源的中文bert模型，得到每个短句的句向量表示，从而得到每个自然段的短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,n
i
，m为自然段的数量，n
i
为第i个自然段的短句的数量。5.根据权利要求1所述的垂直领域下的网络信息采集方法，其特征在于，所述短语类别检测模型的网络结构包括由lstm组成的编码器和由lstm组成的解码器。6.根据权利要求1所述的垂直领域下的网络信息采集方法，其特征在于，所述方法还包括数据存储步骤：成对保存短语及其所属的短语类别，并同步存储所述短语的网络链接。7.一种垂直领域下的网络信息采集装置，其特征在于，包括：网络页面获取模块，用于接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；正文文本获取模块，用于对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；短语类别检测模块，用于基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。8.根据权利要求7所述的垂直领域下的网络信息采集装置，其特征在于，所述装置还包括地址库建立模块，用于建立与每个垂直领域主题对应的网络地址库，所述网络地址库保存了与所述垂直领域主题有关的网络地址；在向垂直领域网络爬虫输入垂直领域主题后，垂直领域网络爬虫从所述网络地址库获取网络地址。
9.根据权利要求7所述的垂直领域下的网络信息采集装置，其特征在于，所述对所述网络页面进行解析及去冗余信息处理，包括：判断待获取内容格式，保留文本内容，删除以其他媒体形式呈现的内容；根据不同用户代理字段的设置，判断移动端和个人电脑端的呈现信息是否有差异，如有差异，则删除差异部分，保留移动端和个人电脑端呈现信息的交集；判断所述网络页面是否需要登录验证，如需要，使用用户代理字段和cookie登录访问；解析目标信息的标签组织规则，得到包括多个自然段的文本主体。10.根据权利要求7所述的垂直领域下的网络信息采集装置，其特征在于，基于所述页面正文文本得到短句向量序列的方法包括：以标点符号为分割点，将每个自然段划分为短句序列；将每个序列的每个短句输入开源的中文bert模型，得到每个短句的句向量表示，从而得到每个自然段的短句向量序列x
ij
为第i个自然段的第j个短句的句向量，i＝1,2,
…
,m，j＝1,2,
…
,n
i
，m为自然段的数量，n
i
为第i个自然段的短句的数量。

技术总结
本发明提供一种垂直领域下的网络信息采集方法及装置。所述方法包括：接收人工输入的垂直领域主题，并将所述主题同时输入到垂直领域网络爬虫和通用网络爬虫，获取可浏览的网络页面；对所述网络页面进行解析及去冗余信息处理后得到页面正文文本；基于神经网络构建短语类别检测模型，将所述页面正文文本转换成短句向量序列后输入到所述模型，得到属于每个短语类别的所有短句。本发明通过同时采用垂直领域网络爬虫和通用网络爬虫获取可浏览的网络页面，利用两种网络爬虫获取信息的互补性，能够在拥有庞大数据量的互联网上，快速、精准地获取垂直领域下的有效信息；本发明通过构建短语类别检测模型得到属于每个短语类别的短句，有利于获得关键信息。利于获得关键信息。利于获得关键信息。


技术研发人员：王铁强 李持佳 王勋 乔佳 王倩微 陈婷婷
受保护的技术使用者：北京市燃气集团有限责任公司
技术研发日：2023.04.20
技术公布日：2023/8/9