一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法、系统及存储介质

1.本发明涉及人工智能技术领域，尤其是涉及一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法、系统及存储介质。


背景技术：

2.随着网络技术的不断发展，互联网中存在着海量的信息数据，特别是文本数据，其数据量最为丰富。这些数据具有较高的实用价值，可以将其利用起来，挖掘出其中隐藏的信息，帮助决策人员减轻工作量，降低人力成本，以及观察事情的发展趋势，有利于后续工作的开展。如何快速有效地获取需要的文本信息，是人工智能领域所研究的一个重要分支，基于文本内容的分类任务也正在逐步融入每个人的日常生活中。各类基于自然语言处理(natural language processing，nlp)技术的智能设备在智能家居、智慧医疗乃至生产生活的各类领域都得到了广泛的应用。
3.文本分类作为自然语言处理中的一项基础性工作，在情感分析、问题分类等诸多工作中起着至关重要的作用。众所周知，不同的nlp任务需要不同的语言特征。文本分类等任务需要更多的语义特征，而依赖关系解析等任务则需要更多的语法特征。现有的大多数方法主要是通过混合和校准特征来提高性能，而没有区分特征类型和相应的效果，导致分类识别的准确率有所折扣。在特征提取之前，对分类结果有着相同影响力的还有对数据的预处理，如果直接对原始数据进行建模，这种做法是非常不负责任的。一方面，数据的质量参差不齐，充斥着各种噪声，甚至可能存在错误，我们必须认真考察原始数据的分布情况，把握数据的整体特征，将这些错误数据剔除；另一方面，建模之前的预处理可以减轻模型的负担，提高识别的准确率。
4.基于文本的分类识别任务主要采用机器学习和深度学习算法。从60年代到2010年前后，基于机器学习的浅层学习文本分类模型占主导地位。浅层学习即基于统计的模型，例如朴素贝叶斯(naive bayes，nb)，k近邻(k-nearest neighbor，knn)和支持向量机(support vector machine，svm)。与早期的基于规则的方法相比，该方法在准确性和稳定性方面具有明显的优势。但是，这些方法仍然需要进行功能设计，这既耗时又昂贵。此外，它们通常会忽略文本数据中的自然顺序结构或上下文信息，这使学习单词的语义信息变得困难。自2010年以来，文本分类过程中所使用的主流模型已逐渐从浅层学习模型变为基于人工神经网络的深层学习模型。与基于浅层学习的方法相比，深层学习方法避免了人工设计规则和功能，并自动为文本挖掘提供了语义上有意义的表示形式。因此，大多数文本分类研究工作都基于深度神经网络(deep neuralnetworks，dnn)，dnn是数据驱动的方法，具有很高的计算复杂性。很少有研究专注于使用浅层学习模型来解决计算和数据的局限性。


技术实现要素：

5.本发明的目的是提供一种基于跨层注意力机制的多维特征提取投诉文本智能分
类方法、系统及存储介质，采用更细致的文本预处理方法来提高文本信息的可信度，从而提升文本的最终分类效果，能够更加全面的提取文本的各方面特征，使本系统具有较强的鲁棒性，可用于企业对客户的投诉进行及时的监管，减少投诉处理时的人力投入以及提高投诉处理的效率，也可用于涉及文本分类的智能家居及智慧医疗等领域。
6.为实现上述目的，本发明提供了一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，包括依次连接的文本数据获取层、文本数据存储层、文本数据预处理层、词嵌入层、文本数据特征提取层和文本分类信息应用层；
7.所述文本数据获取层使用爬虫程序进行所需的商品投诉文本数据获取；
8.所述文本数据存储层将采集的商品投诉文本原始数据存储至本地服务器或云服务器中；
9.所述词嵌入层将预处理后的文本信息应用glove技术嵌入为词向量，使各字词在低维向量空间得到表达，便于后续分类器进行特征提取。
10.优选的，所述文本数据预处理层包括对爬取到的原始文本数据进行预处理，以得到预处理后的投诉文本信息。
11.优选的，所述文本数据特征提取层包括mdfeca网络模块，所述mdfeca网络模块包括堆叠transformer结构全局特征提取单元、最大池化单元、跨层注意单元、卷积块注意力模块时空特征提取单元、特征融合单元、多层感知器单元和输出单元。
12.优选的，所述文本分类信息应用层用于：将文本数据及识别结果同时在数据库服务器中进行分类存储，并将同类型的投诉信息分发至相应的部门进行处理。
13.上述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法，包括以下步骤：
14.步骤s1：投诉文本数据获取，从消费者服务平台，选择用户对投诉内容进行文本数据爬取；
15.步骤s2：文本数据存储，将获取到的原始文本数据存储至本地服务器或云服务器；
16.步骤s3：原始文本数据预处理，对获取到的原始文本数据进行预处理，以得到预处理后的投诉文本数据，便于后续词嵌入操作；
17.步骤s4：构建文本预训练模型，将预处理后的文本信息，应用glove技术嵌入为词向量，使各字词在低维向量空间得到表达；
18.步骤s5：构建并训练文本分类模型，将经过投诉文本预训练模块处理好的数据输入到已经训练好的投诉文本分类模块中的文本分类器中进行分类识别，输出文本内容相对应的分类识别结果；
19.步骤s6：文本分类信息存储应用，通过文本分类信息存储应用模块，将投诉文本分类的结果进行存储，并可将该信息进行分类投放至对不同类别投诉信息处理的部门。
20.优选的，步骤s1中，数据的爬取采用pycharm编辑器，利用python中的urllib模块，通过定义爬虫类的方式编写爬虫程序，将网页上非结构化的各种信息转化为半结构化的表格储存在本地服务器或者云服务器，便于后续分析处理。
21.优选的，步骤s3，所述原始文本数据预处理包括以下步骤：
22.步骤s31：冗余信息处理，获取的原始文本数据包含许多字段的信息，其中一部分是对于本任务中文本分类无用的字段，经过冗余信息处理，剔除掉这一部分内容；
23.步骤s32：文本清洗，文本清洗阶段涉及专属于投诉文本内容制定的停用词库；
24.步骤s33：标准化，对于投诉内容中常出现的繁体字，需要将其标准化为简体字，标准化采用opencc工具包来完成；
25.步骤s34：分句，引入re模块进行分句处理，采用re.split(
·
)来执行分句操作，设置好需要切分的字符串；
26.步骤s35：分词，使用中文分词库结巴分词来完成中文分词工作，分词完成后得到完整预处理的文本数据。
27.优选的，步骤s4，所述文本预训练模型为：
28.s＝w(e)v
29.式中，v表示句子转化成向量的形式，w
(e)
表示词嵌入权重矩阵，s表示句子的低维密集向量表示。
30.优选的，步骤s5，所述构建并训练文本分类模型是通过应用glove技术得到的词向量，将其输入到构建的mdfeca网络模块文本分类器中进行文本分类输出，包括以下步骤：
31.步骤s51：捕捉全局上下文信息；
32.步骤s52：跨层注意力机制；
33.步骤s53：捕捉重要局部特征；
34.步骤s54：特征拼接；
35.步骤s55：全连接层。
36.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现上述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法的步骤。
37.本发明所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法、系统及存储介质的优点和积极效果是：
38.1.实用性：文本信息的分类对原始数据质量的要求和准确率有较高的要求，本发明使用合适的数据获取方式能够准确的获取针对特定任务场景的文本数据；同时在文本分类的准确率方面也具备了一定的优势。
39.2.自适应性：针对不同的应用场景，通过修改堆叠的transformer层数、卷积块注意力模块网络单元结构等，提高了输入数据的普适性。
40.3.高可靠性：与主流的模型算法相比，充分的数据预处理过程与能够提取更加丰富特征的分类神经网络，使本系统具有较强的鲁棒性，同时在准确率方面有了进一步的提升。
41.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
42.图1是本发明一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统主模块结构框架及连接关系示意图；
43.图2是本发明一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统实现的模块组成及连接关系示意图；
44.图3是本发明一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法的
流程示意图；
45.图4是本发明一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统中的mdfeca网络模块工作原理示意图。
具体实施方式
46.以下通过附图和实施例对本发明的技术方案作进一步说明。
47.除非另外定义，本发明使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。
48.实施例1
49.一种基于跨层注意力机制的多维特征提取投诉文本智能分类识别系统，应用于商品投诉文本的智能分类，如图1所示，包括依次连接的文本数据获取层、文本数据存储层、文本数据预处理层、词嵌入层、文本数据特征提取层和文本分类信息应用层。
50.文本数据获取层用于：使用爬虫程序进行所需的商品投诉文本数据获取。
51.文本数据存储层用于：将采集的商品投诉文本原始数据存储至本地服务器或云服务器中，以便后续分析处理。
52.文本数据预处理层用于：对爬取到的原始文本数据进行预处理，具体是指：依次进行冗余信息处理、文本清洗、标准化、分句、分词等操作，以得到预处理后的投诉文本信息，便于后续词嵌入操作。
53.冗余信息处理是指：在进行商品投诉文本分类时，我门所关心的是指投诉本身的内容，而并不关心是哪位客户做出的投诉，是什么时间做出的投诉等，因此客户的id编号、昵称以及投诉日期等信息在本任务中就属于冗余信息，在进行数据预处理的时候就应该将其剔除。这样做可以对原始数据进行降维，降低分析的难度，有利于抓住事务的本质，分析主要矛盾。
54.文本清洗是指：冗余信息剔除后的文本仍然会包含一些对文本分类无用的停用词、网页中的标签符号、表情以及颜文字等内容，需要通过观察爬取到的商品投诉文本数据，来制定专门的停用词词库来过滤无用的字、词及符号等内容，得到去噪后的文本，会更有利于提升文本分类的准确率。
55.标准化是指：投诉文本信息中由于用户习惯问题，文本中往往会出现夹杂繁体字的情况，这通常会对分类的准确率造成一定的负面影响，因此将文本中出现的繁体字转化为简体字，将其标准化是至关重要的。
56.词嵌入层用于：将预处理后的文本信息应用glove技术嵌入为词向量，使各字词在低维向量空间得到表达，便于后续分类器进行特征提取。
57.文本数据特征提取层包括mdfeca网络模块，mdfeca网络模块包括堆叠transformer结构全局特征提取单元、最大池化单元、跨层注意单元、卷积块注意力模块时空特征提取单元、特征融合单元、多层感知器单元和输出单元。
58.文本数据特征提取层用于：将文本向量输入模型，分别经过堆叠transformer结构全局特征提取单元、最大池化单元、跨层注意单元、卷积块注意力模块时空特征提取单元来获取文本的重要特征，各单元输出结果输入特征融合单元进行拼接，再由多层感知器单元和输出单元输出最终分类结果。
59.文本分类信息应用层用于：将文本数据及识别结果同时在数据库服务器中进行分类存储，并将同类型的投诉信息分发至处理该类型投诉相应的部门进行处理。
60.在特定文本数据获取、文本信息预处理、文本分类识别和应用四个方面提出了一个相对优化的系统，不仅提供了一种解决目前该研究领域缺乏针对某特定任务下文本分类数据集匮乏的问题、也弥补了目前在文本分类领域中，对文本特征提取不够全面的问题，而且在文本分类识别的准确率方面也有了一定的提升，使系统更具稳定性。
61.如图2所示，文本数据获取层包括投诉文本数据获取模块，利用pycharm编辑器，使用python的第三方库实现从新浪旗下消费者服务平台—黑猫投诉，选择用户对京东平台的商品投诉内容进行文本数据爬取；
62.文本数据存储层包括数据库服务器存储单元，可利用本地服务器或者云服务器实现所获取投诉文本数据的实时存储。
63.文本数据预处理层用于对商品投诉文本数据进行预处理，从而提高文本信息的可信度。与一些直接对原始文本信息进行文本分类识别的系统相比，本发明在提供更为细致的文本预处理方式之后，系统稳定性和识别准确率等方面得到很大的提升。
64.文本数据预处理层包括冗余信息处理模块、文本清洗模块、标准化模块、分句及分词模块。冗余信息处理模块对原始文本中与本任务无关的数据字段进行剔除，文本清洗模块可以视作去噪单元，来对文本进行去噪处理，标准化是指对文本进行纠正处理，即繁体字以及错别字的纠正，分句和分词是对文本进行句子级别和词级别的切分。
65.文本数据特征提取层包括堆叠transformer结构全局特征提取单元、最大池化单元、跨层注意单元、卷积块注意力模块时空特征提取单元来获取文本的重要特征，各单元输出结果输入特征融合单元进行拼接，再由多层感知器单元和输出单元输出最终分类结果；特征提取模块能够学习句子的上下文信息，该模块采用多层transformer结构，一般认为，层数较少的时候模型能够学习到句法及词汇等信息，而在层数较深的时候能够学习到句子的语义特征。这样得到的词向量结合了文本的各类特征以及上下文信息，表示更加准确。算法结合了跨层注意力机制，采用多层transformer结构，分别对第k层的输出做最大池化操作后和第l层的输出进行attention操作。此外，增加卷积神经网络的应用，来提取句子中重要的词汇以及组合信息，捕捉重要局部特征，本模型还结合了通道注意以及空间注意来提升cnn的表示能力。上述步骤完成后进行特征拼接，拼接多模块的输出结果，得到更加丰富的各类全局和局部特征表示，再依次经过全连接层与softmax分类器，对所有特征数据进行运算，并识别出当前的文本分类。
66.服务器模块包括数据库服务器单元，用于存储原始商品投诉文本数据以及投诉文本分类结果。
67.文本分类信息应用层将文本数据及识别结果同时在数据库服务器中进行分类存储，并涉及信息的分发，将同类型的投诉信息分发至处理该类型投诉相应的部门进行处理。在应用方面，可以附加紧急投诉内容加急处理模块，对敏感级别更高的投诉内容设置优先派发处理机制。
68.实施例2
69.以商品投诉文本的分类识别为例，不同的应用场景中所涉及的文本内容不同，其中的冗余信息及噪声均有不同，为了更准确可靠的识别文本中的类别，需要对原始数据集
进行专门的预处理操做，以提高信息的可信度，最后通过所提出的文本分类模型进行分类识别。
70.一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统的方法，如图4所示，包括以下步骤：
71.步骤s1：投诉文本数据获取
72.从新浪旗下消费者服务平台—黑猫投诉，选择用户对京东平台的商品投诉内容进行文本数据爬取；可根据实用场景、任务需求选择不同的平台进行数据爬取。
73.步骤s2：文本数据存储
74.将获取到的原始文本数据存储至本地服务器或云服务器。
75.步骤s3：原始文本数据预处理
76.对获取到的原始文本数据进行预处理，具体是指：依次进行冗余信息处理、文本清洗、标准化、分句、分词等操作，以得到预处理后的投诉文本数据，便于后续词嵌入操作。
77.步骤s4：构建文本预训练模型
78.将预处理后的文本信息，应用glove技术嵌入为词向量，使各字词在低维向量空间得到表达。
79.步骤s5：构建并训练文本分类模型
80.文本分类模型即所述mdfeca网络模块包括堆叠transformer结构全局特征提取单元、最大池化单元、跨层注意单元、卷积块注意力模块时空特征提取单元、特征融合单元、多层感知器单元和输出单元；将经过投诉文本预训练模块处理好的数据输入到已经训练好的投诉文本分类模块中的文本分类器中进行分类识别，输出文本内容相对应的分类识别结果。
81.步骤s6：文本分类信息存储应用
82.通过文本分类信息存储应用模块，将投诉文本分类的结果进行存储，并可将该信息进行分类投放至对不同类别投诉信息处理的部门。
83.步骤s1中，数据的爬取采用pycharm编辑器，利用python中的urllib模块，通过定义爬虫类的方式编写爬虫程序，分别实现评论网址的自动获取、数据解析、数据格式化、文件的保存等功能，最终将网页上非结构化的各种信息转化为半结构化的表格储存在本地服务器或者云服务器，便于后续分析处理。
84.步骤s3，文本数据预处理包括以下步骤：
85.步骤s31：冗余信息处理
86.获取的原始文本数据包含许多字段的信息，其中一部分是对于本任务中文本分类无用的字段，例如买家id、昵称、投诉发起时间等，经过冗余信息处理，剔除掉这一部分内容。
87.步骤s32：文本清洗
88.文本清洗阶段涉及专属于投诉文本内容制定的停用词库，词库包含常用停用词、表情、图片、特殊符号以及颜文字等。
89.步骤s33：标准化
90.对于投诉内容中常出现的繁体字，需要将其标准化为简体字，标准化采用opencc工具包来完成。
91.步骤s34：分句
92.引入re模块进行分句处理，采用re.split(
·
)来执行分句操作，设置好需要切分的字符串。
93.步骤s35：分词
94.使用中文分词库结巴分词来完成中文分词工作，分词完成后得到完整预处理的文本数据。
95.步骤s4，在nlp任务中，一个句子通常被视为一个离散标记序列，即单词或字符。句子x可以被视为由m个词组成，记为x＝[x1,x2,...,xm]，句子x可以表示为v＝[v1,v2,...,vn]，其中vi可以是独热向量，维度长度等于不同标记n的数量。对v应用一个预先训练的标记嵌入—glove，所有离散标记被转换为一个低维密集向量表示序列s＝[s1,s2,...,sn]，si∈rd。这里的si表示该句子s的第i个token。
[0096]
这个预处理过程可以写成等式：
[0097]
s＝w
(e)v[0098]
其中，v表示句子转化成向量的形式，w
(e)
表示词嵌入权重矩阵，s表示句子的低维密集向量表示。
[0099]
步骤s5，构建并训练文本分类模型是通过应用glove技术得到的词向量，将其输入到构建的mdfeca网络模块文本分类器中进行文本分类输出，包括以下步骤：
[0100]
步骤s51：捕捉全局上下文信息
[0101]
为了能够学习句子的上下文信息，采用多层transformer结构，transformer编码单元包含自注意力机制和前馈神经网络两部分。自注意力机制的输入部分是由来自同一个字的三个不同向量构成的，分别是query，即查询向量q；key，即键向量k；value，即值向量v。通过query向量和key向量相乘来表示输入部分字向量之间的相似度，记做qk
t
，并通过dk进行缩放，保证得到的结果大小适中。最后经过softmax(
·
)激活函数进行归一化操作，得到概率分布，进而得到句子中所有词向量的权重求和表示。这样得到的词向量结合了上下文信息，表示更加准确，计算方法如下：
[0102][0103]
其中，dk为q，k的维度key_size。
[0104]
步骤s52：跨层注意力机制
[0105]
采用多层transformer结构，k和l分别代表层数，第l层的输出结果l
t
经过最大池化层得到信息x1，再和第k层的输出结果h
t
进行attention操作，得到对应的权重值，继续在h
t
上进行特征缩放得到信息x2，计算公式如下：
[0106]
x1＝maxpooling(l
t
)
[0107]
x2＝softmax(tanh(w
(1)
x1+w
(2)ht
))*h
t
[0108]
其中，h
t
为k层输出，w
(1)
为x1转化权重，w
(2)
为h
t
特征的权重。
[0109]
步骤s53：捕捉重要局部特征
[0110]
卷积神经网络在图像中的应用十分普遍，能够有效捕获图片中的重要区域。同理，在文本中应用卷积神经网络能够提取句子中重要的词汇以及组合信息。结合通道注意以及s空间注意来提升cnn的表示能力。
[0111]
经过卷积层输出的文本特征为f，利用cbam模块依次推导出通道注意：mc(f)，空间注意：ms(f)；总的注意过程可以概括为：mc(f)在c维度进行attention操作，然后将attention的特征权重和f进行矩阵相乘得到f1，再与空间注意在h，w维度进行attention操作，同上，得到f2特征信息，其中f2即为图中x3：
[0112]
f∈r
c*h*w
,mc∈r
c*1*1
，ms∈r
1*h*w
[0113][0114]
利用特征间的通道关系通道注意来生成通道注意图，由于特征图的每个通道都被认为是一个特征检测器，因此通道的注意力集中在给定输入文本的“哪些”词汇是有意义的；
[0115]
利用特征间的空间关系空间注意生成空间注意图。与通道注意模块不同的是，空间注意模块关注的是重要信息“在哪里”，作为通道注意模块的补充。
[0116]
步骤s54：特征拼接
[0117]
根据步骤s52和步骤s53，分别得到了特征输出x1，x2，x3。在前人的经验中，transformer结构在nlp任务中，往往在层数较少的时候模型能够学习到句法及词汇等信息，而在层数较深的时候能够学习到句子的语义特征。x1在本模型中获取语义特征，x1通过结合句法及词汇等特征得到x2，x3则通过卷积神经网络得到句子的局部词汇重要性的特征。本模块结合三种特征进行拼接，公式如下：
[0118][0119]
步骤s55：全连接层
[0120]
特征融合单元用于将得到的重要局部特征和全局特征合并得到投诉文本信息特征，即将最大池化单元、跨层注意单元和卷积块注意力模块时空特征提取单元的输出特征进行拼接。这里采用两层多层感机(multi-layer perceptron，mlp)结构，将信息x转化为最终的标签类别概率。首先通过两层全链接，用relu(
·
)函数作为激活函数，得到h2，最终通过分类层以及softmax(
·
)激活函数得到每个标签的概率。选取概率最高的下标，即为该句子的分类结果，公式如下：
[0121]
h1＝relu(w
hidden1
x+b
hidden1
)
[0122]
h2＝relu(w
hidden2
h1+b
hidden2
)
[0123]
logit＝relu(w
output
h2+b
output
)
[0124]
label_id＝argmax(softmax(logit))。
[0125]
这里涉及三层线性变化，其中w为隐藏层权重，b是隐藏层偏移量。得到最终预测结果logit。通过softmax(
·
)函数将特征进行归一化，然后通过argmax(
·
)函数查询概率最高的标签下标，得到label_id，根据映射文件查询最终的分类结果。
[0126]
实施例3
[0127]
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现实施例2中一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统方法的步骤。
[0128]
因此，本发明采用上述一种基于跨层注意力机制的多维特征提取投诉文本智能分
类方法、系统及存储介质，采用更细致的文本预处理方法来提高文本信息的可信度，从而提升文本的最终分类效果，能够更加全面的提取文本的各方面特征，使本系统具有较强的鲁棒性，可用于企业对客户的投诉进行及时的监管，减少投诉处理时的人力投入以及提高投诉处理的效率，也可用于涉及文本分类的智能家居及智慧医疗等领域。
[0129]
最后应说明的是：以上实施例仅用以说明本发明的技术方案而非对其进行限制，尽管参照较佳实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对本发明的技术方案进行修改或者等同替换，而这些修改或者等同替换亦不能使修改后的技术方案脱离本发明技术方案的精神和范围。

技术特征：
1.一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，其特征在于：包括依次连接的文本数据获取层、文本数据存储层、文本数据预处理层、词嵌入层、文本数据特征提取层和文本分类信息应用层；所述文本数据获取层使用爬虫程序进行所需的投诉文本数据获取；所述文本数据存储层将采集的商品投诉文本原始数据存储至本地服务器或云服务器中；所述词嵌入层将预处理后的文本信息应用glove技术嵌入为词向量，使各字词在低维向量空间得到表达，便于后续分类器进行特征提取。2.根据权利要求1所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，其特征在于，所述文本数据预处理层包括对爬取到的原始文本数据进行预处理，以得到预处理后的投诉文本信息。3.根据权利要求1所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，其特征在于：所述文本数据特征提取层包括mdfeca网络模块，所述mdfeca网络模块包括堆叠transformer结构全局特征提取单元、最大池化单元、跨层注意单元、卷积块注意力模块时空特征提取单元、特征融合单元、多层感知器单元和输出单元。4.根据权利要求1所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，其特征在于：所述文本分类信息应用层将文本数据及识别结果同时在数据库服务器中进行分类存储，并将同类型的投诉信息分发至相应的部门进行处理。5.一种如权利要求1-4任一项所述的基于跨层注意力机制的多维特征提取投诉文本智能分类系统的方法，其特征在于，包括以下步骤：步骤s1：投诉文本数据获取，从消费者服务平台，选择用户对投诉内容进行文本数据爬取；步骤s2：文本数据存储，将获取到的原始文本数据存储至本地服务器或云服务器；步骤s3：原始文本数据预处理，对获取到的原始文本数据进行预处理，以得到预处理后的投诉文本数据，便于后续词嵌入操作；步骤s4：构建文本预训练模型，将预处理后的文本信息，应用glove技术嵌入为词向量，使各字词在低维向量空间得到表达；步骤s5：构建并训练文本分类模型，将经过投诉文本预训练模块处理好的数据输入到已经训练好的投诉文本分类模块中的文本分类器中进行分类识别，输出文本内容相对应的分类识别结果；步骤s6：文本分类信息存储应用，通过文本分类信息存储应用模块，将投诉文本分类的结果进行存储，并可将该信息进行分类投放至对不同类别投诉信息处理的部门。6.根据权利要求5所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统的方法，其特征在于：步骤s1，所述数据爬取采用pycharm编辑器，利用python中的urllib模块，通过定义爬虫类的方式编写爬虫程序，将网页上非结构化的各种信息转化为半结构化的表格储存在本地服务器或者云服务器，便于后续分析处理。7.根据权利要求5所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统的方法，其特征在于：步骤s3，所述文本数据预处理包括以下步骤：步骤s31：冗余信息处理，获取的原始文本数据包含许多字段的信息，其中一部分是对
于本任务中文本分类无用的字段，经过冗余信息处理，剔除掉这一部分内容；步骤s32：文本清洗，文本清洗阶段涉及专属于投诉文本内容制定的停用词库；步骤s33：标准化，对于投诉内容中常出现的繁体字，需要将其标准化为简体字，标准化采用opencc工具包来完成；步骤s34：分句，引入re模块进行分句处理，采用re.split(
·
)来执行分句操作，设置好需要切分的字符串；步骤s35：分词，使用中文分词库结巴分词来完成中文分词工作，分词完成后得到完整预处理的文本数据。8.根据权利要求5所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统的方法，其特征在于：步骤s4，所述文本预训练模型为：s＝w
(e)
v式中，v表示句子转化成向量的形式，w
(e)
表示词嵌入权重矩阵，s表示句子的低维密集向量表示。9.根据权利要求5所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统的方法，其特征在于：步骤s5，所述构建并训练文本分类模型是通过应用glove技术得到的词向量，将其输入到构建的mdfeca网络模块文本分类器中进行文本分类输出，包括以下步骤：步骤s51：捕捉全局上下文信息；步骤s52：跨层注意力机制；步骤s53：捕捉重要局部特征；步骤s54：特征拼接；步骤s55：全连接层。10.一种计算机设备，包括存储器和处理器，其特征在于：所述存储器存储有计算机程序，所述处理器执行计算机程序时实现权利要求5-9任一项所述的一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统方法的步骤。

技术总结
本发明公开了一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，包括文本数据获取层、文本数据存储层、文本数据预处理层、词嵌入层、文本数据特征提取层和文本分类信息应用层。本发明采用上述一种基于跨层注意力机制的多维特征提取投诉文本智能分类系统，采用更细致的文本预处理方法来提高文本信息的可信度，从而提升文本的最终分类效果，全面提取文本的各方面特征，使本系统具有较强的鲁棒性，可用于企业对客户的投诉进行及时的监管，减少投诉处理时的人力投入以及提高投诉处理的效率，也可用于涉及文本分类的智能家居及智慧医疗等领域。本发明还提出了一种基于跨层注意力机制的多维特征提取投诉文本智能分类方法及存储介质。方法及存储介质。方法及存储介质。


技术研发人员：许宏吉 王猛猛 卢晶钰 杜正锋 周双 徐杰 王宇豪 李建军 李诗洁 汪阳 曾佳琪
受保护的技术使用者：山东大学
技术研发日：2023.03.31
技术公布日：2023/7/7