基于社交媒体大数据的三维客户需求动态挖掘方法及系统

1.本发明涉及数据处理技术领域，具体地说，涉及一种基于社交媒体大数据的三维客户需求动态挖掘方法及系统。


背景技术：

2.在竞争激烈、充满挑战的市场环境中，产品制造商不仅要丰富产品的功能，提高产品质量，还要满足客户需求。设计的产品能否满足目标客户群体的实际需求，对产品销售和新产品设计起着至关重要的作用。然而，客户需求是模糊和隐式的。问卷和在线评论中包含的客户需求都是隐含的，难以直接为新一代产品的设计和制造提供帮助。因此，如何基于海量在线评论，从多个角度明确、细致地挖掘客户需求成为亟待解决的问题。另外，客户需求是可变和多样的。客户需求往往会随着产品的迭代更新而变化，并可能受到多种因素的影响，例如产品类别、目标客户群体的社会地位和经济实力等。此外，客户对不同产品特征的关注程度也会随着时间的推移而变化。制造商不仅要准确把握不同客户群体之间的偏好差异，还要在面对整个市场环境时关注他们需求的变化。因此，如何准确及时地识别客户需求，并分析目标客户群体的需求变化规律已成为制造商难以解决的难题。


技术实现要素：

3.本发明提供了一种基于社交媒体大数据的三维客户需求动态挖掘方法，其能够克服现有技术的某种或某些缺陷。
4.根据本发明的基于社交媒体大数据的三维客户需求动态挖掘方法，其用于对目标产品的客户需求进行分析，具体包括如下步骤：
5.s1、数据预处理
6.该步骤中，首先获取对目标产品的评论数据，之后获取评论数据中的评论词，之后获取评论词的词向量；
7.s2、构建目标产品的特征词典
8.该步骤中，特征词典包括多个特征集合，不同的特征集合分别对应目标产品的不同属性特征，每个特征集合均具有至少一个特征词，特征词自评论词中选取；
9.s3、获取评论数据中对目标产品每个属性特征的评价倾向数据
10.该步骤中，根据产品特征词典将评论数据划分为评论子句，每个评论子句有且仅与一个相关的属性特征对应；通过对评论子句的分析，获取评价倾向数据；
11.s4、建立需求分类模型
12.该步骤中，所建立的需求分类模型包括属性特征的重要度、不同的两代目标产品的属性特征满意度变化率以及不同的两代目标产品的属性特征关注度变化率。
13.通过本发明的方法，能够自社交媒体大数据中提取目标产品的评论数据(步骤s1)，通过从评论数据中提取出相关的特征词汇(步骤s2)，能够实现通过属性特征对目标产品的概括；而后通过获取评论数据中对每个属性特征的评价倾向数据(步骤s3)，能够实现
不同的两代目标产品之间的对比(步骤s4)，进而实现需求分类模型的建立；从而能够有效地挖掘具体产品的客户需求、监测客户需求的变化情况，对新产品的重设计有重要意义。
14.作为优选，步骤s2包括如下步骤，
15.s21、自评论词中提取原始特征词；
16.s22、对原始特征词进行聚类处理，经聚类处理后的每个类别即为一个特征集合；
17.s23、对特征集合进行扩充，加入扩充特征词。
18.基于上述，即可较佳地实现从评论数据中提取客户所关注的产品属性特征。
19.作为优选，步骤s21中，选取长度不低于设定词长阈值、词性为名词且在评论数据中出现的频次不低于设定词频值的评论词作为原始特征词。故而能够较佳地实现原始特征词的提取。
20.作为优选，基于词向量间的余弦相似度值衡量原始特征词间的相似程度，并基于层次聚类方法对原始特征词进行聚类。故而能够较佳地根据聚类结果对每个类进行概括，形成多个类别的特征词汇集合(即特征集合)。
21.作为优选，对于任一特征集合，自评论词中选取最大相似程度不低于设定文本相似度阈值且词性为名词的相关评论词作为扩充特征词。从而能够较佳地实现对特征集合的扩展，故而能够较佳地实现对特征词典的丰富。
22.作为优选，步骤s3中，所述的根据产品特征词典将评论数据划分为评论子句，基于s1中所获取的评论词进行；将每个相关评论词按照对应单条评论的语句顺序进行排序，对于每个单条评论，逐个地计算每个相关的评论词与每个特征集合的相似度，若该相似度大于设定的特征集合相似度阈值，则在该评论词最近的标点符号处对相关单条评论进行分割，即可获取相应的评论子句。故而能够较佳地实现评价倾向数据的获取。
23.作为优选，属性特征的重要度基于如下公式获取，作为优选，属性特征的重要度基于如下公式获取，其中，iopfm即为第m个属性特征重要度，为与第m个属性特征对应的第m个特征集合中的第p个特征词在评论数据中出现的次数，nm为第m个特征集合中的特征词的总数，m表示特征集合的总数。
24.基于上述，能够获取每个特征集合中的每个特征词在评论数据中出现的总数，通过对该总数的归一化处理，即可较佳地以所获取的数据作为属性特征的重要度。
25.作为优选，属性特征满意度变化率的计算公式为，作为优选，属性特征满意度变化率的计算公式为，其中，为第g+1代产品与第g代产品在属性特征m上，客户满意度的变化率；和即为第g代和第g+1代产品的第m个属性特征的满意度；
26.对于任一代产品，其满意度的计算公式为，对于任一代产品，其满意度的计算公式为，其中，表示，第g代产品的第m个属性特征的满意度，表示第g代产品与第m个产品属性特征相匹配的积极评论子句的数量，表示第g代产品与第m个产品特征相匹配的中性评论子句的数量，表示第g代产品与第m个产品属性特征相匹配的评论子句的数量。
27.故而能够较佳地实现对不同的两代产品之间的性特征满意度变化的分析。
28.作为优选，属性特征关注度变化率的计算公式为，作为优选，属性特征关注度变化率的计算公式为，其中，即为第g+1代产品与第g代产品在属性特征m上，客户关注度的变化率，和即为第g代和第g+1代产品的第m个属性特征的关注度；
29.对于任一代产品，其关注度的计算公式为，对于任一代产品，其关注度的计算公式为，其中，表示，第g代产品的第m个属性特征的关注度，表示第g代产品与第m个产品属性特征相匹配的评论子句的数量，表示第g代产品中与相关产品属性特征相匹配的评论子句的最大值。
30.故而能够较佳地实现对不同的两代产品之间的性特征关注度变化的分析。
31.此外本发明还提供了一种基于社交媒体大数据的三维客户需求动态挖掘系统，用于实现任一上述的方法，其包括：
32.采集单元，其用于实现步骤s1；
33.构建单元，其用于实现步骤s2；
34.处理单元，其用于实现步骤s3；以及
35.展示单元，其用于实现步骤s4。
36.故而能够较佳地通过面向实际生产中的客户需求挖掘，使制造商能够全面考虑客户的关注度、满意度以及产品特征对客户的重要性，为下一代产品的设计和投资提供建议。
附图说明
37.图1为实施例1中的方法的流程示意图；
38.图2为实施例1中的深度神经网络的架构示意图；
39.图3为实施例中的分类模型的展示示意图。
具体实施方式
40.为进一步了解本发明的内容，结合实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
41.实施例1
42.见于图1，本实施例提供了一种基于社交媒体大数据的三维客户需求动态挖掘方法，其能够基于客户的在线评论数据，实现对客户群体潜在需求的多维度的挖掘和分析，进而能够较佳地实现产品制造商从客户需求的变化规律中获取相关指导数据。
43.本实施例所提供的方法，用于对目标产品的客户需求进行分析，具体包括如下步骤：
44.s1、数据预处理
45.该步骤中，首先获取对目标产品的评论数据，之后获取评论数据中的评论词，之后获取评论词的词向量；
46.s2、构建目标产品的特征词典
47.该步骤中，特征词典包括多个特征集合，不同的特征集合分别对应目标产品的不同属性特征，每个特征集合均具有至少一个特征词，特征词自评论词中选取；
48.s3、获取评论数据中对目标产品每个属性特征的评价倾向数据
49.该步骤中，根据产品特征词典将评论数据划分为评论子句，每个评论子句有且仅与一个相关的属性特征对应；通过对评论子句的分析，获取评价倾向数据；
50.s4、建立需求分类模型
51.该步骤中，所建立的需求分类模型包括属性特征的重要度、不同的两代目标产品的属性特征满意度变化率以及不同的两代目标产品的属性特征关注度变化率。
52.通过本实施例的方法，能够自社交媒体大数据中提取目标产品的评论数据(步骤s1)，通过从评论数据中提取出相关的特征词汇(步骤s2)，能够实现通过属性特征对目标产品的概括；而后通过获取评论数据中对每个属性特征的评价倾向数据(步骤s3)，能够实现不同的两代目标产品之间的对比(步骤s4)，进而实现需求分类模型的建立；从而能够有效地挖掘具体产品的客户需求、监测客户需求的变化情况，对新产品的重设计有重要意义。
53.通过步骤s1，能够较佳地基于社交媒体大数据，实现客户文本形式的在线评论数据的获取；可以理解的是，客户在线评论数据通常会包含3种数据，分别为“评价倾向数据”、“属性特征”以及其余数据等；也即客户在线评论数据通常句式为“产品的某个功能或部件好或不好或一般”等，在此类句式中，“产品的某个功能或部件”即为“属性特征”，“好或不好或一般”即为“评价倾向数据”；通过步骤s1中的评论词的获取，即可较佳地实现对客户在线评论数据中的“评价倾向数据”、“属性特征”等的提取，通过对评论词的向量化即可较佳实现后续的算法处理。
54.通过步骤s2，能够基于s1中所获取的数据，实现目标产品的属性特征的挖掘与特征词典的构建，进而能够较佳地实现客户对目标产品所关注的属性特征(如性能、外观等属性特征)的发现。
55.通过步骤s3，能够对客户在线评论数据进行拆分，使得每个评论子句中均包含一个“评价倾向数据”和一个“属性特征”，故而能够较佳地实现客户对产品的评价倾向的收集。
56.通过步骤s4，能够将目标客户群体的客户需求划分为产品特征的客户关注度(属性特征关注度变化率)、客户满意度(属性特征满意度变化率)和相对重要程度(属性特征的重要度)，分析两代产品间的目标客户群体客户需求的动态变化规律。
57.在步骤s1中，
58.所述的获取对目标产品的评论数据，能够自社交媒体大数据中获取，具体能够采用基于python的网络爬虫收集社交网页的在线评论而获取；例如，基于bs4、requests、selenium等python库，利用xpath、css表达式、正则表达式等实现轻量级评论数据的爬取；
59.可以理解的是，评论数据中为多个单条评论的集合，每个单条评论为文本方式的表达方式；
60.所述的获取评论数据中的评论词，能够首先对评论数据进行数据清洗，之后对每个单条评论进行分词及词性标注处理后获取；其中，数据清洗时，能够首先删除每个单条评论中的例如url、特殊符号、联系方式、html元素等噪声符号，之后能够通过设置句长阈值并
删除语句长度低于句长阈值的单条评论，故而能够较佳地实现有效单条评论的筛选和保留；其中，能够采用哈工大ltp语言工具包对处理之后的评论进行分词处理，并能够采用哈工大停用词表去除评论中存在的停用词，故而能够较佳地获取单条评论的评论词；
61.所述的获取评论词的词向量，即为将每个评论词进行向量化，故而能够较佳地便于后续的数据处理；其中，能够采用word2vec(词嵌入模型)中的cbow模型实现评论词的词向量的获取。
62.在步骤s2中，能够按照如下步骤进行：
63.s21、自评论词中提取原始特征词；
64.s22、对原始特征词进行聚类处理，经聚类处理后的每个类别即为一个特征集合；
65.s23、对特征集合进行扩充，加入扩充特征词。
66.基于上述，即可较佳地实现从评论数据中提取客户所关注的产品属性特征。
67.在步骤s21中，选取长度不低于设定词长阈值(本实施中词长阈值为2个字符)、词性为名词且在评论数据中出现的频次不低于设定词频值(词频值能够依据评论数据的数据量确定，如设置为单条评论总数的1/100)的评论词作为原始特征词。故而能够较佳地实现原始特征词的提取。
68.在步骤s22中，能够基于词向量间的余弦相似度值衡量原始特征词间的相似程度，并能够基于层次聚类方法对原始特征词进行聚类。故而能够较佳地根据聚类结果对每个类进行概括，形成多个类别的特征词汇集合(即特征集合)。
69.步骤s23中，对于任一特征集合，自评论词中选取最大相似程度不低于设定文本相似度阈值且词性为名词的相关评论词作为扩充特征词。从而能够较佳地实现对特征集合的扩展，故而能够较佳地实现对特征词典的丰富。
70.其中，最大相似程度通过计算每个相关评论词与相应特征集合中每个原始特征词的余弦相似度值，取最大余弦相似度值为最大相似程度；文本相似度阈值能够基于层次聚类方法中类与类的相似度进行设置。
71.步骤s3在具体实现时：
72.所述的根据产品特征词典将评论数据划分为评论子句，能够基于s1中所获取的评论词进行；具体地，能够将每个相关评论词按照对应单条评论的语句顺序进行排序，对于每个单条评论，逐个地计算每个相关的评论词与每个特征集合的相似度，若该相似度大于设定的特征集合相似度阈值，则在该评论词最近的标点符号处对相关单条评论进行分割，即可获取相应的评论子句，且该相应的评论子句能够与对应的属性特征进行关联。
73.在上述过程中，能够基于词向量的余弦相似度值对相似度进行评价，考虑到每个特征集合中可能具有多个特征词，故能够以相关评论词与每个特征集合中中的每个特征词的相似度值的最大值或者均值作为每个相关的评论词与每个特征集合的相似度；
74.步骤s3在具体实现时：
75.所述的获取评价倾向数据，能够基于深度神经网络获取，故而能够较佳地实现对每个评论子句的分析，进而获取对相应的属性特征的评价倾向数据的获取。
76.见于图2，本实施例中所搭建的深度神经网络能够依次具有一个输入层、一个bert词嵌入层、一个bi-lstm层、一个cnn层、一个全连接层和一个输出层；本实施例中的评价倾向数据能够定义为“积极”、“消极”或“中性”；在深度神经网络搭建完成后，首先获取采用人
工标注的方式对每个评论子句进行标注，即将每个评论子句标注为“积极”、“消极”或“中性”，进而获取以评论子句及关联的标注数据所构成的样本集，之后通过将样本集划分为训练集、测试集和验证集，即可较佳地实现对深度神经网络的训练。
77.其中，本实施例中的深度神经网络的架构能够采用常规架构，本实施例中不予赘述。
78.在步骤s4中，属性特征的重要度能够基于如下公式获取：
[0079][0080]
其中，iopfm即为第m个属性特征重要度，为与第m个属性特征对应的第m个特征集合中的第p个特征词在评论数据中出现的次数，nm为第m个特征集合中的特征词的总数，m表示特征集合的总数。
[0081]
基于上述，能够获取每个特征集合中的每个特征词在评论数据中出现的总数，通过对该总数的归一化处理，即可较佳地以所获取的数据作为属性特征的重要度。
[0082]
另外，为了获取不同的两代目标产品的属性特征满意度变化率以及不同的两代目标产品的属性特征关注度变化率，能够依据步骤s1-s3获取不同的两代目标产品的相关数据；通过在步骤s3中，同步获取与特征集合相关联的评论子句的数量以及该评论子句中不同的评价倾向的数量(即“积极”、“消极”或“中性”评价倾向的分别数量，也即整体构成评价倾向数据)，即可较佳地实现属性特征满意度变化率以及属性特征关注度变化率的获取。
[0083]
具体地，在获取与特征集合相关联的评论子句的数量时，针对当前的特征集合，若相关的评论子句中存在相似度大于设定的特征集合相似度阈值的评论词，则计1，否则计0；通过累加即可获取。
[0084]
具体地，在获取相关评论子句中不同的评价倾向的数量时，能够通过步骤s3中的深度神经网络进行判定，并分别计数获取。
[0085]
具体地，对于任一代产品，其满意度的计算公式能够为：
[0086][0087]
其中，表示，第g代产品的第m个属性特征的满意度，表示第g代产品与第m个产品属性特征相匹配的积极评论子句的数量，表示第g代产品与第m个产品特征相匹配的中性评论子句的数量，表示第g代产品与第m个产品属性特征相匹配的评论子句的数量。
[0088]
具体地，属性特征满意度变化率的计算公式能够为：
[0089][0090]
其中，即为第g+1代产品与第g代产品在属性特征m上，客户满意度的变化率；即为第g+1代产品的第m个属性特征的满意度。
[0091]
具体地，对于任一代产品，其关注度的计算公式能够为：
[0092]
[0093]
其中，表示，第g代产品的第m个属性特征的关注度，表示第g代产品与第m个产品属性特征相匹配的评论子句的数量，表示第g代产品中与相关产品属性特征相匹配的评论子句的最大值。
[0094]
具体地，属性特征关注度变化率的计算公式能够为：
[0095][0096]
其中，即为第g+1代产品与第g代产品在属性特征m上，客户关注度的变化率，即为第g+1代产品的第m个属性特征的关注度。
[0097]
见于图3，步骤s4中，能够以属性特征关注度变化率为x轴、属性特征满意度变化率为y轴、属性特征的重要度为y轴，建立分类模型并展示，故而能够较佳地实现从三个维度来评估客户需求的动态变化情况。
[0098]
通过本发明的方法使得：
[0099]
1、其通过面向实际生产中的客户需求挖掘，使制造商能够全面考虑客户的关注度、满意度以及产品特征对客户的重要性，为下一代产品的设计和投资提供建议；
[0100]
2、通过构建与属性特征对应的特征集合的方式，能够充分考虑到评价数据中的产品属性特征的同义词等情形，故而精确度较高；
[0101]
3、其能够基于文本的评论，实现对客户需求的分析；
[0102]
4、通过分类模型的构建，能够实现相关数据的动态监测和显示。
[0103]
此外，基于本实施例的方法，本实施例还提供了一种基于社交媒体大数据的三维客户需求动态挖掘系统，其能够具有：
[0104]
采集单元，其用于实现步骤s1；
[0105]
构建单元，其用于实现步骤s2；
[0106]
处理单元，其用于实现步骤s3；以及
[0107]
展示单元，其用于实现步骤s4。
[0108]
容易理解的是，本领域技术人员在本技术提供的一个或几个实施例的基础上，可以对本技术的实施例进行结合、拆分、重组等得到其他实施例，这些实施例均没有超出本技术的保护范围。
[0109]
以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，实施例所示的也只是本发明的实施方式的部分，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。

技术特征：
1.基于社交媒体大数据的三维客户需求动态挖掘方法，用于对目标产品的客户需求进行分析，具体包括如下步骤：s1、数据预处理该步骤中，首先获取对目标产品的评论数据，之后获取评论数据中的评论词，之后获取评论词的词向量；s2、构建目标产品的特征词典该步骤中，特征词典包括多个特征集合，不同的特征集合分别对应目标产品的不同属性特征，每个特征集合均具有至少一个特征词，特征词自评论词中选取；s3、获取评论数据中对目标产品每个属性特征的评价倾向数据该步骤中，根据产品特征词典将评论数据划分为评论子句，每个评论子句有且仅与一个相关的属性特征对应；通过对评论子句的分析，获取评价倾向数据；s4、建立需求分类模型该步骤中，所建立的需求分类模型包括属性特征的重要度、不同的两代目标产品的属性特征满意度变化率以及不同的两代目标产品的属性特征关注度变化率。2.根据权利要求1所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：步骤s2包括如下步骤，s21、自评论词中提取原始特征词；s22、对原始特征词进行聚类处理，经聚类处理后的每个类别即为一个特征集合；s23、对特征集合进行扩充，加入扩充特征词。3.根据权利要求2所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：步骤s21中，选取长度不低于设定词长阈值、词性为名词且在评论数据中出现的频次不低于设定词频值的评论词作为原始特征词。4.根据权利要求3所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：基于词向量间的余弦相似度值衡量原始特征词间的相似程度，并基于层次聚类方法对原始特征词进行聚类。5.根据权利要求4所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：对于任一特征集合，自评论词中选取最大相似程度不低于设定文本相似度阈值且词性为名词的相关评论词作为扩充特征词。6.根据权利要求1所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：步骤s3中，所述的根据产品特征词典将评论数据划分为评论子句，基于s1中所获取的评论词进行；将每个相关评论词按照对应单条评论的语句顺序进行排序，对于每个单条评论，逐个地计算每个相关的评论词与每个特征集合的相似度，若该相似度大于设定的特征集合相似度阈值，则在该评论词最近的标点符号处对相关单条评论进行分割，即可获取相应的评论子句。7.根据权利要求1所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：属性特征的重要度基于如下公式获取，在于：属性特征的重要度基于如下公式获取，其中，iopf
m
即为第m个属性特征重要度，为与第m个属性特征对应的第m个特征集合中的第p个特征词在评论数据中出现的次数，n
m
为第m个特征集合中的特征词的总数，m表示特征集合
的总数。8.根据权利要求1所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：属性特征满意度变化率的计算公式为，在于：属性特征满意度变化率的计算公式为，其中，为第g+1代产品与第g代产品在属性特征m上，客户满意度的变化率；和即为第g代和第g+1代产品的第m个属性特征的满意度；对于任一代产品，其满意度的计算公式为，对于任一代产品，其满意度的计算公式为，其中，表示，第g代产品的第m个属性特征的满意度，表示第g代产品与第m个产品属性特征相匹配的积极评论子句的数量，表示第g代产品与第m个产品特征相匹配的中性评论子句的数量，表示第g代产品与第m个产品属性特征相匹配的评论子句的数量。9.根据权利要求1所述的基于社交媒体大数据的三维客户需求动态挖掘方法，其特征在于：属性特征关注度变化率的计算公式为，在于：属性特征关注度变化率的计算公式为，其中，即为第g+1代产品与第g代产品在属性特征m上，客户关注度的变化率，和即为第g代和第g+1代产品的第m个属性特征的关注度；对于任一代产品，其关注度的计算公式为，对于任一代产品，其关注度的计算公式为，其中，表示，第g代产品的第m个属性特征的关注度，表示第g代产品与第m个产品属性特征相匹配的评论子句的数量，表示第g代产品中与相关产品属性特征相匹配的评论子句的最大值。10.基于社交媒体大数据的三维客户需求动态挖掘系统，用于实现权利要求1-9中任一所述的方法，其包括：采集单元，其用于实现步骤s1；构建单元，其用于实现步骤s2；处理单元，其用于实现步骤s3；以及展示单元，其用于实现步骤s4。

技术总结
本发明涉及数据处理技术领域，具体地说，涉及一种基于社交媒体大数据的三维客户需求动态挖掘方法及系统。该方法具有：S1、数据预处理；S2、构建目标产品的特征词典；S3、获取评论数据中对目标产品每个属性特征的评价倾向数据；S4、建立需求分类模型。该系统用于实现上述方法。本发明能够较佳地通过面向实际生产中的客户需求挖掘，使制造商能够全面考虑客户的关注度、满意度以及产品特征对客户的重要性，为下一代产品的设计和投资提供建议。下一代产品的设计和投资提供建议。下一代产品的设计和投资提供建议。


技术研发人员：赵爽耀 张强 蔡正阳 陈彬彬 唐春华 桂屏屏
受保护的技术使用者：合肥工业大学
技术研发日：2023.05.06
技术公布日：2023/8/9