一种电商数据分析方法及系统与流程

1.本发明涉及数据挖掘技术领域，尤其涉及一种电商数据分析方法及系统。


背景技术：

[0002][0003]
一般电商后台会堆积着各种交易信息，例如未支付订单，已支付订单，已完成订单等等，此外还有一些存在特殊情况的订单。因此很难从交易数据中获取多种想要的统计数据。


技术实现要素：

[0004]
本发明提供了一种电商数据分析方法及系统，通过对电商数据进行转换处理后，利用机器学习算法对电商数据进行分析计算，提高了电商数据分析效率。
[0005]
本发明实施例的第一方面提供了一种电商数据分析方法及系统，所述方法包括：
[0006]
获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据；
[0007]
利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；
[0008]
将处理后的电商交易数据输入电商分析模型中进行预测，得到分析结果，其中，电商分析模型是通过使用电商交易数据进行训练得到的。
[0009]
实施本实施例，获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据，利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，将处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果。本方法通过对电商数据进行转换处理后，利用机器学习算法对电商数据进行分析计算，提高了电商数据分析效率。
[0010]
在第一方面的一种可能的实现方式中，对所述电商交易数据进行分类和补全处理，得到待处理电商交易数据，具体为：
[0011]
利用所述hbase数据库中的字段关联关系，对所述电商交易数据进行信息提取，得到每条所述电商交易数据的相关信息，其中，所述相关信息包括时间、地点、企业信息和交易数据；
[0012]
根据每条所述电商交易数据的相关信息添加特征进行类分词，并填充到oracle数据库进行补全，得到待处理电商交易数据。
[0013]
在第一方面的一种可能的实现方式中，利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，具体为：
[0014]
将待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据；
[0015]
将第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据；
[0016]
利用预设python脚本对第二交易数据进行筛选处理，得到处理后的电商交易数据。
[0017]
实施本实施例，将待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据，将第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据，利用预设python脚本对第二交易数据进行筛选处理，得到处理后的电商交易数据。本方法通过在对交易数据进行处理后，再利用预设python脚本对交易数据进行二次处理，提高了数据处理的效率以及可靠性。
[0018]
本发明实施例的第二方面提供了一种电商数据分析系统，所述系统包括：
[0019]
获取模块，用于获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据；
[0020]
处理模块，用于利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；
[0021]
分析模块，用于将处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果，其中，电商分析模型是通过使用电商交易数据进行训练得到的。
[0022]
在第二方面的一种可能的实现方式中，获取模块包括提取单元和补全单元，
[0023]
其中，提取单元用于利用hbase数据库中的字段关联关系，对电商交易数据进行信息提取，得到每条电商交易数据的相关信息，其中，相关信息包括时间、地点、企业信息和交易数据；
[0024]
补全单元用于根据每条电商交易数据的相关信息添加特征进行类分词，并填充到oracle数据库进行补全，得到待处理电商交易数据。
[0025]
在第二方面的一种可能的实现方式中，处理模块包括第一交易数据单元、第二交易数据单元和筛选处理单元，
[0026]
所述第一交易数据单元用于将所述待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据；
[0027]
所述第二交易数据单元用于将所述第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据；
[0028]
所述筛选处理单元用于利用预设python脚本对所述第二交易数据进行筛选处理，得到处理后的电商交易数据。
[0029]
在第二方面的一种可能的实现方式中，分析模块包括获取单元、处理单元、训练单元和测试单元，
[0030]
其中，所述获取单元用于获取待训练电商交易数据，并将所述待训练电商交易数据存入hbase数据库中，对所述待训练电商交易数据进行分类和补全处理，得到待处理电商交易数据；
[0031]
所述处理单元用于利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；
[0032]
所述训练单元用于将所述处理后的电商交易数据分为训练数据集和测试数据集，将训练数据集输入电商分析模型中进行前向传播，得到实际分析结果，根据损失函数计算出所述实际分析结果与目标分析结果的损失值，根据所述损失值进行反向传播并更新电商分析模型权重得到更新后的电商分析模型权重后，根据所述更新后的电商分析模型权重及
所述训练数据集进行前向传播直到所述损失值小于预设值时电商分析模型收敛，得到初始电商分析模型；
[0033]
所述测试单元用于将所述测试数据集输入所述初始电商分析模型中进行预测，得到预分析结果，根据所述预分析结果和目标分析结果，计算所述初始电商分析模型的评价指标，根据所述评价指标对所述初始电商分析模型进行调整，得到最终的电商分析模型。
[0034]
为了解决相同的技术问题，本发明实施例还提供了一种终端设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本发明实施例所示的电商数据分析方法。
[0035]
为了解决相同的技术问题，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行程序，计算机可执行程序用于使计算机执行如本发明实施例所示的电商数据分析方法的步骤。
附图说明
[0036]
图1为本发明提供的电商数据分析方法的一种实施例的流程示意图；
[0037]
图2为本发明提供的电商数据分析方法的一种实施例的脚本处理流程示意图；
[0038]
图3为本发明提供的电商数据分析方法的一种实施例的电商分析模型训练流程示意图；
[0039]
图4为本发明提供的电商数据分析方法的另一种实施例的系统结构示意图。
具体实施方式
[0040]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0041]
实施例一
[0042]
请参照图1，图1是本发明提供的电商数据分析方法的一种实施例的流程示意图，包括步骤s11～s13。各步骤具体如下：
[0043]
s11、获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据。
[0044]
在优选的实施例当中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据，具体为：
[0045]
利用hbase数据库中的字段关联关系，对电商交易数据进行信息提取，得到每条电商交易数据的相关信息，其中，相关信息包括时间、地点、企业信息和交易数据；
[0046]
根据每条电商交易数据的相关信息添加特征进行类分词，并填充到oracle数据库进行补全，得到待处理电商交易数据。
[0047]
在本实施例中，首先会从已知的，大型网站抓取合法的相关同行的交易信息，如新闻，企业网站等，但不限于新闻和企业网站。然后将电商交易数据入库到hbase数据库进行大数据的存储，使用elasticsearch方便分析人员对数据的分析与检索。
[0048]
建立不同的库后，再根据固定化的字段，如产品名称，交易时间地点，金额。将收集
来的数据先使用传统代码进行对特定地方提取相关信息，利用数据库中某些字段关联起来，提取相关的信息，然后根据日期，企业信息，港口等关键词添加特征进行类分词填充到oracle数据库进行补全。
[0049]
s12、利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到处理后的电商交易数据。
[0050]
在优选的实施例当中，利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，具体为：
[0051]
将待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据；
[0052]
将第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据；
[0053]
利用预设python脚本对第二交易数据进行筛选处理，得到处理后的电商交易数据。
[0054]
在本实施例中，如图2所示，首先将将待处理电商交易数据中相同字段的数据整理到所对应的字段中，然后根据不同信息将不同字段中的数据进行格式转换，整理出逻辑有序的通用格式。经过一轮手动的筛选以及整理生产出结构化的数据后，通过python的技术手段可将操作脚本化让系统任务性调度执行，将前者结构化好的数据，通过制定好的脚本进行第二轮的梳理，得到处理后的电商交易数据。
[0055]
s13、将所述处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果，其中，所述电商分析模型是通过使用所述电商交易数据进行训练得到的。
[0056]
在优选的实施例当中，电商分析模型是通过使用电商交易数据进行训练得到的，具体为：
[0057]
获取待训练电商交易数据，并将待训练电商交易数据存入hbase数据库中，对待训练电商交易数据进行分类和补全处理，得到待处理电商交易数据；
[0058]
利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；
[0059]
将处理后的电商交易数据分为训练数据集和测试数据集，将训练数据集输入电商分析模型中进行前向传播，得到实际分析结果，根据损失函数计算出实际分析结果与目标分析结果的损失值，根据损失值进行反向传播并更新电商分析模型权重得到更新后的电商分析模型权重后，根据更新后的电商分析模型权重及训练数据集进行前向传播直到损失值小于预设值时电商分析模型收敛，得到初始电商分析模型；
[0060]
将测试数据集输入初始电商分析模型中进行预测，得到预分析结果，根据预分析结果和目标分析结果，计算初始电商分析模型的评价指标，根据评价指标对初始电商分析模型进行调整，得到最终的电商分析模型。
[0061]
在本实施例中，如图3所示，在获取到处理后的电商交易数据后，利用处理后的电商交易数据可以提高机器学习算法的性能。
[0062]
将处理后的电商交易数据分为训练数据集和测试数据集，将训练数据集输入电商分析模型中进行前向传播，得到实际分析结果。
[0063]
首先定义一个损失函数，将训练数据集输入电商分析模型后，根据前向传播得到预分析结果，然后将预分析跟目标分析结果进行比较，得到损失值。
[0064]
将预测值与真实值相等，相当于没有损失。如果预测值与实际结果偏离较远，损失函数会得到一个较高的值，接着使用后向传播用于减小模型输出结果与实际结果之前的误差，通过跳转参数权重来优化模型。
[0065]
根据损失值进行反向传播并更新电商分析模型权重得到更新后的电商分析模型权重后，根据更新后的电商分析模型权重及训练数据集进行前向传播直到损失值小于预设值时电商分析模型收敛，得到初始电商分析模型。
[0066]
将测试数据集输入初始电商分析模型中进行预测，得到预分析结果，根据预分析结果和目标分析结果，计算初始电商分析模型的评价指标，根据评价指标对初始电商分析模型进行调整，得到最终的电商分析模型。
[0067]
利用训练好的电商分析模型对处理后的数据进行分析计算后，得到分析结果，根据所述分析结果可以对未来电商交易量进行预测。
[0068]
需要说明的是，根据获取的原始数据的类型，分析结果按照实际需求可以为定性预测和定量预测，按照预测时间长短的不同，可以分为长期预测、中期预测和短期预测。
[0069]
本发明获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据，利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，将处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果。本方法通过对电商数据进行转换处理后，利用机器学习算法对电商数据进行分析计算，提高了电商数据分析效率。
[0070]
实施例二
[0071]
相应地，参见图4，图4为本发明提供的一种电商数据分析系统，如图所示，该电商数据分析系统包括：获取模块401，用于获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据；
[0072]
处理模块402，用于利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；
[0073]
分析模块403，用于将处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果，其中，电商分析模型是通过使用电商交易数据进行训练得到的。
[0074]
在优选的实施例当中，获取模块401包括提取单元4011和补全单元4012，
[0075]
其中，提取单元4011用于利用hbase数据库中的字段关联关系，对电商交易数据进行信息提取，得到每条电商交易数据的相关信息，其中，相关信息包括时间、地点、企业信息和交易数据；
[0076]
补全单元4012用于根据每条电商交易数据的相关信息添加特征进行类分词，并填充到oracle数据库进行补全，得到待处理电商交易数据。
[0077]
在优选的实施例当中，处理模块402包括第一交易数据单元4021、第二交易数据单元4022和筛选处理单元4023，
[0078]
第一交易数据单元4021用于将待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据；
[0079]
第二交易数据单元4022用于将第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据；
[0080]
筛选处理单元4023用于利用预设python脚本对第二交易数据进行筛选处理，得到
处理后的电商交易数据。
[0081]
在优选的实施例当中，分析模块403包括获取单元4031、处理单元4032、训练单元4033和测试单元4034，
[0082]
其中，获取单元4031用于获取待训练电商交易数据，并将待训练电商交易数据存入hbase数据库中，对待训练电商交易数据进行分类和补全处理，得到待处理电商交易数据；
[0083]
处理单元4032用于利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；
[0084]
训练单元4033用于将处理后的电商交易数据分为训练数据集和测试数据集，将训练数据集输入电商分析模型中进行前向传播，得到实际分析结果，根据损失函数计算出实际分析结果与目标分析结果的损失值，根据损失值进行反向传播并更新电商分析模型权重得到更新后的电商分析模型权重后，根据更新后的电商分析模型权重及训练数据集进行前向传播直到损失值小于预设值时电商分析模型收敛，得到初始电商分析模型；
[0085]
测试单元4034用于将测试数据集输入初始电商分析模型中进行预测，得到预分析结果，根据预分析结果和目标分析结果，计算初始电商分析模型的评价指标，根据评价指标对初始电商分析模型进行调整，得到最终的电商分析模型。
[0086]
在优选的实施例当中，发明提供的一种终端设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如本发明实施例一所示的电商数据分析方法。
[0087]
作为优选方案，本发明提供的一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行程序，计算机可执行程序用于使计算机执行如本发明实施例一所示的电商数据分析方法的步骤。
[0088]
综上所述，实施本发明的实施例，具有如下有益效果：
[0089]
获取电商交易数据，并将电商交易数据存入hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据，利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，将处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果。本方法通过对电商数据进行转换处理后，利用机器学习算法对电商数据进行分析计算，提高了电商数据分析效率。
[0090]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种电商数据分析方法，其特征在于，包括：获取电商交易数据，并将所述电商交易数据存入hbase数据库中，对所述电商交易数据进行分类和补全处理，得到待处理电商交易数据；利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；将所述处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果，其中，所述电商分析模型是通过使用所述电商交易数据进行训练得到的。2.如权利要求1所述的电商数据分析方法，其特征在于，所述对所述电商交易数据进行分类和补全处理，得到待处理电商交易数据，具体为：利用所述hbase数据库中的字段关联关系，对所述电商交易数据进行信息提取，得到每条所述电商交易数据的相关信息，其中，所述相关信息包括时间、地点、企业信息和交易数据；根据每条所述电商交易数据的相关信息添加特征进行类分词，并填充到oracle数据库进行补全，得到待处理电商交易数据。3.如权利要求1所述的电商数据分析方法，其特征在于，所述利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，具体为：将所述待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据；将所述第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据；利用预设python脚本对所述第二交易数据进行筛选处理，得到处理后的电商交易数据。4.如权利要求1所述的电商数据分析方法，其特征在于，所述电商分析模型是通过使用所述电商交易数据进行训练得到的，具体为：获取待训练电商交易数据，并将所述待训练电商交易数据存入hbase数据库中，对所述待训练电商交易数据进行分类和补全处理，得到待处理电商交易数据；利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；将所述处理后的电商交易数据分为训练数据集和测试数据集，将训练数据集输入电商分析模型中进行前向传播，得到实际分析结果，根据损失函数计算出所述实际分析结果与目标分析结果的损失值，根据所述损失值进行反向传播并更新电商分析模型权重得到更新后的电商分析模型权重后，根据所述更新后的电商分析模型权重及所述训练数据集进行前向传播直到所述损失值小于预设值时电商分析模型收敛，得到初始电商分析模型；将所述测试数据集输入所述初始电商分析模型中进行预测，得到预分析结果，根据所述预分析结果和目标分析结果，计算所述初始电商分析模型的评价指标，根据所述评价指标对所述初始电商分析模型进行调整，得到最终的电商分析模型。5.一种电商数据分析系统，其特征在于，包括：获取模块，用于获取电商交易数据，并将所述电商交易数据存入hbase数据库中，对所述电商交易数据进行分类和补全处理，得到待处理电商交易数据；处理模块，用于利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到
处理后的电商交易数据；分析模块，用于将所述处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果，其中，所述电商分析模型是通过使用所述电商交易数据进行训练得到的。6.如权利要求5所述的电商数据分析系统，其特征在于，所述获取模块包括提取单元和补全单元，其中，所述提取单元用于利用所述hbase数据库中的字段关联关系，对所述电商交易数据进行信息提取，得到每条所述电商交易数据的相关信息，其中，所述相关信息包括时间、地点、企业信息和交易数据；所述补全单元用于根据每条所述电商交易数据的相关信息添加特征进行类分词，并填充到oracle数据库进行补全，得到待处理电商交易数据。7.如权利要求5所述的电商数据分析系统，其特征在于，所述处理模块包括第一交易数据单元、第二交易数据单元和筛选处理单元，所述第一交易数据单元用于将所述待处理电商交易数据中相同字段的数据整理到所对应的字段中，得到第一交易数据；所述第二交易数据单元用于将所述第一交易数据中的不同字段中的数据进行格式转换，得到第二交易数据；所述筛选处理单元用于利用预设python脚本对所述第二交易数据进行筛选处理，得到处理后的电商交易数据。8.如权利要求5所述的电商数据分析系统，其特征在于，所述分析模块包括获取单元、处理单元、训练单元和测试单元，其中，所述获取单元用于获取待训练电商交易数据，并将所述待训练电商交易数据存入hbase数据库中，对所述待训练电商交易数据进行分类和补全处理，得到待处理电商交易数据；所述处理单元用于利用预设python脚本对所述待处理电商交易数据进行筛选处理，得到处理后的电商交易数据；所述训练单元用于将所述处理后的电商交易数据分为训练数据集和测试数据集，将训练数据集输入电商分析模型中进行前向传播，得到实际分析结果，根据损失函数计算出所述实际分析结果与目标分析结果的损失值，根据所述损失值进行反向传播并更新电商分析模型权重得到更新后的电商分析模型权重后，根据所述更新后的电商分析模型权重及所述训练数据集进行前向传播直到所述损失值小于预设值时电商分析模型收敛，得到初始电商分析模型；所述测试单元用于将所述测试数据集输入所述初始电商分析模型中进行预测，得到预分析结果，根据所述预分析结果和目标分析结果，计算所述初始电商分析模型的评价指标，根据所述评价指标对所述初始电商分析模型进行调整，得到最终的电商分析模型。9.一种终端设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的电商数据分析方法。10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序
被处理器执行时实现如权利要求1至4任一项所述的电商数据分析方法的步骤。

技术总结
本发明公开了一种电商数据分析方法及系统，获取电商交易数据，并将电商交易数据存入Hbase数据库中，对电商交易数据进行分类和补全处理，得到待处理电商交易数据，利用预设python脚本对待处理电商交易数据进行筛选处理，得到处理后的电商交易数据，将处理后的电商交易数据输入电商分析模型中进行分析计算，得到分析结果。本方法通过对电商数据进行转换处理后，利用机器学习算法对电商数据进行分析计算，提高了电商数据分析效率。提高了电商数据分析效率。提高了电商数据分析效率。


技术研发人员：乌斯曼
受保护的技术使用者：广州市西美信息科技有限公司
技术研发日：2023.06.07
技术公布日：2023/9/20