一种电力营销数据异常识别方法与流程

1.本发明涉及电力营销数据异常分析技术领域，尤其是涉及一种电力营销数据异常识别方法。


背景技术：

2.大数据环境下，“数据大而知识少”是企业面临的共性问题。国电公司提出“一型五化”的大规模营销系统，即客户导向，业务密集，管理专业化，组织扁平化，控制实时，服务协同。一方面，在“大营销”的背景下，各类数据重复多、数据类型多样、数据冗余多的背景下，对市场营销的管理者和决策人员提出了严峻的挑战。
3.随着智能电网建设的全面推进，以及sg186营销业务应用系统的建立与完善，积累了海量的业务数据，当前，由于电网结构的不断优化，技术的不断升级，电力公司的经营模式向着电力市场需求和提升客户满意度的方向发展，这就对电力企业所提供的营销服务的质量提出了更高的要求，给电力企业带来了诸多的压力，使得常规的分析方法很难在当前的市场环境中得到有效的运用。


技术实现要素：

4.为了克服上述问题，本发明的目的是提供一种电力营销数据异常识别方法，该方法通过对实时采集的电力营销数据进行分析，能够及时发现异常数据，并对异常数据进行更正和补救，优化系统，该发明实用性强，使用方便，能够极大的提高电力营销的工作效率和准确度，提升客户满意度。
5.本发明采用的技术方案是：一种电力营销数据异常识别方法，包括以下步骤：
6.s01：构建统一的数据平台；
7.s02：构建孤立森林模型；
8.s03：基于构建的孤立森林模型完成异常数据识别检测；
9.s04：提取异常数据的特征；
10.s05：异常数据的识别及输出。
11.进一步的，所述构建统一的数据平台包括使用大数据建立电力营销服务技术支撑平台，该平台包含市场发展、商业活动、客户服务、工厂运营数据，在平台的核心应用中，具体包括：数据采集服务、数据查询服务、数据搜索服务、分布式离线计算服务、分布式实时计算服务、数据挖掘服务、分布式协调服务、分布式队列监控服务、分布式数据库服务、分布式文档存储服务、数据订阅服务、开发监控服务和集群管理。
12.进一步的，所述构建孤立森林模型的步骤具体包括：
13.s021：按照电网信息的尺度，建立基于孤立森林的数据集合d；
14.s022：对数据进行流式处理，按照一定的规律对数据进行排序，选取合适的样本个数作为二叉树的主要数据；
15.s023：对其它样本进行隔离，按照特征性和差异性对样本进行分类，直至每个样本
集中仅包含一个样本；
16.s024：以一组随机选取的数值区间作为数据抽取门限，依此划分数据结构，并作为判据进行分析。
17.进一步的，所述数据中正常的数据划分为高密度区，反之的数据划分为低密度区，说明数据中有异常，当检测的结果不能肯定时，再将训练样本分开，再进行分割，直至检测出全部数据。
18.进一步的，所述基于构建的孤立森林模型完成异常数据识别检测的步骤具体包括：
19.s031：清理数据源，剔除重复或相似度高的冗杂数据；
20.s032：把原数据集合d引入到孤立森林模型中，并按照二叉树模型中的根值设置条件，把用电用户的数据相应地放在二叉树的根值上；
21.s033：利用孤立森林的方法对数据进行随机分割，使得数据落入对应的二叉树上的叶片结点；
22.s034：针对信息资料的特点与差异，逐步将资料分开，直至仅包含单一资料的子资料；
23.s035：计算出叶片结点资料到根结点资料之间的距离及等级关系，也就是异常资料s所处的位置；
24.s036：利用标准化公式，计算出各二叉树的平均高度，并估算出s的变态指标，完成异常数据识别检测。
25.进一步的，所述提取异常数据的特征采用的是随机解耦合的特征分解技术，对异常数据的光谱特性进行有效分解，构建多尺度的异常数据特征分解模型。
26.进一步的，所述随机解耦合的特征分解技术的步骤具体包括：
27.s041：采用孤立森林学习方法，获取异常数据的自相关性分布特性；
28.s042：通过孤立森林方法进行自适应优化，获取异常数据的稀疏异质特征；
29.s043：利用分块信息融合技术，对异常数据进行探测与重建。
30.进一步的，所述异常数据的识别及输出的具体步骤为：
31.s051：根据孤立森林模型的统计分析，从市场营销数据中抽取出具有显著差异的关联特征集；
32.s052：利用关联规则和粗集特征匹配实现市场营销数据的异常识别；
33.s053：构造出了电力市场中异常值的一个统计特征集合，并给出用来描述电力市场中异常值分布的概念函数；
34.s054：在此基础上，利用稀疏特征重构技术，构建一种新的电力市场营销数据的异常属性解析模型；
35.s055：利用频谱特征提取技术，重建电力市场中的电力市场异常信息，获得电力市场中电力市场异常信息的空间线性结构。
36.本发明的有益效果：
37.本发明一种电力营销数据异常识别方法，该方法通过对实时采集的电力营销数据进行分析，能够及时发现异常数据，并对异常数据进行更正和补救，优化系统，该发明实用性强，使用方便，能够极大的提高电力营销的工作效率和准确度，提升客户满意度。
附图说明
38.图1为发明提出的一种电力营销数据异常识别方法的流程图；
39.图2为发明提出的一种电力营销数据异常识别方法的电力营销数据存储结构模型；
40.图3为发明提出的一种电力营销数据异常识别方法的电力营销数据异常识别时域波形；
41.图4为发明提出的一种电力营销数据异常识别方法的电力营销数据异常识别结果。
具体实施方式
42.下面结合附图及实施例描述本发明的具体实施方式：
43.需要说明的是，本说明书所附图中示意的结构，比例，大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰，比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。
44.同时，本说明书中所引用的如“上”，“下”，“左”，“右”，“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
45.如图1～3所示，其示出了本发明的具体实施方式：本发明公开的一种电力营销数据异常识别方法，包括以下步骤：
46.s01：构建统一的数据平台；
47.s02：构建孤立森林模型；
48.s03：基于构建的孤立森林模型完成异常数据识别检测；
49.s04：提取异常数据的特征；
50.s05：异常数据的识别及输出。
51.优选的，所述构建统一的数据平台包括使用大数据建立电力营销服务技术支撑平台，该平台包含市场发展、商业活动、客户服务、工厂运营数据，在平台的核心应用中，具体包括：数据采集服务、数据查询服务、数据搜索服务、分布式离线计算服务、分布式实时计算服务、数据挖掘服务、分布式协调服务、分布式队列监控服务、分布式数据库服务、分布式文档存储服务、数据订阅服务、开发监控服务和集群管理。
52.优选的，所述构建孤立森林模型的步骤具体包括：
53.s021：按照电网信息的尺度，建立基于孤立森林的数据集合d；
54.s022：对数据进行流式处理，按照一定的规律对数据进行排序，选取合适的样本个数作为二叉树的主要数据；
55.s023：对其它样本进行隔离，按照特征性和差异性对样本进行分类，直至每个样本集中仅包含一个样本；
56.s024：以一组随机选取的数值区间作为数据抽取门限，依此划分数据结构，并作为判据进行分析。
57.优选的，所述数据中正常的数据划分为高密度区，反之的数据划分为低密度区，说
明数据中有异常，当检测的结果不能肯定时，再将训练样本分开，再进行分割，直至检测出全部数据。
58.在本发明当中，通过构建异常特征提取与大数据储存结构，采用空间分布式融合规划，构建异常栅格结构，对异常栅格结构进行建模，图2显示了目前的市场销售数据存储结构。
59.在图2中的电力营销数据分层存储结构模型中，与空间分布的融合规划相结合，对电力营销数据展开分层规划和信息融合处理，从而可以构建出电力营销数据的分层权重组合结构模型，其中k＝1,2，。。。，n代表的是资料层数。在此基础上，采用分块融合方法，对电力营销数据进行层次组合规划，得到x＝[x1(k-1)，
…
，xn(k-m)]，对电力营销异常数据进行模糊差分融合，得到n个参数，并保持了对电力营销数据进行层次存储所需的区域模块特性的估计值。然后，利用排序的思想，建立了一种基于电力市场异常数据本体论特征集合。
[0060]
提出一种基于网络模型的基于网络模型的网络模型，该模型对网络模型进行了建模，并对网络模型进行了仿真。在此基础上，针对电力市场中出现的异常数据，采用pca的方法对其进行分类，并对其进行分类。在此基础上，利用异质信息在虚拟空间中的融合，建立多维信息的异质信息分布集合；利用多维信息的语义本体论，建立多维信息的多维信息关联模型，建立多维信息的多维信息关联模型。
[0061]
优选的，所述基于构建的孤立森林模型完成异常数据识别检测的步骤具体包括：
[0062]
s031：清理数据源，剔除重复或相似度高的冗杂数据；
[0063]
s032：把原数据集合d引入到孤立森林模型中，并按照二叉树模型中的根值设置条件，把用电用户的数据相应地放在二叉树的根值上；
[0064]
s033：利用孤立森林的方法对数据进行随机分割，使得数据落入对应的二叉树上的叶片结点；
[0065]
s034：针对信息资料的特点与差异，逐步将资料分开，直至仅包含单一资料的子资料；
[0066]
s035：计算出叶片结点资料到根结点资料之间的距离及等级关系，也就是异常资料s所处的位置；
[0067]
s036：利用标准化公式，计算出各二叉树的平均高度，并估算出s的变态指标，完成异常数据识别检测。
[0068]
在本发明当中，通过模拟试验，对比分析研究成果。主要研究内容包括：基于改进的光谱聚类方法进行异常检测；基于低秩建模方法进行异常检测；基于spark框架进行异常检测。
[0069]
模拟实验环境的设计是：在电力营销数据节点中，提取出的异常特征数目为240，在200m
×
200m，800khz的电流中，对电能销售信息进行检测，在此基础上，进行了120次的多元回归分析，同时在此基础上，对电力市场运行数据进行了仿真，并对其中的不正常信息进行了识别。
[0070]
利用a/d变换，将电力采集到的信号转化成数字信号，再利用matlab建模，对其进行了分析与处理，得到了其在时间上的变化情况。选取如图3所示的电力营销资料，并使用这些资料所含有的不正常资料作了初步的辨识。在此基础上，建立基于多源异构数据的多源多维信息融合方法，并对其进行了分类。
[0071]
通过对图4中显示的结果进行分析，发现5秒后，电力销售数据的输出结果有明显的变化。实践表明，在这种情况下，采用离散森林模型进行异常营销数据的识别，能够有效地识别出异常营销数据，并能够对其进行有效的发现。
[0072]
以异常值的正确率为检验标准，对所提算法的适用性进行了检验。在此基础上，利用改进的谱聚类算法，结合低秩建模，以及spark算法，进行比较试验，以检验所提算法的有效性。
[0073]
随着试验次数的增多，不同的试验方法对电网销售数据的检测精度也随之提高。在三种对比方式中，采用低秩模型与方法所得结果的准确率相当，而采用改进的光谱聚类算法所得结果的准确率更高，达到了0.925。实验结果表明，该算法的准确率在一定程度上有所降低，但其准确率在0.906到0.945之间。通过实例分析，证明了该方法在电力市场中的应用效果。
[0074]
优选的，所述提取异常数据的特征采用的是随机解耦合的特征分解技术，对异常数据的光谱特性进行有效分解，构建多尺度的异常数据特征分解模型。
[0075]
优选的，所述随机解耦合的特征分解技术的步骤具体包括：
[0076]
s041：采用孤立森林学习方法，获取异常数据的自相关性分布特性；
[0077]
s042：通过孤立森林方法进行自适应优化，获取异常数据的稀疏异质特征；
[0078]
s043：利用分块信息融合技术，对异常数据进行探测与重建。
[0079]
优选的，所述异常数据的识别及输出的具体步骤为：
[0080]
s051：根据孤立森林模型的统计分析，从市场营销数据中抽取出具有显著差异的关联特征集；
[0081]
s052：利用关联规则和粗集特征匹配实现市场营销数据的异常识别；
[0082]
s053：构造出了电力市场中异常值的一个统计特征集合，并给出用来描述电力市场中异常值分布的概念函数；
[0083]
s054：在此基础上，利用稀疏特征重构技术，构建一种新的电力市场营销数据的异常属性解析模型；
[0084]
s055：利用频谱特征提取技术，重建电力市场中的电力市场异常信息，获得电力市场中电力市场异常信息的空间线性结构。
[0085]
本发明一种电力营销数据异常识别方法，通过对实时采集的电力营销数据进行分析，能够及时发现异常数据，并对异常数据进行更正和补救，优化系统，该发明实用性强，使用方便，能够极大的提高电力营销的工作效率和准确度，提升客户满意度。
[0086]
上面结合附图对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
[0087]
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

技术特征：
1.一种电力营销数据异常识别方法，包括以下步骤：s01：构建统一的数据平台；s02：构建孤立森林模型；s03：基于构建的孤立森林模型完成异常数据识别检测；s04：提取异常数据的特征；s05：异常数据的识别及输出。2.根据权利要求1所述的一种电力营销数据异常识别方法，其特征在于，所述构建统一的数据平台包括使用大数据建立电力营销服务技术支撑平台，该平台包含市场发展、商业活动、客户服务、工厂运营数据，在平台的核心应用中，具体包括：数据采集服务、数据查询服务、数据搜索服务、分布式离线计算服务、分布式实时计算服务、数据挖掘服务、分布式协调服务、分布式队列监控服务、分布式数据库服务、分布式文档存储服务、数据订阅服务、开发监控服务和集群管理。3.根据权利要求1所述的一种电力营销数据异常识别方法，其特征在于，所述构建孤立森林模型的步骤具体包括：s021：按照电网信息的尺度，建立基于孤立森林的数据集合d；s022：对数据进行流式处理，按照一定的规律对数据进行排序，选取合适的样本个数作为二叉树的主要数据；s023：对其它样本进行隔离，按照特征性和差异性对样本进行分类，直至每个样本集中仅包含一个样本；s024：以一组随机选取的数值区间作为数据抽取门限，依此划分数据结构，并作为判据进行分析。4.根据权利要求3所述的一种电力营销数据异常识别方法，其特征在于，所述数据中正常的数据划分为高密度区，反之的数据划分为低密度区，说明数据中有异常，当检测的结果不能肯定时，再将训练样本分开，再进行分割，直至检测出全部数据。5.根据权利要求1所述的一种电力营销数据异常识别方法，其特征在于，所述基于构建的孤立森林模型完成异常数据识别检测的步骤具体包括：s031：清理数据源，剔除重复或相似度高的冗杂数据；s032：把原数据集合d引入到孤立森林模型中，并按照二叉树模型中的根值设置条件，把用电用户的数据相应地放在二叉树的根值上；s033：利用孤立森林的方法对数据进行随机分割，使得数据落入对应的二叉树上的叶片结点；s034：针对信息资料的特点与差异，逐步将资料分开，直至仅包含单一资料的子资料；s035：计算出叶片结点资料到根结点资料之间的距离及等级关系，也就是异常资料s所处的位置；s036：利用标准化公式，计算出各二叉树的平均高度，并估算出s的变态指标，完成异常数据识别检测。6.根据权利要求1所述的一种电力营销数据异常识别方法，其特征在于，所述提取异常数据的特征采用的是随机解耦合的特征分解技术，对异常数据的光谱特性进行有效分解，构建多尺度的异常数据特征分解模型。
7.根据权利要求6所述的一种电力营销数据异常识别方法，其特征在于，所述随机解耦合的特征分解技术的步骤具体包括：s041：采用孤立森林学习方法，获取异常数据的自相关性分布特性；s042：通过孤立森林方法进行自适应优化，获取异常数据的稀疏异质特征；s043：利用分块信息融合技术，对异常数据进行探测与重建。8.根据权利要求1所述的一种电力营销数据异常识别方法，其特征在于，所述异常数据的识别及输出的具体步骤为：s051：根据孤立森林模型的统计分析，从市场营销数据中抽取出具有显著差异的关联特征集；s052：利用关联规则和粗集特征匹配实现市场营销数据的异常识别；s053：构造出了电力市场中异常值的一个统计特征集合，并给出用来描述电力市场中异常值分布的概念函数；s054：在此基础上，利用稀疏特征重构技术，构建一种新的电力市场营销数据的异常属性解析模型；s055：利用频谱特征提取技术，重建电力市场中的电力市场异常信息，获得电力市场中电力市场异常信息的空间线性结构。

技术总结
本发明公开了一种电力营销数据异常识别方法，包括以下步骤：S01：构建统一的数据平台；S02：构建孤立森林模型；S03：基于构建的孤立森林模型完成异常数据识别检测；S04：提取异常数据的特征；S05：异常数据的识别及输出，该方法通过对实时采集的电力营销数据进行分析，能够及时发现异常数据，并对异常数据进行更正和补救，优化系统，该发明实用性强，使用方便，能够极大的提高电力营销的工作效率和准确度，提升客户满意度。客户满意度。客户满意度。


技术研发人员：党宇 买买提
受保护的技术使用者：国家电网有限公司
技术研发日：2023.04.26
技术公布日：2023/8/6