一种基于时空数据字典库的多维特征更新方法与流程

1.本发明涉及数据处理技术领域，特别是涉及一种基于时空数据字典库的多维特征更新方法。


背景技术：

2.现有技术中为了提高研究目标的应用效果，会进行大规模的实验测试，例如为提升自动驾驶的安全性和舒适性，会对目标车辆进行大规模的自动驾驶测试，进而基于自动驾驶测试结果数据对自动驾驶算法进行优化指导。但是现有的测试覆盖面比较单一，对研究目标的特征的更新无法提供准确且高效的指导。


技术实现要素：

3.为了克服现有技术的不足，本发明的目的是提供一种基于时空数据字典库的多维特征更新方法。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于时空数据字典库的多维特征更新方法，包括：
6.获取研究目标的正常多维传感数据，以建立正常样本数据库；
7.对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；
8.根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；
9.将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。
10.优选地，对所述正常样本数据库中的多维数据进行预处理，得到预处理数据，包括：
11.根据各个正常多维传感数据之间的空间距离构建联系度模型；
12.利用所述联系度模型构建多维数据去噪函数；
13.利用所述多维数据去噪函数去除各个监测点位中多维数据的异常值，生成所述预处理数据。
14.优选地，根据各个正常多维传感数据之间的空间距离构建联系度模型，包括：
15.采用公式：
[0016][0017]
构建联系度模型；其中，σ表示历史时间段内在m点的多维数据传感器与在n点的多维数据传感器之间数据值差的平均值，dis(m,n)表示在m点的多维数据传感器与在n点的多维数据传感器之间的空间距离，r表示预设参数。
[0018]
优选地，利用所述联系度模型构建多维数据去噪函数，包括：
[0019]
利用每个监测点位多维数据的加权值构建去噪阈值；其中，所述去噪阈值为：
[0020][0021]
其中，yi表示多维数据传感器采集的第i个水量值，wi表示yi的加权值；
[0022]
基于去噪阈值和联系度模型构建多维数据去噪函数。
[0023]
优选地，所述水量信息去噪函数为：
[0024][0025]
其中，表示t时刻相应监测点位去噪后的多维数据，x(m,t)表示t时刻在m点多维数据传感器的测量值，x(n,t)表示t时刻在n点多维数据传感器的测量值，ρ表示可调阈值，|nm|表示在同一个监测点位中多维数据传感器的个数，
[0026]
优选地，所述的多维数据相关性特征模型的构建过程为：
[0027]
将所述预处理数据划定固定时间窗口长度l，计算每个时间窗口长度l内多维变量间的相关性系数；
[0028]
利用计算得到的相关性系数建立相关系数矩阵，并确定正常数据时各相关系数阈值；
[0029]
根据相关系数矩阵和所述相关系数阈值建立初始特征模型；
[0030]
利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型。
[0031]
优选地，利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型，包括：
[0032]
通过非局部相似性加权对所述时空数据字典库进行优化，得到优化复原模型；
[0033]
对所述优化复原模型进行求解，并根据求解结果对所述初始特征模型进行边缘修正，得到所述多维数据相关性特征模型。
[0034]
优选地，所述相关系数为pearson相关系数。
[0035]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0036]
本发明提供了一种基于时空数据字典库的多维特征更新方法，包括：获取研究目标的正常多维传感数据，以建立正常样本数据库；对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。本发明能够精准地确定研究目标的异常状态，并且通过时空
数据字典库对多维特征进行精准地更新。
附图说明
[0037]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0038]
图1为本发明实施例提供的方法流程图。
具体实施方式
[0039]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0040]
本发明的目的是提供一种基于时空数据字典库的多维特征更新方法，能够精准地确定研究目标的异常状态，并且通过时空数据字典库对多维特征进行精准地更新。
[0041]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0042]
图1为本发明实施例提供的方法流程图，如图1所示，本发明提供了一种基于时空数据字典库的多维特征更新方法，包括：
[0043]
步骤100：获取研究目标的正常多维传感数据，以建立正常样本数据库；
[0044]
步骤200：对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；
[0045]
步骤300：根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；
[0046]
步骤400：将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。
[0047]
优选地，对所述正常样本数据库中的多维数据进行预处理，得到预处理数据，包括：
[0048]
根据各个正常多维传感数据之间的空间距离构建联系度模型；
[0049]
利用所述联系度模型构建多维数据去噪函数；
[0050]
利用所述多维数据去噪函数去除各个监测点位中多维数据的异常值，生成所述预处理数据。
[0051]
具体的，本实施例中通过多维数据传感器，能够获取研究目标各个监测点位的温度信息；其中，每个监测点位至少具有两个多维数据传感器。
[0052]
优选地，根据各个正常多维传感数据之间的空间距离构建联系度模型，包括：
[0053]
采用公式：
[0054][0055]
构建联系度模型；其中，σ表示历史时间段内在m点的多维数据传感器与在n点的多维数据传感器之间数据值差的平均值，dis(m,n)表示在m点的多维数据传感器与在n点的多维数据传感器之间的空间距离，r表示预设参数。
[0056]
具体的，本发明中，在m点和n点的多维数据传感器为近邻传感器。两传感器的位置越接近，那么两传感器的相关性也越大。因此，本发明根据两传感器间的空间距离来度量它们之间的联系度。在实际应用中，由于传感器会因为自身参数或者环境因素的影响，会使传感器在某一时刻采集的测量值与实际值出现较大的偏差，因此本发明引入了r，来修正传感器因自身参数或者环境因素的影响导致传感器相关性有偏差的问题。在一般情况下，r的取值为1。
[0057]
优选地，利用所述联系度模型构建多维数据去噪函数，包括：
[0058]
利用每个监测点位多维数据的加权值构建去噪阈值；其中，所述去噪阈值为：
[0059][0060]
其中，yi表示多维数据传感器采集的第i个水量值，wi表示yi的加权值；
[0061]
基于去噪阈值和联系度模型构建多维数据去噪函数。
[0062]
具体的，需要说明的是，在本发明中，可参考各个多维数据传感器的型号或者位置来设定wi的值，如果各个多维数据传感器的型号均相同可将wi设为1
[0063]
优选地，所述水量信息去噪函数为：
[0064][0065]
其中，表示t时刻相应监测点位去噪后的多维数据，x(m,t)表示t时刻在m点多维数据传感器的测量值，x(n,t)表示t时刻在n点多维数据传感器的测量值，ρ表示可调阈值，|nm|表示在同一个监测点位中多维数据传感器的个数，
[0066]
可选地，本实施例中，对正常样本数据库中的多维数据进行预处理和实时运行数据预处理，上述预处理均包括以下流程：分类、清洗、转换、时间序列对齐、标准化。具体处理过程如下：
[0067]
分类：按照来自不同传感器终端的数据，将数据归类并进行编号。如噪声数据1为a1、噪声数据2为a2、噪声数据3为a3、温度1为a4、温度2为a5、温度3为a6等。
[0068]
清洗：对传感器确缺失、重复数据进行清洗。对缺失值认为暂时异常，若连续缺失一定时间，认定为事件异常；对重复数据进行删除。
[0069]
转换：将传感器数据转换为相同格式。时间标签转换为相同格式，如01/01/202111:59:00。
[0070]
时间序列对齐：将格式统一后的数据根据时间标签对齐。
[0071]
标准化：不同传感器量程不同，对所有数据进行标准化处理。标准化方法为min-max标准化。
[0072]
优选地，所述的多维数据相关性特征模型的构建过程为：
[0073]
将所述预处理数据划定固定时间窗口长度l，计算每个时间窗口长度l内多维变量间的相关性系数；
[0074]
利用计算得到的相关性系数建立相关系数矩阵，并确定正常数据时各相关系数阈值；
[0075]
根据相关系数矩阵和所述相关系数阈值建立初始特征模型；
[0076]
利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型。
[0077]
优选地，利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型，包括：
[0078]
通过非局部相似性加权对所述时空数据字典库进行优化，得到优化复原模型；
[0079]
对所述优化复原模型进行求解，并根据求解结果对所述初始特征模型进行边缘修正，得到所述多维数据相关性特征模型。
[0080]
具体的，本实施例引入时空数据字典库进行边缘修正，并利用非局部相似性正则项有效提高稀疏分解的稳定性，建立基于字典的超分辨率复原模型。实验结果表明，本方法能够有效提高重建精度，保持良好的边缘信息，无论在主观视觉效果还是在客观评价指标上，较前人工作有一定程度的提高。
[0081]
优选地，所述相关系数为pearson相关系数。
[0082]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
[0083]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于时空数据字典库的多维特征更新方法，其特征在于，包括：获取研究目标的正常多维传感数据，以建立正常样本数据库；对所述正常样本数据库中的多维数据进行预处理，得到预处理数据；根据所述预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；将所述研究目标的实时运行数据预处理后输入至所述多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程，进行下一时刻数据的检测；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若异常数据不属于异常事件，则更新多维数据相关性特征模型。2.根据权利要求1所述的基于时空数据字典库的多维特征更新方法，其特征在于，对所述正常样本数据库中的多维数据进行预处理，得到预处理数据，包括：根据各个正常多维传感数据之间的空间距离构建联系度模型；利用所述联系度模型构建多维数据去噪函数；利用所述多维数据去噪函数去除各个监测点位中多维数据的异常值，生成所述预处理数据。3.根据权利要求2所述的基于时空数据字典库的多维特征更新方法，其特征在于，根据各个正常多维传感数据之间的空间距离构建联系度模型，包括：采用公式：构建联系度模型；其中，σ表示历史时间段内在m点的多维数据传感器与在n点的多维数据传感器之间数据值差的平均值，dis(m,n)表示在m点的多维数据传感器与在n点的多维数据传感器之间的空间距离，r表示预设参数。4.根据权利要求2所述的基于时空数据字典库的多维特征更新方法，其特征在于，利用所述联系度模型构建多维数据去噪函数，包括：利用每个监测点位多维数据的加权值构建去噪阈值；其中，所述去噪阈值为：其中，y
i
表示多维数据传感器采集的第i个水量值，wi表示y
i
的加权值；基于去噪阈值和联系度模型构建多维数据去噪函数。5.根据权利要求4所述的基于时空数据字典库的多维特征更新方法，其特征在于，所述水量信息去噪函数为：其中，表示t时刻相应监测点位去噪后的多维数据，x(m,t)表示t时刻在m点多维数据传感器的测量值，x(n,t)表示t时刻在n点多维数据传感器的测量值，ρ表示可调阈
值，|n
m
|表示在同一个监测点位中多维数据传感器的个数，6.根据权利要求1所述的基于时空数据字典库的多维特征更新方法，其特征在于，所述的多维数据相关性特征模型的构建过程为：将所述预处理数据划定固定时间窗口长度l，计算每个时间窗口长度l内多维变量间的相关性系数；利用计算得到的相关性系数建立相关系数矩阵，并确定正常数据时各相关系数阈值；根据相关系数矩阵和所述相关系数阈值建立初始特征模型；利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型。7.根据权利要求6所述的基于时空数据字典库的多维特征更新方法，其特征在于，利用所述时空数据字典库对所述初始特征模型进行修正，得到所述多维数据相关性特征模型，包括：通过非局部相似性加权对所述时空数据字典库进行优化，得到优化复原模型；对所述优化复原模型进行求解，并根据求解结果对所述初始特征模型进行边缘修正，得到所述多维数据相关性特征模型。8.根据权利要求6所述的基于时空数据字典库的多维特征更新方法，其特征在于，所述相关系数为pearson相关系数。

技术总结
本发明提供了一种基于时空数据字典库的多维特征更新方法包括：获取研究目标的正常多维传感数据，以建立正常样本数据库；对正常样本数据库中的多维数据进行预处理，得到预处理数据；根据预处理数据和预设的时空数据字典库建立多维数据相关性特征模型；将实时运行数据预处理后输入至多维数据相关性特征模型，并对实时运行数据进行分析，判断实时运行数据是否异常，若否，则结束当前检测流程；若是，则将异常数据与预设的异常事件库进行比较判断，若异常数据属于异常事件，则输出判定的异常事件类型，若不属于异常事件，则更新多维数据相关性特征模型。本发明能够精准地确定研究目标的异常状态，并且通过时空数据字典库对多维特征进行精准地更新。行精准地更新。行精准地更新。


技术研发人员：张冬茵 柳杨 雷师 谭静 叶先权
受保护的技术使用者：深圳市房地产和城市建设发展研究中心
技术研发日：2023.07.14
技术公布日：2023/10/19