基于图卷积神经网络自编码器的交通异常检测方法
未命名
09-22
阅读:101
评论:0

1.本发明涉及智慧交通领域,尤其涉及一种基于图神经网络自编码器的交通异常检测方法。
背景技术:
2.随着快速城市化和人口增长,交通网络变得更加复杂,对异常事件检测的需求越来越大。在早期发现异常,甚至在发生前预测异常,对于防止严重事故的发生具有重要价值。因此,智慧交通中异常检测系统具有重要的研究价值,它可以帮助持续监测特定指标,并有效防止可能的异常发生。使用深度学习是检测交通网络中的异常是目前比较先进的手段,利用无监督检测等技术在交通异常赛道来检测复杂的交通网络中的异常,得益于深度学习的异常检测,可以使用日常化的手机就能观测到前方路况是否有异常发生。
3.图卷积网络,主要解决的就是每个传感器中数据和数据之间的关系,通过图卷积每个传感器时刻因为邻居和更远的传感器点的影响而在改变着自己的状态直到最终的平衡,关系越亲近的邻居影响越大。它通过拉普拉斯矩阵的谱分解通过变换,从拓扑结构的图到拉普拉斯矩阵再到谱图这条链路就形成了。因此,图卷积在预测特定节点的类型、两个节点是否有联系、两个(子)网络的相似性有多大有着卓越的效果。通过实验证明,在许多深度学习任务中表现出了突破性的性能。此外,它是模块化的、可扩展的、更强的泛化能力,并探索了指导进一步研究的见解。
4.目前,对于复杂的交通网络,深度学习与交通网络数据有效结合,成为一种有效工具。例如,使用对抗训练,分别捕获不同的特征:最近、长期趋势和外部因素等,用于其他交通动态和异常。有学者采用时空分解,通过分解解决了交通城市中位置和时间变化引起的问题,以及在面对不同数据集时可能出现的异常情况。基于上述研究,也有许多人使用对抗网络、长短期记忆、图神经卷积网络来预测交通网络中异常的设计,这也奠定了本发明的研究基础。
5.现有技术方案存在的不足:
6.1、计算资源限制
7.目前的全球和区域智慧交通应用而言,由于计算资源的限制,短期内在业务中使用高性能的异常检测方法还很难实现。很多方法都是仅限于时间序列的预测,对于视频预测需要大量的计算资源,使用目前的计算资源是很难在秒级单位内计算出来的,所以在模拟时需要花费大量的时间,这样本发明可能会错过重要交通网络的变化。
8.2、不稳定性
9.由于异常检测对于不同数据集的敏感性不同,因此没有一个统一的参数化方案,所以需要根据实时情况来选择不同的参数,这无疑是不合理的。
10.3、交通异常限制
11.目前大多数的交通异常数据集都是不完善的,要么就是不公开的,需要企业级合作,就算是公开的数据集也可能是通过异常注入手段进行,在实际的异常检测实验中只能
通过假设点去判断异常和可能发送异常的路口,更多的异常数据集只有像地图企业才可能掌握。
12.4、数据精度和维度问题
13.尽管现在已经有使用深度习的方法来替代传统的异常交通网络预测,但是现有的数据集没有全面的岔路口和各种交通可能发送的路段考虑,因此达到的精度不够。另外由于高维性、数据稀疏性异常检测非常具有挑战性,更具挑战性的是,如何以捕捉复杂的传感器间关系并检测和解释偏离这些关系的异常的方式。
技术实现要素:
14.针对现有技术之不足,本发明提出一种基于图卷积神经网络自编码器的交通异常检测方法,所述方法具体包括:
15.步骤1:获取nyc taxi数据集,同时在服务器上编写异常注入脚本来构造异常数据,通过对所述数据集注入不同的异常比例,获得不同位置的异常位置数据集,所述异常位置数据集的数据内容是结构化的文本,记录的是出租车的通行信息;
16.步骤2:将所述异常位置数据集按照约定比例划分为训练集x、测试集;
17.步骤3:对所述异常位置数据集进行预处理得到适合参数网络的结构;
18.步骤4:构建所述镜像时域图自编码器,将步骤3预处理后的训练集x送入自编码器网络进行预训练,以调整网络参数,所述镜像时域图自编码器mtgae包括编码器和解码器:
19.所述编码器部分包括依次连接的自适应过程、镜像时域卷积模块、依次级联的图卷积门控循环模块、图嵌入模块和全连接模块,其中,所述镜像时域卷积模块用来预测所述交通空间时间网络中的时间,所述图卷积门控循环模块来预测所述交通空间时间网络的空间以及对异常点进行预测;
20.所述解码器包括双线性插值和全连接网络,用于对所述编码器的输出结果进行解析;
21.步骤5:基于步骤4获取的优化参数训练的所述镜像时域图自编码器,获取网络最优权重,具体包括:
22.步骤51:在将所述训练集x中的原始数据x输入所述镜像时域卷积模块之前,通过一个自适应操作获得动态长度的路段,对不同长度路段做适配处理;
23.步骤52:在所述镜像时域卷积模块中,将适配后的数据作镜像翻转后得到xm,并拼接原始数据x获得2倍特征后,再通过时间卷积网络进行卷积获得隐藏特征,同时将镜像反转后的2倍特征转换为原有的特征长度,从而获得具有原始数据相同维数的隐藏信息h;
24.步骤53:将所述隐藏信息h和原始数据x输入第一个图卷积门控循环模块,依次通过所述图卷积门控循环模块中的高斯核模块和图卷积模块,得到第一时空特征具体的:
25.步骤531:所述高斯核模块通过输入的隐藏信息h获得隐藏异常特征g(h
apt
);高斯模块在一定程度上能够有助于进一步判断当前是否是异常数据。
26.步骤532:将所述隐藏异常特征g(h
apt
)分别输入图卷积1模块和图卷积2模块,通过图卷积1模块和图卷积2模块构建空间特征变量r
(t)
,分别输出更新门s
(t)
和重置门z
(t)
;将所
述隐藏异常特征g(h
apt
)和更新门s
(t)
连接获
27.得高层语义异常特征将所述异常特征与重置门z
(t)
输入图卷积3模块,完成第一次时空特征提取,得到第一时空特征
28.步骤54:将所述第一时空特征和隐藏信息h作为第二个图卷积门控循环模块的输入,模块具有和第一个图卷积门控循环模块的结构一致,提取高层次时空特征语义,完成第二次更高层次的时空特征提取,最终得到第二时空特征
29.步骤55:将所述第二时空特征输入所述编码器的图嵌入模块,所述图嵌入模块包含两个将整数序列映射为低维向量的层和全连接层,将时间信息和空间信息作为输入,然后使用基于矩阵分解的嵌入方法将输入转换为向量表示,并拼接在一起,得到最终的时空嵌入向量
30.步骤56:将所述时空嵌入向量输入所述解码器,所述解码器包含一个双线性插值模块和全连接模块,双线性插值模块根据已有的数据点估计出缺失交通信息,然后对所述时空嵌入向量进行平滑处理,以分析时序数据的变化趋势和异常预测,最后通过全连接模块将估计出的缺失交通信息与时空嵌入向量进行组合,从而得到更准确的预测结果;
31.步骤57:按一个批大小等于256的数据为一次迭代训练网络,不断更新训练网络,判断迭代次数,满足条件则验证模型和保存模型;
32.步骤58:判断是否达到训练迭代总次数,若满足条件则结束训练,否则返回步骤57;
33.步骤59:通过损失函数判断异常点,将预测结果和测试结果作为输入,通过损失函数计算它们之间的差异,并将差异较大的点视为异常点;
34.步骤6:将训练好的网络保存参数,输入测试集进行测试,得到测试结果。
35.与现有技术相比,本发明的有益效果在于:
36.1、传统的历史预测模式虽然简化了预测和检测过程,但是预测和检测过程的计算仍然需要大量的计算资源和计算时间。本发明的深度学习模型数据处理的能力更强大,可以在合理的时间内产生相对准确的结果,在节省大量资源的同时大大提高了计算效率。
37.2、传统的交通异常检测网络可能存在面对不同的时间复杂性和时间复杂性有较大的敏感。本发明的基于图卷积神经网络的自编码器在不同的时间复杂性和空间复杂性的干扰下依然保持优异的auc检测能力。
38.3、传统的交通异常检测需要根据数据集情况(比如地点)选择不同的参数方案。本发明的模型可以根据大量的数据集去拟合预测结果,可以不用选择多种参数化方案,镜像时域卷积模块mtcm之前可以根据数据的分布自适应当前地点的情况。
39.4、相比于其他的深度学习检测交通异常方法,本发明的方法设计了镜像时域卷积模块mtcm和图卷积门控循环模块gcgru cell通过提取交通特征像是速度和流量来预测交
通状况和可能发送的异常,镜像时域卷积模块mtcm之前使用了自适应方法来适应不同的路段通过镜像传入更多的特征给时间卷积模块,通过时间卷积模块获取更多的信息,让网络不断地学习这种交通网络,图卷积门控循环模块gcgru cell使用了高斯核函数模块,让分布更加集中于高维空间,再利用gru架构的特点捕获了隐藏的空间相关性结合图卷积神经网络捕获可能的异常点发生,更加准确,大大提高了预测异常的可靠性。
40.5.本发明的参数化模型是已经经过训练的,而传统的交通预测检测是需要经过在线计算的,因此本发明的参数化模型其预测结果几乎是实时的,特别适用于日常生活中利用时序处理交通在中短期,突发性预报,具有成本低和响应迅速的优点。
附图说明
41.图1是本发明镜像时域图自编码器mtgae的结构示意图;
42.图2是镜像时域卷积模块mtcm和图卷积门控循环模块gcgru cell的结构示意图;
43.图3是检测的2019年1月1号到7号的nyc taxi数据集中异常的热力图;
44.图4是改变空间维度和时间维度对本发明所提出网络镜像时域图自编码器mtgae的auc敏感性变化图;
45.图5是本发明所提出的图卷积的内部结构示意图;
46.图6是nyc taxi数据集中部分数据的可视化显示。
具体实施方式
47.为使本发明的目的、技术方案和优点更加清楚明了,下面结合具体实施方式并参照附图,对本发明进一步详细说明。应该理解,这些描述只是示例性的,而并非要限制本发明的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
48.本发明的mtgae是指:mirror time graph autoencoder镜像时域图自编码器。
49.本发明的mtcm是指:mirror time convolution module镜像时域卷积模块,是镜像时域图自编码器的组成部分之一。
50.本发明的gcgru cell是指:graph convolution gate recurrent unit cell图卷积门控循环模块,是镜像时域图自编码器的组成部分之一。
51.针对现有技术存在的不足,本发明提出一种基于图卷积神经网络自编码器的交通异常检测方法,首先将数据分别传入图卷积门控循环模块gcgru cell和镜像时域卷积模块mtcm,图卷积门控循环模块gcgru cell包括高斯核函数模块和空间特征提取模块图卷积,镜像时域卷积模块mtcm包括了用于镜像处理模块和事件特征提取模块的时间卷积,通过时间卷积的一维卷积和图卷积模块提取重要特征和模拟具体的交通通行过程,镜像时域卷积模块mtcm让网络更好地学习交通网络,图卷积门控循环模块gcgru cell用来检测交通通行过程中的异常情况,gcgru cell中的高斯核模块将数据映射到高维空间再通过门控循环单元的架构,本发明的网络模型能够有效的替换传统模式中的交通异常检测,设计的多个模块协同作用交通网络中的异常点和通行情况,能更好地处理交通网络中的速度、流量、异常点的监测,同时使用较低的计算成本和较短的时间。
52.下面结合附图进行详细说明。
53.图1是本发明镜像时域图自编码器mtgae的结构示意图。如图1所示,本发明的交通异常检测方法主要包括:
54.步骤1:获取nyc taxi数据集,同时在服务器上编写异常注入脚本,通过对数据集注入不同的异常比例,获得不同位置的异常位置数据集,异常位置数据集的数据内容是结构化的文本,记录的是出租车的通行信息。
55.nyc taxi数据集记录的是纽约出租车的通行信息,包括起点、终点的经纬度、时间、乘客数、费用等等,在服务器上编写异常注入脚本,通过对数据集注入不同的异常比例,通过对数据集中时间片段进行不同程度的污染,扩充异常数据。由于实际异常数据较少,基于nyc taxi数据和经典异常脚本方法构造异常数据。
56.步骤2:将异常位置数据集按照约定比例划分为训练集、测试集;如8:2的比例。
57.步骤3:对异常位置数据集进行预处理得到适合参数网络的结构。
58.步骤4:构建镜像时域图自编码器mtgae,将步骤3预处理的训练数据集送入时间空间网络进行预训练,以调整网络参数,得到合适的网络参数,如batchsize等,镜像时域图自编码器mtgae包括编码器和解码器。
59.图2是镜像时域卷积模块mtcm和图卷积门控循环模块gcgru cell的结构示意图。
60.编码器部分依次包括连接的自适应过程、镜像时域卷积模块mtcm、依次级联的图卷积门控循环模块gcgru cell、图嵌入模块和全连接模块,其中,镜像时域卷积模块mtcm用来预测交通空间时间网络中的时间,图卷积门控循环模块gcgru cell来预测交通空间时间网络的空间以及对异常点进行预测。
61.解码器包括双线性插值和全连接网络full connection,用于对编码器的输出结果进行解析。
62.步骤5:基于步骤4获取的优化参数训练的交通空间时间网络,获取网络最优权重等,具体包括:
63.步骤51:在将训练集x中的原始数据x输入镜像时域卷积模块mtcm之前,通过一个自适应操作获得动态长度的路段,对不同长度路段做适配处理。
64.因为所有路段长度不一致,为了适配镜像时域卷积模块mtcm,尤其是内部的小模块,本发明对不同路段的数据进行处理,让镜像时域卷积模块mtcm中的时间卷积模块能够接收到动态的长度的路段,在数据x通过镜像时域卷积模块mtcm前进行一个自适应操作以获得动态长度的路段。其中,镜像时域卷积模块mtcm包括一些激活函数、时间卷积模块。
65.步骤52:在镜像时域卷积模块中,将适配后的原始数据x作镜像翻转后得到xm,并拼接原始特征获得2倍特征后,再通过时间卷积网络进行卷积获得隐藏特征,同时将镜像反转后的2倍特征转换为原有的特征长度,从而再获得具有原始数据维数的隐藏信息h。
66.例如镜像以后特征变为8,原有的特征长度为4。
67.步骤53:将隐藏信息h和原始数据x输入第一个图卷积门控循环模块gcgru cell,依次通过图卷积门控循环模块中的高斯核模块和图卷积模块,得到第一时空特征具体的:
68.步骤531:高斯核模块通过输入的隐藏信息h获得隐藏异常特征g(h
apt
);高斯模块在一定程度上能够有助于进一步判断当前是否是异常数据。
69.步骤532:将隐藏异常特征g(h
apt
)分别输入图卷积1模块和图卷积2模块,通过图卷积1模块和图卷积2模块构建空间特征变量r
(t)
,分别输出更新门s
(t)
和重置门z
(t)
;将隐藏异常特征g(h
apt
)和更新门s
(t)
连接获得高层语
70.义异常特征将异常特征与重置门z
(t)
输入图卷积3模块,完成第一次时空特征提取,得到第一时空特征
71.将异常特征和重置门z
(t)
输入图卷积3模块,能有效地提取时空特征和检测异常,使图卷积门控循环模块具有提取时间和空间特征的能力。
72.第一个图卷积门控循环模块gcgru cell模块将步骤42获得的隐藏信息h作为输入,有助于判断重建后的预测与测试数据中较大的差距的异常。
73.步骤54:将第一时空特征和隐藏信息h作为第二个图卷积门控循环模块的输入,模块具有和第一个图卷积门控循环模块的结构一致,提取高层次时空特征语义,完成第二次更高层次的时空特征提取,最终得到是特征
74.步骤55:将特征输入图嵌入模块,图嵌入模块包含两个将整数序列映射为低维向量的层和全连接层,将时间信息和空间信息作为输入,然后使用基于矩阵分解的嵌入方法将它们转换为向量表示,并将它们拼接在一起,得到最终的时空嵌入向量
75.图嵌入模块可以有效地捕捉时空信息,从而实现更准确和高效的时空预测。
76.在本发明中,时间信息指的是nyc taxi数据集中的部分时间数据包含一周的7天,一天的24小时,这就是本发明的图嵌入要使用两个将整数序列映射为低维向量的层的原因。
77.在本发明中,空间信息指的是nyc taxi数据集中的道路、交叉口等位置信息。最后把图嵌入后得到的节点特征向量通过全连接将节点特征向量映射到一个更高维度的空间以便进行更复杂的计算和异常预测,本发明中的全连接同时处理时间和空间信息,从而得到更准确的交通预测结果,最终得到图1中的至此编码器的部分结束。
78.步骤56:将时空嵌入向量送进解码器,解码器包含一个双线性插值模块和全连接模块,双线性插值模块根据已有的数据点估计出可能缺失交通信息,如道路、交叉路口等,然后对时空嵌入向量进行平滑处理,以便分析时序数据的变化趋势和异常预测,最后通过全连接将估计出的缺失交通信息与时空嵌入向量进行组合,从而得到更准确的预测结果。
79.将编码器所得的特征传入到解码器的一个模块:双线性插值中,根据当前的路段本发明对双线性插值进行了路段自适应,这样本发明的模块应对不同的路段皆有效果,在双线性插值中可以通过当前特征进行预测未知的特征,一方面让可能发生的异常点进行扩大,一方面补齐损失的交通网络中丢失的必要信息。
80.将双线性插值得到的特征传入到最后的全连接模块中,这里本发明也对之前编码
器中全连接层之前对时间进行的步骤在这里进行一次解码,以便全连接模块的传入和后续再此传入模块时可以判断异常点进行保证。
81.步骤57:按一个批大小等于256的数据为一次迭代训练网络,不断更新训练网络,判断迭代次数,满足条件则验证模型和保存模型;
82.步骤58:判断是否达到训练迭代总次数,若满足条件则结束训练,否则返回步骤57;
83.步骤59:通过损失函数判断异常点。将预测结果和测试结果作为输入,通过一定的损失函数计算它们之间的差异,并将差异较大的点视为异常点;
84.步骤6:将训练好的网络保存参数,输入测试集进行测试,得到测试结果。
85.为了更充分证明本发明方法的有效性,将本发明方法和现有的技术方法进行对比,采用的定量评价指标包括:均方根误差rmse,平均绝对误差mae,roc曲线下的面积auc。auc是指真实值与预测值的相关性,它的数值范围为0-1,分数越高,代表预测越准确。mae表示预测值与真实值之间的平均距离,单位与原始数据相同,mae越小,表示模型的预测能力越好。rmse比mae更加重视大误差的存在,rmse越小,表示模型的预测能力越好。
86.图5是本发明所提出的图卷积的内部结构示意图。与传统的图卷积神经网络不同,传统的图卷积神经网络只用到图5上半部分的头邻居结构,而本发明不仅用到了上半部分的头邻居结构,而且还通过它的子节点扩散到子节点的周围邻居节点,下半部分的子邻居结构,进而把图卷积神经网络的推广到更高阶。图6显示了在nyc taxi数据集中要处理的数据难度,对于不同的行车路径来说是分散的,有的可能没有连续性,对于两点之间距离较远的表示的数值较低,对于两点之间距离较近的行车距离在矩阵中数值较高,整体呈现出一个稀疏矩阵的样式,在这个矩阵模式下使用拉普拉斯矩阵的处理方式是较为合理的,本发明也在此基础上进行扩展实验,实验在此基础上的模块作为本发明。
87.为了验证镜像时域图自编码器mtgae的有效性,表1本发明将其与几种现有较新的方法进行比较,具体为层次化自适应方法(ha)、分类树递归方法(rtc)、自编码器方法(ae)、编码解码自编码异常检测方法(encdec-ad)、受限玻尔兹曼机方法(rebm)、深度自编码高斯混合模型方法(dagmm)、图神经网络可扩展邻居聚合方法(graphsage)、图卷积网络方法(gcn)、条件图自编码器方法(con-gae)。本发明在同一个测试数据集上进行了定量比较。镜像时域图自编码器mtgae为本发明的结果。
88.表1和表2显示了本发明提出的mtgae和现有较先进方法的实验结果。不难看出,本发明的方法在不同的异常注入值α、β上获得了auc最高。这意味着本发明的模型具有更高的准确性,并且更接近于观察值。
89.表1不同方法在异常比例γ方面的定量比较
[0090][0091]
表2不同方法在不同异常注入值α、β上的定量比较
[0092][0093]
具体来说,与现有较好的比较网络条件图自编码器方法con-gae相比,在固定α、β的情况下,不同的异常比例γ基本提升了10%,mtgae在不同异常注入值比例的α、β的auc方面分别提高了52.8%,24.5%,1.5%,39%,9.2%,0,0是因为基本没有提升空间了。其中最大的改进是在异常值注入比较少的时候,如β为5%时,提升了52.8%,这表明本发明的自编码器图卷积网络能够很好的识别出复杂交通中的异常点。另外值得注意的是,本发明的模型对auc的改进比条件图自编码器(con-gae)更为明显。这些都表明,本发明在交通网络的异常点识别具有更明显的优势,能更好地反映现实生活中交通速度流量变化和异常位置。
[0094]
表1和表2显示了不同模型实验的平均结果,最后一行显示mtgae在不同的定量指标性(α、β、γ)下的所有评价指标中取得了最佳性能。所有这些说法表明,本发明的mtgae具有更好的二分类能力。
[0095]
表3是本发明的消融实验,在平均绝对误差mae、均方根误差rmse方面的消融实验,以验证本发明的模块:镜像时域卷积模块mtcm、图卷积门控循环模块gcgru cell的作用。可以看到本发明更换生成对抗神经网络(mtgae-gan)、只使用时间卷积不使用镜像(mtgae-ot)、针对时间卷积增加了镜像之后(mtgae-mt)、更换门控循环单元架构为长短期记忆(mtgae-lstm)、在时间卷积增加了镜像的基础上再使用门控循环单元(mtgae-grumt)、更换transformer架构(mtgae-transformer)、更换高斯核模块到gcgru cell中图嵌入后面(mtgae-gb),可以看出mtgae-transformer比较差一些,而本发明的模型有更好的结果。这进一步表明,本发明设计的镜像时域卷积模块mtcm、图卷积门控循环模块gcgru cell在异常检测过程中做出了非常大的贡献。具体来说,当镜像时域卷积模块mtcm、图卷积门控循环模块gcgru cell被移除时,意味着首先在速度和流量的空间模拟和预测上有一定损失,图
卷积门控循环模块gcgru cell的前置高斯核处理可以有效的提供异常检测能力,再加上门控循环单元架构在隐藏空间的特征提取,如果损失以后或使用其他框架代替都是不行的。此外,可以看到在时间卷积增加了镜像的基础上再使用门控循环单元(mtgae-grumt)的能力明显大于更换门控循环单元架构为长短期记忆(mtgae-lstm),评价指标越低越好,说明本发明使用门控循环单元架构架构的有效性。可以得出结论,交通网络中短期内的相互作用的比长期的作用更为关键。实验结果验证了本发明的mtcm和gcgru cell模块可以促使模型剖析交通预测和异常检测的能力。
[0096]
表3本发明在mae、rmse方面的消融实验
[0097][0098]
图3是本发明在nyc taxi数据集上反映真实世界预测的结果。横轴表示时间从0点到23点,纵轴表示日期,右侧尺度的深浅表示交通流量可能发生异常的概率,深色表示有较大概率发生异常,反之较小概率发生异常。可以看出,在2019年1月1日元旦节和1月4日这两天,1月1日下午5点到12点和1月4日上午10点到下午5点的异常概率较大,说明本发明在真实世界中具有较强的异常检测能力。图4是改变空间维度和时间维度对本发明所提出网络镜像时域图自编码器mtgae的auc敏感性变化图。从图4中可以看出:在改变不同的节点嵌入和时间嵌入到本发明的模型中模型的敏感性,以auc发生变化为基础。在节点嵌入中本发明固定时间嵌入,然后该改变节点嵌入参数为25到200,把颗粒度设置到25,固定节点改变时间嵌入也是颗粒度为25,可以看到本发明的auc能力都保持在0.92到1之间。在固定节点嵌入改变时间嵌入也为25到200,那么本发明的模型在颗粒度为25的变化中也依然保持在0.9和1之间,说明大范围的变化并不会改变本发明模型的处理能力,说明一定范围内本发明的模型具有较好的抗敏感性。
[0099]
需要注意的是,上述具体实施例是示例性的,本领域技术人员可以在本发明公开内容的启发下想出各种解决方案,而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白,本发明说明书及其附图均为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。
技术特征:
1.基于图卷积神经网络自编码器的交通异常检测方法,其特征在于,所述方法具体包括:步骤1:获取nyc taxi数据集,同时在服务器上编写异常注入脚本来构造异常数据,通过对所述数据集注入不同的异常比例,获得不同位置的异常位置数据集,所述异常位置数据集的数据内容是结构化的文本,记录的是出租车的通行信息;步骤2:将所述异常位置数据集按照约定比例划分为训练集x和测试集;步骤3:对所述异常位置数据集进行预处理得到适合参数网络的结构;步骤4:构建所述镜像时域图自编码器,将步骤3预处理后的训练集x送入自编码器网络进行预训练,以调整网络参数,所述镜像时域图自编码器包括编码器和解码器:所述编码器部分包括依次连接的自适应过程、镜像时域卷积模块、依次级联的图卷积门控循环模块、图嵌入模块和全连接模块,其中,所述镜像时域卷积模块用来预测所述交通空间时间网络中的时间,所述图卷积门控循环模块来预测所述交通空间时间网络的空间以及对异常点进行预测;所述解码器包括双线性插值和全连接网络,用于对所述编码器的输出结果进行解析;步骤5:基于步骤4获取的优化参数训练的所述镜像时域图自编码器,获取网络最优权重,具体包括:步骤51:在将所述训练集x中的原始数据x输入所述镜像时域卷积模块mtcm之前,通过一个自适应操作获得动态长度的路段,对不同长度路段做适配处理;步骤52:在所述镜像时域卷积模块中,将适配后的数据作镜像翻转后得到x
m
,并拼接原始数据x获得2倍特征后,再通过时间卷积网络进行卷积获得隐藏特征,同时将镜像反转后的2倍特征转换为原有的特征长度,从而获得具有原始数据相同维数的隐藏信息h;步骤53:将所述隐藏信息h和原始数据x输入第一个图卷积门控循环模块=,依次通过所述图卷积门控循环模块中的高斯核模块和图卷积模块,得到第一时空特征具体的:步骤531:所述高斯核模块通过输入的隐藏信息h获得隐藏异常特征g(h
apt
);高斯模块在一定程度上能够有助于进一步判断当前是否是异常数据。步骤532:将所述隐藏异常特征g(h
apt
)分别输入图卷积1模块和图卷积2模块,通过图卷积1模块和图卷积2模块构建空间特征变量r
(t)
,分别输出更新门s
(t)
和重置门z
(t)
;将所述隐藏异常特征g(h
apt
)和更新门s
(t)
连接获得高层语义异常特征将所述异常特征与重置门z
(t)
输入图卷积3模块,完成第一次时空特征提取,得到第一时空特征步骤54:将所述第一时空特征和隐藏信息h作为第二个图卷积门控循环模块的输入,模块具有和第一个图卷积门控循环模块的结构一致,提取高层次时空特征语义,完成第二次更高层次的时空特征提取,最终得到第二时空特征步骤55:将所述第二时空特征输入所述编码器的图嵌入模块,所述图嵌入模块包含两个将整数序列映射为低维向量的层和全连接层,将时间信息和空间信息作为输入,然后使用基于矩阵分解的嵌入方法将输入转换为向量表示,并拼接在一起,得到最终的时空嵌
入向量步骤56:将所述时空嵌入向量输入所述解码器,所述解码器包含一个双线性插值模块和全连接模块,双线性插值模块根据已有的数据点估计出缺失交通信息,然后对所述时空嵌入向量进行平滑处理,以分析时序数据的变化趋势和异常预测,最后通过全连接模块将估计出的缺失交通信息与时空嵌入向量进行组合,从而得到更准确的预测结果;步骤57:按一个批大小等于256的数据为一次迭代训练网络,不断更新训练网络,判断迭代次数,满足条件则验证模型和保存模型;步骤58:判断是否达到训练迭代总次数,若满足条件则结束训练,否则返回步骤57;步骤59:通过损失函数判断异常点,将预测结果和测试结果作为输入,通过损失函数计算它们之间的差异,并将差异较大的点视为异常点;步骤6:将训练好的网络保存参数,输入测试集进行测试,得到测试结果。
技术总结
本发明涉及一种基于图卷积神经网络自编码器的交通异常检测方法,设计一种结合交通异常和深度学习的一维卷积及上下文编码网络,所述网络主要包括镜像时域卷积模块和依次级联的两个图卷积门控循环模块,通过提取交通特征像是速度和流量来预测交通状况和可能发送的异常,在镜像时域卷积模块之前使用了自适应方法来适应不同的路段,通过镜像传入更多的特征给时间卷积模块,通过时间卷积模块获取更多的信息,让网络不断地学习这种交通网络,图卷积门控循环模块使用了高斯核函数模块,让分布更加集中于高维空间,再利用图卷积网络架构的特点捕获了隐藏的空间相关性结合图卷积神经网络捕获可能的异常点发生,更加准确,大大提高了预测异常的可靠性。了预测异常的可靠性。了预测异常的可靠性。
技术研发人员:李孝杰 任治羽 史沧红 吴锡 陈垦 吕建成
受保护的技术使用者:成都信息工程大学
技术研发日:2023.06.25
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/