交通数据异常检测方法、装置及交通运维系统与流程
未命名
07-17
阅读:82
评论:0

1.本技术涉及智能交通领域,特别是涉及一种交通数据异常检测方法、交通数据异常检测装置及交通运维系统。
背景技术:
2.城市交通流量日益增加,交通管理对交通数据的需求日趋复杂化和多样化。例如,对过车数据等数据量较大的交通数据,对其及时性要求较高;对于交通违法数据,对其准确性、完整性要求较高。这些需求提高了对城市道路中卡口、电警、相机、检测器、信号机等交通监控设备、交通检测设备的日常运营维护监测的要求。然而,传统的交通设备监测通常需要通过硬件直接接入实现对交通监控和检测设备的硬件故障情况的监控,当交通监控系统复杂,涉及到多种协议的设备或平台时,无法通过直接接入的方式监控设备或平台的工作状态,从而也无法对关联设备进行故障排查和定位,导致无法及时发现关联设备的故障。
3.针对相关技术中存在的无法对交通关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题,目前还没有提出有效的解决方案。
技术实现要素:
4.在本实施例中提供了一种交通数据异常检测方法、交通数据异常检测装置及交通运维系统,以解决相关技术中存在的无法对交通关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题。
5.第一个方面,在本实施例中提供了一种交通数据异常检测方法,所述方法包括:
6.从交管业务系统中获取待检测的交通数据,并提取所述待检测的交通数据的特征信息;
7.基于所述特征信息,确定所述待检测的交通数据是否异常;
8.若所述待检测的交通数据存在异常,则确定所述待检测的交通数据的关联设备存在异常。
9.在其中的一些实施例中,所述特征信息包括连续性特征值、数据量特征值、及时性特征值、完整性特征信息、有效性特征值的至少其中之一,所述基于所述特征信息,确定所述待检测的交通数据是否异常包括;
10.基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常。
11.在其中的一些实施例中,所述连续性特征值对应的检测指标为连续性指标,所述连续性特征值基于待检测的交通数据的不同时段数据上报的时间间隔所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:
12.获取连续性指标,所述连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定;
13.若所述连续性特征值不符合对应时段的所述连续性指标,则确定所述待检测的交通数据存在异常。
14.在其中的一些实施例中,所述获取连续性指标,所述连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定包括:
15.基于所述待检测的交通数据的上报日期,确定所述历史交通数据中与所述上报日期周序日相同的历史上报日期;
16.基于所述历史上报日期,获取对应的历史交通数据;
17.基于所述历史交通数据确定所述连续性指标。
18.在其中的一些实施例中,所述数据量特征值对应的检测指标为数据量指标,所述数据量特征值基于待检测的交通数据不同时段上报的数据量所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:
19.获取数据量指标,所述数据量指标基于历史交通数据不同时段上报的数据量所确定;
20.若所述数据量特征值不符合对应时段的所述数据量指标,则确定所述待检测的交通数据存在异常。
21.在其中的一些实施例中,所述及时性特征值对应的检测指标为及时性指标,所述及时性特征值基于待检测的交通数据的产生时间和入库时间的差值所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:
22.基于预先设置的延时阈值,确定所述及时性指标;
23.若所述及时性特征值不符合所述及时性指标,则确定所述待检测的交通数据存在异常。
24.在其中的一些实施例中,所述完整性特征信息对应的检测指标为完整性指标;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:
25.基于预先确定的交通数据类型,确定所述完整性指标;
26.若所述完整性特征信息不符合所述完整性指标,则确定所述待检测的交通数据存在异常。
27.在其中的一些实施例中,所述有效性特征值对应的检测指标为有效性指标,所述有效性特征值基于待检测的交通数据的有效数据比例所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:
28.基于预先设置的有效性阈值,确定所述有效性指标;
29.若所述有效性特征值不符合所述有效性指标,则确定所述待检测的交通数据存在异常。
30.第二个方面,在本实施例中提供了一种交通数据异常检测装置,所述交通数据异常检测装置包括:
31.获取模块,用于从交管业务系统中获取待检测的交通数据,并提取所述待检测的交通数据的特征信息;
32.第一确定模块,用于基于所述特征信息,确定所述待检测的交通数据是否异常;
33.第二确定模块,用于若所述待检测的交通数据存在异常,则确定所述待检测的交通数据的关联设备存在异常。
34.第三个方面,在本实施例中提供了一种交通运维系统,所述交通运维系统包括:通过数据接入服务访问交管业务系统,并获取待检测的交通数据的接入装置,如上述第一个
方面所述的,对所述待检测的交通数据进行异常检测的交通数据异常检测装置,以及基于检测结果进行告警的告警装置。
35.与相关技术相比,在本实施例中提供的交通数据异常检测方法,通过从交管业务系统中获取待检测的交通数据,并提取待检测的交通数据的特征信息,在不直接与交通设备连接的情况下,获取各交通设备产生的各种交通数据,并提取用于判定数据是否满足要求的特征信息;通过基于特征信息,确定待检测的交通数据是否异常,将特征信息作为判定交通数据是否满足要求的依据;若待检测的交通数据存在异常,则确定待检测的交通数据的关联设备存在异常,通过特征信息是否满足要求来判定对应的关联设备是否存在异常,通过间接的方式对交通设备的工作状态进行检测,解决了相关技术中存在的无法对交通关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题。
36.本技术的一个或多个实施例的细节在以下附图和描述中提出,以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
37.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
38.图1是本技术一些实施例的交通数据异常检测方法的应用环境示意图;
39.图2是本技术一些实施例的交通数据异常检测方法的流程图;
40.图3是本技术一些实施例的基于连续性指标确定交通数据异常的流程图;
41.图4是本技术一些实施例的获取连续性指标的流程图;
42.图5是本技术一些实施例的基于数据量划分时段的示意图;
43.图6是本技术一些实施例的基于数据量指标确定交通数据异常的流程图;
44.图7是本技术一些实施例的基于及时性指标确定交通数据异常的流程图;
45.图8是本技术一些实施例的基于完整性指标确定交通数据异常的流程图;
46.图9是本技术一些实施例的基于有效性指标确定交通数据异常的流程图;
47.图10是本技术一些优选实施例的交通数据异常检测方法的流程图;
48.图11是本技术一些实施例的交通数据异常检测装置的结构框图。
具体实施方式
49.为更清楚地理解本技术的目的、技术方案和优点,下面结合附图和实施例,对本技术进行了描述和说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
50.除另作定义外,本技术所涉及的技术术语或者科学术语应具有本技术所属技术领域具备一般技能的人所理解的一般含义。在本技术中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制,它们可以是单数或者复数。在本技术中所涉及的术语“包括”、“包含”、“具有”及其任何变体,其目的是涵盖不排他的包含;例如,包含一系列步骤或模块(单元)的过程、方法和系统、产品或设备并未限定于列出的步骤或模块(单元),而可包括未列出的步骤或模块(单元),或者可包括这些过程、方法、产品或设备固有的其他步骤或模块(单元)。在本技术中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理
的或机械连接,而可以包括电气连接,无论是直接连接还是间接连接。在本技术中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系,例如,“a和/或b”可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。通常情况下,字符“/”表示前后关联的对象是一种“或”的关系。在本技术中所涉及的术语“第一”、“第二”、“第三”等,只是对相似对象进行区分,并不代表针对对象的特定排序。
51.本技术实施例提供的交通数据异常检测方法,可以应用于如图1所示的应用环境中。其中,运算装置104可以用于实现本技术实施例的交通数据异常检测方法。运算装置104通过数据接入服务访问交管业务系统102,获得交管业务系统102中存储的交通数据。运算装置104可以但不限于是服务器、工作站、个人计算机、智能手机、平板电脑等。交管业务系统102可以但不限于是独立的服务器或者是多个服务器组成的服务器集群来实现。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述应用环境的构成造成限制。例如,交管业务系统102和运算装置104还可包括比图1中所示更多或者更少的组件,或者具有与图1所示出的不同配置。交管业务系统102的交通数据可以存储在本地服务器上,也可以放在云上或其他网络服务器上。
52.运算装置104的控制单元可以包括一个或多个处理器和用于存储数据的存储器,其中,处理器可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置。控制单元还可以包括用于通信功能的传输设备以及输入输出设备,可以通过网络与远程服务器进行通信,并通过远程服务器进行数据处理和存储。
53.在本实施例中提供了一种交通数据异常检测方法,图2是本技术一些实施例的交通数据异常检测方法的流程图,如图2所示,该流程包括如下步骤:
54.步骤s201,从交管业务系统中获取待检测的交通数据,并提取该待检测的交通数据的特征信息。
55.待检测的交通数据可以包括但不限于由卡口、电子警察、相机、检测器等前端设备产生的数据,例如过车数据、违法数据等;以及基于前端设备产生的数据进行分析获取的数据,例如智能二次分析数据等;还可以包括用于对这些数据进行进一步的分析或统计的审核结果数据、设备数据、组织数据等。其中设备数据是指设备自身的编号信息,用于唯一标识与该交通数据对应的设备。组织数据可以是设备所在的组织信息,例如交警二中队等,用于确定该设备的安装位置。审核结果数据可以是对违法数据等进行人工审核的结果。
56.不同类型的交通数据可以具有不同的内容。例如,过车数据可以包括车牌号码、抓拍时间;违法数据可以包括违法事件类型、违法抓拍图片;智能二次分析数据可以包括抓拍图片、智能识别结果等。特征信息是根据该交通数据的类型,以及用户对该类型交通数据的检测需求确定的。例如,对于过车数据来说,特征信息可以是在同一卡口某一时间段内的过车数据产生数量,以确定该卡口是否正常工作;还可以是该过车数据的产生时间与入库时间的间隔,以确定从该卡口到交管业务系统数据库这一传输路径上的关联设备是否对数据进行及时传输。
57.特征信息可以直接从交管业务系统的待检测的交通数据中获取,也可以根据待检测的交通数据进行计算或统计来获取。
58.步骤s202,基于该特征信息,确定待检测的交通数据是否异常。
59.不同的特征信息反映了待检测的交通数据在产生、传输、处理、使用等各环节的真
实状态,因此可以用于判定交通数据是否发生异常。针对不同类型的检测需求,可以结合对应的检测指标对特征信息进行判定,以确定待检测的交通数据是否异常。
60.步骤s203,若待检测的交通数据存在异常,则确定待检测的交通数据的关联设备存在异常。
61.关联设备是用于产生、传输、处理、使用待检测的交通数据的交通设备,与待检测的交通数据之间存在业务上的紧密关系。如果交通数据被判定为异常,则与该交通数据的业务环节存在关联的交通设备也可能存在异常。例如,如果某一时间段内,某一个卡口的过车数据产生的数量异常减少,可以怀疑该卡口设备的抓拍模块,或数据存储模块发生故障;如果该卡口产生的过车数据数量正常,但过车数据的产生时间与入库时间的间隔异常增加,则可以怀疑该卡口到数据库的传输设备是否故障,或传输网络是否中断等。
62.通过上述步骤s201~s203,通过从交管业务系统中获取待检测的交通数据,并提取待检测的交通数据的特征信息,在不直接与交通设备连接的情况下,获取各交通设备产生的各种交通数据,并提取用于判定数据是否满足要求的特征信息;通过基于特征信息,确定待检测的交通数据是否异常,将特征信息作为判定交通数据是否满足要求的依据;若待检测的交通数据存在异常,则确定待检测的交通数据的关联设备存在异常,通过特征信息是否满足要求来判定对应的关联设备是否存在异常,通过间接的方式对交通设备的工作状态进行检测,解决了相关技术中存在的无法对交通关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题。
63.在其中的一些实施例中,特征信息包括连续性特征值、数据量特征值、及时性特征值、完整性特征信息、有效性特征值的至少其中之一,基于特征信息,确定待检测的交通数据是否异常的方法包括:
64.基于特征信息及对应的检测指标,确定待检测的交通数据是否异常。
65.连续性检测可用于但不限于过车、违法数据等连续上报的交通数据。连续性检测可以对多个交通设备对应的设备通道进行实时监测,确定设备通道是否存在长时间未上报数据的现象,例如队列堆积导致无法及时入库的问题。连续性特征值可以是交通数据的上报时间间隔,上报时间间隔可以基于每条数据的上报时间的差值获得。该时间间隔可以根据不同数据类型、不同的设备编号、不同日期、不同时段等多种条件的组合来统计。具体来说,可以根据同一卡口设备在一天内不同时段的过车数据对应的上报时间间隔统计,也可以根据多个卡口设备在同一时段的过车数据的平均上报时间间隔统计。
66.数据量检测可用于但不限于过车、违法数据等单日数据量较大的交通数据。数据量检测可以针对多个交通设备对应的设备通道,进行定期或不定期的数据量统计,以确定该传输通道是否存在数据量异常,例如由于网络中断等故障导致的数据量异常。数据量特征值可以是某设备通道在预设时间范围内的数据量,或者该数据量与历史事件范围内数据量对比所得到的差值、上升或下降比率等。
67.及时性检测可用于过车数据等对数据及时性要求较高的交通数据。及时性检测可以对多个交通设备对应的设备通道进行实时监测,确定该设备通道是否存在数据延时上报的问题。及时性特征值可以是该设备通道的数据生产时间和入库时间差值的实时监测值,也可以是按照时段或数据量分段统计的平均值。
68.完整性检测可用于但不限于违法数据等对完整性要求高的交通数据。完整性检测
可以针对各设备通道进行实时监测以确定交通数据是否完整。完整性特征信息可以包括车牌号码、抓拍时间、事件类型、图片是否正常查看等信息。例如,如果某设备通道发送的交通数据存在关键字段缺失或图片无法正常打开的问题,则认为该通道的交通数据不完整,而获取该交通数据的交通设备可能存在异常。
69.有效性检测可用于但不限于过车数据、违法数据等对有效性要求高的交通数据。有效性是指该交通数据用于事件分析或识别的有效性。例如,在实际应用中,交通前端设备对交通违法现场进行抓拍,获得抓拍图片并发送到交管业务系统;交管业务系统对违法数据中的抓拍图片进行人工审核并记录审核结果,根据审核结果确定数据的有效性。导致数据无效可能的原因包括:设备的抓拍功能异常、抓拍图像质量低、数据传输异常等。有效性特征值可以是设备通道所发送的有效数据量或有效数据比率。
70.上述特征信息可以与对应的检测指标结合,以确定交通数据是否存在异常。检测指标可以是根据需求设定的阈值,例如预先设置及时性阈值,当实时监测到设备通道中的数据生产时间和入库时间的差值大于该及时性阈值时,判定该交通数据存在异常;检测指标可以是根据历史数据统计获得的阈值,例如根据历史数据进行统计,得到连续性阈值,当实时监测到设备通道中的数据上报时间间隔大于该连续性阈值时,判定该交通数据存在异常;检测指标也可以是预先确定的检测标准,例如预先确定完整性检测标准包括车牌号码信息、抓拍时间信息的完整性、抓拍图片能够正常打开等,当实时监测到交通数据不满足该完整性检测标准时,判定该交通数据存在异常。
71.本实施例中的交通数据异常检测方法,通过基于特征信息及对应的检测指标,确定待检测的交通数据是否异常,对交通数据的异常判定给出了明确的判定方式,即根据需求或历史相关数据确定检测指标,根据特征信息与对应检测指标的比较或比对结果确定交通数据是否存在异常,从而判定关联设备是否存在异常,扩充了交通数据关联设备工作状态检测的检测方式。
72.在其中的一些实施例中,连续性特征值对应的检测指标为连续性指标,连续性特征值基于待检测的交通数据的不同时段数据上报的时间间隔所确定。图3是本技术一些实施例的基于连续性指标确定交通数据异常的流程图,如图3所示,该流程包括如下步骤:
73.步骤s301,获取连续性指标,该连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定。
74.在本实施例中,针对待检测交通数据对应的交通设备,可以获取该交通设备的历史交通数据并进行时段划分,该时段划分可以根据数据量的多少分为高峰期和平峰期,也可以根据时间进行划分,例如将一天按小时为单位分为24个时段。获取每个时段内数据上报的时间间隔的平均值,根据该平均值确定连续性指标,例如平均值为1分钟,则连续性指标为小于或等于1分钟。也可以根据该时间间隔的均值μ和标准差σ,确定连续性指标为[μ-nσ,μ+nσ],n可以根据需求设置。
[0075]
步骤s302,若连续性特征值不符合对应时段的连续性指标,则确定待检测的交通数据存在异常。
[0076]
根据连续性指标的阈值或阈值区间,确定连续性特征值是否符合。
[0077]
通过上述步骤s301~s302,通过获取连续性指标,该连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定,明确连续性指标的获取来源和依据;通过根据
连续性指标的阈值或阈值区间,确定连续性特征值是否符合,通过连续性特征值确定交通数据和对应的关联设备是否异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0078]
在其中的一些实施例中,图4是本技术一些实施例的获取连续性指标的流程图,如图4所示,该流程包括如下步骤:
[0079]
步骤s401,基于待检测的交通数据的上报日期,确定历史交通数据中与该上报日期周序日相同的历史上报日期。
[0080]
在实际应用中,交通数据的上报时间连续性在不同日期和不同时段可能存在较大差异。为了更准确地确定连续性指标,可以将上报日期这一因素纳入连续性指标的确定流程中,以更准确地判定交通数据是否异常。上报日期可以在待检测交通数据中获取。
[0081]
周序日相同是指上报日期与历史上报日期同为一周的第几天。例如,在上报日期为周一的情况下,可以获取该设备的历史交通数据中所有周一对应的历史上报日期。
[0082]
步骤s402,基于该历史上报日期,获取对应的历史交通数据。
[0083]
步骤s403,基于该历史交通数据确定连续性指标。
[0084]
根据该历史交通数据的上报时间间隔,确定连续性指标。
[0085]
通过上述步骤s401~s403,通过获取待检测的交通数据的上报日期,确定对应的周序日;通过基于该上报日期,确定历史交通数据中与该上报日期周序日相同的历史上报日期,选择对应的历史上报日期,以避免由于周序日不同导致的数据上报间隔时间的差异;通过基于该历史上报日期,获取对应的历史交通数据,获取连续性指标的数据来源;通过基于该历史交通数据确定连续性指标,提高连续性指标的针对性和准确性。
[0086]
进一步地,在上述步骤s403中,还可以通过高峰期与平峰期的时段划分来分别确定不同时段的连续性指标。这里的高峰期与平峰期通过数据的时间分布趋势来划分。该方法包括如下步骤:
[0087]
步骤s11,基于预设的时间间隔,将上报日期划分为多个微时段;
[0088]
例如,可以以15分钟为一个采样周期,将一天的24个小时划分为多个微时段。
[0089]
步骤s12,基于历史交通数据的数据上报时间,确定该微时段对应的数据量xi;
[0090]
步骤s13,基于微时段的时间顺序和对应的数据量,生成数据量数列;
[0091]
该数据量数列可以表示为{x1,x2,...,xi,...,xn},1≤i≤n。
[0092]
步骤s14,对该数据量数列进行有序聚类分割,得到至少两个数据段;
[0093]
可以使用fisher有序样本聚类法或其他有序聚类分割方法,对该数据量数列进行有序聚类分割,得到k个数据段,k≥2。有序聚类分割可以在实现数据分类的同时不打乱数据的排列顺序。在本实施例中不打乱按照时间顺序排列的数据。
[0094]
步骤s15,基于至少两个数据段中的数据量对应的微时段,确定对应的时段;
[0095]
图5为本技术一些实施例的基于数据量划分时段的示意图,如图5所示,根据不同时段的上报数据量,将一天的24小时划分为6个时段,基于每个时段的数据上报时间间隔的均值,确定该时段对应的连续性指标。
[0096]
步骤s16,基于该时段对应的历史交通数据的上报时间间隔,确定该时段的连续性指标。
[0097]
通过上述步骤s11~s16,通过统计与上报日期对应的历史交通数据的数据量,获
取时段划分依据;通过按照数据量划分不同时段,避免由于时段不同导致的数据连续性的差异,影响连续性指标的准确性;通过基于该时段对应的历史交通数据的上报时间间隔,确定该时段的连续性指标,提高了判定交通数据以及相关交通设备是否异常的准确性。
[0098]
在其中的一些实施例中,数据量特征值对应的检测指标为数据量指标,数据量特征值基于待检测的交通数据不同时段上报的数据量所确定。图6是本技术一些实施例的基于数据量指标确定交通数据异常的流程图,如图6所示,该流程包括如下步骤:
[0099]
步骤s601,获取数据量指标,该数据量指标基于历史交通数据不同时段上报的数据量所确定。
[0100]
在本实施例中,针对待检测交通数据对应的交通设备,可以获取该交通设备在相同周序日的历史交通数据,或进一步进行时段划分,经统计获得对应的历史交通数据在相同周序日、相同时段的数据量。根据该数据量的均值计算得到数据量指标,该指标可以是阈值或阈值区间。
[0101]
步骤s602,若数据量特征值不符合对应时段的该数据量指标,则确定待检测的交通数据存在异常。
[0102]
根据该数据量指标的阈值或阈值区间,确定数据量特征值是否符合。
[0103]
通过上述步骤s601~s602,通过获取数据量指标,该数据量指标基于历史交通数据不同时段上报的数据量所确定,明确数据量指标的获取来源和依据;通过若数据量特征值不符合对应时段的该数据量指标,则确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0104]
在其中的一些实施例中,及时性特征值对应的检测指标为及时性指标,及时性特征值基于待检测的交通数据的产生时间和入库时间的差值所确定。图7是本技术一些实施例的基于及时性指标确定交通数据异常的流程图,如图7所示,该流程包括如下步骤:
[0105]
步骤s701,基于预先设置的延时阈值,确定及时性指标。
[0106]
实际应用中可以根据需求设置延时阈值,将该延时阈值作为及时性指标。及时性特征值可以等于交通数据的产生时间和入库时间的差值。
[0107]
步骤s702,若及时性特征值不符合该及时性指标,则确定待检测的交通数据存在异常。
[0108]
当及时性特征值大于及时性指标时,确定待检测的交通数据存在异常;或者当及时性特征值为负值时,说明前端设备未进行时间校正,也可以确定交通数据存在异常,并触发该通道报警,提醒该设备进行时间校正。
[0109]
通过上述步骤s701~s702,通过基于预先设置的延时阈值,确定及时性指标,明确及时性指标的获取来源和依据;通过若及时性特征值不符合该及时性指标,则确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0110]
在其中的一些实施例中,完整性特征信息对应的检测指标为完整性指标。图8是本技术一些实施例的基于完整性指标确定交通数据异常的流程图,如图8所示,该流程包括如下步骤:
[0111]
步骤s801,基于预先确定的交通数据类型,确定完整性指标。
[0112]
实际应用中,可以根据需求定义完整性指标,例如车牌号码、抓拍时间、事件类型、
图片是否正常查看等交通数据类型的信息是否完整。当其中的任何一种信息缺失或无法获取时,确定完整性特征信息不符合该完整性指标。
[0113]
步骤s802,若完整性特征信息不符合该完整性指标,则确定待检测的交通数据存在异常。
[0114]
通过上述步骤s801~s802,通过基于预先确定的交通数据类型,确定完整性指标,明确完整性指标的获取来源和依据;通过若完整性特征信息不符合该完整性指标,则确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0115]
在其中的一些实施例中,有效性特征值对应的检测指标为有效性指标,有效性特征值基于待检测的交通数据的有效数据比例所确定。图9是本技术一些实施例的基于有效性指标确定交通数据异常的流程图,如图9所示,该流程包括如下步骤:
[0116]
步骤s901,基于预先设置的有效性阈值,确定有效性指标。
[0117]
实际应用中可以根据需求设置有效性阈值,将该有效性阈值作为有效性指标。有效性特征值可以等于该通道交通数据中有效数据量与总数据量的比值。例如,检测各通道违法数据总数量和人工审核通过的数据量,计算获得有效违法数据比例;例如检测各通道过车数据总数量和智能二次分析成功数据量,计算获得分析成功数据比例。
[0118]
步骤s902,若有效性特征值不符合该有效性指标,则确定待检测的交通数据存在异常。
[0119]
当有效性特征值小于有效性指标时,确定待检测的交通数据存在异常。
[0120]
通过上述步骤s901~s902,通过基于预先设置的有效性阈值,确定有效性指标,明确有效性指标的获取来源和依据;通过若有效性特征值不符合该有效性指标,则确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0121]
下面通过优选实施例对本实施例进行描述和说明。
[0122]
图10是本优选实施例的交通数据异常检测方法的流程图。如图10所示,该流程包括如下步骤:
[0123]
步骤s1001,从交管业务系统中获取待检测的交通数据,交通数据不限于过车数据、违法数据、智能二次分析数据、审核结果、设备/组织数据,获取的形式不限于业务平台对接、数据库对接等形式;
[0124]
步骤s1002,获取历史交通数据中与待检测交通数据周序日相同的日期;
[0125]
步骤s1003,获取该日期对应的历史交通数据;
[0126]
步骤s1004,基于历史交通数据中每个时段对应的数据量,通过fisher有序样本聚类法将日期划分为多个时段;
[0127]
步骤s1005,获取每个时段对应的数据上报时间间隔均值μ1和标准差σ1,确定该时段对应的连续性指标为[μ1-3σ1,μ1+3σ1];
[0128]
步骤s1006,根据该时段划分方式,统计待检测交通数据在每个时段中的上报时间间隔,作为连续性特征值;
[0129]
步骤s1007,在连续性特征值未落入对应时段的连续性指标[μ1-3σ1,μ1+3σ1]范围的情况下,确定待检测的交通数据存在异常;
[0130]
步骤s1008,统计历史交通数据中与待检测交通数据上报日期周序日相同的日期对应的数据量均值μ2和标准差σ2,确定数据量指标为[μ2-3σ2,μ2+3σ2];
[0131]
步骤s1009,统计待检测交通数据的上报日期当日数据量,作为数据量特征值;
[0132]
步骤s1010,在数据量特征值未落入数据量指标[μ2-3σ2,μ2+3σ2]范围的情况下,确定待检测的交通数据存在异常;
[0133]
步骤s1011,确定交通数据的及时性指标为预先设置的延时阈值;
[0134]
步骤s1012,统计待检测交通数据的数据产生时间和入库时间间隔的差值作为及时性特征值;
[0135]
步骤s1013,在差值大于延时阈值的情况下,确定待检测的交通数据存在异常;
[0136]
步骤s1014,确定交通数据的完整性指标包括车牌号码、抓拍时间、事件类型、图片是否正常查看四项信息中任一信息的完整性;
[0137]
步骤s1015,检测待检测交通数据的上述四项信息;
[0138]
步骤s1016,在四项信息中任一项不完整的情况下,确定待检测的交通数据存在异常;
[0139]
步骤s1017,确定交通数据的有效性指标为预先设置的有效性阈值;
[0140]
步骤s1018,统计待检测交通数据的有效数据量和总数据量的比值作为有效性特征值;
[0141]
步骤s1019,在比值小于有效性阈值的情况下,确定待检测的交通数据存在异常;
[0142]
步骤s1020,根据步骤s1007、s1010、s1013、s1016、s1019的任一判定结果,确定待检测的交通数据的关联设备存在异常。
[0143]
通过上述步骤s1001至s1020,通过与交管业务系统数据对接获取待检测的交通数据,在不直接与交通设备连接的情况下获取异常数据判定的数据来源;通过获取与待检测交通数据相同周序日的历史交通数据,并划分时段进行统计,获取对应的连续性指标,并根据该时段划分对应获取待检测交通数据的连续性特征值,将两者进行对应比较,提高了异常数据判定的准确性;通过基于预先设置的及时性、完整性、有效性指标对特征值进行检测,扩充了异常数据判定的方式;通过间接的方式对交通设备的工作状态进行检测,解决了相关技术中存在的无法对交通关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题。
[0144]
需要说明的是,在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
[0145]
在一些实施例中,本技术还提供了一种交通数据异常检测装置,该交通数据异常检测装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。
[0146]
在一些实施例中,图11是本实施例的交通数据异常检测装置的结构框图,如图11所示,该装置包括:
[0147]
获取模块1101,用于从交管业务系统中获取待检测的交通数据,并提取待检测的交通数据的特征信息;
[0148]
第一确定模块1102,用于基于特征信息,确定待检测的交通数据是否异常;
[0149]
第二确定模块1103,用于若待检测的交通数据存在异常,则确定待检测的交通数据的关联设备存在异常。
[0150]
本实施例中的交通数据异常检测装置,通过获取模块1101从交管业务系统中获取待检测的交通数据,并提取待检测的交通数据的特征信息,在不直接与交通设备连接的情况下,获取各交通设备产生的各种交通数据,并提取用于判定数据是否满足要求的特征信息;通过第一确定模块1102基于特征信息,确定待检测的交通数据是否异常,将特征信息作为判定交通数据是否满足要求的依据;若待检测的交通数据存在异常,则通过第二确定模块1103确定待检测的交通数据的关联设备存在异常,通过特征信息是否满足要求来判定对应的关联设备是否存在异常,通过间接的方式对交通设备的工作状态进行检测,解决了相关技术中存在的无法对交通关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题。
[0151]
在一些实施例中,特征信息包括连续性特征值、数据量特征值、及时性特征值、完整性特征信息、有效性特征值的至少其中之一,第一确定模块包括确定子模块,确定子模块用于基于特征信息及对应的检测指标,确定待检测的交通数据是否异常。
[0152]
本实施例中的交通数据异常检测装置,通过确定子模块基于特征信息及对应的检测指标,确定待检测的交通数据是否异常,对交通数据的异常判定给出了明确的判定方式,即根据需求或历史相关数据确定检测指标,根据特征信息与对应检测指标的比较或比对结果确定交通数据是否存在异常,从而判定关联设备是否存在异常,扩充了交通数据关联设备工作状态检测的检测方式。
[0153]
在一些实施例中,连续性特征值对应的检测指标为连续性指标,连续性特征值基于待检测的交通数据的不同时段数据上报的时间间隔所确定;确定子模块包括第一获取单元和第一确定单元,第一获取单元用于获取连续性指标,该连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定,第一确定单元用于若连续性特征值不符合对应时段的连续性指标,则确定待检测的交通数据存在异常。
[0154]
本实施例中的交通数据异常检测装置,通过第一获取单元获取连续性指标,该连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定,明确连续性指标的获取来源和依据;通过第一确定单元根据连续性指标的阈值或阈值区间,确定连续性特征值是否符合,通过连续性特征值确定交通数据和对应的关联设备是否异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0155]
在一些实施例中,第一获取单元包括第一确定子单元、获取子单元和第二确定子单元,第一确定子单元用于基于待检测的交通数据的上报日期,确定历史交通数据中与该上报日期周序日相同的历史上报日期,获取子单元用于基于该历史上报日期,获取对应的历史交通数据,第二确定子单元用于基于该历史交通数据确定连续性指标。
[0156]
本实施例中的交通数据异常检测装置,通过第一确定子单元获取待检测的交通数据的上报日期,确定对应的周序日;通过基于该上报日期,确定历史交通数据中与该上报日期周序日相同的历史上报日期,选择对应的历史上报日期,以避免由于周序日不同导致的数据上报间隔时间的差异;通过获取子单元基于该历史上报日期,获取对应的历史交通数据,获取连续性指标的数据来源;通过第二确定子单元基于该历史交通数据确定连续性指标,提高连续性指标的针对性和准确性。
[0157]
在一些实施例中,数据量特征值对应的检测指标为数据量指标,数据量特征值基于待检测的交通数据不同时段上报的数据量所确定。确定子模块包括第二获取单元和第二确定单元,第二获取单元用于获取数据量指标,该数据量指标基于历史交通数据不同时段上报的数据量所确定,第二确定单元用于若数据量特征值不符合对应时段的该数据量指标,则确定待检测的交通数据存在异常。
[0158]
本实施例中的交通数据异常检测装置,通过第二获取单元获取数据量指标,该数据量指标基于历史交通数据不同时段上报的数据量所确定,明确数据量指标的获取来源和依据;若数据量特征值不符合对应时段的该数据量指标,则通过第二确定单元确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0159]
在一些实施例中,及时性特征值对应的检测指标为及时性指标,及时性特征值基于待检测的交通数据的产生时间和入库时间的差值所确定。确定子模块包括第三获取单元和第三确定单元,第三获取单元用于基于预先设置的延时阈值,确定及时性指标,第三确定单元用于若及时性特征值不符合该及时性指标,则确定待检测的交通数据存在异常。
[0160]
本实施例中的交通数据异常检测装置,通过第三获取单元基于预先设置的延时阈值,确定及时性指标,明确及时性指标的获取来源和依据;若及时性特征值不符合该及时性指标,则通过第三确定单元确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0161]
在一些实施例中,完整性特征信息对应的检测指标为完整性指标。确定子模块包括第四获取单元和第四确定单元,第四获取单元用于基于预先确定的交通数据类型,确定完整性指标,第四确定单元用于若完整性特征信息不符合该完整性指标,则确定待检测的交通数据存在异常。
[0162]
本实施例中的交通数据异常检测装置,通过第四获取单元基于预先确定的交通数据类型,确定完整性指标,明确完整性指标的获取来源和依据;若完整性特征信息不符合该完整性指标,则通过第四确定单元确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0163]
在一些实施例中,确定子模块包括第五获取单元和第五确定单元,第五获取单元用于基于预先设置的有效性阈值,确定有效性指标,第五确定单元用于若有效性特征值不符合该有效性指标,则确定待检测的交通数据存在异常。
[0164]
本实施例中的交通数据异常检测装置,通过第五获取单元基于预先设置的有效性阈值,确定有效性指标,明确有效性指标的获取来源和依据;通过第五确定单元若有效性特征值不符合该有效性指标,则确定待检测的交通数据存在异常,扩充了交通数据关联设备工作状态检测的检测方式,提高了检测效率。
[0165]
在一些实施例中,本技术还提供了一种交通运维系统,该交通运维系统包括:通过数据接入服务访问交管业务系统,并获取待检测的交通数据的接入装置,上述实施例中的对待检测的交通数据进行异常检测的交通数据异常检测装置,以及基于检测结果进行告警的告警装置。
[0166]
本实施例中的交通运维系统,通过接入装置访问交管业务系统,在不直接与交通设备连接的情况下,获取各交通设备产生的各种交通数据;通过交通数据异常检测装置从
交通数据中提取待检测数据的特征信息和对应的历史数据,基于特征信息,确定待检测的交通数据是否异常,进而确定关联的交通设备是否发生异常;通过告警装置产生对应的告警信号,提示对确定发生异常的关联交通设备进行维护。
[0167]
此外,结合上述实施例中提供的交通数据异常检测方法,在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种交通数据异常检测方法。
[0168]
需要说明的是,在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,在本实施例中不再赘述。
[0169]
应该明白的是,这里描述的具体实施例只是用来解释这个应用,而不是用来对它进行限定。根据本技术提供的实施例,本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例,均属本技术保护范围。
[0170]
显然,附图只是本技术的一些例子或实施例,对本领域的普通技术人员来说,也可以根据这些附图将本技术适用于其他类似情况,但无需付出创造性劳动。另外,可以理解的是,尽管在此开发过程中所做的工作可能是复杂和漫长的,但是,对于本领域的普通技术人员来说,根据本技术披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段,不应被视为本技术公开的内容不足。
[0171]“实施例”一词在本技术中指的是结合实施例描述的具体特征、结构或特性可以包括在本技术的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例,也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是,本技术中描述的实施例在没有冲突的情况下,可以与其它实施例结合。
[0172]
以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对专利保护范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
技术特征:
1.一种交通数据异常检测方法,其特征在于,所述方法包括:从交管业务系统中获取待检测的交通数据,并提取所述待检测的交通数据的特征信息;基于所述特征信息,确定所述待检测的交通数据是否异常;若所述待检测的交通数据存在异常,则确定所述待检测的交通数据的关联设备存在异常。2.根据权利要求1所述的方法,其特征在于,所述特征信息包括连续性特征值、数据量特征值、及时性特征值、完整性特征信息、有效性特征值的至少其中之一,所述基于所述特征信息,确定所述待检测的交通数据是否异常包括;基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常。3.根据权利要求2所述的方法,其特征在于,所述连续性特征值对应的检测指标为连续性指标,所述连续性特征值基于待检测的交通数据的不同时段数据上报的时间间隔所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:获取连续性指标,所述连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定;若所述连续性特征值不符合对应时段的所述连续性指标,则确定所述待检测的交通数据存在异常。4.根据权利要求3所述的方法,其特征在于,所述获取连续性指标,所述连续性指标基于历史交通数据的不同时段数据上报的时间间隔所确定包括:基于所述待检测的交通数据的上报日期,确定所述历史交通数据中与所述上报日期周序日相同的历史上报日期;基于所述历史上报日期,获取对应的历史交通数据;基于所述历史交通数据确定所述连续性指标。5.根据权利要求2所述的方法,其特征在于,所述数据量特征值对应的检测指标为数据量指标,所述数据量特征值基于待检测的交通数据不同时段上报的数据量所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:获取数据量指标,所述数据量指标基于历史交通数据不同时段上报的数据量所确定;若所述数据量特征值不符合对应时段的所述数据量指标,则确定所述待检测的交通数据存在异常。6.根据权利要求2所述的方法,其特征在于,所述及时性特征值对应的检测指标为及时性指标,所述及时性特征值基于待检测的交通数据的产生时间和入库时间的差值所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:基于预先设置的延时阈值,确定所述及时性指标;若所述及时性特征值不符合所述及时性指标,则确定所述待检测的交通数据存在异常。7.根据权利要求2所述的方法,其特征在于,所述完整性特征信息对应的检测指标为完整性指标;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:基于预先确定的交通数据类型,确定所述完整性指标;
若所述完整性特征信息不符合所述完整性指标,则确定所述待检测的交通数据存在异常。8.根据权利要求2所述的方法,其特征在于,所述有效性特征值对应的检测指标为有效性指标,所述有效性特征值基于待检测的交通数据的有效数据比例所确定;所述基于所述特征信息及对应的检测指标,确定所述待检测的交通数据是否异常包括:基于预先设置的有效性阈值,确定所述有效性指标;若所述有效性特征值不符合所述有效性指标,则确定所述待检测的交通数据存在异常。9.一种交通数据异常检测装置,其特征在于,所述交通数据异常检测装置包括:获取模块,用于从交管业务系统中获取待检测的交通数据,并提取所述待检测的交通数据的特征信息;第一确定模块,用于基于所述特征信息,确定所述待检测的交通数据是否异常;第二确定模块,用于若所述待检测的交通数据存在异常,则确定所述待检测的交通数据的关联设备存在异常。10.一种交通运维系统,其特征在于,所述交通运维系统包括:通过数据接入服务访问交管业务系统,并获取待检测的交通数据的接入装置,如权利要求9所述的,对所述待检测的交通数据进行异常检测的交通数据异常检测装置,以及基于检测结果进行告警的告警装置。
技术总结
本申请涉及一种交通数据异常检测方法、装置和交通运维系统,该方法包括:从交管业务系统中获取待检测的交通数据,并提取所述待检测的交通数据的特征信息;基于所述特征信息,确定所述待检测的交通数据是否异常;若所述待检测的交通数据存在异常,则确定所述待检测的交通数据的关联设备存在异常,通过间接的方式对交通设备的工作状态进行检测,解决了相关技术中存在的无法对交通数据关联设备的异常工作状态进行检测,导致无法及时发现关联设备故障的问题。的问题。的问题。
技术研发人员:首浪 陈明珠 郑慧娟 陈昆宁 吴益平 李汉涛 马俊 李亿村 米倩男
受保护的技术使用者:浙江大华技术股份有限公司
技术研发日:2022.12.16
技术公布日:2023/7/5
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/