一种桥梁车辆荷载效应实时孪生方法

1.本发明属于公路桥梁安全监测领域，具体涉及一种桥梁车辆荷载效应实时孪生方法。


背景技术：

2.由于桥梁实际承受的车辆荷载与桥梁规范设计时的荷载情况已有很大的差别，对于按照老版的桥梁规范设计出来的桥梁因其设计荷载水平较低，面临着严重的耐久性和安全性的问题。同时，在实际桥梁交通场景中具有车流量大、车辆种类多、车辆运行随机性强等特点，高效精确地获得车辆荷载流以及交通流车辆荷载的力学作用是桥梁结构性能评估的难点。因此，对车辆荷载的识别并实时孪生判断荷载产生效应对桥梁的结构健康十分重要。
3.为了获得交通场景中的车重信息，引入桥梁动态称重(bridge weigh-in-motion,bwim)。桥梁动态称重相当于把桥梁作为一个“天平”载体，当车辆经过桥梁时，通过一些桥梁的动力响应信号测出车辆的车轴数、车轴重、车速等信息。fred moses率先提出基于最小二乘法的moses算法进行车重反算，使得bwim系统获得了快速的发展。但在实际运用中，得到车辆通过时的对应的响应信号是困难的，因此需要其他方法进行辅助提取。随着计算机技术和人工智能的不断发展，用于目标跟踪的卷积神经网络用来识别车辆时空信息成为一个重要的发展方向。同时由于实际设备产生的时间延迟对传统moses算法影响很大，需要减少时间差并同时选取受时间影响更小的算法，且单独车重无法反映荷载情况，需要转化为更为直观的参数，管理人员也需要通过实时的孪生荷载效应来对桥梁进行及时的评估和分析。


技术实现要素：

4.发明目的：针对以上问题，本发明提出了一种桥梁车辆荷载效应实时孪生方法，该方法通过机器视觉辅助，可以提取对应车辆经过车重反算区域时的响应信号，为车重反算提供了前提；在应变数据记录时间与视频时间同步方面将监控摄像头与应变数据采集仪连接到同源工作站，减少数据传输时间保证实时处理，且采用ntp服务器动态时间校准，使时间实时同步；同时采用对时间匹配要求较低和计算速度快的应变面积法反算车重；最后对车辆信息进行后处理，实时孪生出车辆荷载效应，且计算、保存、处理显示速度快，可以实现实时孪生。
5.技术方案：为实现本发明的目的，本发明提出了一种桥梁车辆荷载效应实时孪生方法，具体包括如下步骤：
6.步骤1：实桥安装应变传感器与摄像头，应变采集仪与摄像头连接至同一台工作站，皆采用ntp服务器实现动态时间校准；
7.步骤2：收集实桥摄像头拍摄图片样本，对图片中的车辆进行标定形成训练样本，并利用训练样本通过yolov5框架进行模型训练，得到训练好的模型用于识别车辆类型；
8.步骤3：通过目标跟踪算法框架deepsort对实际监控画面划分各车道区域和车重反算区域，并得到车辆时间空间信息，包括车速和车辆进出车重反算区域时间；
9.步骤4：通过实桥试验对选定桥梁进行影响线标定，得到实桥各车道的单位车重基准面积a'以及影响线i(y)；
10.步骤5：根据步骤3得到的实际车辆进出车重反算区域时间提取实际应变数据，通过快速傅立叶变换去除噪声影响；
11.步骤6：计算实际车辆产生应变面积a；计算实际车辆车重g＝a/a
′
；提取所需时间段内车辆信息[car]，对车辆按车道分组得到[car]m，其中m为车道号；
[0012]
步骤7：将每个车道内的车辆视为集中力，计算车辆通过车重反算区域与实际应变数据对应的纵向位置向量[y]；由位置向量[y]提取对应的影响线纵坐标向量[i]，计算车辆荷载应变效应；
[0013]
步骤8：得到所取时间段内每个车道每辆车的荷载应变效应后，选取每个车道所有车辆应变数据的平均值或者最大值作为该时间段的荷载效应，通过实时图像孪生展示。
[0014]
进一步的，步骤3中通过目标跟踪算法框架deepsort二次开发实时得到车辆时间空间信息，具体包括：
[0015]
通过目标跟踪算法获取识别到的车辆在监控画面中的像素坐标信息，对应划分区域得到车辆所在车道和进出车重反算区域的时间信息；
[0016]
通过进出车重反算区域的时间差计算得到车速，建立适用于城市桥梁车辆追踪的算法，同时实时保存数据。
[0017]
进一步的，步骤6中计算实际车辆产生应变面积a，公式如下：
[0018][0019]
其中εk为应变数据中第k个应变值，ε
k+1
为应变数据中第k+1个应变值，k为总应变数据数，v为车辆速度，f为应变传感器采集频率。
[0020]
进一步的，步骤7中通过机器视觉得到的车速与应变传感器采集频率计算得到车辆位置向量；车辆通过车重反算区域时间与位置对应关系为：
[0021]
yi＝v
×
i/f
[0022]
其中yi为第i个时刻对应的车辆纵向位置，i为时刻编号，v为车辆通过车重反算区域的平均速度，f为应变传感器的采集频率。
[0023]
进一步的，步骤7中由位置向量[y]提取对应的影响线纵坐标向量[i]，计算车辆荷载应变效应：
[0024]
[ε]＝g
×
[i]
[0025]
其中[ε]为车辆经过车重反算区域的应变矩阵，g为车辆的车重。
[0026]
有益效果：与现有技术相比，本发明技术方案具有以下有益技术效果：
[0027]
本发明提出的一种桥梁车辆荷载效应实时孪生方法，通过机器视觉辅助，可以提取对应车辆经过车重反算区域时的响应信号，为车重反算提供了前提；yolov5目标检测模型识别速度快，检测速度每张图片快至0.007s，可达到每秒140帧的检测速度，速度与精度都能满足实际摄像头画面下车流的识别；监控摄像头与应变数据采集仪连接到同源工作
站，在同一台设备上处理，数据保存本地数据库，减少数据传输时间保证实时处理的同时提高数据传输的稳定性；监控摄像头与应变采集仪皆采用ntp服务器动态时间校准，减少设备的时间差；采用对时间匹配度要求较小的应变面积法计算车重，减小设备时间差的影响；对车辆信息进行后处理，实时得到桥梁车道荷载效应并直观展现，还可与实际应变数据进行比较检验车重反算的准确性；整个方法流程涉及计算简单，无矩阵和迭代运算，计算速度快，可实现车辆荷载效应的实时展示。
附图说明
[0028]
图1是一种实施例下一种桥梁车辆荷载效应实时孪生方法流程图；
[0029]
图2是一种实施例下车辆标定样本图片；
[0030]
图3是一种实施例下车道影响线图片；
[0031]
图4是一种实施例下车辆荷载效应实时孪生图片。
具体实施方式
[0032]
下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0033]
本发明所述的一种桥梁车辆荷载效应实时孪生方法，参考图1，具体包括以下步骤：
[0034]
步骤1：实桥安装应变传感器与摄像头，应变采集仪与摄像头连接至同一台工作站，皆采用ntp服务器实现动态时间校准。
[0035]
基于ntp服务器动态时间校准实现交通监控视频与动态应变监测的时间同步，实现车辆时空信息与应变数据的同步匹配。
[0036]
步骤2：收集实桥监控画面图片，利用labelimg对选定桥梁的实际车辆图片进行标定，车辆类别分为sedan car、mini bus、bus、truck四类，保存为voc格式形成训练样本，标定界面如图2所示。同时利用标定后的训练样本通过yolov5框架进行训练，根据所需要的识别车辆类型进行二次开发，实现在实际监控画面中对所标定的车辆类型的识别。
[0037]
步骤3：通过目标跟踪算法框架deepsort进行二次开发，即对实际监控画面划分区域，划分各车道区域和车重反算区域，本实例中车重反算区域为实桥跨中前后20m距离共40m区域，通过目标跟踪算法获取通过步骤2在监控画面中识别到的车辆在监控画面中的像素坐标信息，对应划分区域得到车辆所在车道和进出车重反算区域的时间信息，通过进出车重反算区域的时间差可计算得到车速，建立适用于城市桥梁车辆追踪的算法。将上述车辆信息保存至mysql数据库。
[0038]
步骤4：通过实桥试验对选定桥梁进行影响线标定，得到实桥各车道的单位车重基准面积a'以及影响线i(y)，基准面积如表1所示，影响线如图3所示，图3中横坐标表示桥梁的纵向位置，跨中位置横坐标为0，横坐标表示影响线纵坐标，为单位车重(1t)产生的应变。
[0039]
表1各车道基准面积表
[0040]
车道号12345678应变计10.99635.20734.67905.04922.80086.41904.51703.2974应变计22.51402.95202.43043.28986.87444.66795.48262.5303
[0041]
步骤5：根据步骤3得到的实际车辆进出车重反算区域时间，通过sql语言实时在应
变采集仪采集到的应变数据库中提取实际应变数据，通过快速傅立叶变换去除噪声影响。由于大型车产生应变效应大，在提取应变方面对识别车型为bus和truck的车辆在提取应变数据后选取最大应变对应时间前后3s的应变数据作为计算应变数据，进一步消除设备时间差的影响。
[0042]
步骤6：计算实际车辆产生应变面积：
[0043][0044]
其中a为实际车辆产生应变面积，εk为应变数据中第k个应变值，ε
k+1
为应变数据中第k+1个应变值，k为总应变数据数，v为车辆速度，f为应变传感器采集频率。
[0045]
步骤7：计算实际车辆车重g并保存至mysql数据库：
[0046][0047]
其中g为实际车重，a为实际车辆产生应变面积，a
′
为基准面积。
[0048]
步骤8：从步骤3和步骤7保存至mysql数据库的车辆信息中提取所需时间段内车辆信息[car]，对车辆按车道分组得到[car]m，其中m为车道号。
[0049]
步骤9：将每个车道内的车辆视为集中力，计算车辆通过车重反算区域与实际应变数据对应的纵向位置向量[y]；车辆通过车重反算区域时间与位置对应关系为：
[0050]
yi＝v
×
i/f
[0051]
其中yi为第i个时刻对应的车辆纵向位置，i为时刻编号，v为车辆通过车重反算区域的平均速度，f为应变传感器的采集频率，由上式计算出车辆的纵向位置向量[y]。
[0052]
步骤10：由位置向量[y]提取对应的影响线纵坐标向量[i]，计算车辆荷载应变效应：
[0053]
[ε]＝g
×
[i]
[0054]
其中[ε]为车辆经过车重反算区域的应变矩阵，g为车辆的车重。
[0055]
步骤11：得到所取时间段内每个车道每辆车的荷载应变效应后，可选取每个车道所有车辆应变数据的绝对值平均值作为该时间段的荷载效应，通过实时图像孪生展示。
[0056]
如图4所示，图中横坐标表示时间，对应一天的24小时，纵坐标表示荷载效应，图4中取车辆应变数据的绝对值平均值作为荷载效应，由图4可直观展示每个时间段车辆经过的荷载效应，方便管理人员和监测人员进行桥梁安全分析，同时加入实际应变数据作为参照进一步加强数据可信度，该图像随时间实时更新，具备高度时效性。

技术特征：
1.一种桥梁车辆荷载效应实时孪生方法，其特征在于，具体包括如下步骤：步骤1：实桥安装应变传感器与摄像头，应变采集仪与摄像头连接至同一台工作站，皆采用ntp服务器实现动态时间校准；步骤2：收集实桥摄像头拍摄图片样本，对图片中的车辆进行标定形成训练样本，并利用训练样本通过yolov5框架进行模型训练，得到训练好的模型用于识别车辆类型；步骤3：通过目标跟踪算法框架deepsort对实际监控画面划分各车道区域和车重反算区域，并得到车辆时间空间信息，包括车速和车辆进出车重反算区域时间；步骤4：通过实桥试验对选定桥梁进行影响线标定，得到实桥各车道的单位车重基准面积a'以及影响线i(y)；步骤5：根据步骤3得到的实际车辆进出车重反算区域时间，在应变采集仪采集到的应变数据库中提取实际应变数据，通过快速傅立叶变换去除噪声影响；步骤6：计算实际车辆产生应变面积a；计算实际车辆车重g＝a/a
′
；提取所需时间段内车辆信息[car]，对车辆按车道分组得到[car]
m
，其中m为车道号；步骤7：将每个车道内的车辆视为集中力，计算车辆通过车重反算区域与实际应变数据对应的纵向位置向量[y]；由位置向量[y]提取对应的影响线纵坐标向量[i]，计算车辆荷载应变效应；步骤8：得到所取时间段内每个车道每辆车的荷载应变效应后，选取每个车道所有车辆应变数据的平均值或者最大值作为该时间段的荷载效应，通过实时图像孪生展示。2.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法，其特征在于，步骤3中通过目标跟踪算法框架deepsort二次开发实时得到车辆时间空间信息，具体包括：通过目标跟踪算法获取识别到的车辆在监控画面中的像素坐标信息，对应划分区域得到车辆所在车道和进出车重反算区域的时间信息；通过进出车重反算区域的时间差计算得到车速，建立适用于城市桥梁车辆追踪的算法，同时实时保存数据。3.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法，其特征在于，步骤6中计算实际车辆产生应变面积a，公式如下：其中ε
k
为应变数据中第k个应变值，ε
k+1
为应变数据中第k+1个应变值，k为总应变数据数，v为车辆速度，f为应变传感器采集频率。4.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法，其特征在于，步骤7中通过机器视觉得到的车速与应变传感器采集频率计算得到车辆位置向量；车辆通过车重反算区域时间与位置对应关系为：y
i
＝v
×
i/f其中y
i
为第i个时刻对应的车辆纵向位置，i为时刻编号，v为车辆通过车重反算区域的平均速度，f为应变传感器的采集频率。5.根据权利要求1所述的一种桥梁车辆荷载效应实时孪生方法，其特征在于，步骤7中由位置向量[y]提取对应的影响线纵坐标向量[i]，计算车辆荷载应变效应：
[ε]＝g
×
[i]其中[ε]为车辆经过车重反算区域的应变矩阵，g为车辆的车重。6.根据权利要求1-5任一所述的一种桥梁车辆荷载效应实时孪生方法，其特征在于，车辆类别分为sedan car、mini bus、bus、truck四类，车辆信息保存至mysql数据库，根据实际车辆进出车重反算区域时间，通过sql语言实时在应变数据库中提取实际应变数据，对识别车型为bus和truck的车辆在提取应变数据后选取最大应变对应时间前后3s的应变数据作为计算应变数据。

技术总结
本发明公开了一种桥梁车辆荷载效应实时孪生方法，包括：首先，通过对YoloV5和DeepSort框架建立适用于城市桥梁车辆追踪的算法；其次，基于NTP服务器动态时间校准实现交通监控视频与动态应变监测的时间同步，实现车辆时空信息与应变数据的同步匹配；再次，建立了基于由快速傅立叶变换去噪的动态应变数据和应变面积法的车重反算算法；最后，将识别到的车辆按车道进行影响线加载分析获得实时结构响应。本发明通过YoloV5机器视觉辅助车辆识别算法，结合智能感知提取车辆通行时产生的实际应变，实现车辆荷载动态识别，并结合结构分析提出了一种荷载效应实时孪生方法，将桥梁车流荷载以应变等直观的形式展现出来。该方法算法简洁，计算速度快，可满足实时孪生要求。可满足实时孪生要求。可满足实时孪生要求。


技术研发人员：周小燚 刘易 高成林 熊文
受保护的技术使用者：东南大学
技术研发日：2023.05.31
技术公布日：2023/9/5