一种基于高性能时序数据库的桥梁在线健康监测系统

1.本发明属于大跨度桥梁健康监测领域，具体涉及一种基于高性能时序数据库的桥梁在线健康监测系统。


背景技术：

2.大跨度桥梁健康监测是指对大桥全桥进行健康监控，在大桥上安装相应仪器设备对桥梁主要结构特征参数进行监测，并通过数据传输至监控中心终端系统进行动态数据整合和分析，并对桥梁运行状况进行评估，有效保证桥梁健康安全运行。
3.数据库是桥梁监测系统的中枢，起着接收数据、数据存储与管理，并为数据分析提供实时分析接口的功能，对于长期运营的大跨度桥梁，为了满足实现的数据分析和评估，数据库的性能(如查询速度、稳定性，多接口、易用性等)是重中之重。现有的中心数据库多采用关系型数据库，如oracle，sqlserver等等。此类数据库具有数据存储量大、易于并行存储和迁移等优点，但对于大跨桥梁长期积累的海量数据，查询速度极慢，数据冗杂且无效数据过多，运营成本高。难以满足在线数据分析和评估，从而无法对决策者提供实时的预警功能。


技术实现要素：

4.本发明所为了解决背景技术中存在的技术问题，目的在于提供了一种基于高性能时序数据库的桥梁在线健康监测系统，以解决传统桥梁长期监测方案中存在的海量数据处理速度过慢、硬件成本高、软件开发难度大、离线分析与评估预警时效性低等问题，实现自动化的在线健康监测。
5.为了解决技术问题，本发明的技术方案是：
6.一种基于高性能时序数据库的桥梁在线健康监测系统，所述系统包括：桥梁现场采集与无线传输模块、中心数据库模块和数据在线处理分析与评估模块；
7.所述桥梁现场采集与无线传输模块：采用分布式测控技术，每个传感器均与智能调理器直接相连，将传感器模拟信号或数字信号转换为符合国际标准协议的以太网信号，并对采集到的数据信号进行解码和发包，根据tcp/ip协议与中心数据库模块进行无线数据传输；
8.所述中心数据库模块：采用高性能时序数据库tdengine，对上述实时传输的数据进行自动归档入库，并能够根据用户需求进行数据压缩、信息提取和融合；
9.所述数据在线处理分析与评估模块：用于对中心数据库模块中存储的监测数据进行在线数据异常检测、数据清洗、降噪、滤波预处理，并采用多种模态识别方法对桥梁运营模态进行识别，根据预先设定的评估标准对桥梁运营状态进行实时评估，并能够自动发出预警。
10.进一步，所述桥梁现场采集与无线传输模块具体用于：利用分布式测控技术，传感器均与智能调理器直接相连，将传感器模拟信号或数字信号转换为符合国际标准协议的以
太网信号，外场数据采集站中的工控机对采集到的信号进行解码和发包，发包的数据按不同传感器类型或采集设备类型分组，并按一定时间间隔组包，根据tcp/ip协议与中心数据库模块进行无线数据传输。
11.进一步，所述中心数据库模块的数据表分为超级表与子表两种，超级表用于定义“标签”，如传感器编码、传感器位置和桥梁编码；子表用于存储监测数据，包括：主键即时间戳与数据列；在系统设计中，为了保证灵活性，每一张子表均仅存储一个传感器的一种具体监测内容数据，如对于温湿度传感器，分别设计两张子表，用以分开存储温度数据与湿度数据；在数据表命名方面，超级表命名规则为：结构物id_具体监测内容id，即将所有的传感器按所属结构物与监测内容分类；子表命名规则为：结构物id_传感器id_具体监测内容id。
12.进一步，所述中心数据库模块预留数据分析接口，采用python语言调用中心数据库的数据接口，采用机器学习和深度学习智能算法开发一系列数据预处理和分析程序，对于数据分析结果存入新的数据子表；
13.所述中心数据库预模块留评估子系统接口，根据预先设定的黄色预警和红色预警阈值对桥梁运营状态进行实施评估，达到在线健康监测的目的。
14.进一步，所述数据在线处理分析与评估模块包括：第三方分析api接口、数据预处理程序、数据分析程序和评估子系统；
15.所述第三方分析api接口用于第三方分析程序接入tdengine数据库的数据；
16.所述数据预处理程序用于在python语言中开发智能算法，对接口接入的监测数据进行在线数据异常检测、数据清洗、降噪及滤波预处理，提高数据质量和准确性；
17.所述数据分析程序采用深度学习算法对监测数据进行分析，如索力的预测；
18.所述评估子系统采用多种模态识别方法对桥梁运营模态进行识别，并结合损伤识别和模型修正等技术，对桥梁运行状态进行快速综合研判，在出现异常时及时向相关人员发送预警信息。
19.与现有技术相比，本发明的优点在于：
20.本发明采用高性能的开源时序型数据库tdengine作为中心数据库，具有更高的数据存储和查询效率，相较于关系型数据库如oracle和sql server数据写入和查询速度快十倍以上，存储空间也不及1/5，大幅度的降低了监测系统硬件成本，能够满足大规模、高速度的数据存储和处理需求。同时，本发明采用机器学习和深度学习等智能算法对数据进行预处理和分析，有效提高了数据处理的效率和准确性，同时也能够根据不同的数据需求进行灵活的数据压缩、信息提取和融合。
21.本发明在硬件及软件上相较于传统监测系统均具备优势，而且，本发明实现了自动化的数据处理、分析和评估，减少了人工操作的成本和误差，并能够快速地发现桥梁运行状态的异常，在线自动化的发出预警，保障桥梁的安全运行。
附图说明
22.图1、本发明一种基于高性能时序数据库的桥梁在线健康监测系统的系统架构图；
23.图2、某新建大跨度斜拉桥主桥结构布置示意图；
24.图3、数据降噪图(信号分解与重构，emd.eemd,ceedan)；
25.图4、数据滤波图(巴尔特沃夫8阶带通滤波器)；
26.图5、数据异常检测与分析图；
27.图6、模态识别与结构评估图；
28.图7、基于深度学习模型的索力预测图。
具体实施方式
29.下面结合实施例描述本发明具体实施方式：
30.需要说明的是，本说明书所示意的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
31.同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
32.实施例1：
33.如图1所示，本发明是一种基于高性能时序数据库的桥梁在线健康监测系统，针对实际的桥梁监测数据大部分为时间序列的特点，摒弃了传统的关系型数据库，采用高性能的开源时序数据库tdengine作为中心数据库，对大跨度桥梁(以某新建斜拉桥为实例)的长期健康监测数据进行存储和管理，并进行实时、在线的健康状态评估，其核心为高性能的时序型中心数据库；本系统和传统的长期健康监测系统相比，无需对中心数据库的数据进行导入\导出、数据处理与整合、离线分析等费时费力的操作，所有的数据处理与分析、评估均由程序自动处理，真正实现自动化。
34.为了实现上述功能，如图2所示，以某斜拉桥为实例，本实施例具体采用了如下的技术方案，总的来说，本实施例所述系统主要由三个模块构成，。
35.桥梁现场采集与无线传输模块：采用分布式测控技术，每个传感器均与智能调理器直接相连，将传感器模拟信号或数字信号转换为符合国际标准协议的以太网信号，外场数据采集站中的工控机对采集到的数据信号进行解码和发包，发包的数据按不同传感器类型或采集设备类型分组，并按一定时间间隔组包，根据tcp/ip协议与数据中心服务器进行无线数据传输。
36.中心数据库模块：采用tdengine时序数据库，数据中心的高性能时序数据库tdengine对实时传输的数据进行自动归档入库，并能够根据用户需求进行数据压缩、信息提取和融合。该数据库的数据表分为超级表与子表两种，超级表用于定义“标签”，如传感器编码、传感器位置、桥梁编码等；子表用于存储监测数据，仅包含主键(时间戳)与数据列；在系统设计中，为了保证灵活性，每一张子表均仅存储一个传感器的一种具体监测内容数据，如对于温湿度传感器，分别设计两张子表，用以分开存储温度数据与湿度数据。在数据表命名方面，超级表命名规则为：结构物id_具体监测内容id，即将所有的传感器按所属结构物与监测内容分类；子表命名规则为：结构物id_传感器id_具体监测内容id。
37.数据在线处理分析与评估模块：第三方分析api(如python)接入tdengine数据库，开发智能算法，实现在线数据异常检测、数据清洗、降噪、滤波等预处理，并采用多种模态识别方法对桥梁运营模态进行识别，实现数据处理、分析的程序化和自动化；根据数据分析结
果并结合损伤识别和模型修正等技术，桥梁结构状态在线评估子系统对该斜拉桥运行状态进行快速综合研判，实时自动发出预警。1)针对实际的桥梁监测数据大部分为时间序列的特点，摒弃了传统的关系型数据库，采用高性能的开源时序数据库tdengine作为中心数据库，对大跨度桥梁(以某新建斜拉桥为实例)的长期健康监测数据进行存储和管理；
38.中心数据库具备以下功能或特点：
39.中心数据库预留数据分析接口，采用python语言调用中心数据库的数据接口，采用机器学习和深度学习等智能算法开发了一系列数据预处理和分析程序，对于数据分析结果存入新的数据子表；
40.中心数据库预留评估子系统接口，根据预先设定的黄色预警和红色预警阈值对桥梁运营状态进行实施评估，达到在线健康监测的目的。
41.相较于传统的以oracle，sql server为代表的大跨桥梁长期监测方案，本实施例具备以下有益效果：
42.采用高性能的开源时序型数据库tdengine作为中心数据库，具有更高的数据存储和查询效率，相较于关系型数据库如oracle和sql server数据写入和查询速度快十倍以上，存储空间也不及1/5，大幅度的降低了监测系统硬件成本，能够满足大规模、高速度的数据存储和处理需求。同时，本发明采用机器学习和深度学习等智能算法对数据进行预处理和分析，有效提高了数据处理的效率和准确性，同时也能够根据不同的数据需求进行灵活的数据压缩、信息提取和融合。
43.总的来说，在硬件及软件上相较于传统监测系统均具备优势，而且，本发明实现了自动化的数据处理、分析和评估，减少了人工操作的成本和误差，并能够快速地发现桥梁运行状态的异常，在线自动化的发出预警，保障桥梁的安全运行。
44.实施例2：
45.参见图1，本实施例建立了一种基于高性能时序数据库的桥梁在线健康监测系统，以某新建大跨度斜拉桥为对象，采用高性能的开源时序数据库tdengine作为中心数据库，对某新建斜拉桥的长期健康监测数据进行存储和管理，并进行实时、在线的健康状态评估。所述系统主要由三个模块构成，即桥梁现场采集与无线传输模块、中心数据库模块和数据在线处理分析与评估模块。
46.桥梁现场采集与无线传输模块，用于采集大跨度桥梁的长期健康监测数据，并将数据无线传输至中心数据库模块。桥梁现场采集模块包括多个传感器和一个外场数据采集站。传感器根据监测内容的不同，分为索力、应变传感器、温湿度传感器、加速度传感器、风速风向传感器等，用于监测桥梁结构的索力、应变、温度、湿度、振动、风荷载等参数。每个传感器均与智能调理器直接相连，将传感器输出的模拟信号或数字信号转换为符合国际标准协议(如modbus协议)的以太网信号，并将信号通过光纤发送至外场数据采集站。外场数据采集站中的工控机对接收到的数据信号进行解码和发包，发包的数据按不同传感器类型或采集设备类型分组，并按固定的时间间隔(如1秒)组包，根据tcp/ip协议与数据中心服务器进行无线数据传输，无线数据传输采用4g网络进行。
47.中心数据库模块，用于接收并存储桥梁现场采集模块传输过来的监测数据，并能够根据用户需求进行数据压缩、信息提取和融合，同时为数据分析和评估提供实时分析接口等。中心数据库模块包括一个数据中心服务器和一个高性能时序数据库。数据中心服务
器用于接收桥梁现场采集模块传输过来的监测数据，并将数据转发给高性能时序数据库。高性能时序数据库采用开源时序数据库tdengine，对接收到的监测数据进行自动归档入库，并能够根据用户需求进行数据压缩、信息提取和融合。tdengine数据库采用“一个数据采集点一张表”与“超级表”相结合的数据库架构设计，超级表用于定义传感器的标签信息，如传感器编码、传感器位置、桥梁编码等；子表用于存储监测数据，仅包含主键(时间戳)和数据列；在系统设计中，为了保证灵活性，同时便于高效查询，每一张子表仅存储一个传感器的一种具体监测内容数据，如对于温湿度传感器，分别设计两张子表，用以分开存储温度数据和湿度数据；在数据表命名方面，超级表命名规则为：结构物id_具体监测内容id，即将所有的传感器按所属结构物和监测内容分类；子表命名规则为：结构物id_传感器id_具体监测内容id。例如，对于编号为b01的桥梁上编号为t01的温湿度传感器，其温度数据存储在子表b01_t01_temp中，其湿度数据存储在子表b01_t01_humi中，其标签信息存储在超级表b01_temp和b01_humi中。
48.数据处理分析与评估模块，用于对中心数据库模块中存储的监测数据进行在线数据异常检测、数据清洗、降噪、滤波等预处理，并采用多种模态识别方法对桥梁运营模态进行识别，根据预先设定的评估标准对桥梁运营状态进行实时评估，并能够自动发出预警。数据处理分析与评估模块包括一个第三方分析api接口、一个数据预处理程序、一个数据分析程序和一个评估子系统。第三方分析api接口用于第三方分析程序接入tdengine数据库的数据；数据预处理程序用于在python语言中开发智能算法，对接口接入的监测数据进行在线数据异常检测、数据清洗、降噪、滤波等预处理，提高数据质量和准确性；数据分析程序采用深度学习算法对监测数据进行分析，如索力的预测等；评估子系统采用多种模态识别方法对桥梁运营模态进行识别，并结合损伤识别和模型修正等技术，对该斜拉桥运行状态进行快速综合研判，在出现异常时及时向相关人员发送预警信息。
49.参见图3，基于emd算法及其扩展(eemd，ceemdan)的数据在线降噪处理，emd算法的步骤，设原始振动信号为s(t)，其分解的第n个固有模态函数为imfn(t)，上包络线为h1(t)，下包络线为h2(t)，平均包络线为h(t)，则求极值点：c(t)＝(s(t-1)+s(t+1))/2和d(t)＝(c(t-1)+c(t+1))/2，如果d(t)的正负性和c(t)的正负性不同，即为极值点。插值得到包络线：h1(t)＝interp(c(t)),如果是极大值点；否则h1(t)＝h1(t-1)，h2(t)＝interp(c(t)),如果是极小值点；否则h2(t)＝h2(t-1)；计算平均包络线：h(t)＝(h1(t)+h2(t))/2；求取第一阶固有模态函数：imf1(t)＝s(t)-h(t)；对imf1(t)进行重复操作，直到得到满足特定条件的固有模态函数；选择前k个固有模态函数，或者根据固有模态函数的频率和振幅进行选择，去除选择的固有模态函数后，将剩余信号res与去噪后的固有模态函数进行合成，得到去噪后的信号，s_nonoise(t)＝imf1(t)+imf2(t)+...+imfk(t)+res_nonoise(t)。
50.参见图4，基于butterworth带通滤波器的数据滤波，其步骤为，根据实际振动信号确定滤波器的阶数，阶数越高则滤波器的特性越陡峭，本实施例设计了一个8阶butterworth滤波器；根据该桥有限元分析计算的模态确定滤波器的上、下截止频率，即允许通过的频率范围，截止频率为0.16hz和10hz；计算归一化截止频率，即把截止频率除以采样频率的一半。如果采样频率为fs，则归一化截止频率为：fc1＝0.5hz/(fs/2)＝0.01，fc2＝10hz/(fs/2)＝0.2；计算滤波器的极点，使用公式：p＝fc*exp(j*(((2k+n-1)*pi)/(2n)))；根据极点，使用极点-零点法设计滤波器传递函数，butterworth滤波器的传递函数
为：h(s)＝1/(1+(s/ω_c)^n)；最后将传递函数转换成差分方程，即数字滤波器的实现形式，使用差分方程的标准形式来实现，y(n)＝b0x(n)+b1x(n-1)+b2x(n-2)-a1y(n-1)-a2。
51.参见图5，对多个传感器采集到的数据进行异常值检测与识别，识别的异常数据进行剔除并通过插值等方法更新修正后的数据，存入原数据库时序表，具体而言，开发了一种基于均值变化的稳健的异常检测算法，其步骤为：使用移动平均法平滑原始的时间序列数据；计算平滑时间序列在固定点数上的差异；计算差异的z分数(z_i＝(d_i-mu)/sigma)和p值(p_i＝2(1-phi(|z_i|)))，返回p值小于预定阈值的点的位置和数量。
52.参见图6，开发的频域识别法和基于协方差的随机子空间算法对桥梁模态进行在线识别，根据识别结果结合有限元模型和模型修正技术对桥梁运营状态进行在线评估,以从数据库2023年3月14日凌晨3点自动提取的2min长度的各截面竖向加速度数据为例，开发的随机子空间算法在线识别的该斜拉桥前5阶竖弯频率分别为0.30hz、0.64hz、0.84hz、1.10hz和1.27hz，与初始有限元模型提取的模态频率相吻合，桥梁处于完好状态。
53.参见图7，开发的基于深度学习算法的索力预测模型，基于深度学习中的长短记忆神经网络(lstm)和堆栈技术(stacking)，对索力的长期变化规律进行捕捉，并进行概率性预测，如图7以边跨靠近桥塔拉索为例，该算法能够准确预测未来1小时内索力的平均值，并给出10％～90％置信区间内的概率预测值，优选实例表明，该预测模型在索力预测方面表现出良好的效果。
54.上面对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
55.不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。

技术特征：
1.一种基于高性能时序数据库的桥梁在线健康监测系统，其特征在于，所述系统包括：桥梁现场采集与无线传输模块、中心数据库模块和数据在线处理分析与评估模块；所述桥梁现场采集与无线传输模块：采用分布式测控技术，每个传感器均与智能调理器直接相连，将传感器模拟信号或数字信号转换为符合国际标准协议的以太网信号，并对采集到的数据信号进行解码和发包，根据tcp/ip协议与中心数据库模块进行无线数据传输；所述中心数据库模块：采用高性能时序数据库tdengine，对上述实时传输的数据进行自动归档入库，并能够根据用户需求进行数据压缩、信息提取和融合；所述数据在线处理分析与评估模块：用于对中心数据库模块中存储的监测数据进行在线数据异常检测、数据清洗、降噪、滤波预处理，并采用多种模态识别方法对桥梁运营模态进行识别，根据预先设定的评估标准对桥梁运营状态进行实时评估，并能够自动发出预警。2.根据权利要求1所述的一种基于高性能时序数据库的桥梁在线健康监测系统，其特征在于，所述桥梁现场采集与无线传输模块具体用于：利用分布式测控技术，传感器均与智能调理器直接相连，将传感器模拟信号或数字信号转换为符合国际标准协议的以太网信号，外场数据采集站中的工控机对采集到的信号进行解码和发包，发包的数据按不同传感器类型或采集设备类型分组，并按一定时间间隔组包，根据tcp/ip协议与中心数据库模块进行无线数据传输。3.根据权利要求1所述的一种基于高性能时序数据库的桥梁在线健康监测系统，其特征在于，所述中心数据库模块的数据表分为超级表与子表两种，超级表用于定义“标签”，如传感器编码、传感器位置和桥梁编码；子表用于存储监测数据，包括：主键即时间戳与数据列；在系统设计中，为了保证灵活性，每一张子表均仅存储一个传感器的一种具体监测内容数据，如对于温湿度传感器，分别设计两张子表，用以分开存储温度数据与湿度数据；在数据表命名方面，超级表命名规则为：结构物id_具体监测内容id，即将所有的传感器按所属结构物与监测内容分类；子表命名规则为：结构物id_传感器id_具体监测内容id。4.根据权利要求1所述的一种基于高性能时序数据库的桥梁在线健康监测系统，其特征在于，所述中心数据库模块预留数据分析接口，采用python语言调用中心数据库的数据接口，采用机器学习和深度学习智能算法开发一系列数据预处理和分析程序，对于数据分析结果存入新的数据子表；所述中心数据库预模块留评估子系统接口，根据预先设定的黄色预警和红色预警阈值对桥梁运营状态进行实施评估，达到在线健康监测的目的。5.根据权利要求1所述的一种基于高性能时序数据库的桥梁在线健康监测系统，其特征在于，所述数据在线处理分析与评估模块包括：第三方分析api接口、数据预处理程序、数据分析程序和评估子系统；所述第三方分析api接口用于第三方分析程序接入tdengine数据库的数据；所述数据预处理程序用于在python语言中开发智能算法，对接口接入的监测数据进行在线数据异常检测、数据清洗、降噪及滤波预处理，提高数据质量和准确性；所述数据分析程序采用深度学习算法对监测数据进行分析，如索力的预测；所述评估子系统采用多种模态识别方法对桥梁运营模态进行识别，并结合损伤识别和模型修正技术，对桥梁运行状态进行快速综合研判，在出现异常时及时向相关人员发送预
警信息。

技术总结
本发明公开了一种基于高性能时序数据库的桥梁在线健康监测系统，采用分布式测控技术，每个传感器均与智能调理器直接相连，将传感器模拟信号或数字信号转换为以太网信号；外场数据采集站中的工控机对采集到的数据信号进行解码和发包，根据TCP/IP协议与数据中心服务器进行无线数据传输；数据中心的高性能时序数据库对实时传输的数据进行自动归档入库，并能够进行数据压缩、信息提取和融合；第三方分析API接入数据中心数据库，开发智能算法与软件，实现在线数据预处理，并采用多种在线算法对桥梁运营模态进行识别；根据数据分析结果并结合损伤识别和模型修正技术，桥梁结构状态在线评估子系统对该斜拉桥运行状态进行快速研判，自动发出预警。自动发出预警。自动发出预警。


技术研发人员：肖图刚 蒲黔辉 洪彧 许靖业 张子怡 高玉峰 文旭光
受保护的技术使用者：南宁学院
技术研发日：2023.06.14
技术公布日：2023/9/12