LNG码头区域的安全管控方法与流程

lng码头区域的安全管控方法
技术领域
1.本发明属于lng码头的安全管控技术领域，尤其涉及一种lng码头区域的安全管控方法。


背景技术：

2.现有的lng(液化天然气的缩写)码头监控系统模式固定、视角固定、画面单一，摄像头数量多而杂。而且，需要配备人员对所有监控视频进行人工监视和分析，效率低，工作量大，因而，无法实现lng码头的有效安全监管。


技术实现要素：

3.本发明的目的在于提供一种lng码头区域的安全管控方法，有效解决现有lng码头安全监管效率低，工作量大的问题。
4.为解决上述技术问题，本发明采用的技术方案是：
5.一种lng码头区域的安全管控方法，基于三维环视系统，所述三维环视系统包括多台工业相机、算法服务器、展示服务器和声光报警器，所述工业相机与算法服务器连接，所述展示服务器与算法服务器连接，所述声光报警器与展示服务器连接；
6.所述工业相机采集视频图像后，实时传送给所述算法服务器，所述算法服务器通过视频处理和拼接，将全景视频图像实时传送给所述展示服务器，所述展示服务器对视频进行处理和检测，当禁入图像种类进入选定标记的危险区域后，所述声光报警器发出警报。
7.进一步地，所述算法服务器包括中央处理单元和数据库，所述中央处理单元包括目标检测模块、目标识别模块、目标跟踪模块、行为分析模块和区域划定模块。
8.进一步地，所述展示服务器包括防入侵模块、电子围栏模块和船舶识别模块。
9.进一步地，所述lng码头设有登船梯和消防炮，所述工业相机有四台并布设在登船梯和消防炮上。
10.进一步地，所述工业相机采用多相机自标定的全景拼接算法。
11.进一步地，所述三维环视系统基于krpano开发实现vr全景漫游展示，三维环视系统采用b/s模式架构设计，三维环视系统的逻辑结构分别为数据层、服务层和应用层三层结构。
12.进一步地，所述数据层制作完成的全景图数据，所述服务层使用深度学习，所述应用层基于krpano框架二次开发，通过对krpano框架内部xml数据的解析和重构，实现全景定位、防入侵、电子围栏、全景控制、全景交互及全景漫游功能。
13.本发明的有益技术效果是：
14.(1)本发明改变以往保安人员对所有监控视频进行监视和分析的模式，仅通过四台工业相机、算法服务器和展示服务器即可对整个码头各个区域的监控画面进行实时捕捉并且不间断分析，通过图像视觉分析算法，工作人员只需要关注相关的提示信息即可，减少无用数据量，高效可靠。
15.(2)本发明的防入侵模块一旦识别到可疑的入侵行为，在安全威胁发生之前就能够快速响应，及时提醒保安人员关注监控画面，全天候不间断工作。
16.(3)本发明可根据lng码头内实际情况的变化，设置单个或多个任意多边形限制区域，动态地进行港口的安全监管。三维环视系统布设在码头控制室，并可同步至办公楼，工作人员足不出户用单个界面即可全天候关注码头整体情况及lng船舶实时动态。
17.(4)本发明通过在重点管控区域增设声光报警器，即可实现入侵报警功能，便捷的进行危险货物码头的现场安全管控。
具体实施方式
18.一种lng码头区域的安全管控方法，基于三维环视系统，所述三维环视系统包括多台工业相机、算法服务器、展示服务器和声光报警器，所述工业相机与算法服务器连接，所述展示服务器与算法服务器连接，所述声光报警器与展示服务器连接。
19.所述工业相机采集视频图像后，实时传送给所述算法服务器，所述算法服务器通过视频处理和拼接，将全景视频图像实时传送给所述展示服务器，由所述展示服务器对视频进行处理和检测，将防入侵、电子围栏、深度学习等算法写入，当禁入图像种类进入选定标记的危险区域后，所述声光报警器发出警报，对进入的物体起到威慑警告的作用。
20.所述算法服务器包括中央处理单元和数据库，所述中央处理单元包括目标检测模块、目标识别模块、目标跟踪模块、行为分析模块和区域划定模块。所述展示服务器包括防入侵模块、电子围栏模块和船舶识别模块。所述lng码头设有登船梯和消防炮，所述工业相机有四台并合理布设在登船梯和消防炮上。
21.所述工业相机采用多相机自标定的全景拼接算法。首先，采用opencv的多项式鱼眼相机模型标定相机内参及畸变系数；其次，通过特定的棋盘格摆放自动化标定相机的鸟瞰参数及相邻相机间的投影变换关系，根据标定参数计算出从鱼眼原图到最终拼接蒙版图像的拼接映射参数表，根据映射关系表查表实现最终的图像拼接融合，实时输出lng码头周围的720度全景俯视图；之后，选择按照不低于30帧/秒的vr视频播放速度生成帧序列的实景720度场景图片，每个场景通过在三维平台中进行前、后、左、右、上和下六个方位依次截取场景，通过各场景的重叠区拼接形成每个视角点的720度全景图片，检查生成的大量全景图片是否按帧序列命名，场景画面色彩、清晰度等质量是否符合要求，并进行局部图像编辑，如去除杂物、颜色调整等；最后，通过adobe premiere软件，批量导入编辑后的帧序列全景图片，输出选择与播放硬件相匹配的格式、分辨率等参数设置，生成实时全景vr漫游视频。
22.为了兼具实时性以及配准的准确性，首先，对每台工业相机进行参数标定，保存相机内参以及畸变校正参数；然后，通过特定的棋盘格摆放位置标记相机的鸟瞰以及相邻相机间匹配点对，准确获取相机的单应变换参数；选定基准相机，计算各通道图像映射到蒙版图像的单应矩阵，生成相机到蒙版图像的参数映射表；利用双线性插值计算图像配准后的图像插值权重，利用渐入渐出线性融合法计算重叠区域的融合权重；依据重叠区域与非重叠区域不同的融合方式生成拼接映射表，以查表的方式实时生成1080p全景拼接图。
23.所述三维环视系统基于krpano开发实现vr全景漫游展示，三维环视系统采用b/s模式架构设计，三维环视系统的逻辑结构分别为数据层、服务层和应用层三层结构。所述数
据层主要是制作完成的全景图数据，所述服务层使用深度学习，所述应用层主要是基于krpano框架二次开发，通过对krpano框架内部xml数据的解析和重构，实现全景定位、防入侵、电子围栏、全景控制、全景交互及全景漫游等功能。
24.由于外界环境的不稳定性，工业相机采集到的画面会包含部分抖动，因此，当所述算法服务器接收工业相机采集的视频图像后，由中央处理单元对视频图像进行初步处理，包括灰度化，二值化，投影计算和去抖动处理。将预处理后的图像进行水平和竖直两个方向的投影计算，然后由两个方向的投影计算水平和竖直方向的相关系数，与初始参考帧对比选取相关性最大的区域，以达到去除因外界因素引起的视频抖动的目的。
25.将初步处理过的视频图像由目标检测模块进行目标检测，通过深度学习框架使用标记好的数据进行训练。结合系统应用场景，目标识别模块和区域划定模块将禁止进入危险区域的图像种类分为人和物体的类别，结合实际，将图像进一步细分为可疑人员识别、可疑车辆识别、安全帽风险识别、可疑船只入侵识别及可疑烟雾报警等风险类型，目标跟踪模块和行为分析模块对上述图像数据进行采集标记，通过retinanet方法，使用数据集在搭建好的ubuntu16.04环境下训练模型，最终得到lng整个码头在实时全景vr漫游视频下进行安全生产管理。
26.所述三维环视系统构筑了多区域、立体化、数字化的智能安防体系，针对人员、车辆、船舶等多类目标进行探测防御，可以实现对危险货物码头重点限制区域的有效监管。主要体现在以下几个方面：
27.1、报警事件响应的快速性
28.所述展示服务器的防入侵模块一旦识别到可疑的入侵行为，在安全威胁发生之前就能够快速响应，及时提醒保安人员关注监控画面，全天候不间断工作。
29.2、三维环视的有效性
30.改变以往保安人员对所有监控视频进行监视和分析的模式，管控区域广，摄像头数量多而杂；而三维环视系统则通过四台工业相机、算法服务器和展示服务器即可对整个码头各个区域的监控画面进行实时捕捉并且不间断分析，通过图像视觉分析算法，工作人员只需要关注相关的提示信息即可，减少无用数据量，高效可靠。
31.3、系统参数的动态可配置性
32.三维环视系统可根据lng码头内实际情况的变化，设置单个或多个任意多边形限制区域，动态地进行港口的安全监管。三维环视系统布设在码头控制室，并可同步至办公楼，工作人员足不出户用单个界面即可全天候关注码头整体情况及lng船舶实时动态。重点管控区域增设声光报警器，即可实现入侵报警功能，对危险货物码头现场安全管控十分便捷。
33.当然，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

技术特征：
1.一种lng码头区域的安全管控方法，其特征在于，基于三维环视系统，所述三维环视系统包括多台工业相机、算法服务器、展示服务器和声光报警器，所述工业相机与算法服务器连接，所述展示服务器与算法服务器连接，所述声光报警器与展示服务器连接；所述工业相机采集视频图像后，实时传送给所述算法服务器，所述算法服务器通过视频处理和拼接，将全景视频图像实时传送给所述展示服务器，所述展示服务器对视频进行处理和检测，当禁入图像种类进入选定标记的危险区域后，所述声光报警器发出警报。2.根据权利要求1所述的lng码头区域的安全管控方法，其特征在于，所述算法服务器包括中央处理单元和数据库，所述中央处理单元包括目标检测模块、目标识别模块、目标跟踪模块、行为分析模块和区域划定模块。3.根据权利要求1所述的lng码头区域的安全管控方法，其特征在于，所述展示服务器包括防入侵模块、电子围栏模块和船舶识别模块。4.根据权利要求2或3所述的lng码头区域的安全管控方法，其特征在于，所述lng码头设有登船梯和消防炮，所述工业相机有四台并布设在登船梯和消防炮上。5.根据权利要求4所述的lng码头区域的安全管控方法，其特征在于，所述工业相机采用多相机自标定的全景拼接算法。6.根据权利要求5所述的lng码头区域的安全管控方法，其特征在于，所述三维环视系统基于krpano开发实现vr全景漫游展示，三维环视系统采用b/s模式架构设计，三维环视系统的逻辑结构分别为数据层、服务层和应用层三层结构。7.根据权利要求6所述的lng码头区域的安全管控方法，其特征在于，所述数据层制作完成的全景图数据，所述服务层使用深度学习，所述应用层基于krpano框架二次开发，通过对krpano框架内部xml数据的解析和重构，实现全景定位、防入侵、电子围栏、全景控制、全景交互及全景漫游功能。

技术总结
本发明属于LNG码头的安全管控技术领域，具体公开了一种LNG码头区域的安全管控方法，基于三维环视系统，所述三维环视系统包括多台工业相机、算法服务器、展示服务器和声光报警器，所述工业相机与算法服务器连接，所述展示服务器与算法服务器连接，所述声光报警器与展示服务器连接。所述工业相机采集视频图像后，实时传送给所述算法服务器，所述算法服务器通过视频处理和拼接，将全景视频图像实时传送给所述展示服务器，所述展示服务器对视频进行处理和检测，当禁入图像种类进入选定标记的危险区域后，所述声光报警器发出警报。本发明解决现有LNG码头安全监管效率低，工作量大的问题，高效便捷可靠。高效便捷可靠。


技术研发人员：吴斌 王亮 王恺 王剑琨 张坤 尹崇杰
受保护的技术使用者：中国石化青岛液化天然气有限责任公司
技术研发日：2022.12.22
技术公布日：2023/6/7