一种海上风电电子围栏监控预警方法和系统与流程

1.本技术涉及监控预警技术领域，尤其是涉及一种海上风电电子围栏监控预警方法和系统。


背景技术：

2.海上风电场通常建立在离岸数千米甚至几十千米之外，海上风电场的基建期与运维期环境恶劣、天气状况复杂，人员出海会受到各类因素的制约，这给风电场的运行管理、安全、通航及并网控制等带来很多管理和技术困难。同时，各类船舶来往不断，随意的抛锚对风机、海缆的安全造成极大隐患。


技术实现要素：

3.本技术的目的在于提供一种海上风电电子围栏监控预警方法和系统，当船舶靠近或入侵电子围栏时，可以对闯入船只进行实时可视化预警，从而起到保护电子围栏内的相关设备设施、降低海上风电组附近区域的安全事故风险。
4.第一方面，本发明提供一种海上风电电子围栏监控预警方法，方法包括：预先配置每个风电机组对应的电子围栏数字边界，并在电子围栏数字边界建立分级报警警戒线；通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标；如果有，追踪闯入运动目标的运动轨迹，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。
5.在可选的实施方式中，预先配置每个风电机组对应的电子围栏数字边界，并在电子围栏数字边界建立分级报警警戒线，包括：基于每个风电机组所对应的位置确定相应的电子围栏数字中心，并基于预设区域半径确定电子围栏数字边界；针对集成海缆在海底铺设的位置投射到海平面，并在每个风电机组所对应的投射位置以预设视角和预设距离确定至少一个缓冲区边界；基于至少一个缓冲区边界在电子围栏数字边界建立分级报警警戒线。
6.在可选的实施方式中，通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标，包括：通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，获取运动目标的图像信息；将运动目标的图像信息、船舶自动识别系统获取的船舶自动识别数据和雷达数据进行关联处理，确定关注运动目标以及关注目标的运动信息；运动信息至少包括运动目标的位置信息、移动方向和移动速度；基于关注运动目标在可视范围内的运动信息进行追踪，并基于关注运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长判断是否有闯入运动目标。
7.在可选的实施方式中，将运动目标的图像信息、船舶自动识别系统获取的船舶自动识别数据和雷达数据进行关联处理，确定关注运动目标以及关注目标的运动信息，包括：
基于运动目标的图像信息确定运动目标的视觉点；将船舶自动识别系统获取的船舶自动识别数据和雷达数据与运动目标的视觉点进行关联处理，得到实时感知信息；在实时感知信息中识别运动目标，将运动目标的位置信息与分级报警警戒线的经纬度信息进行实时对比，确定运动目标相对于分级报警警戒线的相对位置信息；根据相对位置信息确定关注运动目标，对关注运动目标进行追踪，确定关注目标的运动信息。
8.在可选的实施方式中，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告，包括：基于闯入运动目标相对于分级报警警戒线的相对位置信息，和/或闯入运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长确定违规等级；根据违规等级对闯入运动目标进行分级警告。
9.在可选的实施方式中，分级报警警戒线用于通过分级的方式划分预警区、警戒区和核心区；闯入运动目标为船只；根据违规等级对闯入运动目标进行分级警告，包括：当船只航行至电子围栏预警区时，发出三级警报，告知船只已经处于风电场风机工作或施工范围附近，提醒其注意航行安全；当船只航行跨越电子围栏预警线进入警示区时，发出二级警报，告知船只已经处于风电场风机工作或施工范围警戒区域，提醒其及时改变航向驶出警戒区；当船只航行跨越电子围栏警戒线进入核心区时，发出一级警报，告知船只已经处于风电场风机工作或施工范围核心区域，同时关联目标风电场机组的广播、光源设备进行声光重复告警，提醒驶入船只立刻改变航向，驶离风电场警示水域，监控镜头跟踪相关船只，当船只驶离警示区外，停止相关告警。
10.在可选的实施方式中，根据相对位置信息确定关注运动目标，对关注运动目标进行追踪，确定关注目标的运动信息，包括：通过对相邻海上风电机组之间沿集成海缆方向布设的图像采集设备进行平面标定，获取图像采集设备的内部参数和畸变参数；根据监控布设高度、观测的水平夹角以及观测期间的海平面高度计算关注运动目标在世界坐标系中与杆塔的实际距离，对关注运动目标进行追踪，确定关注运动目标的位置信息并进行实时测距；根据监测时间间隔内两幅实景影像中目标距离所对应的世界坐标系偏差确定关注运动目标的实时航速。
11.第二方面，本发明提供一种海上风电电子围栏监控预警系统，系统包括：电子围栏配置模块，用于预先配置每个风电机组对应的电子围栏数字边界，并在电子围栏数字边界建立分级报警警戒线；监测模块，用于通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标；追踪预警模块，用于如果有，追踪闯入运动目标的运动轨迹，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。
12.第三方面，本发明提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令以实现前述实施方式任一项的海上风电电子围栏监控预警方法。
13.第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现前述实施方式任一项的海上风电电子围栏监控预警方法。
14.本技术提供的一种海上风电电子围栏监控预警方法和系统所带来的有益效果：
15.相较于陆上电子围栏体系，依托海上风电机组基座的位置优势，基于海上风电机
组之间沿集成海缆方向布设的图像采集设备对海面进行监测，可以保护电子围栏内的相关设备设施，有效降低海上风电场因信息闭塞造成的船只碰撞风电机组基座、海缆人为破损触电、人员落水溺水等事故风险，保障人员和设备安全；通过对过往运动目标进行监测，可以监测到闯入分级报警警戒线的运动目标，可以对非法入侵船只进行追踪及告警，提高监控管理效率。
附图说明
16.为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本技术实施例提供的一种海上风电电子围栏监控预警方法的流程图；
18.图2为本技术实施例提供的一种电子围栏数字边界的示意图；
19.图3为本技术实施例提供的一种分级报警警戒线的示意图；
20.图4为本技术实施例提供的一种海上风电机组的电子围栏示意图；
21.图5为本技术实施例提供的一种船只航向检测的原理图；
22.图6为本技术实施例提供的一种测距原理图；
23.图7为本技术实施例提供的一种电子围栏系统的示意图；
24.图8为本技术实施例提供的一种电子设备的结构图。
具体实施方式
25.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
26.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
28.本技术实施例提供了一种海上风电电子围栏监控预警方法，参见图1所示，该方法主要包括以下步骤：
29.步骤s10，预先配置每个风电机组对应的电子围栏数字边界，并在电子围栏数字边界建立分级报警警戒线。
30.上述电子围栏数字边界除了以每个风电机组为中心构成的圆形区域外，还包括圆形边界范围内的海缆及其周边构成的缓冲区。在一种实施方式中，可以基于每个风电机组所对应的位置确定相应的电子围栏数字中心，并基于预设区域半径确定电子围栏数字边界，然后针对集成海缆在海底铺设的位置投射到海平面，并在每个风电机组所对应的投射
位置以预设视角和预设距离确定至少一个缓冲区边界，基于至少一个缓冲区边界在电子围栏数字边界建立分级报警警戒线。图2示出了一种电子围栏数字边界的示意图，该图中每个风电机组均对应有一个电子围栏数字边界。
31.在一种实施方式中，相邻风电机组布设的沿海缆方向的变倍摄像头的最大可清晰监测双扇形范围。风电机组上监控设备的布设的方向和数量要满足能针对圆形区域进行船只动态捕捉和监测。特别的，在圆形区域内，针对集成海缆在海底铺设的位置投射到海平面上来，在该固定视角上布设动态捕捉摄像头用于监测过往船只，调试摄像头的闯入告警警戒线至缓冲区边界位置，例如，可以将距离海缆前后100m确定为告警范围。
32.在一种示例中，上述缓冲区边界可以包括三个，即将圆形电子围栏由风机所在圆心位置依次向外拓展形成三道防线，将圆形监视区由内向外依次划分为核心区、警示区、预警区，参见图3所示。
33.通过建立分级报警警戒线，是由于风电场附近过往、作业的较多渔船的情况，避免由于渔船过多触及警报的次数比较频繁，警戒线分级可以控制核心区和警戒区(重点关心)的告警频数，减少误报误判率；并且，通过建立分级报警警戒线可以给船只充足的反应时间，告知船只目前的危险等级，以便船只做出及时反应。
34.步骤s20，通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标。
35.步骤s30，如果有，追踪闯入运动目标的运动轨迹，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。
36.为便于理解，以下对本技术所提供的海上风电电子围栏监控预警方法进行详细说明。
37.首先，为便于理解，参见图4所示的一种海上风电机组的电子围栏示意图，在海上的每个风电机组均对应有一个电子围栏。
38.在一种实施方式中，上述步骤s20通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标，在具体实施时，可以包括以下步骤201至步骤203：
39.步骤201，通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，获取运动目标的图像信息。
40.步骤202，将运动目标的图像信息、船舶自动识别系统获取的船舶自动识别数据和雷达数据进行关联处理，确定关注运动目标以及关注目标的运动信息；运动信息至少包括运动目标的位置信息、移动方向和移动速度。
41.具体的，可以进一步包括以下步骤2-1至步骤2-4：
42.步骤2-1，基于运动目标的图像信息确定运动目标的视觉点。
43.步骤2-2，将船舶自动识别系统获取的船舶自动识别数据和雷达数据与运动目标的视觉点进行关联处理，得到实时感知信息。
44.步骤2-3，在实时感知信息中识别运动目标，将运动目标的位置信息与分级报警警戒线的经纬度信息进行实时对比，确定运动目标相对于分级报警警戒线的相对位置信息。
45.步骤2-4，根据相对位置信息确定关注运动目标，对关注运动目标进行追踪，确定关注目标的运动信息。具体的，还可以细化为以下步骤：
46.步骤2-41，通过对相邻海上风电机组之间沿集成海缆方向布设的图像采集设备进行平面标定，获取图像采集设备的内部参数和畸变参数；
47.步骤2-42，根据监控布设高度、观测的水平夹角以及观测期间的海平面高度计算关注运动目标在世界坐标系中与杆塔的实际距离，对关注运动目标进行追踪，确定关注运动目标的位置信息并进行实时测距；
48.步骤2-43，根据监测时间间隔内两幅实景影像中目标距离所对应的世界坐标系偏差确定关注运动目标的实时航速。
49.步骤203，基于关注运动目标在可视范围内的运动信息进行追踪，并基于关注运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长判断是否有闯入运动目标。
50.进一步，上述步骤s30，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告，在具体实施时，可以包括以下步骤3-1和步骤3-2：
51.步骤3-1，基于闯入运动目标相对于分级报警警戒线的相对位置信息，和/或闯入运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长确定违规等级；
52.步骤3-2，根据违规等级对闯入运动目标进行分级警告。
53.具体的，上述分级报警警戒线用于通过分级的方式划分预警区、警戒区和核心区，闯入运动目标为船只，则根据违规等级对闯入运动目标进行分级警告，可以分别以下三种情况：
54.(1)当船只航行至电子围栏预警区时，发出三级警报，告知船只已经处于风电场风机工作或施工范围附近，提醒其注意航行安全；
55.(2)当船只航行跨越电子围栏预警线进入警示区时，发出二级警报，告知船只已经处于风电场风机工作或施工范围警戒区域，提醒其及时改变航向驶出警戒区；
56.(3)当船只航行跨越电子围栏警戒线进入核心区时，发出一级警报，告知船只已经处于风电场风机工作或施工范围核心区域，同时关联目标风电场机组的广播、光源设备进行声光重复告警，提醒驶入船只立刻改变航向，驶离风电场警示水域，监控镜头跟踪相关船只，当船只驶离警示区外，停止相关告警。
57.基于能实现精确定位的北斗系统和船舶ais数据、雷达数据等，实现对运维人员、内部运维船只、外部闯入船只的监控预警，构成人员和船只的综合安防体系。在一种实施方式中，上述运动目标可以为人员，通过实时监测设备记录人员所在的精确水平位置、所处垂直高度对人员运动状态的数据进行采集，将采集数据接入电子围栏中控系统，通过中控台可以对运维人员的移动轨迹进行动态监管并实现实时告警。运维人员在进行海上运维管理任务之前，需要基于实时监测设备录入个人信息，包括员工基本身份信息、职位、出海任务职责、海上作业防护设备佩戴情况确认、目标风电机组基本信息和状态信息确认等。
58.上述运动目标可以为船只信息方面，主要分为内部运维船只和外部闯入船只。针对内部船只，系统接入ais位置信息、船只类型(风机吊装船、升压站吊装船、基础施工船、海缆敷设船等)、船只装配情况以及船只的出海指标(船只能在特定天气条件下进行运维管理工作)。建立运维船只的vhf通信系统，并获取船上的人员信息编码；通过视频监控，捕捉摄像机组可视范围内的外来船只的位置信息，根据图像识别算法获取外来船只的航向、航速
等。
59.在一种实施方式中，电子围栏安防系统接入船舶自动识别系统(automatic identification system，ais)，识别船的船名信息，区分非运维船只。基于ais传回的船只的位置信息与电子围栏实际的警戒线边界经纬度信息进行实时对比，判断船只所处的相对位置。特别的，考虑到ais系统失效、关闭、缺失的情况，基于视频监控提供的数据流，根据图像识别算法获取外来船只的航向、航速等信息，与电子围栏警戒线在视频图像中的相对位置进行告警判断。
60.具体的，基于视频监控的船只位置信息和航速信息获取。yolo网络训练框架是一种基于深度学习的运动目标检测算法，被广泛应用于道路交通识别等运动目标跟踪与识别场景中，具有识别速度快、准确率高等特点。
61.基于yolo获取海上风电场船只闯入信息步骤如下：
62.1)yolo模型训练：在模型使用前需要使用实际海上风电场景下大量标记后样本图像训练模型参数，包括所需识别近海岸经常出入的船只图像，根据实际需求将船只人为标签分类为运维船只、外部船只。考虑船只不同部位的可见性、不同视角、光照、遮挡程度等进行充分取样。
63.标记图片中的目标对象；针对视频采用vott软件进行标记，设置每秒抽取图片的数量为1，采用逐图像标记的方式完成视频标记并进行模型训练，训练过程中随着迭代次数的不断增加，在训练误差不断降低的情况下，调整学习率接近于0、模型训练误差几乎不再变化的时候模型训练完成。
64.2)船只航向检测：通过训练模型检测船只位置和多目标跟踪预测船只位置可得到船只在视频每一帧的位置，再对不同帧图像进行多目标匹配，获得同一船只在不同时刻的位置(船只的外接矩形框)，计算同一船只前后不同时刻坐标的变化，就能得到船只在平面坐标系的运动方向，参见图5所示。
65.方向检测原理：设船只vc在t1时刻(t1帧)时外接举行的中心点坐标为(x
t1
,y
t1
)，在t2时刻(t2帧)时外接矩形的中心点为(x
t2
,y
t2
)，t1到t2时刻运动方向的判别条件为：
66.x
t2-x
t1
》x
t
，船只有向右运动的分量，记作mr。
67.x
t2-x
t1
《-x
t
，船只有向左运动的分量，记作m
l
。
68.y
t2
–yt1
》y
t
，船只有向下运动的分量，记作md。
69.y
t2-y
t1
《-y
t
，船只有向上运动的分量，记作mu。
70.其中x
t
与-x
t
、y
t
与-y
t
表示运动方向阈值。船只实际运动方向可表示8种状态：水平向左m
l
，水平向右mr，竖直向下md，竖直向上mu，向右上方运动,记(mr,mu)；向右下方运动(mr,md)；向左上方运动(m
l
,mu)；向左下方运动(m
l
,md)。如果船只运动方向计算结果不属于上面8种情况，忽略本次计算，选择该船只其他时刻计算运动方向。3)船只速度检测：船只停船、低速缓行是通过计算船只一小段时间的平均速度判别的。
71.在t1时刻(t1帧)时外接举行的中心点坐标为(x
t1
,y
t1
)，在t2时刻(t2帧)时外接矩形的中心点为(x
t2
,y
t2
),用t1到t2时刻船只平均移动的像素距离表示船只的运动速度v(t1,t2)：
72.73.若v(t1,t2)小于停船阈值v
t
，则表示该船处于停滞状态：若v(t1,t2)小于低速阈值v
l
，则表示该船处于低速状态。
74.综上，获取到船的航向、与电子围栏的相对位置、航速(行驶状态)，对闯入船只做综合判断和警告处置。
75.进一步，上述判断每个相机的监控区域内是否有运动目标进入,如果是,对目标进行持续追踪；如果否,确定无目标闯入。
76.基于视频监控进行运动目标检测和跟踪。通过布设在风电机组塔身的摄像机组对可视范围内的过往船只进行视频采集，经过边缘计算单元深度视觉处理，融合船舶ais数据和雷达数据，形成深度视觉界面。电子围栏视频监控系统对已经融合的ais数据、雷达数据进行综合分析处理，对重点关注船只进行高亮显示，并通过摄像机对可视范围内的运动目标进行连续自动追踪，当监控可视范围内的监测目标只是在警戒线外快速经过并且很快驶离警戒区，判断监控区域内无运动目标进入。
77.在ais和视频监控数据分析的帮助下，实现了海上风电场闯入船只的目标识别、目标动态追踪，然而在一些特殊场景下，如特殊天气下的海面能见度低，导致基于视频监控数据流的安防告警体系失效，因此加装小目标雷达系统，基于雷达固定频次连续扫描得到的回波信号进行目标位置确认，该情况下对闯入船只扫描间隔内经纬度变化的高精度计算可获取船只航速信息。由此基于ais、视频监控以及小目标检测雷达数据构建海上风电电子围栏安防深度视觉界面。
78.具体的，以视频监控为主，形成海上检测动态捕捉实时监控和告警画面；以ais和雷达数据为辅，构建海上风电场电子围栏的虚拟视觉界面，将ais与雷达监测数据与虚拟视觉界面中的船只模型(视觉点)进行关联，形成实时感知界面。
79.通过在电子围栏中控台将三种数据(全部都有的情况下)与监测目标相关联，通过数据对比提高数据的可信度，在系统告警的规则下，经过人为判识的可信数据流将作为告警依据。
80.针对外来船只，当视频监控范围发现有船只接近电子围栏警戒线时，通过数据分析手段，计算得到船只所在的位置、航行速度、航向，预测船只是否可能产生违规行为，并实现分级警告；建立分区警戒线，划分预警区、警戒区和核心区，当船只航行至电子围栏预警区时，系统会对齐发出一次语音警报(三级警报)，告知船只已经处于风电场风机工作或施工范围附近，提醒其注意航行安全；当船只航行跨越电子围栏预警线进入警示区时，系统会对其发出二级警报，告知船只已经处于风电场风机工作或施工范围警戒区域，提醒其及时改变航向驶出警戒区；当船只航行跨越电子围栏警戒线进入核心区时，系统会发出一级警报，告知船只已经处于风电场风机工作或施工范围核心区域，同时关联目标风电场机组的广播、光源设备进行声光重复告警，提醒驶入船只立刻改变航向，驶离风电场警示水域，监控镜头跟踪相关船只，只有当船只驶离警示区外，才会停止相关告警。在海缆告警方面，当目标船只驶入监测范围内海缆所在位置及其缓冲区范围时，首先判断且航速是否低于低速阈值，若正常行驶，即高于低速阈值的情况下，不产生告警行为。若低于低速阈值附近风电机组基站上的广播会进行声光告警，提醒目标船只此处存在海缆铺设并要求其立刻驶离。
81.由摄像机的成像模型可得，三维环境中目标与数字图像上的对应点存在几何关系。因此，对三维环境中的目标进行识别，先要获得三维空间目标在二维图像中的相应信
息，然后可以利用几何关系，计算出三维空间下目标的位置、形状等信息。在这个几何关系中含有摄像机的参数，所以，需要对摄像机进行标定，以获得摄像机的参数。
82.通过对布设摄像机组进行平面标定，获取摄像机内部参数和畸变参数，在实际布设过程中根据监控布设高度、观测的水平夹角以及观测期间的海平面高度计算运动目标在世界坐标系中与杆塔的实际距离，满足对单运动目标的追踪和实时测距要求；根据监测时间间隔内两幅实景影像中目标距离所对应的世界坐标系偏差判断运动目标的实时航速并记录显示。在进行平面标定时，采用张正友的平面标定法，也可以按照实际需求选择更加准确的其他标定法。
83.基于上述方法实施例，本技术实施例还提供一种海上风电电子围栏监控预警系统，该系统包括以下部分：
84.电子围栏配置模块，用于预先配置每个风电机组对应的电子围栏数字边界，并在电子围栏数字边界建立分级报警警戒线；
85.监测模块，用于通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标；
86.追踪预警模块，用于如果有，追踪闯入运动目标的运动轨迹，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。
87.在一可行的实施方式中，上述电子围栏配置模块，还用于：基于每个风电机组所对应的位置确定相应的电子围栏数字中心，并基于预设区域半径确定电子围栏数字边界；针对集成海缆在海底铺设的位置投射到海平面，并在每个风电机组所对应的投射位置以预设视角和预设距离确定至少一个缓冲区边界；基于至少一个缓冲区边界在电子围栏数字边界建立分级报警警戒线。
88.在一可行的实施方式中，上述监测模块，还用于：通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，获取运动目标的图像信息；将运动目标的图像信息、船舶自动识别系统获取的船舶自动识别数据和雷达数据进行关联处理，确定关注运动目标以及关注目标的运动信息；运动信息至少包括运动目标的位置信息、移动方向和移动速度；基于关注运动目标在可视范围内的运动信息进行追踪，并基于关注运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长判断是否有闯入运动目标。
89.在一可行的实施方式中，上述监测模块，还用于：基于运动目标的图像信息确定运动目标的视觉点；将船舶自动识别系统获取的船舶自动识别数据和雷达数据与运动目标的视觉点进行关联处理，得到实时感知信息；在实时感知信息中识别运动目标，将运动目标的位置信息与分级报警警戒线的经纬度信息进行实时对比，确定运动目标相对于分级报警警戒线的相对位置信息；根据相对位置信息确定关注运动目标，对关注运动目标进行追踪，确定关注目标的运动信息。
90.在一可行的实施方式中，上述追踪预警模块，还用于：基于闯入运动目标相对于分级报警警戒线的相对位置信息，和/或闯入运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长确定违规等级；根据违规等级对闯入运动目标进行分级警告。
91.在一可行的实施方式中，分级报警警戒线用于通过分级的方式划分预警区、警戒区和核心区；闯入运动目标为船只；上述追踪预警模块，还用于：当船只航行至电子围栏预警区时，发出三级警报，告知船只已经处于风电场风机工作或施工范围附近，提醒其注意航行安全；当船只航行跨越电子围栏预警线进入警示区时，发出二级警报，告知船只已经处于风电场风机工作或施工范围警戒区域，提醒其及时改变航向驶出警戒区；当船只航行跨越电子围栏警戒线进入核心区时，发出一级警报，告知船只已经处于风电场风机工作或施工范围核心区域，同时关联目标风电场机组的广播、光源设备进行声光重复告警，提醒驶入船只立刻改变航向，驶离风电场警示水域，监控镜头跟踪相关船只，当船只驶离警示区外，停止相关告警。
92.在一可行的实施方式中，上述监测模块，还用于：通过对相邻海上风电机组之间沿集成海缆方向布设的图像采集设备进行平面标定，获取图像采集设备的内部参数和畸变参数；根据监控布设高度、观测的水平夹角以及观测期间的海平面高度计算关注运动目标在世界坐标系中与杆塔的实际距离，对关注运动目标进行追踪，确定关注运动目标的位置信息并进行实时测距；根据监测时间间隔内两幅实景影像中目标距离所对应的世界坐标系偏差确定关注运动目标的实时航速。
93.进一步，提供了另一种系统实施例，电子围栏视频监控系统包括以下三个模块：
94.a)检测模块：目标的检测是跟踪的基础，该模块包括视频的读取、图像预处理、改进的模型对目标的检测、数学形态学处理和目标的特征提取。
95.具体的，采用帧间差分法。即通过检测视频中相邻两帧或若干帧图像之间进行差分运算来检测目标。
96.其算法原理如下：
97.首先，计算出当前帧图像首先，按照公式2计算第k帧图像与第k-δk(δk≥1)帧图像之间的差分，获得差分图像dk，即：
98.dk(x,y)＝|fk(x,y)-f
k-δk
(x,y)|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
99.式中fk(x,y)和f
k-δk
(x,y)分别是前后两帧图像；dk(x,y)是帧间差分的图像。
100.得到差分图像dk后，按照二值化设定的阈值进行图像分割，即：
[0101][0102]
其中，th是二值化设定的阈值；rk(x,y)是二值化的结果图像。
[0103]
b)跟踪模块:在目标检测的基础上，对运动目标进行实时跟踪，该模块包括目标的识别和跟踪。
[0104]
其中，目标跟踪模块采用kalman滤波器作为目标的运动模型预测运动目标的位置。假定离散动态系统可以由n维的动态系统和p维(p≤n)的观测系统构成。其中系统方程可表示为：
[0105][0106]
式中，a表示系统状态x从k-1时刻到k时刻的n
×
m维状态转移矩阵。n
×
1维的矩阵b表示系统的作用矩阵，表示可选控制输入向量u到当前状态的转移矩阵。wk表示k时刻n维状态随机干扰噪声向量，具有协方差矩阵q的零均值白噪声向量。
[0107]
具体的，将每个时间点k的系统状态的后验估计值的误差协方差减到最小，由预测
和修正两个部分构成：
[0108]
1)预测部分：
[0109]
预测的状态方程：
[0110][0111]
预测的误差协方差方程：
[0112]
pk′
＝ap
k-1at
+q
[0113]
ꢀꢀ
(6)
[0114]
2)修正部分
[0115]
kalman增益矩阵方程：
[0116]
k＝pk′ht
(hpk′
h+r)-1
[0117]
ꢀꢀ
(7)
[0118]
修正的状态方程：
[0119][0120]
修正的误差协方差方程：
[0121]
pk＝(i-kh)pk′ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(9)
[0122]
其中，zk表示状态向量xk通过m维的观测系统和m维的噪声向量v所得到；h表示观测值z和系统状态x的关系，是一个m
×
n维的观测矩阵；表示在k-1时刻的状态向量预测得到的k时刻的状态向量；表示在得到k时刻的观测值zk后，经过zk修正后的状态向量；k表示m
×
n的kalman滤波器增益矩阵；pk为最小化后验估计误差的协方差。
[0123]
c)测距模块：通过对目标的检测和实时跟踪，获得目标的信息，该模块包括目标点的提取和测距。
[0124]
根据二位像素平面点与三维空间的匹配计算实际距离，通过几何透视变换原理实现具体算法和计算过程分析采集点到镜头中心的水平距离hp，记hp＝d。则：
[0125][0126]
式中f为摄像机的有效焦距；α为摄相机的俯仰角度；h为摄像机垂直与地面的垂足；h为摄像机的安装高度(镜头中心到地面的高度)，参见图6所示。
[0127]
进一步的摄像机到任意一个目标点f的水平距离l为：
[0128][0129]
任务辅助决策的基本判别原则为：
[0130]
a)目标风电机组处于运行状态时禁止运维人员进行一切目标风电风机相关的运维操作；
[0131]
b)任务所对应的船只、运维人员类型不对应时，系统发出告警，并将信息传回；
[0132]
c)根据目标风电场所监测到的实时海上气象数据，在不满足运维实时条件的情况下，实现实时告警；
[0133]
3.协助搜救行动：判断附近运维船只的人员情况，将告警信息发送至相关人员的
移动端，包括落水人员的实时位置信息以及落水位置的海域情况，方便运维船只进行精准快速搜救。
[0134]
本技术实施例提供一种海上风电电子围栏监控预警的布设方法及系统，为安全监控、预警和维护提供了可视化的解决方案。通过对接船事系统可获取到施工船只、渔船、非法入侵船只等相关信息，结合入侵时间、离开时间，可实时定位船舶位置(经度及纬度)和绘制历史轨迹，提高监控管理效率。对于船舶位置感知信息的储存，实时监控管理数据系统默认记录最近1个月的数据，最长支持3个月数据储存查询。
[0135]
基于数字孪生手段和地理信息技术，对接闯入船只信息数据，通过视频监控、图像识别算法获取船只动态数据，构建海上风电三维数字基座和动态船只模型，当船舶靠近或入侵电子围栏时，在中控系统对闯入船只进行三维可视化展示，将船只的航速、航向真实反馈到数字化基座上，结合目标风电机组风机物理三维模型，产生实时可视化预警，提醒监查管理人员迅速进行下一步决策，从而起到保护电子围栏内的相关设备设施、降低施工安全事故风险的作用。
[0136]
图7示出了一种电子围栏系统的示意图，该系统中包括也包括运维管理模块和船舶管理模块，用于对人员、船只和闯入船只进行运维管理，针对人员运维管理，对风电机组状态信息、人员位置信息、人员基本信息进行运维管理，还可以为人员落水进行告警，通过分区进行警示告警等，避免外来船只非法闯入。
[0137]
本技术实施例还提供了一种电子设备，如图8所示，为该电子设备的结构示意图，其中，该电子设备100包括处理器81和存储器80，该存储器80存储有能够被该处理器81执行的计算机可执行指令，该处理器81执行该计算机可执行指令以实现上述任一项海上风电电子围栏监控预警方法。
[0138]
在图8示出的实施方式中，该电子设备还包括总线82和通信接口83，其中，处理器81、通信接口83和存储器80通过总线82连接。
[0139]
其中，存储器80可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口83(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线82可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线82可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0140]
处理器81可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器81中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器81可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该
处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器81读取存储器中的信息，结合其硬件完成前述实施例的海上风电电子围栏监控预警方法的步骤。
[0141]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，该计算机可执行指令促使处理器实现上述海上风电电子围栏监控预警方法，具体实现可参见前述方法实施例，在此不再赘述。
[0142]
本技术实施例所提供的一种海上风电电子围栏监控预警方法和系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
[0143]
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本技术的范围。
[0144]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0145]
在本技术的描述中，需要说明的是，术语“中心”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。
[0146]
在本技术的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
[0147]
最后应说明的是：以上各实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述各实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种海上风电电子围栏监控预警方法，其特征在于，所述方法包括：预先配置每个风电机组对应的电子围栏数字边界，并在所述电子围栏数字边界建立分级报警警戒线；通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标；如果有，追踪所述闯入运动目标的运动轨迹，基于所述闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。2.根据权利要求1所述的海上风电电子围栏监控预警方法，其特征在于，预先配置每个风电机组对应的电子围栏数字边界，并在所述电子围栏数字边界建立分级报警警戒线，包括：基于每个风电机组所对应的位置确定相应的电子围栏数字中心，并基于预设区域半径确定电子围栏数字边界；针对集成海缆在海底铺设的位置投射到海平面，并在每个风电机组所对应的投射位置以预设视角和预设距离确定至少一个缓冲区边界；基于所述至少一个缓冲区边界在所述电子围栏数字边界建立分级报警警戒线。3.根据权利要求2所述的海上风电电子围栏监控预警方法，其特征在于，通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标，包括：通过相邻海上风电机组之间布设的沿集成海缆方向的图像采集设备监测过往运动目标，获取运动目标的图像信息；将所述运动目标的图像信息、船舶自动识别系统获取的船舶自动识别数据和雷达数据进行关联处理，确定关注运动目标以及关注目标的运动信息；所述运动信息至少包括运动目标的位置信息、移动方向和移动速度；基于所述关注运动目标在可视范围内的运动信息进行追踪，并基于关注运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长判断是否有闯入运动目标。4.根据权利要求3所述的海上风电电子围栏监控预警方法，其特征在于，将所述运动目标的图像信息、船舶自动识别系统获取的船舶自动识别数据和雷达数据进行关联处理，确定关注运动目标以及关注目标的运动信息，包括：基于所述运动目标的图像信息确定运动目标的视觉点；将所述船舶自动识别系统获取的船舶自动识别数据和雷达数据与所述运动目标的视觉点进行关联处理，得到实时感知信息；在所述实时感知信息中识别运动目标，将所述运动目标的位置信息与所述分级报警警戒线的经纬度信息进行实时对比，确定所述运动目标相对于分级报警警戒线的相对位置信息；根据所述相对位置信息确定关注运动目标，对所述关注运动目标进行追踪，确定所述关注目标的运动信息。5.根据权利要求4所述的海上风电电子围栏监控预警方法，其特征在于，基于所述闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告，包括：
基于所述闯入运动目标相对于分级报警警戒线的相对位置信息，和/或闯入运动目标在每个海上风电机组所对应的分级报警警戒线附近预设距离处的停留时长确定违规等级；根据违规等级对闯入运动目标进行分级警告。6.根据权利要求5所述的海上风电电子围栏监控预警方法，其特征在于，所述分级报警警戒线用于通过分级的方式划分预警区、警戒区和核心区；所述闯入运动目标为船只；根据违规等级对闯入运动目标进行分级警告，包括：当船只航行至电子围栏预警区时，发出三级警报，告知船只已经处于风电场风机工作或施工范围附近，提醒其注意航行安全；当船只航行跨越电子围栏预警线进入警示区时，发出二级警报，告知船只已经处于风电场风机工作或施工范围警戒区域，提醒其及时改变航向驶出警戒区；当船只航行跨越电子围栏警戒线进入核心区时，发出一级警报，告知船只已经处于风电场风机工作或施工范围核心区域，同时关联目标风电场机组的广播、光源设备进行声光重复告警，提醒驶入船只立刻改变航向，驶离风电场警示水域，监控镜头跟踪相关船只，当船只驶离警示区外，停止相关告警。7.根据权利要求4所述的海上风电电子围栏监控预警方法，其特征在于，根据所述相对位置信息确定关注运动目标，对所述关注运动目标进行追踪，确定所述关注目标的运动信息，包括：通过对所述相邻海上风电机组之间沿集成海缆方向布设的图像采集设备进行平面标定，获取图像采集设备的内部参数和畸变参数；根据监控布设高度、观测的水平夹角以及观测期间的海平面高度计算所述关注运动目标在世界坐标系中与杆塔的实际距离，对所述关注运动目标进行追踪，确定关注运动目标的位置信息并进行实时测距；根据监测时间间隔内两幅实景影像中目标距离所对应的世界坐标系偏差确定关注运动目标的实时航速。8.一种海上风电电子围栏监控预警系统，其特征在于，所述系统包括：电子围栏配置模块，用于预先配置每个风电机组对应的电子围栏数字边界，并在所述电子围栏数字边界建立分级报警警戒线；监测模块，用于通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标；追踪预警模块，用于如果有，追踪所述闯入运动目标的运动轨迹，基于所述闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的计算机可执行指令，所述处理器执行所述计算机可执行指令以实现权利要求1至7任一项所述的海上风电电子围栏监控预警方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现权利要求1至7任一项所述的海上风电电子围栏监控预警方法。

技术总结
本申请提供了一种海上风电电子围栏监控预警方法和系统，涉及监控预警技术领域，该方法包括：预先配置每个风电机组对应的电子围栏数字边界，并在电子围栏数字边界建立分级报警警戒线；通过相邻海上风电机组之间沿集成海缆方向布设的图像采集设备监测过往运动目标，并判断每个海上风电机组所对应的分级报警警戒线是否有闯入运动目标；如果有，追踪闯入运动目标的运动轨迹，基于闯入运动目标的运动信息确定违规等级，并根据违规等级对闯入运动目标进行分级警告。本申请当船舶靠近或入侵电子围栏时，可以对闯入船只进行实时可视化预警，从而起到保护电子围栏内的相关设备设施、降低海上风电组附近区域的安全事故风险。上风电组附近区域的安全事故风险。上风电组附近区域的安全事故风险。


技术研发人员：刘劲尧 卞奇志 蔡玮 张昀轩 黄天宇 吴张天 程海涛 杜伟 刘嵩 杜玉玺 刘俊男 李加尧 熊亮 王忆中 周海江
受保护的技术使用者：国网电力空间技术有限公司 航天宏图信息技术股份有限公司
技术研发日：2023.04.12
技术公布日：2023/7/20