基于计算机视觉的船舶辅助靠离泊方法及相关设备与流程

1.本发明涉及船舶技术领域，尤其涉及一种基于计算机视觉的船舶辅助靠离泊方法及相关设备。


背景技术：

2.有/无人船舶在靠离泊、登退陆操纵时，要求驾引操纵人员时刻掌握船舶周边态势、航道及水文气象信息，确保船舶能够航行在特定的航线上。由于驾引操纵人员对船舶实时的船速、位置、惯性等信息难以实时掌握、估计判断或操纵技术不熟练，导致船舶靠离泊、登退陆操纵失败或碰撞码头事故发生。随着造船技术和航海技术的发展，大型船舶及无人船舶的应用越来越多，但是可控性难度更大，对船舶靠离泊作业要求更高，尤其是对于运输危险品的船舶，如果只靠人工靠泊，存在较高的碰撞概率，易造成装备损失、环境污染及人身安全等严重问题，因此非常需要在船舶靠离泊过程中实时获取船岸相对姿态与位置来辅助靠离泊。
3.现有的船舶靠离泊辅助系统用于定位探测的技术主要有微波雷达定位技术、红外定位技术、激光定位技术、船岸协同、卫星导航定位等。几种定位技术在使用过程中都有比较明显的优缺点。微波雷达定位技术的优点是探测角度广，能够及时有效的把握最危险情况，但所处的微波波段易受到雨雪等气象因素的干扰，分辨率不高，易受假目标的影响，作用距离在50m左右。红外定位技术容对气象能见度要求高，当气象条件不好时，探测精度和距离无法保证。激光定位技术是目前应用最广泛且效果相对较好的一种定位探测技术，优点是探测精度高，动态反应速度灵敏，作用距离远，但其也存在一定的缺点，如激光束较窄，测量面为点，不能够完全掌握船舶整体态势，而且受天气影响较大，在实际的运行过程中还是会发生船泊撞击码头的事故。船岸协同方法采用岸基中心根据感知信息进行碰撞风险预警，由岸基中心判断后传输至船舶，继而船舶进行风险处置决策和相应操纵，受无线传输网络速率限制较大，存在延迟问题，更有可能出现因无线传输问题导致发生碰撞的风险较大，容易造成紧迫局面。卫星导航定位可实时监测船舶靠泊前航速、航向、距离等航行情况，但系统较复杂。针对相关技术中的问题，目前尚未提出有效的解决方案。因此，亟需一种新的技术方案以解决的问题。


技术实现要素：

4.在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
5.第一方面，本发明提出了基于计算机视觉的船舶辅助靠离泊方法一种基于计算机视觉的船舶辅助靠离泊方法，包括：获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息；基于泊位标志图像信息识别目标泊位的泊位位置坐标信息；根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径；将目标泊位位置坐标信
息和规划航行路径叠加显示在目标视频中以用于增强显示，其中，目标视频是通过摄像头获取的。
6.可选地，泊位标志图像信息包括aruco标签码信息，aruco标签码信息用于标记目标泊位的位置信息。
7.可选地，根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径，包括：获取摄像头坐标信息、aruco标签码坐标信息和船舶坐标信息；确定摄像头坐标信息与aruco标签码坐标信息的第一转换关系，其中，第一转换关系包括摄像头坐标信息与aruco标签码坐标信息对应的角度关系和/或位移关系；确定船舶坐标信息与摄像头坐标信息的第二转换关系，其中，第二转换关系包括船舶坐标信息与摄像头坐标信息的角度关系；基于第一转换关系、第二转换关系和船舶坐标信息，确定船舶相对坐标信息，其中，船舶相对坐标信息为船舶在aruco标签码坐标系中对应的位置信息；基于船舶相对坐标信息生成规划航行路径。
8.可选地，方法还包括：获取目标船舶的航行方向和船岸距离；在船岸距离小于预设距离的情况下，基于航行方向控制泊位标志图像信息板执行转向操作，以使泊位标志图像信息与航行方向的角度信息小于预设角度，其中，泊位标志图像信息板上展示有泊位标志图像信息。
9.可选地，泊位标志图像信息是通过目标船舶上的摄像头获取的，在摄像头为固定摄像头的情况下，基于航行方向控制泊位标志图像信息板执行转向操作，包括：获取固定摄像头的视场角度范围；通过无线数传电台获取泊位标志图像信息板坐标系旋转角度和升降信息；根据固定摄像头的视场角度范围、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及航行方向控制泊位标志图像信息板执行旋转操作。
10.可选地，泊位标志图像信息是通过目标船舶上的摄像头获取的，在摄像头为可旋转摄像头的情况下，基于航行方向控制泊位标志图像信息板执行转向操作包括：获取可旋转摄像头的旋转角度；通过无线数传电台获取泊位标志图像信息板坐标系旋转角度和升降信息；根据可旋转摄像头的旋转角度、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及航行方向控制泊位标志图像信息执行旋转操作。
11.可选地，方法还包括：在目标泊位至少两个泊位标志图像信息板以及分布于船舶不同位置多个摄像头的情况下，以泊位线中点为原点设定泊位坐标系，测量获取多个泊位标志图像信息板布置位置并转化为泊位坐标系的坐标；获取不同摄像头相对同一泊位标志图像信息板的坐标系并进行误差平均和坐标系归一化处理。
12.第二方面，本发明提出了一种基于计算机视觉的船舶靠离泊航路规划装置，包括：获取单元，用于获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息；识别单元，用于基于泊位标志图像信息识别目标泊位的泊位位置坐标信息；生成单元，用于根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径；显示单元，用于将所述目标泊位位置坐标信息和所述规划航行路径叠加显示在目标视频中以用于增强显示，其中，所述目标视频是通过摄像头获取的。
13.第三方面，本发明还提出了一种电子设备，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行基于计算机视觉的船舶辅助靠离泊方法。
14.第四方面，本发明还提出了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行基于计算机视觉的船舶辅助靠离泊方法。
15.由此，本发明提出的基于计算机视觉的船舶辅助靠离泊方法，通过获取目标泊位的泊位标志图像信息；基于泊位标志图像信息识别目标泊位的泊位位置坐标信息，实现了对目标泊位位置坐标信息的自动获取与识别；同时根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径，实现了对于目标泊位的定位、目标船舶离靠泊全过程的自动化，减少了目标船舶的离靠泊全过程中人工的参与过程，从而降低了由于依赖人工过往经验完成目标船舶离靠泊过程造成的误操作，进而提高了船舶离靠泊的成功率，且探测指引不再依赖于定位探测技术，将目标泊位位置坐标信息和规划航行路径叠加显示在目标视频中以用于增强显示，其中，目标视频是通过摄像头获取的；摆脱了天气、距离等客观因素对船舶离靠泊过程造成的限制，同时节约了船舶离靠泊过程的人工成本、时间成本。
16.本发明的基于计算机视觉的船舶辅助靠离泊方法，本发明的其它优点、目标和特征将部分通过下面的说明体现，部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。
附图说明
17.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
18.图1示出了根据本发明一个实施例的基于计算机视觉的船舶辅助靠离泊方法的示意性流程图；
19.图2示出了根据本发明一个实施例的泊位标志装置的示意性框图；
20.图3示出了根据本发明一个实施例的摄像头与泊位标志信息板的信息转换关系示意图；
21.图4示出了根据本发明一个实施例的泊位标志图像信息的处理过程示意图。
22.图5示出了根据本发明一个实施例的基于计算机视觉的船舶靠离泊航路规划装置的示意性框图；
23.图6示出了根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
24.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而
不是全部的实施例。
25.根据本发明的第一方面，提出了基于计算机视觉的船舶辅助靠离泊方法。图1示出了根据本发明一个实施例的基于计算机视觉的船舶辅助靠离泊方法100的示意性流程图。如图1所示，方法100可以包括以下步骤：
26.步骤s110，获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息。
27.示例性地，泊位标志图像信息可以是根据具体需求而设计的二维码。例如，泊位标志图像信息可以是以二维码的形式显示于目标泊位的泊位标志图像信息板上。泊位标志图像信息还可以是以文字的形式所标示的目标泊位的地理坐标等，具体形式在此不做限定。具体地，泊位标志图像信息板姿态信息可以包括角度信息，高度信息等。
28.需要说明的是，泊位标志图像信息还可用于估计目标船舶距离目标泊位的距离信息与目标船舶的航向信息。
29.步骤s120，基于泊位标志图像信息识别目标泊位的泊位位置坐标信息。
30.示例性地，泊位标志图像信息可以是以二维码形式或文字形式刻录于目标泊位的泊位标志图像信息板上。泊位标志图像信息经电子设备的摄像头扫描后，可显示目标泊位的泊位位置坐标信息。优选地，电子设备的摄像头可以具有足够的分辨率、红外功能或微光功能。
31.步骤s130，根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径。
32.具体地，目标船舶的当前位置坐标信息可以是由目标船舶上的电子设备直接测量获得的或由计算推导获得的，在此不做具体限定。可以理解的是，现有的、乃至未来一切可实现获得目标船舶的当前位置坐标信息的手段，均在本发明的保护范围中。示例性地，可以基于步骤s120识别得到的目标泊位的泊位位置坐标点位和目标船舶的当前位置坐标点位进行航向指引，进而实现目标船舶的自动化靠离泊。
33.步骤s140，将目标泊位位置坐标信息和规划航行路径叠加显示在目标视频中以用于增强显示，其中，目标视频是通过摄像头获取的。
34.示例性地，摄像头是固定在目标船舶上的。具体地，目标泊位位置坐标信息和规划得到的航行路径可以同时结合目标船舶的航速及航向信息、当前环境的风向及风速信息、水流的流向及流速信息增强现实(augmented reality，ar)技术，进而对目标船舶的离泊航路进行规划。
35.本发明提出的基于计算机视觉的船舶辅助靠离泊方法，通过获取目标泊位的泊位标志图像信息；基于泊位标志图像信息识别目标泊位的泊位位置坐标信息，实现了对目标泊位位置坐标信息的自动获取与识别；同时根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径，实现了对于目标泊位的定位、目标船舶离靠泊全过程的自动化，减少了目标船舶的离靠泊全过程中人工的参与过程，从而降低了由于依赖人工过往经验完成目标船舶离靠泊过程造成的误操作，进而提高了船舶离靠泊的成功率，且探测指引不再依赖于定位探测技术，将目标泊位位置坐标信息和规划航行路径叠加显示在目标视频中以用于增强显示，其中，目标视频是通过摄像头获取的；摆脱了天气、距离等客观因素对船舶离靠泊过程造成的限制，同时节约了船舶离靠泊过程的人工成本、时间成本。
36.在一些示例中，泊位标志图像信息包括aruco标签码信息，aruco标签码信息用于
标记目标泊位的位置信息。
37.具体地，aruco标签码可以由一个宽的黑边和一个内部的二进制矩阵组成，例如：一个4x4的marker由16bits组成。aruco标签码的黑色边界有利于快速检测到图像，且其内部的矩阵决定了它们的id。由于aruco标签码采用二进制编码，所以可以支持错误检测和技术矫正。aruco标签提供字典类来描述marker字典，并通过文件记录不同字典的编码。例如dict_4*4_1000就是一个预定义的字典，包含1000个不同的marker，且每个marker都由16bits组成。字典预编码格式和marker样式是一一对应的，且marker具有方向性。示例性地，包括aruco标签码信息在内的泊位标志图像信息，可以采用电子显示屏的方式显示于泊位标志图像信息板上，可替换地，还可以以荧光的形式显示于泊位标志图像信息板上，以便于船舶在能见度较低的天气下，成功完成离靠泊作业。上述方法，通过采用aruco标签码信息用于标记目标泊位的位置信息，实现了快速完成目标泊位的泊位置坐标信息获取过程，且采用aruco标签码信息有利于提高容错率，进而实现了节约船舶离靠泊过程的时间，提高了船舶离靠泊过程的成功率与准确率，且采用aruco标签码信息，有助于电子设备对其进行快速检测识别，单个aruco标签码信息即可提供足够多的信息用于获取扫描设备的姿态或对扫描设备的位置进行测量，由于其采用二进制编码使得aruco标签码信息算法非常强悍，可以支持错误检测和技术纠正，且适用于多种复杂环境，诸如：白天、黑夜、水下等。
38.在一些示例中，步骤s130根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径，可以包括以下具体步骤：
39.步骤s131，获取摄像头坐标信息、aruco标签码坐标信息和船舶坐标信息。
40.具体地，摄像头坐标信息，可以是以摄像头为坐标原点建立的摄像头坐标系ocxcyczc；aruco标签码坐标信息可以是以标记有aruco标签码的泊位标志图像信息板210的几何中心为坐标原点建立的aruco标签码坐标系owx
wywzw
；船舶坐标信息可以是以目标船舶几何中心为原点建立的船舶坐标系osx
syszs.
。其中，aruco标签码坐标信息可以用于表示泊位标志图像信息板的坐标信息。
41.步骤s132，确定摄像头坐标信息与aruco标签码坐标信息的第一转换关系，其中，第一转换关系包括摄像头坐标信息与aruco标签码坐标信息对应的角度关系和/或位移关系。
42.具体地，可以确定摄像头坐标系ocxcyczc与aruco标签码坐标系owx
wywzw
的第一转换关系。其中第一转换关系可以是角度关系矩阵rwc和/或位移关系twc。其中，摄像头坐标系ocxcyczc与aruco标签码坐标系owx
wywzw
绕z轴存在偏转角θ的情况下，rwc为同理，在摄像头坐标系ocxcyczc与aruco标签码坐标系owx
wywzw
绕x轴存在偏转角φ的情况下，rwc为在摄像头坐标系ocxcyczc与aruco标签码坐标系owx
wywzw
绕y轴存在偏转角ω的情况下，rwc为
在摄像头坐标系ocxcyczc与aruco标签码坐标系在y轴上存在h的偏移量时，twc可以是(0，h，0)。
43.步骤s133，确定船舶坐标信息与摄像头坐标信息的第二转换关系，其中，第二转换关系包括船舶坐标信息与摄像头坐标信息的角度关系。
44.具体地，可以确定船舶坐标系osx
syszs.
与摄像头坐标系ocxcyczc的第二转换关系。其中，第二转换关系可以是角度关系矩阵rcs。其中，角度关系矩阵rcs取值确定方式与rwc相同，在此不再赘述。
45.步骤s134，基于第一转换关系、第二转换关系和船舶坐标信息，确定船舶相对坐标信息，其中，船舶相对坐标信息为船舶在aruco标签码坐标系中对应的位置信息。
46.具体地，船舶相对坐标信息可以是目标船舶上任何一点在船舶坐标系osx
syszs.
中的坐标经转换后在aruco标签码坐标系owx
wywzw
中对应的坐标，例如：船舶上一点p的坐标为(x，y，z)，则可基于第一转换关系中的(rwc，twc)、第二转换关系中的(rwc、twc)确定p点在owx
wywzw
坐标系中的坐标为(xw，yw，zw)。
47.步骤s135，基于船舶相对坐标信息生成规划航行路径。
48.示例性地，可以基于步骤s134中计算得的船舶相对坐标信息，针对目标船舶的离靠泊过程生成指向性航行路径。
49.上述方法，通过将船身上任一一点在船舶坐标信息中的坐标转换为基于aruco标签码坐标信息中的船舶相对坐标信息，实现了在船舶航行水位发生变化、摄像头发生旋转等情况下，基于摄像头坐标系ocxcyczc与aruco标签码坐标系owx
wywzw
的第一转换关系、船舶坐标系osx
syszs.
与摄像头坐标系ocxcyczc的第二转换关系，快速精准确定船身上任意一点在aruco标签码坐标系owx
wywzw
的船舶相对坐标信息，进而实现了对目标船舶任意一侧的精准靠离泊。
50.如图2所示，图2示出了根据本发明一个实施例的泊位标志装置200的示意性框图，装置200可以包括泊位标志图像信息板210、云台220、升降装置230、电源240、基座250。其中，泊位标志210，可以用于显示泊位标志图像信息；云台220，可以用于对泊位标志210执行转向操作，升降装置230可以用于对泊位标志210执行升降操作；电源240可以用于对泊位标志装置200提供电力；基座250用于支撑泊位标志图像信息板210、云台220、升降装置230及电源240。
51.在一些示例中，方法100还可以包括以下步骤：
52.步骤s150，获取目标船舶的航行方向和船岸距离。
53.具体地，目标船舶的航行方向可以是由目标船舶自身测量获得的。目标船舶的航行方向和船岸距离信息还可以是通过摄像头扫描泊位标志图像信息的过程获取得到。例如，可以基于摄像头在预设时间内第一次对泊位标志图像信息进行扫描操作中的摄像头的位置坐标信息及预设时间内最后一次对泊位标志图像信息进行扫描操作中的摄像头的位置坐标信息，获取得到目标船舶的航行方向，同时，可以根据摄像头最后一次对泊位标志图像信息进行扫描操作中的摄像头的位置坐标信息获取船岸距离信息。
54.步骤s160，在船岸距离小于预设距离的情况下，基于航行方向控制泊位标志图像信息板执行转向操作，以使泊位标志图像信息与航行方向的角度信息小于预设角度，其中，泊位标志图像信息板上展示有泊位标志图像信息。
55.示例性地，船岸距离信息可以是泊位标志图像距离摄像头的直线距离。预设距离可以是摄像头可以清晰扫取泊位标志图像信息的有效距离，例如：50米。预设角度可以是根据船体尺寸、摄像头的可偏转角度设置的，也可以是根据用户的实际需要人工设定的，在此不做具体限定。例如：预设角度可以是60度。上述转向操作可以是基于如图2所示的泊位标志装置200实现。上述方法，通过在船岸距离小于预设距离的情况下，控制泊位标志图像信息板基于目标船舶的航行方向执行转向操作，使得目标船舶扫取泊位标志图像信息中的泊位位置坐标信息更加快捷，简便，节约了目标船舶为准确扫取泊位标志图像信息过程中的调转船体或摄像头方向的操作步骤，提高了对泊位标志图像信息的扫描精度，进而有利于目标船舶更为精准、快速地完成离靠泊操作。
56.示例性地，图3示出了根据本发明一个实施例的摄像头与泊位标志信息板的信息转换关系示意图。如图3所示设置于目标船舶上的摄像头可以用于扫取固定于目标泊位中的泊位标志图像信息板上的图像信息。需要说明的是，图3中泊位标志信息板的个数及摄像头的个数仅仅是一种示例，不代表本方法对摄像头及泊位标志信息板的个数进行限定。
57.示例性地，图4示出了根据本发明一个实施例的泊位标志图像信息的处理过程示意图。如图4所示，摄像头扫取泊位标图像信息板上的图像信息，由数据处理单元对泊位标志图像信息进行解析以获得目标船舶的相对于目标泊位的位置信息与姿态信息，同时可以结合船舶相对泊位的航速、航向、距离等信息对目标船舶靠离泊过程的航路规划，具体地，可通过增强现实技术(augmented reality，ar)对航路进行处理，经处理后的航路可以显示于船舶靠离泊辅助显示模块用于辅助驾驶员的操作和决策。
58.在一些示例中，泊位标志图像信息是通过目标船舶上的摄像头获取的，在摄像头为固定摄像头的情况下，步骤s160基于航行方向控制泊位标志图像信息板执行转向操作还可以包括以下步骤：
59.步骤s161，获取固定摄像头的视场角度范围。
60.示例性地，固定摄像头的视场角度范围可以是基于摄像头的厂牌信息自动获取，例如：90度。
61.步骤s162，通过无线数传电台获取泊位标志图像信息板坐标系旋转角度和升降信息。
62.具体地，泊位标志图像信息板坐标系为以泊位标志图像信息板的几何中心为原点所建立的坐标系，需要说明的是此泊位标志图像信息板坐标系为世界坐标系。泊位标志图像信息板固定于目标泊位中，用于显示目标泊位的相关信息，包括但不限于目标泊位的位置坐标信息。可以理解的是，在泊位标志图像为aruco标签码时，此泊位标志图像信息板坐标系与aruco标签码坐标系可以是同一坐标系。无线数传电台可以固定在目标船舶与泊位标志上，可以用于目标船舶与目标泊位的信息传递，特别是用于接收目标泊位的泊位标志图像信息板坐标系的相关信息。具体地，在泊位标志图像为aruco标签码时，泊位标志图像信息板坐标系的旋转角度可以通过获取角度关系矩阵rwc确定；升降高度信息可以是通过twc确定。
63.步骤s163，根据固定摄像头的视场角度范围、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及航行方向控制泊位标志图像信息板执行旋转操作。
64.示例性地，摄像头坐标系可以是以摄像头为坐标原点建立的摄像头坐标系
ocxcyczc。在泊位标志图像为aruco标签码时，泊位标志图像信息板坐标系可以是aruco标签码坐标系owx
wywzw
。航行方向为目标船舶的航向方向，可以是由目标船舶自身测量获得的。
65.上述方法，通过结合固定摄像头的视场角度范围、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及航行方向控制泊位标志图像信息板执行旋转操作，在目标船舶上的摄像头的视场角度范围受限的情况下，结合摄像头坐标系、泊位标志图像信息板坐标系对目标泊位与目标船舶进行位姿测量，同时结合目标船舶的航行方向，自动控制泊位标志图像信息板执行旋转操作，提高摄像头扫取泊位标志图像信息的效率与准确率，进而提高了目标船舶完成靠离泊过程的成功率及精准度。
66.在一些示例中，泊位标志图像信息是通过目标船舶上的摄像头获取的，在摄像头为可旋转摄像头的情况下，步骤s160基于航行方向控制泊位标志图像信息板执行转向操作还可以包括以下步骤：
67.步骤s164，获取可旋转摄像头的旋转角度。
68.示例性地，可旋转摄像头的旋转角度可以是基于摄像头的厂牌信息自动获取，例如：180度。
69.步骤s165，通过无线数传电台获取泊位标志图像信息板坐标系旋转角度和升降信息。
70.示例性地，无线数传电台可以固定在目标船舶与泊位标志上，可以用于目标船舶与目标泊位的信息传递，特别是用于接收目标泊位的泊位标志图像信息板坐标系的相关信息。具体地，在泊位标志图像为aruco标签码时，泊位标志图像信息板坐标系的旋转角度可以通过获取角度关系矩阵rwc确定；升降高度信息可以是通过twc确定。
71.步骤s166，根据可旋转摄像头的旋转角度、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及航行方向控制泊位标志图像信息执行旋转操作。
72.示例性地，摄像头坐标系可以是以摄像头为坐标原点建立的摄像头坐标系ocxcyczc。在泊位标志图像为aruco标签码时，泊位标志图像信息板坐标系可以是aruco标签码坐标系owx
wywzw
。航行方向为目标船舶的航向方向，可以是由目标船舶自身测量获得的。
73.上述方法，通过结合可旋转摄像头的旋转角度、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及航行方向控制泊位标志图像信息板执行旋转操作，在目标船舶上的可旋转摄像头的旋转角度范围受限的情况下，结合摄像头坐标系、泊位标志图像信息板坐标系对目标泊位与目标船舶进行位姿测量，同时结合目标船舶的航行方向，自动控制泊位标志图像信息板执行旋转操作，提高可旋转摄像头扫取泊位标志图像信息的效率与准确率，扩大了可旋转摄像头能成功扫取目标泊位的泊位标志图像的有效面积，进而提高了目标船舶完成靠离泊过程的成功率及精准度。
74.在一些示例中，方法100还可以包括以下步骤：
75.步骤s170，在目标泊位至少两个泊位标志图像信息板以及分布于船舶不同位置多个摄像头的情况下，以泊位线中点为原点设定泊位坐标系，测量获取多个泊位标志图像信息板布置位置并转化为泊位坐标系的坐标。
76.示例性地，可以理解的是泊位坐标系为世界坐标系。测量获取多个泊位标志图像信息板布置位置并转化为泊位坐标系的坐标可以是测量目标泊位中的多个泊位标志图像信息板相对于泊位线中点的平行于水面方向上的横向(x轴)、纵向的垂直距离(y轴)及垂直
于水面方向上垂直的距离(z轴)，将各个泊位标志图像信息板相对于泊位线中点的位置坐标经转化处理后，得到各个泊位标志图像信息板在泊位坐标系终的具体坐标。
77.步骤s180，在目标泊位至少两个泊位标志图像信息板以及分布于船舶不同位置多个摄像头的情况下，以泊位线中点为原点设定泊位坐标系，测量获取多个泊位标志图像信息板布置位置并转化为泊位坐标系的坐标。
78.步骤s190，获取不同摄像头相对同一泊位标志图像信息板的坐标系并进行误差平均和坐标系归一化处理。
79.示例性地，上述方法通过船舶不同的位置不同的摄像头测对同一个位标志图像信息板的坐标系并进行误差平均并进行坐标系归一化处理，从而提高获取摄像头坐标系相对泊位坐标系的位置和角度数据的准确度，且在目标泊位放置多个泊位标志图像信息板可以提高摄像头的对于目标泊位的相关信息的扫描精度。根据本发明的第二方面，还提出了一种基于计算机视觉的船舶靠离泊航路规划装置。图5示出了根据本发明一个实施例的一种基于计算机视觉的船舶靠离泊航路规划装置500的示意性框图。如图5所示，装置500可以包括：获取单元510、识别单元520、生成单元530以及显示单元540。
80.获取单元510，用于获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息。
81.识别单元520，用于基于泊位标志图像信息识别目标泊位的泊位位置坐标信息。
82.生成单元530，用于根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径。
83.显示单元540，用于将所述目标泊位位置坐标信息和所述规划航行路径叠加显示在目标视频中以用于增强显示，其中，所述目标视频是通过摄像头获取的。
84.根据本发明的第三方面，还提出了一种电子设备。图6示出了根据本发明一个实施例的电子设备600的示意性框图。如图6所示，电子设备600可以包括处理器610和存储器620，其中，存储器620中存储有计算机程序指令，计算机程序指令被处理器610运行时用于执行如上基于计算机视觉的船舶辅助靠离泊方法控制方法。
85.根据本发明的第四方面，还提出了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行如上所述基于计算机视觉的船舶辅助靠离泊方法。存储介质例如可以包括平板电脑的存储部件、计算机的硬盘、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
86.本领域普通技术人员通过阅读上述有关基于计算机视觉的船舶辅助靠离泊方法的相关描述可以理解基于计算机视觉的船舶辅助靠离泊方法、基于计算机视觉的船舶靠离泊航路规划装置、电子设备以及存储介质的具体细节以及有益效果，为了简洁在此不再赘述。
87.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和/或设备，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合
或通信连接，可以是电性，机械或其它的形式。
88.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
89.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
90.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
91.以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征：
1.一种基于计算机视觉的船舶辅助靠离泊方法，其特征在于，包括：获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息；基于所述泊位标志图像信息识别所述目标泊位的泊位位置坐标信息；根据所述目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径；将所述目标泊位位置坐标信息和所述规划航行路径叠加显示在目标视频中以用于增强显示，其中，所述目标视频是通过摄像头获取的。2.如权利要求1所述的基于计算机视觉的船舶辅助靠离泊方法，其特征在于，所述泊位标志图像信息包括aruco标签码信息，所述aruco标签码信息用于标记所述目标泊位的位置信息。3.如权利要求2所述的基于计算机视觉的船舶辅助靠离泊方法，其特征在于，所述根据所述目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径，包括：获取摄像头坐标信息、aruco标签码坐标信息和船舶坐标信息；确定所述摄像头坐标信息与所述aruco标签码坐标信息的第一转换关系，其中，所述第一转换关系包括所述摄像头坐标信息与所述aruco标签码坐标信息对应的角度关系和/或位移关系；确定所述船舶坐标信息与所述摄像头坐标信息的第二转换关系，其中，所述第二转换关系包括所述船舶坐标信息与所述摄像头坐标信息的角度关系；基于所述第一转换关系、所述第二转换关系和所述船舶坐标信息，确定船舶相对坐标信息，其中，所述船舶相对坐标信息为所述船舶在aruco标签码坐标系中对应的位置信息；基于所述船舶相对坐标信息生成所述规划航行路径。4.如权利要求1所述的基于计算机视觉的船舶辅助靠离泊方法，其特征在于，还包括：获取所述目标船舶的航行方向和船岸距离；在所述船岸距离小于预设距离的情况下，基于所述航行方向控制泊位标志图像信息板执行转向操作，以使所述泊位标志图像信息与所述航行方向的角度信息小于预设角度，其中，所述泊位标志图像信息板上展示有所述泊位标志图像信息。5.如权利要求4所述的基于计算机视觉的船舶辅助靠离泊方法，其特征在于，所述泊位标志图像信息是通过所述目标船舶上的摄像头获取的，在所述摄像头为固定摄像头的情况下，所述基于所述航行方向控制泊位标志图像信息板执行转向操作，包括：获取所述固定摄像头的视场角度范围；通过无线数传电台获取所述泊位标志图像信息板坐标系旋转角度和升降信息；根据所述固定摄像头的视场角度范围、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及所述航行方向控制所述泊位标志图像信息板执行所述旋转操作。6.如权利要求4所述的基于计算机视觉的船舶辅助靠离泊方法，其特征在于，所述泊位标志图像信息是通过所述目标船舶上的摄像头获取的，在所述摄像头为可旋转摄像头的情况下，所述基于所述航行方向控制泊位标志图像信息板执行转向操作包括：获取所述可旋转摄像头的旋转角度；通过无线数传电台获取所述泊位标志图像信息板坐标系旋转角度和升降信息；
根据所述可旋转摄像头的旋转角度、摄像头坐标系、泊位标志图像信息板坐标系旋转角度和升降信息以及所述航行方向控制所述泊位标志图像信息执行所述旋转操作。7.如权利要求5所述的基于计算机视觉的船舶辅助靠离泊方法，其特征在于，还包括：在所述目标泊位至少两个所述泊位标志图像信息板以及分布于船舶不同位置多个摄像头的情况下，以泊位线中点为原点设定泊位坐标系，测量获取多个泊位标志图像信息板布置位置并转化为所述泊位坐标系的坐标；获取不同摄像头相对同一泊位标志图像信息板的坐标系并进行误差平均和坐标系归一化处理。8.一种基于计算机视觉的船舶辅助靠离泊装置，其特征在于，包括：获取单元，用于获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息；识别单元，用于基于所述泊位标志图像信息识别所述目标泊位的泊位位置坐标信息；生成单元，用于根据所述目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径；显示单元，用于将所述目标泊位位置坐标信息和所述规划航行路径叠加显示在目标视频中以用于增强显示，其中，所述目标视频是通过摄像头获取的。9.一种电子设备，其特征在于，包括处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行如权利要求1至7任一项基于计算机视觉的船舶辅助靠离泊方法。10.一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行如权利要求1至7任一项基于计算机视觉的船舶辅助靠离泊方法。

技术总结
本申请提供一种基于计算机视觉的船舶辅助靠离泊方法及相关设备。方法包括：获取目标泊位的泊位标志图像信息与泊位标志图像信息板姿态信息；基于泊位标志图像信息识别目标泊位的泊位位置坐标信息；根据目标泊位位置坐标信息和目标船舶的当前位置坐标信息生成规划航行路径；将目标泊位位置坐标信息和规划航行路径叠加显示在目标视频中以用于增强显示，其中，目标视频是通过摄像头获取的。实现了目标船舶离靠泊过程中对于目标泊位的定位自动化，提高了船舶离靠泊的成功率，节约了船舶离靠泊过程的人工成本、时间成本。时间成本。时间成本。


技术研发人员：向前
受保护的技术使用者：向前
技术研发日：2023.05.18
技术公布日：2023/8/21