基于视觉态势感知的港口RMG或RTG双箱自动化作业系统的制作方法

基于视觉态势感知的港口rmg或rtg双箱自动化作业系统
技术领域
1.本发明涉及港口rmg或者rtg自动化实施技术领域，特别涉及基于视觉态势感知的港口rmg或rtg双箱自动化作业系统。


背景技术：

2.港口rmg或者rtg自动化实施或者改造过程中，为提高效率，一些码头选用了双箱吊具，双箱吊具可以同时抓放两个20尺的集装箱，大大的提高了作业效率，但双箱作业的复杂程度远大于单箱作业，在自动化改造升级过程中，原始的单箱tos生产系统无法满足双箱作业的需求。为此，我们提出基于视觉态势感知的港口rmg或rtg双箱自动化作业系统。


技术实现要素：

3.本发明的主要目的在于提供基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，可以有效解决背景技术中的问题。
4.本发明采取的技术方案为：
5.基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，所述作业系统包括：
6.箱号识别模块，所述箱号识别模块采用ai人工智能识别算法，用于识别集装箱顶部箱号和箱门箱号，并生成箱号识别结果；
7.层高扫描模块，所述层高扫描模块用于对小车相邻贝箱进行扫描，获取并存储低贝箱高度信息与高贝箱高度信息；
8.箱缝间隙检测模块，所述箱缝间隙检测模块用于检测双箱吊具下方目标箱的箱缝间隙长度，根据检测结果确定吊具中锁的伸缩长度值；
9.控制模块，所述控制模块与所述箱号识别模块、所述层高扫描模块和所述箱缝间隙检测模块均通信连接，用于获取所述箱号识别结果、所述低贝箱高度信息与高贝箱高度信息及所述吊具中锁的伸缩长度值，并根据获取的信息生成单箱作业指令；
10.作业指令转换模块，所述作业指令转换模块通过tos接口与单箱作业生产系统进行搭对，根据搭对规则将单箱作业指令转化为双箱作业指令，并在当出现双箱作业异常情况时，将双箱作业指令转换为作业指令或直接转人工控制；
11.可视化显示模块，所述可视化显示模块与所述作业指令转换模块连接，用于将所述作业指令和所述作业异常情况通过可视化方式显示给作业人员。
12.进一步的，所述箱号识别模块包括安装于吊具两端的两组箱号识别视觉相机，为保证具有最佳的识别效果，所述箱号识别视觉相机分别安装于吊具对角线位置的端部，可以实现同时识别前箱和后箱箱号，并将识别到的箱号和作业指令信息进行匹配。
13.进一步的，所述层高扫描模块包括对称分布于吊具两侧位置的层高扫描仪，通过层高扫描仪对双箱层高扫描检测并存储低贝箱高度信息与高贝箱高度信息，作业前当发现作业层高信息与系统场图信息不符时，停止作业避免安全风险，防打保龄；当高贝箱与低贝箱层高数一致时，若检测到高贝箱与低贝箱高差大于设定安全高差时停止作业，避免安全
风险。
14.进一步的，所述层高扫描仪为2d扫描仪或多线扫描仪，为保证具有最佳的扫描结果，当所述层高扫描仪为2d扫描仪时，其数量为四个；当所述层高扫描仪为多线扫描仪时，其数量为量两个。
15.进一步的，所述箱缝间隙检测模块包括间隙扫描仪和四个间隙视觉相机，通过布置间隙扫描仪扫描仪和视觉检测两套冗余方案，将检测结果进行互相校验，从而实现中锁x方向基础对位。
16.进一步的，为保证具有最佳的扫描效果，所述间隙扫描仪安装于吊具底部中心位置处，所述间隙视觉相机对称分布于吊具中锁下端。
17.进一步的，所述箱缝间隙检测模块还包括数据分析模块和数据存储模块，所述数据存储模块用于存储所述间隙扫描仪和四个所述间隙视觉相机的检测数据，所述数据分析模块用于对所述间隙扫描仪和间隙视觉相机采集的数据进行分析，获取箱缝间隙的准确值。
18.进一步的，所述箱缝间隙检测模块的具体实施步骤为：
19.步骤1，通过所述间隙扫描仪扫描t时刻时吊具下方相邻目标位箱体之间的箱缝长度，记录扫描结果数值，记作xn；
20.步骤2，通过所述视觉相机扫描t时刻时吊具下方相邻目标位箱体之间的箱缝长度，记录扫描结果数值，记作yn；
21.步骤3，通过数据分析模块获取数值xn和yn，计算t时刻时xn和yn的差值，记作
△
n；
22.步骤4，通过数据分析模块比较
△
n的值与预设的安全阈值σ的大小，若
△
n≤σ，则取xn和yn的均值作为检测输出结果，所述输出结果为(xn+yn)/2；
23.步骤5，若在步骤4中
△
n＞σ，则通过所述数据分析模块分别对xn和yn的数值进行综合判定，根据判定结果作为检测输出结果。
24.进一步的，所述综合判定方法包括以下步骤：
25.步骤1)，读取所述数据存储模块中t时刻前所存储的所有扫描结果数值xn和yn，将所述结果数值以采集时间顺序进行排列，获取所述间隙扫描仪和所述视觉相机的结果集合，分别记作(x1，x2，x3，...xn)和(y1，y2，y3，...yn)；
26.步骤2)，根据所述结果集合，计算所述间隙扫描仪和所述视觉相机的失效率λ
x
和λy，计算公式分别为：其中，n为集合中的数据样本总量，λ1和λ2分别为集合(x1，x2，x3，...xn)和(y1，y2，y3，...yn)中的检测失效样本数量；
27.步骤3)，根据步骤2)中失效率λ
x
和λy的计算结果，将失效率计算结果带入公式计算在t时刻时所述间隙扫描仪和所述视觉相机的可靠性r
x
和ry，其中，所述可靠性的计算公式为：r(t)＝e-λt
；
28.步骤4),比较所述间隙扫描仪和所述视觉相机的可靠性r
x
和ry的数值大小，取所述可靠性数值较大的系统所检测的结果作为检测输出结果。
29.进一步的，在步骤2)中的所述检测失效样本为与实际数值偏差量超过设定值的扫描结果数值，所述设定值由作业人员根据实际操作经验进行人工设定。
30.本发明具有如下有益效果：
31.1)本发明提出的技术方案，通过设置箱号识别模块，采用ai人工智能识别算法识别集装箱顶部箱号和箱门箱号，并生成箱号识别结果，可以实现同时识别前箱和后箱箱号，并将识别到的箱号和指令信息进行匹配，解决了原有生产系统中在人工作业的时依靠人工来观察确认箱号的问题，提高了识别的精确度，实现自动化生产作业；
32.2)本发明提出的技术方案，通过设置层高扫描模块，对双箱层高扫描检测并存储低贝箱高度信息与高贝箱高度信息，作业前当发现作业层高信息与系统场图信息不符时，停止作业避免安全风险，防打保龄，当高贝箱与低贝箱层高数一致时，若检测到高贝箱与低贝箱高差大于设定安全高差时停止作业，避免安全风险，可有效解决双贝作业层高问题，提高作业安全，降低作业风险，且扫描精度可达3cm到5cm之间，可有效解决箱位高差问题，避免因箱位高差导致的吊具损坏、砸箱等问题；
33.3)本发明提出的技术方案，通过设置箱缝间隙检测模块，布置间隙扫描仪扫描仪和视觉检测两套冗余方案，将检测结果进行互相校验，从而实现中锁x方向基础对位，解决传统作业模式中双箱吊具在车道及箱区抓放箱作业时，需要作业人员手动调整双箱中锁间隙大小来完成作业，在双箱自动化作业过程中，需要通过自动检测双箱目标位箱体间隙的问题，实现双箱吊具中锁间隙与目标位间隙自动匹配来完成着箱作业流程；
34.4)本发明提出的技术方案，通过设置作业指令转换模块，通过tos接口与单箱作业生产系统进行搭对，根据搭对规则将满足双箱作业的20尺单箱转成双箱指令，并同单箱作业指令数据交互模式保持一致，同时满足指令获取、释放、确认、异常消息获取等功能，并在当出现双箱作业异常情况时，将双箱作业指令转换为作业指令或直接转人工控制，解决原始生产系统对双箱作业任务支持较低的问题。
附图说明
35.图1为本发明基于视觉态势感知的港口rmg或rtg双箱自动化作业系统的整体框图；
36.图2为本发明箱号识别视觉相机的其中一种安装结构示意图；
37.图3为本发明箱号识别视觉相机的另一种安装结构示意图；
38.图4为本发明层高扫描仪的安装结构示意图；
39.图5为本发明的间隙扫描仪的安装结构示意图；
40.图6为本发明间隙视觉相机的安装结构示意图；
41.图7为本发明作业指令转换模块的作业流程控制逻辑框图；
42.图8为本发明作业指令转换模块在异常状况下作业流程控制逻辑框图。
具体实施方式
43.下面结合具体实施方式对本发明作进一步的说明，其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制，为了更好地说明本发明的具体实施方式，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸。
44.实施例1
45.如图1所示，基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，作业系统包括：
46.①
箱号识别模块，箱号识别模块采用ai人工智能识别算法，用于识别集装箱顶部箱号和箱门箱号，并生成箱号识别结果；
47.以crnn神经网络算法为例，其原理为：
48.首先通过cnn网络提取输入图像的convolutional feature maps，将大小为(32，100，3)的图像转换为(1，25，512)大小的卷积特征矩阵；lstm在卷积特征的基础上继续提取文字序列特征，使用stack形深层双向结构，由于cnn输出的feature map是(1，25，512)大小，所以对于rnn最大时间长度t＝25(即有25个时间输入，每个输入列向量有d＝512)；transcription layers将rnn输出做softmax后，为字符输出；
49.箱号识别模块包括安装于吊具两端的两组箱号识别视觉相机，如图2和图3所示，箱号识别视觉相机分别安装于吊具对角线位置的端部；
50.在场桥作业过程中，通过识别视觉相机根据作业的实时状态获取到集装箱侧面和顶部的箱号图像，进行实时识别后，将识别到的信息输出；
51.通过设置箱号识别模块，采用ai人工智能识别算法识别集装箱顶部箱号和箱门箱号，并生成箱号识别结果，可以实现同时识别前箱和后箱箱号，并将识别到的箱号和指令信息进行匹配，解决了原有生产系统中在人工作业的时依靠人工来观察确认箱号的问题，提高了识别的精确度，实现自动化生产作业；
52.②
层高扫描模块，层高扫描模块用于对小车相邻贝箱进行扫描，获取并存储低贝箱高度信息与高贝箱高度信息；
53.层高扫描模块包括对称分布于吊具两侧位置的层高扫描仪；层高扫描仪为2d扫描仪或多线扫描仪，如图4所示，当层高扫描仪为2d扫描仪时，其数量为四个；当层高扫描仪为多线扫描仪时，其数量为量两个；
54.通过设置层高扫描模块，对双箱层高扫描检测并存储低贝箱高度信息与高贝箱高度信息，作业前当发现作业层高信息与系统场图信息不符时，停止作业避免安全风险，防打保龄，当高贝箱与低贝箱层高数一致时，若检测到高贝箱与低贝箱高差大于设定安全高差时停止作业，避免安全风险，可有效解决双贝作业层高问题，提高作业安全，降低作业风险，且扫描精度可达3cm到5cm之间，可有效解决箱位高差问题，避免因箱位高差导致的吊具损坏、砸箱等问题；
55.③
箱缝间隙检测模块，箱缝间隙检测模块用于检测双箱吊具下方目标箱的箱缝间隙长度，根据检测结果确定吊具中锁的伸缩长度值；
56.箱缝间隙检测模块包括间隙扫描仪和四个间隙视觉相机；如图5和图6所示，间隙扫描仪安装于吊具底部中心位置处，间隙视觉相机对称分布于吊具中锁下端；
57.箱缝间隙检测模块还包括数据分析模块和数据存储模块，数据存储模块用于存储间隙扫描仪和四个间隙视觉相机的检测数据，数据分析模块用于对间隙扫描仪和间隙视觉相机采集的数据进行分析，获取箱缝间隙的准确值。
58.其中，箱缝间隙检测模块的具体实施步骤为：
59.步骤1，通过间隙扫描仪扫描t时刻时吊具下方相邻目标位箱体之间的箱缝长度，记录扫描结果数值，记作xn；
60.步骤2，通过视觉相机扫描t时刻时吊具下方相邻目标位箱体之间的箱缝长度，记录扫描结果数值，记作yn；
61.步骤3，通过数据分析模块获取数值xn和yn，计算t时刻时xn和yn的差值，记作
△
n；
62.步骤4，通过数据分析模块比较
△
n的值与预设的安全阈值σ的大小，若
△
n≤σ，则取xn和yn的均值作为检测输出结果，输出结果为(xn+yn)/2；
63.步骤5，若在步骤4中
△
n＞σ，则通过数据分析模块分别对xn和yn的数值进行综合判定，根据判定结果作为检测输出结果。
64.综合判定方法包括以下步骤：
65.步骤1)，读取数据存储模块中t时刻前所存储的所有扫描结果数值xn和yn，将结果数值以采集时间顺序进行排列，获取间隙扫描仪和视觉相机的结果集合，分别记作(x1，x2，x3，...xn)和(y1，y2，y3，...yn)；
66.步骤2)，根据结果集合，计算间隙扫描仪和视觉相机的失效率λ
x
和λy，计算公式分别为：其中，n为集合中的数据样本总量，λ1和λ2分别为集合(x1，x2，x3，...xn)和(y1，y2，y3，...yn)中的检测失效样本数量；
67.步骤3)，根据步骤2)中失效率λ
x
和λy的计算结果，将失效率计算结果带入公式计算在t时刻时间隙扫描仪和视觉相机的可靠性r
x
和ry，其中，可靠性的计算公式为：r(t)＝e-λt
；
68.步骤4),比较间隙扫描仪和视觉相机的可靠性r
x
和ry的数值大小，取可靠性数值较大的系统所检测的结果作为检测输出结果；
69.通过引入可靠性的概念，以系统运行可靠性对两组系统出现检测输出结果不一致时的情况进行判定，通过选择可靠性更高的设备所采集的数据作为检测输出结果，可以一定程度上避免因设备故障导致数据出现偏差的问题。
70.在步骤2)中的检测失效样本为与实际数值偏差量超过设定值的扫描结果数值，设定值由作业人员根据实际操作经验进行人工设定；
71.通过设置箱缝间隙检测模块，布置间隙扫描仪扫描仪和视觉检测两套冗余方案，将检测结果进行互相校验，从而实现中锁x方向基础对位，解决传统作业模式中双箱吊具在车道及箱区抓放箱作业时，需要作业人员手动调整双箱中锁间隙大小来完成作业，在双箱自动化作业过程中，需要通过自动检测双箱目标位箱体间隙的问题，实现双箱吊具中锁间隙与目标位间隙自动匹配来完成着箱作业流程；
72.④
作业指令转换模块，如图7和图8所示，作业指令转换模块通过tos接口与单箱作业生产系统进行搭对，根据搭对规则将单箱作业指令转化为双箱作业指令，搭对规则包括两个20尺箱、同场地、同列、同层、同车、相邻贝、箱重、箱型、箱属、货属性等关键信息进行整合处理，从而生成双箱作业指令，当出现双箱作业异常时，可以将双箱指令转单箱或者直接转人工，避免双箱作业指令无法实行时，场桥无法作业，如图x所示，并在当出现双箱作业异常情况时，将双箱作业指令转换为作业指令或直接转人工控制；
73.通过设置作业指令转换模块，通过tos接口与单箱作业生产系统进行搭对，根据搭对规则将满足双箱作业的20尺单箱转成双箱指令，并同单箱作业指令数据交互模式保持一致，同时满足指令获取、释放、确认、异常消息获取等功能，并在当出现双箱作业异常情况时，将双箱作业指令转换为作业指令或直接转人工控制，解决原始生产系统对双箱作业任务支持较低的问题
74.⑤
控制模块，控制模块与箱号识别模块、层高扫描模块和箱缝间隙检测模块均通
信连接，用于获取箱号识别结果、低贝箱高度信息与高贝箱高度信息及吊具中锁的伸缩长度值，并根据获取的信息生成单箱作业指令；
75.⑥
可视化显示模块，可视化显示模块与作业指令转换模块连接，用于将作业指令和作业异常情况通过可视化方式显示给作业人员。
76.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述作业系统包括：箱号识别模块，所述箱号识别模块采用ai人工智能识别算法，用于识别集装箱顶部箱号和箱门箱号，并生成箱号识别结果；层高扫描模块，所述层高扫描模块用于对小车相邻贝箱进行扫描，获取并存储低贝箱高度信息与高贝箱高度信息；箱缝间隙检测模块，所述箱缝间隙检测模块用于检测双箱吊具下方目标箱的箱缝间隙长度，根据检测结果确定吊具中锁的伸缩长度值；控制模块，所述控制模块与所述箱号识别模块、所述层高扫描模块和所述箱缝间隙检测模块均通信连接，用于获取所述箱号识别结果、所述低贝箱高度信息与高贝箱高度信息及所述吊具中锁的伸缩长度值，并根据获取的信息生成单箱作业指令；作业指令转换模块，所述作业指令转换模块通过tos接口与单箱作业生产系统进行搭对，根据搭对规则将单箱作业指令转化为双箱作业指令，并在当出现双箱作业异常情况时，将双箱作业指令转换为作业指令或直接转人工控制；可视化显示模块，所述可视化显示模块与所述作业指令转换模块连接，用于将所述作业指令和所述作业异常情况通过可视化方式显示给作业人员。2.根据权利要求1所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述箱号识别模块包括安装于吊具两端的两组箱号识别视觉相机，所述箱号识别视觉相机分别安装于吊具对角线位置的端部。3.根据权利要求1所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述层高扫描模块包括对称分布于吊具两侧位置的层高扫描仪。4.根据权利要求3所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述层高扫描仪为2d扫描仪或多线扫描仪，当所述层高扫描仪为2d扫描仪时，其数量为四个；当所述层高扫描仪为多线扫描仪时，其数量为量两个。5.根据权利要求1所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述箱缝间隙检测模块包括间隙扫描仪和四个间隙视觉相机。6.根据权利要求1所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述间隙扫描仪安装于吊具底部中心位置处，所述间隙视觉相机对称分布于吊具中锁下端。7.根据权利要求1所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述箱缝间隙检测模块还包括数据分析模块和数据存储模块，所述数据存储模块用于存储所述间隙扫描仪和四个所述间隙视觉相机的检测数据，所述数据分析模块用于对所述间隙扫描仪和间隙视觉相机采集的数据进行分析，获取箱缝间隙的准确值。8.根据权利要求1所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述箱缝间隙检测模块的具体实施步骤为：步骤1，通过所述间隙扫描仪扫描t时刻时吊具下方相邻目标位箱体之间的箱缝长度，记录扫描结果数值，记作xn；步骤2，通过所述视觉相机扫描t时刻时吊具下方相邻目标位箱体之间的箱缝长度，记录扫描结果数值，记作yn；
步骤3，通过数据分析模块获取数值xn和yn，计算t时刻时xn和yn的差值，记作
△
n；步骤4，通过数据分析模块比较
△
n的值与预设的安全阈值σ的大小，若
△
n≤σ，则取xn和yn的均值作为检测输出结果，所述输出结果为(xn+yn)/2；步骤5，若在步骤4中
△
n＞σ，则通过所述数据分析模块分别对xn和yn的数值进行综合判定，根据判定结果作为检测输出结果。9.根据权利要求8所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：所述综合判定方法包括以下步骤：步骤1)，读取所述数据存储模块中t时刻前所存储的所有扫描结果数值xn和yn，将所述结果数值以采集时间顺序进行排列，获取所述间隙扫描仪和所述视觉相机的结果集合，分别记作(x1，x2，x3，...xn)和(y1，y2，y3，...yn)；步骤2)，根据所述结果集合，计算所述间隙扫描仪和所述视觉相机的失效率λ
x
和λ
y
，计算公式分别为：其中，n为集合中的数据样本总量，λ1和λ2分别为集合(x1，x2，x3，...xn)和(y1，y2，y3，...yn)中的检测失效样本数量；步骤3)，根据步骤2)中失效率λ
x
和λ
y
的计算结果，将失效率计算结果带入公式计算在t时刻时所述间隙扫描仪和所述视觉相机的可靠性r
x
和r
y
，其中，所述可靠性的计算公式为：r(t)＝e-λ
t
；步骤4),比较所述间隙扫描仪和所述视觉相机的可靠性r
x
和r
y
的数值大小，取所述可靠性数值较大的系统所检测的结果作为检测输出结果。10.根据权利要求9所述的基于视觉态势感知的港口rmg或rtg双箱自动化作业系统，其特征在于：在步骤2)中的所述检测失效样本为与实际数值偏差量超过设定值的扫描结果数值，所述设定值由作业人员根据实际操作经验进行人工设定。

技术总结
本发明公开了基于视觉态势感知的港口RMG或RTG双箱自动化作业系统，通过设置箱号识别模块、层高扫描模块、箱缝间隙检测模块和作业指令转换模块，可以实现同时识别前箱和后箱箱号，并将识别到的箱号和指令信息进行匹配，对双箱层高扫描检测并存储低贝箱高度信息与高贝箱高度信息，作业前当发现作业层高信息与系统场图信息不符时，停止作业避免安全风险，布置间隙扫描仪扫描仪和视觉检测两套冗余方案，将检测结果进行互相校验，从而实现中锁X方向基础对位，通过TOS接口与单箱作业生产系统进行搭对，根据搭对规则将满足双箱作业的20尺单箱转成双箱指令，解决原始生产系统对双箱作业任务支持较低的问题。任务支持较低的问题。任务支持较低的问题。


技术研发人员：李华 吴强 吴培森 马成彬 汤文扬 张栋栋 高逸 杜伟 于迅 赵大地
受保护的技术使用者：交通运输部天津水运工程科学研究所
技术研发日：2023.07.25
技术公布日：2023/10/20