基于BLS的NAVTEX报文语境智能决策支持方法

基于bls的navtex报文语境智能决策支持方法
技术领域
1.本发明属于自然语言处理与人工智能领域，特别涉及一种基于bls的navtex报文语境智能决策支持方法。


背景技术：

2.海上运输过程中，大部分船舶均装有全球海上遇险和安全系统。而该系统中包含的navtex系统，其播发的报文涉及到大量航行警告、气象警告、气象预报和其它有关航行安全的紧急信息等文本信息。因此，准确地掌握并利用navtex报文对船舶航行决策支持至关重要。但目前navtex报文尚未完全融入到船舶航行的辅助系统中去，在船舶驾驶管理、决策支持等实际场景中没有高效地发挥作用。这是由于船舶智能驾驶的相关技术当前仍然处于理论研究阶段，并未落实到实际应用中。同时航运业相对其他行业来说自身发展具有限制性，目前在技术以及管理等方面仍然相对落后，使得对航海人员依旧有较高程度的依赖性。在使用navtex系统过程中，航海人员接收到navtex报文后，须对其人工读取分析后，才能做出相应的航行决策。这不仅使航海人员的工作强度增加，而且影响其工作效率。此外，人工读取信息的准确率不如自动化程度高，进而会影响船舶航行的安全性。
3.针对上述问题，当前关于navtex报文内容进行智能分类，并为航海人员提供语境决策支持服务等方面的研究仍有很大的发展空间。目前在处理navtex报文的相关研究中，对于报文数据预处理方面仅进行了初步地去停用词，未进一步进行词型还原等处理过程，建立文本分类模型部分也只将传统机器学习模型进行应用，并且仅对报文内容分类并未进一步进行语境智能决策支持的研究。因此，需要一种方法对navtex报文进行语境智能分类并提供给航海人员决策支持，提高工作效率和报文语境分类的准确率，同时也进一步增强了船舶的安全航行性能。


技术实现要素：

4.为了解决现有技术存在的上述问题，本发明要提出一种基于bls的navtex报文语境智能决策支持方法，将bls应用于航运领域，可以大幅提高navtex报文语境分类的准确率，并为航海人员提供智能化的航行决策支持服务，能够有效降低工作强度并保障船舶的安全航行。
5.为了实现上述目的，本发明采用的技术手段如下：基于bls的navtex报文语境智能决策支持方法，包括以下步骤：
6.s1、对navtex报文数据进行预处理
7.navtex报文数据即船舶航行过程中接收到的相关海上安全信息数据，navtex报文数据预处理包括数据清洗、词型还原、引入停用词以及类别标注四部分，操作过程如下：
8.s11、数据清洗
9.对原始报文进行数据清洗，剔除报文数据中的无效报文。并通过正则表达式的方法将报文中的非文本部分进行滤除，得到报文数据集d＝{d1,d2,...,di,...,dm}，其中di表
示集合中的第i条报文，m为报文样本数。
10.s12、词型还原
11.提取所述第i条报文di中单词的主干部分、去除词缀，将单词还原成原始形式。
12.s13、引入停用词
13.利用报文单词相互之间的空格对其进行拆分；通过引入停用词，去除报文中的一些虚词、短语以及标点符号来减少词库中不需要进行分析的内容，从而得到一组报文特征词集合d'＝{d'1,d'2,
…
,d'i,
…
,d'm}，其中d'i表示第i条报文的特征词集合。
14.s14、类别标注
15.根据分析navtex报文中描述内容后需要作出的相应行动进行分类标注的语境标签，设置为6个语境类别，分别是禁止进入、保持警惕、宽让、保持认真瞭望、核对计划航线、其他行为。其中，每个报文特征词集合至少对应一类标签，标签矩阵记为l＝{l1,l2,...,li,...,lm}，其中即l属于m
×
c维的向量空间，li为6类报文语境标签中的c类标签，且1≤c≤6。
16.s2、对报文特征词进行加权处理
17.根据所述特征词集合d'，采用向量化和权重修正的方法对d'进行加权处理，步骤如下：
18.s21、对报文的特征词集合进行向量化
19.将第i条报文的特征词集合d'i用报文特征向量xi表示，即xi＝{(x
i1
,w
i1
),(x
i2
,w
i2
),
…
,(x
ij
,w
ij
),
…
,(x
in
,w
in
)}，将xi看成是二元特征组构成的n维特征向量。其中，x
ij
表示第i个报文特征向量的第j个特征项；w
ij
是特征项x
ij
所对应的权重，代表特征项在报文里的重要程度；n代表特征维度，任一维度均表示报文特征向量xi中的一个特征项，且n为特征词集合d'中所有特征词数目去除包含的重复特征词数目后所剩余特征词的总数。
20.s22、对报文特征项权重进行修正
21.当报文数据中的特征维度确定后，将报文特征向量xi简化为：
22.x
′i＝{w
i1
,w
i2
,
…
,w
ij
,
…
,w
in
}
23.表示第i条报文的特征项权重向量。对报文特征项权重进行修正包括以下步骤：
24.s221、求解报文特征项的词频
25.报文特征项的词频tf(x
ij
,xi)表示特征项x
ij
在报文特征向量xi中的频次，计算公式如下：
[0026][0027]
其中，为特征项x
ij
在报文特征向量xi中出现的次数,为xi中所有特征项合计出现的次数。
[0028]
s222、求解报文特征项的逆文档频率
[0029]
报文特征项的逆文档频率idf(x
ij
)表示特征项x
ij
在所有报文特征向量中出现的频率，其计算公式如下：
[0030][0031]
其中，代表所有xi中出现特征x
ij
的报文特征向量数。
[0032]
s223、求解报文特征项的权重
[0033]
将s2213和s222步骤所求得的结果相乘就得到特征项x
ij
在xi中的权重，计算公式如下：
[0034][0035]
其中，归一化因子e的计算公式如下：
[0036][0037]
s3、将报文语境标签排序并进行编码
[0038]
引入one-hot编码，将类别变量转换为便于分类模型利用的形式，步骤如下：
[0039]
s31、对报文语境标签进行整数编码
[0040]
规定6类报文语境标签排序并进行整数编码，分别将整数0至5依次对应分配给如步骤s14所述的6个语境类别。即将语境标签矩阵l映射到整数标签矩阵l'＝{l'1,l'2,...,l'i,...,l
′m}，其中l'i为代表对应语境类别的整数组，且1≤c≤6。
[0041]
s32、对整数标签进行one-hot编码
[0042]
将每个整数组均表示成一个二进制向量。根据共有6类整数值，从而确定二进制向量的长度为6；将每个整数组中的各个整数对应排序位置的索引标记为1，其余位置标记为0，则得到one-hot标签矩阵：
[0043][0044]
其中且one-hot标签向量中至少一个位置为1，其余位置皆为0。
[0045]
s4、建立语境智能决策支持模型
[0046]
bls的网络结构包括四个部分：输入样本层、特征映射层、增强节点层以及求解输出层权重。针对bls的输出层进行改进来处理报文语境智能决策支持问题，语境智能决策支持模型训练流程如下：
[0047]
s41、将报文特征项权重矩阵作为输入
[0048]
在输入样本层，将报文特征项权重矩阵输入到bls网络，输入矩阵x'表示如下：
[0049]
[0050]
其中，m为报文样本数，n为特征维度，w
ij
为特征项x
ij
在报文特征向量xi中的权重。
[0051]
s42、将输入的报文特征项权重矩阵进行特征映射
[0052]
bls网络将对输入的报文特征项权重矩阵x'进行特征映射，通过特征映射函数φg(*)将x'映射为t组报文特征映射节点，设每组映射生成k个节点，第g组报文特征映射节点zg的计算公式如下：
[0053][0054]
其中，1≤g≤t，将zg进行并连表示为z
t
＝(z1,z2,
…
,z
t
)且并把映射的报文特征视作一层，即特征映射层。其中，φg(*)为线性映射函数，(*)为线性映射函数，为随机生成权值矩阵，为其对应偏置项。
[0055]
s43、生成报文增强节点
[0056]
将s42步骤得到的t组报文特征映射节点zg和增强节点层进行连接，随机生成权重系数矩阵和偏置项通过非线性函数ξs(*)将z
t
映射为p组随机生成权重的报文增强节点，即得到增强节点层。设每组映射生成q个节点，hs代表第s组报文增强节点，计算公式如下：
[0057][0058]
将hs进行并连表示得到h
p
＝(h1,h2,
…
,h
p
)，其中
[0059]
s44、求解连接权值矩阵
[0060]
分别将由s42步骤得到的z
t
和由s43步骤得到的h
p
并连表示为：
[0061]
a＝(z
t
|h
p
)
[0062]
将特征映射层和增强节点层并连得到的a直接连接到输出端，称为输出层。因此，输出的概率矩阵为：
[0063]
y＝aw
[0064]
其中，w为输出层的连接权值矩阵，则有：
[0065]
w＝a-1y[0066]
式中a-1
表示矩阵a的伪逆矩阵，通过求解a-1
的岭回归近似解来计算a-1
，进而得到连接权值矩阵w，至此模型训练结束，计算公式如下：
[0067][0068]
其中i代表单位矩阵，a
t
为a的转置矩阵。
[0069]
s45、多标签输出
[0070]
bls输出的概率矩阵y计算如下：
[0071][0072]
其中，6为报文语境类别数，yi为第i条报文样本经过分类模型后所得的对应输出概率向量，y
ij
分别为其中对应报文语境类别的概率值。在bls的输出层对每个yi中的y
ij
进行均一化处理，计算公式如下：
[0073][0074]
使其输出为均一化矩阵y'，表示如下：
[0075][0076]
此时，每个输出均一化向量y'i中有y'
i1
+y'
i2
+
…
+y'
i6
＝1。再通过设置判定函数来对每个均一化向量中的y'
ij
进行筛选，公式如下：
[0077][0078]
其中，θ为阈值，当y'
ij
大于设置的θ时，则f(y'
ij
)＝1即当y'
ij
小于设置的θ时，则f(y
′
ij
)＝0即则bls最终的多标签输出矩阵表示如下：
[0079][0080]
其中，代表第i条报文所对应的输出向量，且输出向量中至少一个位置为1，其余位置皆为0。根据与步骤s32得到的one-hot标签矩阵进行对比判定此报文语境类别，从而得到报文语境分类结果。
[0081]
与现有技术相比，本发明具有以下有益效果：
[0082]
1、本发明对navtex报文数据应用数据清洗和词型还原以及引用停用词等操作，并提出了报文语境标签来给报文标注类别，具体表现为对航行警告中所包含的报文内容进行分析，总结了6类报文语境标签。通过本发明能够做到准确提炼原始报文数据中的有效信息，并为后续的报文语境分类任务以及航行决策支持提供有力支持，使训练出来的报文特征更加精简且具有代表性。
[0083]
2、本发明基于bls并对其加以改进，提高了navtex报文语境分类的准确率，并为航海人员提供智能化的航行决策支持服务，能够有效降低工作强度并提高工作效率，同时也进一步增强了船舶的安全航行性能、丰富了助航设备的功能。
附图说明
[0084]
图1是本发明对navtex报文语境智能决策支持的整体流程图。
[0085]
图2是本发明将报文语境标签排序并进行编码的概述图。
[0086]
图3是本发明基于bls进行报文语境智能决策支持的流程图。
具体实施方式
[0087]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0088]
如图1所示，一种基于bls的navtex报文语境智能决策支持方法，具有如下步骤：
[0089]
s1、对navtex报文数据进行预处理。首先对船舶航行过程中接收到的navtex报文数据进行数据清洗得到报文数据集d＝{d1,d2,...,di,...,dm}，再通过词型还原和引入停用词得到一组报文特征词集合d'＝{d'1,d'2,
…
,d'i,
…
,d
′m}，最后通过类别标注得到标签矩阵l＝{l1,l2,...,li
,
...,lm}。
[0090]
s2、对报文特征词进行加权处理。采用向量化的方法对d'i进行处理得到xi＝{(x
i1
,w
i1
),(x
i2
,w
i2
),
…
,(x
ij
,w
ij
),
…
,(x
in
,w
in
)}，报文数据中的特征维度确定后将xi简化为x'i＝{w
i1
,w
i2
,
…
,w
ij
,
…
,w
in
}，表示第i条报文的特征项权重向量。通过求解词频、逆文档频率以及权重三个过程对报文特征项权重w
ij
进行修正来求得w
ij
。
[0091]
s3、将报文语境标签排序并进行编码。如图2所示，规定6类报文语境标签排序并进行整数编码，将语境标签矩阵l映射到整数标签矩阵l'＝{l'1,l'2,...,l'i,...,l'm}，l'i为代表对应语境类别的整数组。对l'进行one-hot编码得到one-hot标签矩阵其中，其中，且中至少一个位置为1，其余位置皆为0。
[0092]
s4、建立语境智能决策支持模型。如图3所示，bls的网络结构主要包括四个部分：输入样本层、特征映射层、增强节点层以及输出层。在输入层将报文特征项权重矩阵x'输入到bls网络。在特征映射层，通过特征映射函数φg(*)将x'映射为t组报文特征映射节点，并连表示为z
t
＝(z1,z2,
…
,z
t
)。将z
t
和增强节点层进行连接，随机生成权重系数矩阵和偏
置项通过非线性函数ξs(*)将z
t
映射为p组随机生成权重的报文增强节点，进行并连表示可以得到h
p
＝(h1,h2,
…
,h
p
)，将z
t
和h
p
并连表示得到a＝(z
t
|h
p
)。输出层输出的概率矩阵为y＝aw。其中，w为输出层的连接权值矩阵，则有w＝a-1
y。式中a-1
表示矩阵a的伪逆矩阵，通过求解a-1
的岭回归近似解来计算a-1
，进而得到连接权值矩阵w，计算公式为其中i代表单位矩阵，a
t
为a的转置矩阵。针对输出层进行改进，将y包含的每个输出概率向量yi中对应报文语境类别的概率值y
ij
进行均一化处理，使其输出为均一化矩阵y'，使每个输出均一化向量y'i中有y'
i1
+y'
i2
+
…
+y'
i6
＝1。再通过设置判定函数来对每个均一化向量中的y'
ij
进行筛选，得到bls最终的多标签输出矩阵将与进行对比来判定此报文语境类别，从而得到报文语境智能决策支持。
[0093]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

技术特征：
1.基于bls的navtex报文语境智能决策支持方法，其特征在于：包括以下步骤：s1、对navtex报文数据进行预处理navtex报文数据即船舶航行过程中接收到的相关海上安全信息数据，navtex报文数据预处理包括数据清洗、词型还原、引入停用词以及类别标注四部分，操作过程如下：s11、数据清洗对原始报文进行数据清洗，剔除报文数据中的无效报文；并通过正则表达式的方法将报文中的非文本部分进行滤除，得到报文数据集d＝{d1，d2，...，d
i
，...，d
m
}，其中d
i
表示集合中的第i条报文，m为报文样本数；s12、词型还原提取所述第i条报文d
i
中单词的主干部分、去除词缀，将单词还原成原始形式；s13、引入停用词利用报文单词相互之间的空格对其进行拆分；通过引入停用词，去除报文中的一些虚词、短语以及标点符号来减少词库中不需要进行分析的内容，从而得到一组报文特征词集合d
′
＝{d
′1，d
′2，...，d
′
i
，...，d
′
m
}，其中d
′
i
表示第i条报文的特征词集合；s14、类别标注根据分析navtex报文中描述内容后需要作出的相应行动进行分类标注的语境标签，设置为6个语境类别，分别是禁止进入、保持警惕、宽让、保持认真瞭望、核对计划航线、其他行为；其中，每个报文特征词集合至少对应一类标签，标签矩阵记为l＝{l1，l2，...，l
i
，...，l
m
}，其中即l属于m
×
c维的向量空间，l
i
为6类报文语境标签中的c类标签，且1≤c≤6；s2、对报文特征词进行加权处理根据所述特征词集合d
′
，采用向量化和权重修正的方法对d
′
进行加权处理，步骤如下：s21、对报文的特征词集合进行向量化将第i条报文的特征词集合d
′
i
用报文特征向量x
i
表示，即x
i
＝{(x
i1
，w
i1
)，(x
i2
，w
i2
)，...，(x
ij
，w
ij
)，...，(x
in
，w
in
)}，将x
i
看成是二元特征组构成的n维特征向量；其中，x
ij
表示第i个报文特征向量的第j个特征项；w
ij
是特征项x
ij
所对应的权重，代表特征项在报文里的重要程度；n代表特征维度，任一维度均表示报文特征向量x
i
中的一个特征项，且n为特征词集合d
′
中所有特征词数目去除包含的重复特征词数目后所剩余特征词的总数；s22、对报文特征项权重进行修正当报文数据中的特征维度确定后，将报文特征向量x
i
简化为：x
′
i
＝{w
i1
，w
i2
，...，w
ij
，...，w
in
}表示第i条报文的特征项权重向量；对报文特征项权重进行修正包括以下步骤：s221、求解报文特征项的词频报文特征项的词频tf(x
ij
，x
i
)表示特征项x
ij
在报文特征向量x
i
中的频次，计算公式如下：
其中，为特征项x
ij
在报文特征向量x
i
中出现的次数，为x
i
中所有特征项合计出现的次数；s222、求解报文特征项的逆文档频率报文特征项的逆文档频率idf(x
ij
)表示特征项x
ij
在所有报文特征向量中出现的频率，其计算公式如下：其中，代表所有x
i
中出现特征x
ij
的报文特征向量数；s223、求解报文特征项的权重将s2213和s222步骤所求得的结果相乘就得到特征项x
ij
在x
i
中的权重，计算公式如下：其中，归一化因子e的计算公式如下：s3、将报文语境标签排序并进行编码引入one-hot编码，将类别变量转换为便于分类模型利用的形式，步骤如下：s31、对报文语境标签进行整数编码规定6类报文语境标签排序并进行整数编码，分别将整数0至5依次对应分配给如步骤s14所述的6个语境类别；即将语境标签矩阵l映射到整数标签矩阵l
′
＝{l
′1，l
′2，...，l
′
i
，...，l
′
m
}，其中l
′
i
为代表对应语境类别的整数组，且1≤c≤6；s32、对整数标签进行one-hot编码将每个整数组均表示成一个二进制向量；根据共有6类整数值，从而确定二进制向量的长度为6；将每个整数组中的各个整数对应排序位置的索引标记为1，其余位置标记为0，则得到one-hot标签矩阵：其中且one-hot标签向量中至少一个位置为1，其余位置皆为0；s4、建立语境智能决策支持模型bls的网络结构包括四个部分：输入样本层、特征映射层、增强节点层以及求解输出层权重；针对bls的输出层进行改进来处理报文语境智能决策支持问题，语境智能决策支持模型训练流程如下：s41、将报文特征项权重矩阵作为输入在输入样本层，将报文特征项权重矩阵输入到bls网络，输入矩阵x
′
表示如
下：其中，m为报文样本数，n为特征维度，w
ij
为特征项x
ij
在报文特征向量x
i
中的权重；s42、将输入的报文特征项权重矩阵进行特征映射bls网络将对输入的报文特征项权重矩阵x
′
进行特征映射，通过特征映射函数φ
g
(*)将x
′
映射为t组报文特征映射节点，设每组映射生成k个节点，第g组报文特征映射节点z
g
的计算公式如下：其中，1≤g≤t，将z
g
进行并连表示为z
t
＝(z1，z2，...，z
t
)且并把映射的报文特征视作一层，即特征映射层；其中，φ
g
(*)为线性映射函数，(*)为线性映射函数，为随机生成权值矩阵，为其对应偏置项；s43、生成报文增强节点将s42步骤得到的t组报文特征映射节点z
g
和增强节点层进行连接，随机生成权重系数矩阵和偏置项通过非线性函数ξ
s
(*)将z
t
映射为p组随机生成权重的报文增强节点，即得到增强节点层；设每组映射生成q个节点，h
s
代表第s组报文增强节点，计算公式如下：将h
s
进行并连表示得到hp＝(h1，h2，...，h
p
)，其中s44、求解连接权值矩阵分别将由s42步骤得到的z
t
和由s43步骤得到的h
p
并连表示为：a＝(z
t
|h
p
)将特征映射层和增强节点层并连得到的a直接连接到输出端，称为输出层；因此，输出的概率矩阵为：y＝aw其中，w为输出层的连接权值矩阵，则有：w＝a-1
y式中a-1
表示矩阵a的伪逆矩阵，通过求解a-1
的岭回归近似解来计算a-1
，进而得到连接权值矩阵w，至此模型训练结束，计算公式如下：其中i代表单位矩阵，a
t
为a的转置矩阵；s45、多标签输出bls输出的概率矩阵y计算如下：
其中，6为报文语境类别数，y
i
为第i条报文样本经过分类模型后所得的对应输出概率向量，y
ij
分别为其中对应报文语境类别的概率值；在bls的输出层对每个y
i
中的y
ij
进行均一化处理，计算公式如下：使其输出为均一化矩阵y
′
，表示如下：此时，每个输出均一化向量y
′
i
中有y
′
i1
+y
′
i2
+...+y
′
i6
＝1；再通过设置判定函数来对每个均一化向量中的y
′
ij
进行筛选，公式如下：其中，θ为阈值，当y
′
ij
大于设置的θ时，则f(y
′
ij
)＝1即当y
′
ij
小于设置的θ时，则f(y
′
ij
)＝0即则bls最终的多标签输出矩阵表示如下：其中，代表第i条报文所对应的输出向量，且输出向量中至少一个位置为1，其余位置皆为0；根据与步骤s32得到的one-hot标签矩阵进行对比判定此报文语境类别，从而得到报文语境分类结果。

技术总结
本发明公开了基于BLS的NAVTEX报文语境智能决策支持方法，对NAVTEX报文数据应用数据清洗和词型还原以及引用停用词等操作，并提出了报文语境标签来给报文标注类别，具体表现为对航行警告中所包含的报文内容进行分析，总结了6类报文语境标签。通过本发明能够做到准确提炼原始报文数据中的有效信息，并为后续的报文语境分类任务以及航行决策支持提供有力支持，使训练出来的报文特征更加精简且具有代表性。本发明基于BLS并对其加以改进，提高了NAVTEX报文语境分类的准确率，并为航海人员提供智能化的航行决策支持服务，能够有效降低工作强度并提高工作效率，同时也进一步增强了船舶的安全航行性能、丰富了助航设备的功能。丰富了助航设备的功能。丰富了助航设备的功能。


技术研发人员：左毅 李心宇 蒋龙 李铁山 陈俊龙
受保护的技术使用者：大连海事大学
技术研发日：2023.05.19
技术公布日：2023/9/14