一种港口集装箱吞吐量估算方法及系统与流程

1.本发明涉及集装箱航运技术领域，具体涉及一种港口集装箱吞吐量估算方法及系统。


背景技术：

2.集装箱运输是国际货物运输的主要方式之一，全球经济一体化的趋势决定集装箱已涉及企业的核心利益，掌握实时港口集装箱吞吐量意义重大。集装箱运输作为一种新型、高效率和高效益的运输方式，凭借其运输能力强、装卸效率高、节约装卸劳动力、货损和货差小等优势，已经被国内外广泛采用。
3.港口集装箱吞吐量是指某港口一段时间内出口和进口集装箱数量的总和，通常以teu为单位，是反映港口生产的重要指标，因此港口集装箱吞吐量的大小，是代表运输生产的繁忙程度，是航运企业掌握港口航线运力流向流量，调整经营战略的重要参考。
4.传统的港口集装箱吞吐量统计是基于所有的港口企业生产数据进行汇总，如港口企业需要对码头作业进行不间断的统计、汇总，编制成月度或年度集装箱吞吐量报表。采用这种方法不仅需要投入大量人力物力，而且流程繁杂，往往不能做到对集装箱吞吐量数据进行实时发布，时效性差。特别是国际海运中，无法掌握某个港口的集装箱吞吐量数据及变化情况，影响了运用港口吞吐量指标在运输生产经营中的决策作用。


技术实现要素：

5.为解决目前全球港口集装箱吞吐量估算过程中存在的时效性差、流程繁杂等问题，本发明提供了一种港口集装箱吞吐量估算方法，基于船舶的ais数据和港口数据，运用xgboost算法并利用集装箱船的基本特征，如作业时间、船型大小、装卸货量等建立单艘集装箱船的装卸货量预测模型，并结合业务逻辑估算出港口集装箱每天的吞吐量，为港口集装箱吞吐量统计和监测提供了支持。本发明还涉及一种港口集装箱吞吐量估算系统。
6.本发明的技术方案如下：
7.一种港口集装箱吞吐量估算方法，其特征在于，包括以下步骤：
8.数据采集步骤：采集集装箱船的ais数据和港口数据；
9.装卸货量预测步骤：将经过不同港口的所有类型集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练得到装卸货量预测模型，将ais数据中的作业时间和船型、港口数据中的装卸货量均输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量；
10.吞吐量估算步骤：结合业务逻辑，将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计进而估算港口集装箱每天的货物总吞吐量。
11.优选地，所述数据采集步骤中是先对ais数据进行预处理，去除ais数据中有问题的数据，然后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未
知港口的数据以及起点港与终点港为相同港口的数据，并将起始港和终点港分别匹配到相应的国家和区域。
12.优选地，所述数据采集步骤中，所述ais数据包括静态数据和动态数据，所述静态数据包括船舶移动业务识别码、船舶类型、呼号、船名、吃水、船长和船宽，所述动态数据包括船舶经纬度位置信息、时间戳、对地航向、对地航速和船艏向；
13.和/或，所述港口数据包括港口代码、作业持续时间、泊位占用时间、每个航段的起始和结束时间及起终点港口、港口所属的国家和区域以及港口经纬度。
14.优选地，所述吞吐量估算步骤中，还以港口集装箱每天的货物总吞吐量为基础，估算集装箱船经过的每个贸易区的集装箱每天的货物总吞吐量。
15.优选地，在吞吐量估算步骤之后还包括吞吐量统计及监测分析步骤，用于将估算得到的全部的货物总吞吐量数据保存在数据库中，进行港口集装箱及贸易区集装箱的货物总吞吐量统计和监测，以及港口航线运力需求分析。
16.一种港口集装箱吞吐量估算系统，其特征在于，包括依次连接的数据采集模块、装卸货量预测模块和吞吐量估算模块，
17.数据采集模块，采集集装箱船的ais数据和港口数据；
18.装卸货量预测模块，将经过不同港口的所有类型集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练得到装卸货量预测模型，将ais数据中的作业时间和船型、港口数据中的装卸货量均输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量；
19.吞吐量估算模块，结合业务逻辑，将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计进而估算港口集装箱每天的货物总吞吐量。
20.优选地，所述ais数据包括静态数据和动态数据，所述静态数据包括船舶移动业务识别码、船舶类型、呼号、船名、吃水、船长和船宽，所述动态数据包括船舶经纬度位置信息、时间戳、对地航向、对地航速和船艏向；
21.和/或，所述港口数据包括港口代码、作业持续时间、泊位占用时间、每个航段的起始和结束时间及起终点港口、港口所属的国家和区域以及港口经纬度。
22.优选地，所述数据采集模块中是先对ais历史航行数据进行预处理，去除ais中有问题的数据，然后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未知港口的数据以及起点港与终点港为相同港口的数据，并将起始港和终点港分别匹配到相应的国家和区域。
23.优选地，所述吞吐量估算模块中，还以港口集装箱每天的货物总吞吐量为基础，估算集装箱船经过的每个贸易区的集装箱每天的货物总吞吐量。
24.优选地，还包括与吞吐量估算模块相连的吞吐量统计及监测分析模块，用于将估算得到的全部的货物总吞吐量数据保存在数据库中，进行港口集装箱及贸易区集装箱的货物总吞吐量统计和监测，以及港口航线运力需求分析。
25.本发明的有益效果为：
26.本发明提供的一种港口集装箱吞吐量估算方法，通过对集装箱船的ais数据以及典型企业的港口数据进行采集，其采集的数据均为集装箱班轮历史上真实的航行数据，由
此确保了识别出的航线的真实性和准确性；再采用xgboost算法(是一种提升树模型，它是集成学习boosting算法的其中一种)并利用集装箱船的基本特征如作业时间、船型大小、装卸货量等，建立单船的装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，最后结合业务逻辑将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计得到港口集装箱每天的货物总吞吐量。本发明能够实时获得港口集装箱每天的吞吐量，且结果较准确，为港口集装箱吞吐量统计和监测提供了支持。
27.本发明主要是利用机器学习的集成学习算法——xgboost算法，结合“离港报文”和ais数据特点、港口的区域特点和典型企业的实际业务特征，完成全球主要港口的吞吐量估算，进而对后续的航线运力计算和运力规划提供支持。与现有的港口吞吐量预测的方法相比，本发明的数据来源均为集装箱班轮和港口历史上的数据，由此确保了装卸货量的真实性和准确性；利用集装箱船舶的基本特征如停泊时长、船型大小、到达时间等，建立单船的装卸货量模型，并结合业务逻辑和ais中的全球船舶基础数据，可估算出全球主要港口的集装箱吞吐量，为全球主要港口的集装箱吞吐量估算定义了一个统一的标准，为港口的集装箱吞吐量统计和监测提供了支持；保留了各港口的相关信息，为后续航线运力统计和航线运力变化分析提供数据支持。
28.本发明还涉及一种港口集装箱吞吐量估算系统，该系统与上述的港口集装箱吞吐量估算方法相对应，可理解为是一种实现上述港口集装箱吞吐量估算方法的系统，包括依次连接的数据采集模块、装卸货量预测模块和吞吐量估算模块，各模块相互协同工作，基于船舶的ais数据和典型企业港口数据，采用xgboost算法并利用集装箱船的基本特征如作业时间、船型大小、装卸货量等建立单艘集装箱船的装卸货量预测模型，并结合业务逻辑估算出港口集装箱每天的吞吐量，能够实时获得港口集装箱每天的吞吐量，且结果准确，为港口的集装箱吞吐量统计和监测提供了支持。
附图说明
29.图1是本发明港口集装箱吞吐量估算方法的流程图。
30.图2是本发明港口集装箱吞吐量估算方法的优选流程图。
31.图3是本发明某一港口单艘集装箱船装卸货量的模型示意图。
32.图4和图5分别为某一港口集装箱的日吞吐量和周吞吐量的估算结果。
33.图6和图7分别为全球主要港口的集装箱日吞吐量和周吞吐量的估算结果。
具体实施方式
34.下面结合附图对本发明进行说明。
35.本发明涉及一种港口集装箱吞吐量估算方法，该方法的流程图如图1所示，依次包括以下步骤：
36.数据采集步骤，或进一步称为数据采集和预处理步骤：采集集装箱船的ais数据和港口数据，并进行预处理；具体地，如图2所示的优选流程图，先使用python语言中的psycopg2(是python语言的postgresql数据库接口)连接postgresql数据库，从postgresql数据库中取出集装箱船的ais数据以及港口数据，在获得上述数据后，对数据进行清洗，去除无用的干扰数据，先对ais的数据进行预处理，去掉ais中有问题的数据(如缺失过多)，然
后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未知港口的数据以及起点港与终点港为相同港口的数据，并将起始港和终点港分别匹配到相应的国家和区域。优选地，ais数据包括静态数据和动态数据，静态数据包括船舶移动业务识别码mmsi、船舶类型、呼号、船名、吃水、船长和船宽等，动态数据包括船舶经纬度位置信息、时间戳、对地航向、对地航速和船艏向等。优选地，港口数据包括港口代码、作业持续时间、泊位占用时间、每个航段的起始和结束时间及起终点港口、港口所属的国家和区域以及港口经纬度等。
37.可以理解的是，上述港口数据优选采用典型企业(例如中国远洋海运集团有限公司)的集装箱船进出港时的报港数据。(根据《船舶进出港报告管理办法》，船舶进出港时需要向“船舶进出港报告系统”填报包括船名、航次、靠泊时间、离泊时间，装卸时间、装卸箱量、作业时间等内容。船舶进港需要报告卸掉的集装箱数量，离港时报告已装载的集装箱数量，理论上船舶报告的装卸集装箱数量之和就是港口吞吐量)。
38.装卸货量预测步骤：将经过不同港口的所有类型集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练得到装卸货量预测模型，将ais数据中的作业时间和船型、港口数据中的集装箱船装卸货量输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量。
39.其中，xgboost算法是一种提升树模型，它是集成学习boosting算法的其中一种。xgboost的主要思想是是将许多弱分类器树模型集成在一起，形成一个强分类器。xgboost算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。
40.具体地，以目的港为某一港口为例，将该港口历史上经过的所有类型的集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练，在ais历史数据中寻找装卸货量、作业时间以及船型等变量的关系，得到单艘集装箱船的装卸货量预测模型，然后将ais数据中的作业时间和船型、港口数据中的典型企业集装箱运输船舶装卸货量输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量，该港口自2018年12月到2022年3月的单艘船装卸货量、船型以及作业时间的关系图3所示，即该港口单艘集装箱船装卸货量的模型示意图。在图3的决策树中，如果决策变量new_berth_duration大于等于39.2083321，则直接预测装卸货量leaf为1118.80688，否则进行下一轮的决策，如果决策变量teu大于等于5643，则直接预测装卸货量leaf为934.162537，否则预测装卸货量leaf为557.209656。
41.吞吐量估算步骤：结合业务逻辑，对上述该港口(港口代码port_code为ausyd)进行集装箱吞吐量预测，该港口集装箱船期时间date自2022年6月20日到2022年6月27日起预测得到的该港口每种船型每天的单艘集装箱船装卸货量pred汇总得到该港口每种船型下所有集装箱船每天的总装卸货量，如表1所示：
42.表1
[0043][0044]
在得到该港口每种船型下所有集装箱船每天的总装卸货量后，将该港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计得到港口集装箱每天的货物总吞吐量，进而可以得到该港口的集装箱周吞吐量。其中，该港口集装箱每天的货物总吞吐量，即该港口集装箱的日吞吐量如图4所示。该港口集装箱的周吞吐量如图5所示。
[0045]
根据业务逻辑发现，全球集装箱班轮航线主要在亚太、欧洲、美洲、拉非4个一级贸易区之间循环往复运行，这4个一级贸易区下面又可以细分为远东、西北欧、美西北、美西南等18个二级贸易区。以港口集装箱每天的吞吐量为基础能够对18个二级贸易区和4个一级贸易区进行集装箱吞吐量估算。
[0046]
优选地，在吞吐量估算步骤之后还包括吞吐量统计及监测分析步骤，用于将估算得到的全部的货物总吞吐量数据保存在数据库中，进行港口集装箱及贸易区集装箱的货物总吞吐量统计和监测，以及港口航线运力需求分析。若已知任意两港或任意两个贸易区，则可以找出经过这两港或两个贸易区集装箱船的航线循环，进而可以根据已经定义好的航线和港口集装箱吞吐量对经过任意两港或任意两个贸易区的集装箱船航线进行运力统计和运力变化分析，以及可以对各个港口的运营效率进行对比分析。通过在全球其他的主要港口上重复上述过程，即可以得到全球主要港口的集装箱吞吐量，如图6所示的全球主要港口的集装箱日吞吐量和图7所示的集装箱周吞吐量。
[0047]
本发明还涉及了一种港口集装箱吞吐量估算系统，该系统与上述港口集装箱吞吐量估算方法相对应，可理解为是实现上述方法的系统，该系统包括依次连接的数据采集模块、装卸货量预测模块和吞吐量估算模块，具体地，
[0048]
数据采集模块，采集集装箱船的ais数据和港口数据；
[0049]
装卸货量预测模块，将经过不同港口的所有类型集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练得到装卸货量预测模型，将ais数据中的作业时间和船型、港口数据中的装卸货量输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量；
[0050]
吞吐量估算模块，结合业务逻辑，将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计进而估算港口集装箱每天的货物总吞吐量。
[0051]
优选地，ais数据包括静态数据和动态数据，所述静态数据包括船舶移动业务识别码、船舶类型、呼号、船名、吃水、船长和船宽，所述动态数据包括船舶经纬度位置信息、时间戳、对地航向、对地航速和船艏向；
[0052]
和/或，所述港口数据包括港口代码、作业持续时间、泊位占用时间、每个航段的起始和结束时间及起终点港口、港口所属的国家和区域以及港口经纬度。
[0053]
优选地，数据采集模块中是先对ais历史航行数据进行预处理，去除ais中有问题的数据，然后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未知港口的数据以及起点港与终点港为相同港口的数据，并将起始港和终点港分别匹配到相应的国家和区域。
[0054]
优选地，所述吞吐量估算模块中，还以港口集装箱每天的货物总吞吐量为基础，估算集装箱船经过的每个贸易区的集装箱每天的货物总吞吐量。
[0055]
优选地，还包括与吞吐量估算模块相连的吞吐量统计及监测模块，用于将估算得到的全部的货物总吞吐量数据保存在数据库中，进行港口集装箱及贸易区集装箱的货物总吞吐量统计和监测，以及港口航线运力需求分析。
[0056]
本发明提供了客观、科学的港口集装箱吞吐量估算方法及系统，基于船舶的ais数据和典型企业港口数据，采用xgboost算法并利用集装箱船的基本特征如作业时间、船型大小、装卸货量等建立单艘集装箱船的装卸货量预测模型，并结合业务逻辑估算出港口集装箱每天的吞吐量，为港口的吞吐量统计和监测提供了支持。
[0057]
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。

技术特征：
1.一种港口集装箱吞吐量估算方法，其特征在于，包括以下步骤：数据采集步骤：采集集装箱船的ais数据和港口数据；装卸货量预测步骤：将经过不同港口的所有类型集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练得到装卸货量预测模型，将ais数据中的作业时间和船型、港口数据中的装卸货量均输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量；吞吐量估算步骤：结合业务逻辑，将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计进而估算港口集装箱每天的货物总吞吐量。2.根据权利要求1所述的港口集装箱吞吐量估算方法，其特征在于，所述数据采集步骤中是先对ais数据进行预处理，去除ais数据中有问题的数据，然后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未知港口的数据以及起点港与终点港为相同港口的数据，并将起始港和终点港分别匹配到相应的国家和区域。3.根据权利要求2所述的港口集装箱吞吐量估算方法，其特征在于，所述数据采集步骤中，所述ais数据包括静态数据和动态数据，所述静态数据包括船舶移动业务识别码、船舶类型、呼号、船名、吃水、船长和船宽，所述动态数据包括船舶经纬度位置信息、时间戳、对地航向、对地航速和船艏向；和/或，所述港口数据包括港口代码、作业持续时间、泊位占用时间、每个航段的起始和结束时间及起终点港口、港口所属的国家和区域以及港口经纬度。4.根据权利要求1至3之一所述的港口集装箱吞吐量估算方法，其特征在于，所述吞吐量估算步骤中，还以港口集装箱每天的货物总吞吐量为基础，估算集装箱船经过的每个贸易区的集装箱每天的货物总吞吐量。5.根据权利要求4所述的港口集装箱吞吐量估算方法，其特征在于，在吞吐量估算步骤之后还包括吞吐量统计及监测分析步骤，用于将估算得到的全部的货物总吞吐量数据保存在数据库中，进行港口集装箱及贸易区集装箱的货物总吞吐量统计和监测，以及港口航线运力需求分析。6.一种港口集装箱吞吐量估算系统，其特征在于，包括依次连接的数据采集模块、装卸货量预测模块和吞吐量估算模块，数据采集模块，采集集装箱船的ais数据和港口数据；装卸货量预测模块，将经过不同港口的所有类型集装箱船的ais数据作为训练集样本，使用xgboost算法对训练集样本进行训练得到装卸货量预测模型，将ais数据中的作业时间和船型、港口数据中的装卸货量均输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量；吞吐量估算模块，结合业务逻辑，将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计进而估算港口集装箱每天的货物总吞吐量。7.根据权利要求6所述的港口集装箱吞吐量估算系统，其特征在于，所述ais数据包括静态数据和动态数据，所述静态数据包括船舶移动业务识别码、船舶类型、呼号、船名、吃水、船长和船宽，所述动态数据包括船舶经纬度位置信息、时间戳、对地航向、对地航速和船
艏向；和/或，所述港口数据包括港口代码、作业持续时间、泊位占用时间、每个航段的起始和结束时间及起终点港口、港口所属的国家和区域以及港口经纬度。8.根据权利要求6所述的港口集装箱吞吐量估算系统，其特征在于，所述数据采集模块中是先对ais历史航行数据进行预处理，去除ais中有问题的数据，然后对港口数据进行预处理，去除修船的数据、起始港和终点港有缺失的数据、未知港口的数据以及起点港与终点港为相同港口的数据，并将起始港和终点港分别匹配到相应的国家和区域。9.根据权利要求6至8之一所述的港口集装箱吞吐量估算系统，其特征在于，所述吞吐量估算模块中，还以港口集装箱每天的货物总吞吐量为基础，估算集装箱船经过的每个贸易区的集装箱每天的货物总吞吐量。10.根据权利要求9所述的港口集装箱吞吐量估算系统，其特征在于，还包括与吞吐量估算模块相连的吞吐量统计及监测分析模块，用于将估算得到的全部的货物总吞吐量数据保存在数据库中，进行港口集装箱及贸易区集装箱的货物总吞吐量统计和监测，以及港口航线运力需求分析。

技术总结
本发明提供了一种港口集装箱吞吐量估算方法及系统，该方法先采集集装箱船的AIS数据和港口数据，再将经过不同港口的所有类型集装箱船的AIS数据作为训练集样本，并使用XGBoost算法对训练集样本进行训练得到装卸货量预测模型，将AIS数据中的作业时间和船型、港口数据中的装卸货量输入至装卸货量预测模型，预测出每个港口每种船型每天的单艘集装箱船装卸货量，进而估算出每个港口每种船型下所有集装箱船每天的总装卸货量，最后将每个港口所有船型下对应的所有集装箱船每天的总装卸货量进行累加统计得到港口集装箱每天的货物总吞吐量。本发明能够实时获得港口集装箱每天的吞吐量，且结果准确，为港口的集装箱吞吐量统计和监测提供了支持。提供了支持。提供了支持。


技术研发人员：张健豪 韩懿 张哲熙
受保护的技术使用者：上海船舶运输科学研究所有限公司
技术研发日：2022.12.01
技术公布日：2023/9/13