一种海洋大数据云服务系统与应用方法与流程

1.本发明涉及海洋大数据云服务系统技术领域，尤其涉及一种海洋大数据云服务系统与应用方法。


背景技术：

2.云服务系统是一种基于云计算技术构建的服务平台，通过大规模数据中心和弹性计算资源，提供计算、存储、网络和应用服务。它采用虚拟化技术将物理资源虚拟化，实现资源的灵活分配和管理。云服务系统具有弹性计算能力，可以根据需求动态调整计算资源规模，确保高效的资源利用和成本控制。用户可以通过自助服务和api接口创建、配置和管理服务实例，实现自服务能力。
3.其中，海洋大数据云服务系统是利用云计算技术和海洋大数据处理技术相结合的系统，通过云计算的弹性、可扩展和高性能特点，为海洋领域提供数据存储、处理、分析和可视化等一系列服务。具备大规模数据存储和管理能力，确保海洋数据的安全性和可靠性。同时，利用云计算的高性能计算资源和分布式计算能力，能对海洋数据进行处理和分析。
4.在现有海洋大数据云服务系统中，海洋大数据的处理和分析涉及多个领域的知识和技术，包括海洋科学、数据科学、物联网等。系统的开发和部署需要跨学科的专业知识和技能，并且需要处理海洋环境的复杂性和不确定性。海洋环境的复杂性使得数据采集和准确性成为挑战。海洋设备的故障、传感器误差以及海洋条件的变化等因素可能导致数据的不准确或不完整，影响数据分析和决策的可靠性。海洋大数据通常规模庞大，存储和传输成本较高。海上设备的限制和海洋环境的不稳定性可能导致数据传输的困难和高昂的通信费用。海洋大数据中可能包含敏感信息，如航线数据、商业机密等。保护数据隐私和防止数据泄露是一个重要的挑战，特别是在数据传输和存储过程中。海洋大数据通常来自不同来源和不同类型的传感器，存在数据格式和标准的差异，导致数据互操作性的挑战。确保不同数据源之间的集成和互操作性是一个复杂的任务。随着数据规模的增长，海洋大数据的处理和分析需要具备可扩展性和高性能的系统架构。确保系统能够处理大规模数据集和高并发访问是一个重要的考虑因素。


技术实现要素：

5.本发明的目的是解决现有技术中存在的缺点，而提出的一种海洋大数据云服务系统与应用方法。
6.为了实现上述目的，本发明采用了如下技术方案：一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；所述数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，所述数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分
布式存储子模块存储，所述数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，所述数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；所述实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，所述实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，所述流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；所述边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，所述物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；所述自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，所述自动化和智能化模块接收来自实时数据处理模块的数据，所述自动化数据清洗子模块进行数据清洗，所述智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；所述数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，所述数据治理子模块确保数据一致性和准确性，所述数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；所述边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，所述边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，所述边缘智能子模块对数据进行实时分析，所述自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；所述深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，所述深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，所述图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；所述智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，所述智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，所述用户行为分析子模块分析用户需求，所述数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。
7.作为本发明的进一步方案，所述分布式存储子模块采用hdfs实现大规模数据的分布式存储，所述hdfs将数据划分为多个块并在集群中的多个节点上进行分布存储，所述hdfs采用数据本地性原则；所述数据压缩优化子模块采用包括gzip、snappy、lz4、lzw的数据压缩算法；所述数据传输子模块采用ftp文件传输协议和http超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。
8.作为本发明的进一步方案，所述流式处理子模块使用具体为apache kafka的流处理框架，所述流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；
所述实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。
9.作为本发明的进一步方案，所述边缘设备数据处理子模块借助openfog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；所述物联网通信子模块利用mqtt物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。
10.作为本发明的进一步方案，所述自动化数据清洗子模块使用滤波算法对数据进行降噪，使用具体为主成分分析的降维算法减少数据维度，使用具体为小波变换的特征提取算法提取有用的频域特征，对所述数据处理模块的数据进行处理，以提取有用的特征并减少数据的维度，使用实时异常检测算法来识别设备的异常行为或使用模式识别算法来检测设备的行为模式，以实现快速决策和减少数据传输量；所述智能算法子模块采用优化算法来改进通信协议的性能，基于通信需求定制化压缩算法，减小传输数据的大小，使用迪杰斯特拉算法，减少数据传输的跳数和延迟。
11.作为本发明的进一步方案，所述数据治理子模块使用文本挖掘算法来从自动化和智能化模块的处理后的数据中抽取元数据信息，使用语义分析算法来识别数据实体间的关系，在数据治理过程中建立数据资产目，使用文本检索算法，实现高效的数据资产搜索；所述数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查、唯一性检查的数据质量检查算法来进行数据质量检查，使用统计算法来分析数据的分布和异常情况，使用规则引擎来执行预定义的数据质量规则，在发现数据质量问题后，使用数据修复算法自动识别和修正异常或错误的数据值。
12.作为本发明的进一步方案，所述边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应，具体为，采用卷积神经网络执行图像分类，采用循环神经网络执行序列数据分析，采用transformer模型执行自然语言处理任务，并使用包括剪枝、量化和蒸馏的模型压缩算法减小深度学习模型的大小和计算复杂度；所述自主决策子模块采用基于值函数的算法实现自主决策功能，具体为，使用q-learning算法训练边缘设备在特定环境下做出最优决策，使用具体为reinforce的策略梯度算法学习边缘设备的决策策略，在多个边缘设备的场景中，使用马尔可夫决策过程和分布式强化学习算法来让多个边缘设备在共享环境中进行动态决策。
13.作为本发明的进一步方案，所述图像识别子模块选择pytorch深度学习框架具体为卷积神经网络的深度学习模型，进行图像分类和目标检测任务，通过经过训练的网络权重来对海洋图像中的不同目标进行识别，使用图像处理算法和人工标注相结合的方法构建准确的训练集，以提高深度学习模型的性能；所述计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析，利用
opencv库，实现图像去噪、尺寸调整、颜色空间转换、边缘检测的图像处理功能，对视频数据，使用背景建模算法检测视频中的静态背景和运动目标，使用光流算法估计视频的运动场景。
14.作为本发明的进一步方案，所述用户行为分析子模块使用聚类算法将用户划分为不同的群组，使用关联规则挖掘算法来发现用户行为之间的关联关系，对用户行为日志进行分析和挖掘，获取用户行为分析结果；所述数据服务推荐子模块针对提供的数据服务，使用具体为朴素贝叶斯分类器的文本分类算法进行数据服务的分类，使用关键词提取算法来提取数据服务的关键词标签，对数据服务进行分类和标签化，基于用户行为分析结果，采用协同过滤推荐算法，基于用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。
15.一种海洋大数据云服务应用方法，包括以下步骤：使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端；将所述云端接收到的数据通过分布式存储子模块存储，并进行数据压缩；将数据进行实时处理和分析，生成气象预测和灾害监测信息；对实时处理后的数据进行清洗和深度分析，对清洗和分析后的数据进行治理和质量控制，根据治理和质量控制后的数据，利用边缘智能进行实时决策制定；基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持；在所述智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。
16.与现有技术相比，本发明的优点和积极效果在于：本发明中，通过使用分布式存储和优化的数据压缩算法，可以有效地存储和传输海洋大数据，减少存储空间和传输成本。采用流式处理和复杂事件处理技术，可以对实时数据流进行快速处理和分析，能够及时预测气象和灾害情况并做出响应。通过在边缘设备上进行数据处理和分析，减少了数据传输的延迟，提高了数据处理的实时性和效率。利用自动化数据清洗和智能算法，可以提高海洋大数据的处理和分析能力，实现自动化的数据处理和决策支持。建立数据治理框架和实施数据质量控制机制，利用机器学习和人工智能算法检测和纠正数据质量问题，提高数据的可信度和可用性。通过结合边缘计算和人工智能技术，实现设备的实时智能处理和自主决策，提高响应速度和系统的智能化程度。应用深度学习和计算机视觉技术，对海洋大数据中的图像和视频进行自动分析和识别，提取有用信息支持海洋监测和资源管理。基于用户需求和历史数据，通过智能推荐系统提供个性化的海洋大数据服务，推荐适合用户的数据集、分析工具和应用，提高用户体验和数据利用效果。
附图说明
17.图1为本发明提出一种海洋大数据云服务系统与应用方法的主系统流程图；图2为本发明提出一种海洋大数据云服务系统与应用方法的数据存储和传输模块流程图；图3为本发明提出一种海洋大数据云服务系统与应用方法的实时数据处理和响应模块流程图；
图4为本发明提出一种海洋大数据云服务系统与应用方法的边缘计算和物联网模块流程图；图5为本发明提出一种海洋大数据云服务系统与应用方法的自动化和智能化模块流程图；图6为本发明提出一种海洋大数据云服务系统与应用方法的数据治理和质量控制模块流程图；图7为本发明提出一种海洋大数据云服务系统与应用方法的边缘智能和自主决策模块流程图；图8为本发明提出一种海洋大数据云服务系统与应用方法的深度学习和计算机视觉模块流程图；图9为本发明提出一种海洋大数据云服务系统与应用方法的智能推荐系统模块流程图；图10为本发明提出一种海洋大数据云服务系统与应用方法的工作步骤示意图。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
19.在本发明的描述中，需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
20.实施例一：请参阅图1，本发明提供一种技术方案：一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分布式存储子模块存储，数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；
自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，自动化和智能化模块接收来自实时数据处理模块的数据，自动化数据清洗子模块进行数据清洗，智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，数据治理子模块确保数据一致性和准确性，数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，边缘智能子模块对数据进行实时分析，自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，用户行为分析子模块分析用户需求，数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。
21.数据存储和传输模块负责接收来自边缘设备和传感器的海洋数据，并通过分布式存储、压缩和优化技术对数据进行存储和传输。实时数据处理和响应模块使用流式处理和实时数据分析，能够提供及时的气象预测和灾害监测。边缘计算和物联网模块集成了边缘设备数据处理和物联网通信，实现了数据的高效获取和传输。自动化和智能化模块进行数据清洗和分析，采用智能算法挖掘有价值信息。数据治理和质量控制模块确保数据的一致性和准确性。边缘智能和自主决策模块基于分析结果做出决策，并提供反馈给设备或传递给智能推荐系统。深度学习和计算机视觉模块支持图像和视频数据分析。智能推荐系统模块通过用户行为分析和数据服务推荐，提供个性化推荐和增强用户体验。综合起来，该系统能够高效处理、分析和利用海洋数据，提升海洋监测和资源管理能力，并为用户提供优质的数据服务。
22.请参阅图2，分布式存储子模块采用hdfs实现大规模数据的分布式存储，hdfs将数据划分为多个块并在集群中的多个节点上进行分布存储，hdfs采用数据本地性原则；数据压缩优化子模块采用包括gzip、snappy、lz4、lzw的数据压缩算法；数据传输子模块采用ftp文件传输协议和http超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。
23.首先，分布式存储子模块采用hdfs实现数据的分布式存储。这样的架构具有高可靠性和容错性，因为数据会被划分为多个块并在多个节点上进行冗余存储。这意味着即使某个节点发生故障，系统仍能通过其他节点上的副本来保持数据的完整性和可访问性。此外，hdfs采用数据本地性原则，即尽可能在计算节点附近存储数据，减少网络传输开销，提
高数据的访问速度和性能。
24.其次，数据压缩优化子模块使用各种压缩算法，如gzip、snappy、lz4、lzw等，可以大幅度减小数据的存储空间和传输带宽消耗。通过对数据进行压缩，可以降低存储成本，并在数据传输过程中减少网络流量。这对于海洋大数据的处理和传输效率都是非常有益的。
25.最后，数据传输子模块采用ftp和http协议，并使用流式传输技术，可以逐块地读取和发送数据。这种流式传输的方式能够实现实时或近实时的数据传输，避免了传统的一次性传输所面临的延迟和网络拥塞问题。通过流式传输，可以提高数据的实时性和效率，使海洋大数据的处理和分析更加及时和准确。
26.请参阅图3，流式处理子模块使用具体为apache kafka的流处理框架，流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。
27.首先，流处理子模块采用apache kafka作为流处理框架，在处理海洋大数据的实时数据流时，它能够提供高吞吐量和低延迟的数据传输和处理。通过将实时数据流划分为多个微批次或信号交换流，可以实现持续的流式计算、窗口化计算和状态管理功能。这样，海洋大数据可以得到及时的处理和分析，从而实现了对海洋环境变化和异常情况的实时了解。
28.其次，实时数据分析子模块引入复杂事件处理技术，能够从实时数据流中提取有意义的事件。通过定义规则、模式和约束，可以识别出海洋生态系统中的不同模式和趋势，如特定的物种迁徙、海流变化等。同时，应用聚类分析、分类算法和关联规则挖掘等数据挖掘算法，可以深入分析海洋大数据，发现潜在的关联和规律。此外，利用机器学习算法构建预测模型，并通过实时数据输入不断更新模型参数，可以实现对未来海洋情况的实时预测，提供重要的决策支持。
29.请参阅图4，边缘设备数据处理子模块借助openfog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；物联网通信子模块利用mqtt物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。
30.首先，边缘设备数据处理子模块借助openfog边缘计算框架，使边缘节点能够执行轻量级计算任务。这样，边缘设备可以在本地对采集到的原始海洋数据进行实时的数据清洗、数据聚合和特征提取等操作。通过采用滑动窗口或时间间隔方式对原始数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，减少了数据传输量，提高了传输效率。此外，采用霍夫曼编码对原始海洋数据进行压缩和编码，进一步减少了数据传输所需的
带宽，降低了网络成本。
31.其次，物联网通信子模块利用mqtt物联网通信协议实现设备之间的高效通信。通过该协议，边缘设备和其他设备或云端可以进行可靠且低延迟的数据通信。同时，通过对称密钥加密或公钥加密算法对数据进行加密和解密，可以有效保护数据隐私和安全，防止数据在传输过程中被非法窃取或篡改。这对于海洋大数据的安全性和隐私保护具有重要意义。
32.请参阅图5，自动化数据清洗子模块使用滤波算法对数据进行降噪，使用具体为主成分分析的降维算法减少数据维度，使用具体为小波变换的特征提取算法提取有用的频域特征，对数据处理模块的数据进行处理，以提取有用的特征并减少数据的维度，使用实时异常检测算法来识别设备的异常行为或使用模式识别算法来检测设备的行为模式，以实现快速决策和减少数据传输量；智能算法子模块采用优化算法来改进通信协议的性能，基于通信需求定制化压缩算法，减小传输数据的大小，使用迪杰斯特拉算法，减少数据传输的跳数和延迟。
33.首先，自动化数据清洗子模块利用滤波算法对数据进行降噪，可以有效去除海洋数据中的噪声，提高数据质量。此外，采用主成分分析等降维算法可以减少数据的维度，从而降低存储和计算的成本。使用小波变换的特征提取算法可以提取有用的频域特征，帮助识别海洋数据中的关键信息。这些算法的应用可以有效地清洗和优化海洋大数据，提取出有用的特征并减少数据的冗余，为后续的处理和分析提供高质量的数据。
34.其次，智能算法子模块在海洋大数据的通信和传输方面起着重要作用。通过优化算法改进通信协议的性能，可以提高数据传输的效率和可靠性。定制化压缩算法可以根据通信需求来减小传输数据的大小，降低带宽要求和传输延迟。而使用迪杰斯特拉算法进行数据传输的路径规划，可以减少传输的跳数和延迟，提高数据传输的速度和实时性。这些智能算法的应用对于海洋大数据的传输效率和性能优化具有重要意义。
35.请参阅图6，数据治理子模块使用文本挖掘算法来从自动化和智能化模块的处理后的数据中抽取元数据信息，使用语义分析算法来识别数据实体间的关系，在数据治理过程中建立数据资产目，使用文本检索算法，实现高效的数据资产搜索；数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查、唯一性检查的数据质量检查算法来进行数据质量检查，使用统计算法来分析数据的分布和异常情况，使用规则引擎来执行预定义的数据质量规则，在发现数据质量问题后，使用数据修复算法自动识别和修正异常或错误的数据值。
36.首先，数据治理子模块利用文本挖掘算法从处理后的数据中抽取元数据信息，并使用语义分析算法识别数据实体间的关系。这样可以构建数据资产目录，方便对海洋大数据进行管理和查询。使用文本检索算法实现高效的数据资产搜索，加快数据发现和访问的速度。数据治理子模块的应用可以提高数据的可发现性和可管理性，为数据的有效利用和共享提供支持。
37.其次，数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查和唯一性检查的数据质量检查算法。通过应用这些算法，可以对海洋大数据进行全面的数据质量检查，在数据存储和处理过程中及时发现数据质量问题。同时，使用统计算法分析数据的分布和异常情况，进一步检测数据质量问题。利用规则引擎执行预定义的数据质量规则，
可以识别和修正异常或错误的数据值，提高数据的准确性和一致性。数据质量控制子模块的应用有助于确保海洋大数据的质量，提供高质量的数据基础支持。
38.请参阅图7，边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应，具体为，采用卷积神经网络执行图像分类，采用循环神经网络执行序列数据分析，采用transformer模型执行自然语言处理任务，并使用包括剪枝、量化和蒸馏的模型压缩算法减小深度学习模型的大小和计算复杂度；自主决策子模块采用基于值函数的算法实现自主决策功能，具体为，使用q-learning算法训练边缘设备在特定环境下做出最优决策，使用具体为reinforce的策略梯度算法学习边缘设备的决策策略，在多个边缘设备的场景中，使用马尔可夫决策过程和分布式强化学习算法来让多个边缘设备在共享环境中进行动态决策。
39.首先，边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应。采用不同类型的深度学习模型如卷积神经网络、循环神经网络和transformer模型，可以处理各种类型的海洋数据，如图像数据、序列数据和自然语言数据。通过模型压缩算法如剪枝、量化和蒸馏，可以减小深度学习模型的大小和计算复杂度，使其可以有效地部署和运行在边缘设备上。这样可以实现边缘设备的实时智能决策和响应，减少对云端的依赖，提高系统的实时性和实用性。
40.其次，自主决策子模块利用基于值函数的算法实现边缘设备的自主决策功能。例如，使用q-learning算法可以训练边缘设备在特定环境下做出最优决策，根据价值函数指导行为选择。使用策略梯度算法如reinforce，可以学习边缘设备的决策策略，使其能够根据当前环境选择合适的行动。在多个边缘设备的场景中，利用马尔可夫决策过程和分布式强化学习算法，可以使多个边缘设备在共享环境中进行动态决策，相互协作和适应变化。这样能够增强边缘设备的自主性和决策能力，提高系统的整体性能和效率。
41.请参阅图8，图像识别子模块选择pytorch深度学习框架具体为卷积神经网络的深度学习模型，进行图像分类和目标检测任务，通过经过训练的网络权重来对海洋图像中的不同目标进行识别，使用图像处理算法和人工标注相结合的方法构建准确的训练集，以提高深度学习模型的性能；计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析，利用opencv库，实现图像去噪、尺寸调整、颜色空间转换、边缘检测的图像处理功能，对视频数据，使用背景建模算法检测视频中的静态背景和运动目标，使用光流算法估计视频的运动场景。
42.首先，图像识别子模块选择pytorch深度学习框架和卷积神经网络模型进行图像分类和目标检测任务。经过训练的深度学习模型可以使用网络权重对海洋图像中的不同目标进行识别和分类。为了提高深度学习模型的性能，可以结合图像处理算法和人工标注方法构建准确的训练集。这样可以提高模型的准确性和泛化能力，使其可以在海洋图像中有效地进行目标识别和分类。
43.其次，计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析。利用opencv库，可以实现图像去噪、尺寸调整、颜色空间转换和边缘检测等图像处理功能。对于视频数据，可以使用背景建模算法检测视频中的静态背景和运动目标，并使用光流算法估计视频的运动场景。这些图像处理算法可以提高图像的质量和清晰度，从而为后续的图像
识别和分析提供更可靠的数据基础。
44.请参阅图9，用户行为分析子模块使用聚类算法将用户划分为不同的群组，使用关联规则挖掘算法来发现用户行为之间的关联关系，对用户行为日志进行分析和挖掘，获取用户行为分析结果；数据服务推荐子模块针对提供的数据服务，使用具体为朴素贝叶斯分类器的文本分类算法进行数据服务的分类，使用关键词提取算法来提取数据服务的关键词标签，对数据服务进行分类和标签化，基于用户行为分析结果，采用协同过滤推荐算法，基于用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。
45.首先，用户行为分析子模块利用聚类算法将用户划分为不同的群组，并使用关联规则挖掘算法来发现用户行为之间的关联关系。通过对用户行为日志的分析和挖掘，可以获取有关用户行为的重要洞察和信息。这些行为分析结果能够帮助了解用户的兴趣、偏好和行为模式，从而更好地满足用户需求、改善用户体验，并提供个性化的服务和建议。
46.其次，数据服务推荐子模块针对提供的数据服务，使用朴素贝叶斯分类器等文本分类算法进行数据服务的分类，并使用关键词提取算法来提取数据服务的关键词标签。通过对数据服务进行分类和标签化，可以更好地组织和管理海洋大数据服务。基于用户行为分析结果，采用协同过滤推荐算法，可以根据用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。这样能够提高用户对数据服务的发现性和匹配度，提供个性化、准确的数据服务推荐。
47.一种海洋大数据云服务应用方法，包括以下步骤：使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端；将云端接收到的数据通过分布式存储子模块存储，并进行数据压缩；将数据进行实时处理和分析，生成气象预测和灾害监测信息；对实时处理后的数据进行清洗和深度分析，对清洗和分析后的数据进行治理和质量控制，根据治理和质量控制后的数据，利用边缘智能进行实时决策制定；基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持；在智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。
48.首先，使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端。这样可以实时获取海洋数据，并确保数据的及时性和准确性。
49.其次，将云端接收到的数据通过分布式存储子模块存储，并进行数据压缩。分布式存储可以提高数据的冗余性和容错性，确保数据的可靠性和可用性。数据压缩可以减小存储空间的占用，提高存储效率。
50.然后，对接收到的数据进行实时处理和分析，生成气象预测和灾害监测信息。通过实时处理和分析海洋数据，可以提供即时的气象预测和灾害监测信息，帮助人们做出准确的决策和行动。
51.接下来，对实时处理后的数据进行清洗和深度分析，并进行治理和质量控制。通过数据的清洗和深度分析，可以提取有用的信息和知识，为进一步的决策和应用提供支持。治理和质量控制可以确保数据的准确性、一致性和完整性，提高数据的可信度和可用性。
52.在实时决策制定过程中，利用边缘智能进行决策，基于治理和质量控制后的数据
进行实时决策制定。这可以实现智能化的决策过程，提高决策的准确性和效率。
53.此外，基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持。通过图像和视频数据的处理和识别，可以提取关键信息和特征，并用于智能推荐的生成过程。
54.最后，在智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。根据用户的偏好和需求，结合数据分析结果，可以推荐符合用户需求的数据服务，提高用户满意度和数据利用效率。
55.工作原理：使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端。云服务系统中的数据存储和传输模块接收原始数据并进行存储和传输优化，同时将数据压缩以减少存储和传输负担。实时数据处理和响应模块对压缩数据进行实时处理和分析，并提供即时的气象预测和灾害监测。边缘计算和物联网模块在边缘设备上进行数据预处理和通信，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块。自动化和智能化模块对数据进行清洗、分析和挖掘，提取隐藏的模式和关联规则，以支持数据治理和质量控制模块的工作。数据治理和质量控制模块确保数据的一致性、准确性和可靠性，通过统一规范和标准化操作对数据进行处理，并进行质量检查和修正。质量控制后的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块。边缘智能和自主决策模块对数据进行实时分析和挖掘，提取有价值的信息和模式，从而支持自主决策的制定和执行。深度学习和计算机视觉模块处理图像和视频数据，进行分析、处理和识别，用于海洋监测和资源管理任务。最后，智能推荐系统模块根据用户行为分析和数据分析结果，提供个性化的数据服务推荐，满足用户需求并提供更好的用户体验。整个系统的目标是实现对海洋数据的全面收集、高效存储、实时处理和智能分析，以支持海洋环境监测、资源管理和决策等应用领域。
56.以上，仅是本发明的较佳实施例而已，并非对本发明作其他形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其他领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

技术特征：
1.一种海洋大数据云服务系统，其特征在于：所述一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成；所述数据存储和传输模块包括分布式存储子模块、数据压缩优化子模块、数据传输子模块，所述数据存储和传输模块接收来自边缘设备和传感器的原始海洋数据，通过分布式存储子模块存储，所述数据压缩优化子模块将原始海洋数据进行压缩，减少存储和传输负担，所述数据传输子模块负责将压缩数据传输到实时数据处理和响应模块；所述实时数据处理和响应模块包括流式处理子模块、实时数据分析子模块，所述实时数据处理和响应模块接收来自数据存储和传输模块的压缩数据，所述流式处理子模块对压缩数据进行实时处理，与实时数据分析子模块协同工作以提供及时的气象预测和灾害监测，获取处理后数据，并发送至自动化和智能化模块进行进一步分析；所述边缘计算和物联网模块包括边缘设备数据处理子模块、物联网通信子模块，接收来自传感器和设备的原始海洋数据，通过边缘设备数据处理子模块进行预处理，所述物联网通信子模块负责与数据存储和传输模块交换数据，将预处理后的数据发送到数据存储和传输模块或实时数据处理模块；所述自动化和智能化模块包括自动化数据清洗子模块、智能算法子模块，所述自动化和智能化模块接收来自实时数据处理模块的数据，所述自动化数据清洗子模块进行数据清洗，所述智能算法子模块进行挖掘和分析，将清洗和分析后的数据发送到数据治理和质量控制模块进行进一步质量保证；所述数据治理和质量控制模块包括数据治理子模块、数据质量控制子模块，接收来自自动化和智能化模块的处理后的数据，所述数据治理子模块确保数据一致性和准确性，所述数据质量控制子模块对数据进行质量检查和修正，将质量确保的数据提供给边缘智能和自主决策模块以及深度学习和计算机视觉模块；所述边缘智能和自主决策模块包括边缘智能子模块、自主决策子模块，所述边缘智能和自主决策模块接收来自数据治理和质量控制模块的数据，所述边缘智能子模块对数据进行实时分析，所述自主决策子模块基于分析结果做出决策，将决策结果反馈给相关设备或传递给智能推荐系统模块；所述深度学习和计算机视觉模块包括图像识别子模块、计算机视觉子模块，所述深度学习和计算机视觉模块接收来自数据治理和质量控制模块的图像和视频数据，所述图像识别子模块、计算机视觉子模块负责分析和识别，支持海洋监测和资源管理，将分析结果提供给智能推荐系统模块以增强个性化服务；所述智能推荐系统模块包括用户行为分析子模块、数据服务推荐子模块，所述智能推荐系统模块接收来自边缘智能和自主决策模块、深度学习和计算机视觉模块的分析结果，所述用户行为分析子模块分析用户需求，所述数据服务推荐子模块根据分析提供个性化推荐，将推荐结果反馈给用户，促进更好的数据利用和用户体验。2.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述分布式存储子模块采用hdfs实现大规模数据的分布式存储，所述hdfs将数据划分为多个块并在集群中的多个节点上进行分布存储，所述hdfs采用数据本地性原则；
所述数据压缩优化子模块采用包括gzip、snappy、lz4、lzw的数据压缩算法；所述数据传输子模块采用ftp文件传输协议和http超文本传输协议，并在传输过程中，使用流式传输技术，逐块读取和发送数据。3.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述流式处理子模块使用具体为apache kafka的流处理框架，所述流处理框架支持数据流的持续处理，提供了流式计算、窗口化计算和状态管理功能，通过将实时数据流划分为多个微批次或信号交换流，实时处理和分析海洋大数据；所述实时数据分析子模块引入复杂事件处理技术，利用规则、模式和约束，从实时数据流中提取有意义的事件，实时了解海洋环境的变化和异常情况，使用包括聚类分析、分类算法、关联规则挖掘的数据挖掘算法，从实时数据流中识别出海洋生态系统中的不同模式和趋势，并利用机器学习算法构建预测模型，通过实时数据输入不断更新模型参数，实现对未来海洋情况的实时预测。4.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述边缘设备数据处理子模块借助openfog边缘计算框架，提供边缘节点上执行轻量级计算任务的能力，许可边缘设备对采集到的原始海洋数据进行实时数据清洗、数据聚合、特征提取操作，采用滑动窗口或时间间隔方式，对原始海洋数据进行过滤和采样，只将满足条件的数据传输到云端或其他设备，并采用霍夫曼编码，对原始海洋数据进行压缩和编码，提高数据传输效率；所述物联网通信子模块利用mqtt物联网通信协议，实现设备之间的高效通信，采用对称密钥加密或公钥加密算法，对数据进行加密和解密，保护数据隐私。5.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述自动化数据清洗子模块使用滤波算法对数据进行降噪，使用具体为主成分分析的降维算法减少数据维度，使用具体为小波变换的特征提取算法提取有用的频域特征，对所述数据处理模块的数据进行处理，以提取有用的特征并减少数据的维度，使用实时异常检测算法来识别设备的异常行为或使用模式识别算法来检测设备的行为模式，以实现快速决策和减少数据传输量；所述智能算法子模块采用优化算法来改进通信协议的性能，基于通信需求定制化压缩算法，减小传输数据的大小，使用迪杰斯特拉算法，减少数据传输的跳数和延迟。6.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述数据治理子模块使用文本挖掘算法来从自动化和智能化模块的处理后的数据中抽取元数据信息，使用语义分析算法来识别数据实体间的关系，在数据治理过程中建立数据资产目，使用文本检索算法，实现高效的数据资产搜索；所述数据质量控制子模块采用包括数据完整性检查、一致性检查、准确性检查、唯一性检查的数据质量检查算法来进行数据质量检查，使用统计算法来分析数据的分布和异常情况，使用规则引擎来执行预定义的数据质量规则，在发现数据质量问题后，使用数据修复算法自动识别和修正异常或错误的数据值。7.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述边缘智能子模块在边缘设备上部署预训练的深度学习模型，实现实时的智能决策和响应，具体为，采用卷积神经网络执行图像分类，采用循环神经网络执行序列数据分析，采用transformer模型执行自然语言处理任务，并使用包括剪枝、量化和蒸馏的模型压缩算法减小深度学习模型的大小和计算复杂度；
所述自主决策子模块采用基于值函数的算法实现自主决策功能，具体为，使用q-learning算法训练边缘设备在特定环境下做出最优决策，使用具体为reinforce的策略梯度算法学习边缘设备的决策策略，在多个边缘设备的场景中，使用马尔可夫决策过程和分布式强化学习算法来让多个边缘设备在共享环境中进行动态决策。8.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述图像识别子模块选择pytorch深度学习框架具体为卷积神经网络的深度学习模型，进行图像分类和目标检测任务，通过经过训练的网络权重来对海洋图像中的不同目标进行识别，使用图像处理算法和人工标注相结合的方法构建准确的训练集，以提高深度学习模型的性能；所述计算机视觉子模块采用图像处理算法对图像进行预处理、增强和分析，利用opencv库，实现图像去噪、尺寸调整、颜色空间转换、边缘检测的图像处理功能，对视频数据，使用背景建模算法检测视频中的静态背景和运动目标，使用光流算法估计视频的运动场景。9.根据权利要求1所述的海洋大数据云服务系统，其特征在于：所述用户行为分析子模块使用聚类算法将用户划分为不同的群组，使用关联规则挖掘算法来发现用户行为之间的关联关系，对用户行为日志进行分析和挖掘，获取用户行为分析结果；所述数据服务推荐子模块针对提供的数据服务，使用具体为朴素贝叶斯分类器的文本分类算法进行数据服务的分类，使用关键词提取算法来提取数据服务的关键词标签，对数据服务进行分类和标签化，基于用户行为分析结果，采用协同过滤推荐算法，基于用户之间的相似性或项目之间的相似性来推荐分类和标签化后的数据服务给用户。10.一种海洋大数据云服务应用方法，其特征在于，包括以下步骤：使用物联网设备和传感器收集海洋数据，并通过物联网通信将数据发送至云端；将所述云端接收到的数据通过分布式存储子模块存储，并进行数据压缩；将数据进行实时处理和分析，生成气象预测和灾害监测信息；对实时处理后的数据进行清洗和深度分析，对清洗和分析后的数据进行治理和质量控制，根据治理和质量控制后的数据，利用边缘智能进行实时决策制定；基于治理和质量控制后的数据中的图像和视频数据进行处理和识别，为智能推荐提供支持；在所述智能推荐过程中，根据用户行为和数据分析结果，提供个性化的数据服务推荐。

技术总结
本发明涉及海洋大数据云服务系统技术领域，具体为一种海洋大数据云服务系统与应用方法，一种海洋大数据云服务系统是由数据存储和传输模块、实时数据处理和响应模块、边缘计算和物联网模块、自动化和智能化模块、数据治理和质量控制模块、边缘智能和自主决策模块、深度学习和计算机视觉模块、智能推荐系统模块组成。本发明中，使用物联网设备和传感器收集海洋数据，通过数据压缩和分布式存储来降低存储空间和传输成本，边缘计算和智能算法在边缘设备上进行数据处理分析，提高实时性，数据治理和质量控制机制通过自动化清洗和智能算法纠正数据质量问题，边缘智能和自主决策系统实时智能处理和决策，加速响应和智能化程度。加速响应和智能化程度。加速响应和智能化程度。


技术研发人员：张晓杰 王冰 韩晓强 王建平
受保护的技术使用者：海南智慧海事科技有限公司
技术研发日：2023.08.14
技术公布日：2023/9/16