大容量数据的数据传输技术的制作方法

1.本发明属于数据传输技术领域，具体涉及大容量数据的数据传输技术。


背景技术：

2.传统的应用场景中，关系型数据通常存储在关系型数据库之中。轻量级的关系型数据库中比较常见的是mysql，access等等。通过数学上的关系数据库模型，建表，建立表间关系，然后使用标准的关系查询语句进行增删改查操作。这样的架构在十万级的查询压力下能够有不错的表现。而且它的优势是开发简单，相关技术架构成熟，适合中小企业网站级别的应用。
3.在查询访问压力不断增长的同时，传统的数据库服务已经不能满足要求了。人们多使用更强大的关系型数据库，或是使用分表分库技术优化查询，减轻访问压力。但是这些方案一则成本非常昂贵，对于绝大多数企业，其代价是完全无法承受的。二来，一旦使用某种昂贵的解决方案，几乎就会被这项方案绑定，后续的业务都必须围绕这些方案展开。这无疑增加了系统维护的成本，也使得系统的升级维护受到诸多制约，不易变动。而分表分库这项技术，依赖于非常有经验的开发人员，这些开发人员的变动对系统的开发维护将是灾难性的。所以在访问量与查询量不断增长的系统中，传统关系型数据库必然无法通过技术或产品的升级满足数据增长的需求。


技术实现要素：

4.本发明的目的在于提供大容量数据的数据传输技术，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：大容量数据的数据传输技术，包括用于进行系统一致性协同的分布式一致性技术、用于数据可传输转换的对象序列化技术以及用于传输协议调用的rpc远程过程调用技术；
6.所述分布式一致性技术包括用于选举集群master的选举模块、用于保证集群状态和数据正确性的分布式一致性保证模块、用于配置信息储存的集群配置管理模块、用于协调分布式任务执行的分布式队列模块以及用于分布式任务同步的分布式锁。
7.优选的，所述对象序列化技术包括用于将数据序列化成流式数据的数据序列化模块、用于对流式数据进行写入的数据写入模块、用于将流式数据储存于网络内的网络储存模块、用于调用不同编程语言进行数据进行编译的调用模块以及用于对流式数据进行读取的数据反序列化模块。
8.优选的，所述数据序列化模块连接于数据写入模块和网络储存模块，且数据写入模块和网络储存模块共同连接于调用模块。
9.优选的，所述数据写入模块和网络储存模块共同连接于数据反序列化模块，且数据反序列化模块连接于调用模块。
10.优选的，所述rpc远程过程调用技术包括用于客户端发送请求的客户端请求模块、
用于对回复时间进行记录的回复记录模块、用于在服务器休眠时接收客户请求的接收模块、用于在接收客户请求后发出结果的反馈模块。
11.优选的，所述客户端请求模块连接于回复记录模块，且回复记录模块连接于接收模块。
12.优选的，所述接收模块连接于反馈模块，且反馈模块连接于客户端请求模块。
13.优选的，所述选举模块连接于分布式一致性保证模块，且分布式一致性保证模块连接于集群配置管理模块。
14.优选的，所述集群配置管理模块连接于分布式队列模块，且分布式队列模块连接于分布式锁。
15.本发明的技术效果和优点：该大容量数据的数据传输技术，得益于分布式一致性技术、对象序列化技术以及rpc远程过程调用技术的设置，通过分布式一致性技术对系统进行一致性协同，再通过对象序列化技术对需要进行传输的数据进行序列化转换，并通过rpc远程过程调用技术进行传输协议调用，从而大幅提高数据传输的速度，减轻查询、访问的压力，以便于升级和维护，减少对于开发人员经验的依赖，便于升级。
具体实施方式
16.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
17.本发明提供了大容量数据的数据传输技术，包括用于进行系统一致性协同的分布式一致性技术、用于数据可传输转换的对象序列化技术以及用于传输协议调用的rpc远程过程调用技术，所述分布式一致性技术包括用于选举集群master的选举模块、用于保证集群状态和数据正确性的分布式一致性保证模块、用于配置信息储存的集群配置管理模块、用于协调分布式任务执行的分布式队列模块以及用于分布式任务同步的分布式锁，所述选举模块连接于分布式一致性保证模块，且分布式一致性保证模块连接于集群配置管理模块，所述集群配置管理模块连接于分布式队列模块，且分布式队列模块连接于分布式锁，通过分布式一致性技术对系统进行一致性协同，再通过对象序列化技术对需要进行传输的数据进行序列化转换，并通过rpc远程过程调用技术进行传输协议调用，从而大幅提高数据传输的速度，减轻查询、访问的压力，以便于升级和维护，减少对于开发人员经验的依赖，便于升级。
18.优选的，所述对象序列化技术包括用于将数据序列化成流式数据的数据序列化模块、用于对流式数据进行写入的数据写入模块、用于将流式数据储存于网络内的网络储存模块、用于调用不同编程语言进行数据进行编译的调用模块以及用于对流式数据进行读取的数据反序列化模块，所述数据序列化模块连接于数据写入模块和网络储存模块，且数据写入模块和网络储存模块共同连接于调用模块，所述数据写入模块和网络储存模块共同连接于数据反序列化模块，且数据反序列化模块连接于调用模块。
19.优选的，所述rpc远程过程调用技术包括用于客户端发送请求的客户端请求模块、用于对回复时间进行记录的回复记录模块、用于在服务器休眠时接收客户请求的接收模
块、用于在接收客户请求后发出结果的反馈模块，所述客户端请求模块连接于回复记录模块，且回复记录模块连接于接收模块，所述接收模块连接于反馈模块，且反馈模块连接于客户端请求模块。
20.工作原理，该大容量数据的数据传输技术，使用时，通过选举模块、分布式一致性保证模块、集群配置管理模块、分布式队列模块以及分布式锁来保证系统的一致性协同，再通过数据序列化模块、数据写入模块、网络储存模块、调用模块以及数据反序列化模块来对大容量的数据进行序列化传输和反序列化读取，传输时，可通过客户端请求模块、回复记录模块、接收模块、反馈模块来专注于本地过程调用，而忽略系统调用的复杂性，从而加快大容量数据的传输速度。
21.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。


技术特征：
1.大容量数据的数据传输技术，包括用于进行系统一致性协同的分布式一致性技术、用于数据可传输转换的对象序列化技术以及用于传输协议调用的rpc远程过程调用技术；其特征在于：所述分布式一致性技术包括用于选举集群master的选举模块、用于保证集群状态和数据正确性的分布式一致性保证模块、用于配置信息储存的集群配置管理模块、用于协调分布式任务执行的分布式队列模块以及用于分布式任务同步的分布式锁。2.根据权利要求1所述的大容量数据的数据传输技术，其特征在于：所述对象序列化技术包括用于将数据序列化成流式数据的数据序列化模块、用于对流式数据进行写入的数据写入模块、用于将流式数据储存于网络内的网络储存模块、用于调用不同编程语言进行数据进行编译的调用模块以及用于对流式数据进行读取的数据反序列化模块。3.根据权利要求2所述的大容量数据的数据传输技术，其特征在于：所述数据序列化模块连接于数据写入模块和网络储存模块，且数据写入模块和网络储存模块共同连接于调用模块。4.根据权利要求3所述的大容量数据的数据传输技术，其特征在于：所述数据写入模块和网络储存模块共同连接于数据反序列化模块，且数据反序列化模块连接于调用模块。5.根据权利要求1所述的大容量数据的数据传输技术，其特征在于：所述rpc远程过程调用技术包括用于客户端发送请求的客户端请求模块、用于对回复时间进行记录的回复记录模块、用于在服务器休眠时接收客户请求的接收模块、用于在接收客户请求后发出结果的反馈模块。6.根据权利要求5所述的大容量数据的数据传输技术，其特征在于：所述客户端请求模块连接于回复记录模块，且回复记录模块连接于接收模块。7.根据权利要求6所述的大容量数据的数据传输技术，其特征在于：所述接收模块连接于反馈模块，且反馈模块连接于客户端请求模块。8.根据权利要求1所述的大容量数据的数据传输技术，其特征在于：所述选举模块连接于分布式一致性保证模块，且分布式一致性保证模块连接于集群配置管理模块。9.根据权利要求8所述的大容量数据的数据传输技术，其特征在于：所述集群配置管理模块连接于分布式队列模块，且分布式队列模块连接于分布式锁。

技术总结
本发明公开了大容量数据的数据传输技术，包括用于进行系统一致性协同的分布式一致性技术、用于数据可传输转换的对象序列化技术以及用于传输协议调用的RPC远程过程调用技术，所述分布式一致性技术包括用于选举集群Master的选举模块、用于保证集群状态和数据正确性的分布式一致性保证模块、用于配置信息储存的集群配置管理模块、用于协调分布式任务执行的分布式队列模块以及用于分布式任务同步的分布式锁，所述对象序列化技术包括数据序列化模块。该大容量数据的数据传输技术，可提高数据传输的速度，便于大容量数据的传输，减轻查询、访问的压力，以便于升级和维护，减少对于开发人员经验的依赖，便于升级。便于升级。


技术研发人员：白志勇 景伟 田亚荣 梁靖宇
受保护的技术使用者：内蒙古云科数据服务股份有限公司
技术研发日：2023.05.08
技术公布日：2023/8/21