数智化管理的数据下发处理方法、装置、设备及存储介质与流程
未命名
08-26
阅读:82
评论:0

1.本发明涉及物流技术领域,尤其涉及一种数智化管理的数据下发处理方法、装置、设备及存储介质。
背景技术:
2.物流产业是国民经济发展的动脉和基础产业,其发展程度成为衡量一个国家现代化程度和综合国力的重要标志之一。随着物流技术的不断进步和人工智能应用领域的不断扩大,智能化逐渐成为物流管理系统发展的重要方向。且随着物流行业数字化和线上化进程加快,对业务数据的需求越来越旺盛,但数据下发平台逐渐难以适应这种快节奏的变化,造成相关的运维工作量增大,却收效甚微。目前数据下发的模式是人找数据,导致中间环节多,耗时偏长,难以满足对业务数据时效性的要求,对人员专业技术要求高,日常运维工作量大。
3.因此,现有技术还有待改进和发展。
技术实现要素:
4.本发明提供了一种数智化管理的数据下发处理方法、装置、设备及存储介质,用于通过组别对文件进行数据下发,采用数据找人模式,时效性高,并能够更好地适应不同的任务需要、更好地提供数据支持。
5.本发明第一方面提供了一种数智化管理的数据下发处理方法,所述数智化管理的数据下发处理方法包括:接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别;接收数据下发任务,并根据所述数据下发任务生成下发文件;上传所述下发文件至预设位置;基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别;监控所述目标组别是否反馈补发请求,当监控结果为是时,根据所述补发请求获取补发事项并进行补发。
6.可选的,在本发明第一方面的第一种实现方式中,所述接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别,包括:接收组别部署请求,从组别部署请求中获取组别部署方案;对所述组别部署方案进行分析,确定待添加的组别名称和/或组别成员,并将待添加的组别成员配置到对应的组别中,生成多个目标组别;对所述多个目标组别进行核查以删除重复数据及修正错漏数据。
7.可选的,在本发明第一方面的第二种实现方式中,所述接收数据下发任务,并根据所述数据下发任务生成下发文件,包括:接收数据下发任务,确定需要下发的数据;调用kafka消息队列中需要下发的数据,并传输至parkstreaming流数据处理系统以进行实时流处理;接收所述parkstreaming流数据处理系统返回的处理结果,并根据所述处理结果生成下发文件。
8.可选的,在本发明第一方面的第三种实现方式中,所述上传所述下发文件至预设位置,包括:获取所述下发文件的存储容量;判断所述下发文件的存储容量是否超出预置的
容量阈值;当判断结果为是时,对所述下发文件进行压缩处理,并上传经过压缩处理的下发文件至预设位置;当判断结果为否时,上传未经过处理的下发文件至预设位置。
9.可选的,在本发明第一方面的第四种实现方式中,所述基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别,包括:基于所述数据下发任务确定对应的目标组别;对上传的下发文件进行加密处理,得到加密文件;使用sftp协议将所述加密文件发送至对应的所述目标组别。
10.可选的,在本发明第一方面的第五种实现方式中,所述对上传的下发文件进行加密处理,得到加密文件,包括:确定上传的下发文件的敏感等级;将上传的下发文件按照预设格式进行打包处理,得到打包文件;根据上传的下发文件的敏感等级选择对应等级的加密方式对所述打包文件进行加密处理,生成加密文件。
11.可选的,在本发明第一方面的第六种实现方式中,所述监控所述目标组别是否反馈补发请求,当监控结果为是时,根据所述补发请求获取补发事项并进行补发,包括:监控目标组别是否反馈补发请求;当监控结果为是时,根据补发请求获取补发事项,所述补发事项包括待补发文件,并将待补发文件的文件编号写入补发队列中;根据补发队列中的待补发文件的文件编号,将待补发文件下发至对应的目标组别;当反馈补发成功消息时,将相应的文件编号从补发队列中删除。
12.本发明第二方面提供了一种数智化管理的数据下发处理装置,包括:生成模块,用于接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别;接收模块,用于接收数据下发任务,并根据所述数据下发任务生成下发文件;上传模块,用于上传所述下发文件至预设位置;发送模块,用于基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别;补发模块,用于监控所述目标组别是否反馈补发请求,当监控结果为是时,根据所述补发请求获取补发事项并进行补发。
13.可选的,在本发明第二方面的第一种实现方式中,所述生成模块包括:第一接收单元,用于接收组别部署请求,从组别部署请求中获取组别部署方案;第一生成单元,用于对组别部署方案进行分析,确定待添加的组别名称和/或组别成员,并将待添加的组别成员配置到对应的组别中,生成多个目标组别;核查单元,用于对多个目标组别进行核查以删除重复数据及修正错漏数据。
14.可选的,在本发明第二方面的第二种实现方式中,所述接收模块包括:第二接收单元,用于接收数据下发任务,确定需要下发的数据;调用单元,调用kafka消息队列中需要下发的数据,并传输至parkstreaming流数据处理系统以进行实时流处理;第二生成单元,用于接收parkstreaming流数据处理系统返回的处理结果,并根据处理结果生成下发文件。
15.可选的,在本发明第二方面的第三种实现方式中,所述上传模块包括:获取单元,用于获取下发文件的存储容量;判断单元,用于判断下发文件的存储容量是否超出预置的容量阈值;上传单元,用于当判断结果为是时,对下发文件进行压缩处理,并上传经过压缩处理的下发文件至预设位置;当判断结果为否时,上传未经过处理的下发文件至预设位置。
16.可选的,在本发明第二方面的第四种实现方式中,所述发送模块包括:确定单元,用于基于数据下发任务确定对应的目标组别;加密单元,用于对上传的下发文件进行加密处理,得到加密文件;发送单元,用于使用sftp协议将加密文件发送至对应的目标组别。
17.可选的,在本发明第二方面的第五种实现方式中,所述补发模块包括:监控单元,
用于监控目标组别是否反馈补发请求;写入单元,用于在判定监控结果为是时,根据补发请求获取补发事项,所述补发事项包括待补发文件,并将待补发文件的文件编号写入补发队列中;补发单元,用于根据补发队列中的待补发文件的文件编号,将待补发文件下发至对应的目标组别;删除单元,用于在反馈补发成功消息后,将相应的文件编号从补发队列中删除。
18.本发明第三方面提供了一种数智化管理的数据下发处理设备,包括:存储器和至少一个处理器,所述存储器中存储有计算机可读指令,所述存储器和所述至少一个处理器通过线路互连;所述至少一个处理器调用所述存储器中的所述计算机可读指令,以使得所述数智化管理的数据下发处理设备执行如上所述数智化管理的数据下发处理方法的各个步骤。
19.本发明的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机可读指令,当其在计算机上运行时,使得计算机执行如上所述数智化管理的数据下发处理方法的各个步骤。
20.本发明提供的技术方案中,通过部署组别,通过组别对文件进行数据下发,采用数据找人模式,解决下发数据时存在的时效性、便利性不足,能够更好地适应不同的任务需要、更好地提供数据支持;而且该方法基于数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的目标组别,可以增强数据的安全性,避免敏感信息被泄露或者数据在传输过程中受到篡改;此外,该方法在下发数据的过程中监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发,能够提高补发事项的响应速度和处理效率。
附图说明
21.图1为本发明实施例提供的数智化管理的数据下发处理方法的第一种流程图;
22.图2为本发明实施例提供的数智化管理的数据下发处理方法的第二种流程图;
23.图3为本发明实施例提供的数智化管理的数据下发处理方法的第三种流程图;
24.图4为本发明实施例提供的数智化管理的数据下发处理方法的第四种流程图;
25.图5为本发明实施例提供的数智化管理的数据下发处理方法的第五种流程图;
26.图6为本发明实施例提供的数智化管理的数据下发处理方法的第六种流程图;
27.图7为本发明实施例提供的数智化管理的数据下发处理装置的结构示意图;
28.图8为本发明实施例提供的数智化管理的数据下发处理设备的结构示意图。
具体实施方式
29.本发明实施例提供了数智化管理的数据下发处理方法、装置、设备及存储介质,该方法用于通过组别对文件进行数据下发,采用数据找人模式,时效性高,并能够更好地适应不同的任务需要、更好地提供数据支持。该方法包括:接收组别部署请求,并根据组别部署请求进行人员组别配置,生成多个目标组别;接收数据下发任务,并根据数据下发任务生成下发文件;上传下发文件至预设位置;基于数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的目标组别;监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发。
30.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.为便于理解,下面对本发明实施例的具体流程进行描述,请参阅图1,本发明实施例中一种数智化管理的数据下发处理方法的第一个实施例包括:
32.s101、接收组别部署请求,并根据组别部署请求进行人员组别配置,生成多个目标组别。
33.可以理解地,本发明的执行主体可以为数智化管理的数据下发处理装置,还可以是终端或者服务器,具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
34.在本实施例中,目标组别包括测试组、安保组、分拨总经理、操作经理、操作会议记录组和质控组等组别。每个组别配置有相应的组别成员,组别成员的数量可以为一个,也可以为多个。
35.可以理解地,在进行人员组别配置时,人员信息可以通过模板批量导入。
36.可以理解地,在生成多个目标组别后,还可以对多个组别进行维护,进行定制化处理。
37.s102、接收数据下发任务,并根据数据下发任务生成下发文件。
38.在本实施例中,数据下发任务一般包括需要下发的文件、接收文件的人员。
39.数据下发任务还可以包括下发任务的开始时间和结束时间,以及下发数据的截止日期。
40.需要下发的文件通常为分拨中心或网点中的巡检数据和各类检测数据。分拨中心或网点中的巡检数据和各类检测数据可以存储在kafka消息队列中。
41.需要说明的是,kafka是一种高吞吐量的分布式消息订阅系统,其建立在zookeeper(一种分布式应用程序协调服务)之上,可将大量数据(如图像)以消息的形式实现端到端的快速传输,具有较高的扩展性和可靠性。kafka包括生产者和消费者,消息的发送者叫producer(生产者),消息的使用者和接受者是consumer(消费者),生产者将数据保存到kafka集群中,消费者从中获取消息进行业务的处理,一个topic(标题)里保存的是同一类消息,相当于对消息的分类,每个producer将消息发送到kafka中,都需要指明要存的topic是哪个,也就是指明这个消息属于哪一类。
42.也就是说,对于每个消息,卡夫卡对其日志进行了分区,每个分区都由一系列有序的、不可变的消息组成,这些消息被连续的追加到分区中。分区中的每个消息都有一个连续的序列号叫做offset。分区目的是:每个日志小,可在单个服务上保存,每个分区可以单独发布和消费。
43.s103、上传下发文件至预设位置。
44.在本实施例中,预设位置可以为系统中的文件缓存区域。对于该文件缓存区域,可定期对缓存区域的文件进行处理。
45.可选地,还可以根据下发文件的类型或下发文件的文件内容的类别将下发文件上传至不同的文件缓存区域。
46.s104、基于数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的目标组别。
47.在本实施例中,根据数据下发任务中定义的下发范围和目标,确定对应的目标组别,即需要接收下发文件的组别。
48.例如,数据下发任务为:下发数据为:某某延误数据包,接收人员为组别名称为操作经理所在组别的成员。操作经理所在组别包括各分拨中心的操作经理,例如合肥的操作经理、济宁的操作经理、西安的操作经理、天津的操作经理、青岛的操作经理等组别成员。
49.在本实施例中,按照组别将上传的下发文件发送至对应的目标组别,可以确保下发数据精确到每个目标组别。
50.s105、监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发。
51.在本实施例中,系统需要对目标组别进行状态监测,根据下发文件的要求和约束条件,包括应答期限、下发文件状态、重传次数等。如果监控结果发现目标组别反馈补发请求,则需要进一步对该目标组别进行补发操作。
52.为了保障系统的安全性,在接收反馈的补发请求时,可以对补发请求进行审核和授权。例如,通过用户身份验证、权限控制等手段,确保只有授权用户才能发起补发请求。
53.本实施例提供的是一种数智化管理的数据下发处理方法,其通过部署组别,通过组别对文件进行数据下发,采用数据找人模式,解决下发数据时存在的时效性、便利性不足,能够更好地适应不同的任务需要、更好地提供数据支持;而且该方法基于数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的目标组别,可以增强数据的安全性,避免敏感信息被泄露或者数据在传输过程中受到篡改;此外,该方法在下发数据的过程中监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发,能够提高补发事项的响应速度和处理效率。
54.请参阅图2,本发明实施例中数智化管理的数据下发处理方法的第二个实施例包括:
55.s201、接收组别部署请求,从组别部署请求中获取组别部署方案。
56.在本实施例中,对于新的组别部署请求,需要将其接收并获取相关信息,需要对组别部署请求进行文本处理和语义分析,提取其中的文字信息和任务需求,转化为可读性更强和更易于理解的计算机格式。
57.s202、对组别部署方案进行分析,确定待添加的组别名称和/或组别成员,并将待添加的组别成员配置到对应的组别中,生成多个目标组别。
58.在本实施例中,对于组别部署方案,需要将其进行分析,以确定哪些组别需要添加新成员,以及每个组别需要添加哪些成员。可以使用开源的数据分析工具,例如pandas、numpy等对组别部署方案进行处理。基于分析的结果,可以确定待添加的组别名称和/或组别成员,然后,可以使用sql语句、python编程语言等工具将它们添加到组的相关表格中。
59.s203、对多个目标组别进行核查以删除重复数据及修正错漏数据。
60.在本实施例中,在核查时,可以先核查是否存在重复组别,再按照组别进行核查,
核查每个组别中是否存在重复成员,最后核查组别成员是否存在多个组别,在本实施例中,为了避免数据重复下发,每个组别成员对应唯一的组别。
61.本实施例中,在完成组别部署,生成多个目标组别后,对目标组别进行核查以删除重复数据及修正错漏数据,可以帮助排除重复数据,避免浪费资源和时间,并保证数据的一致性和准确性。
62.请参阅图3,本发明实施例中的一种数智化管理的数据下发处理方法的第三个实施例包括:
63.s301、接收数据下发任务,确定需要下发的数据。
64.在本实施例中,在本实施例中,可以同过自然语言分析技术对数据下发任务进行分析,确定需要下发的数据。也可以通过正则匹配法对数据下发任务的内容进行匹配,确定需要下发的数据。
65.s302、调用kafka消息队列中需要下发的数据,并传输至parkstreaming流数据处理系统以进行实时流处理。
66.parkstreaming是一款流数据处理系统,在大规模实时计算和分析应用方面有很好的表现。parkstreaming的核心思想在于将数据划分成小的batch,利用内存缓存和磁盘持久化相结合的方式实现高效的数据处理。parkstreaming主要具有以下特点:
67.第一,parkstreaming使用了快速数据处理技术,可以实现毫秒级别的响应时间,并支持海量数据的处理。
68.第二,parkstreaming采用了分布式计算架构,具有较强的容错性,即使部分节点失效也不会影响整体性能
69.第三,parkstreaming支持水平扩展,可以根据业务需求随时增加或减少节点数量,以满足处理能力的变化。parkstreaming维护一个内存中的状态,这样可以有效地降低延迟,并且通过调整并行度和batch大小也可以进一步降低延迟。
70.第四,parkstreaming支持多种输入输出源和计算语言,用户可以根据自己的需求使用不同的接口和编程语言进行开发。
71.s303、接收parkstreaming流数据处理系统返回的处理结果,并根据处理结果生成下发文件。
72.在本实施例中,在实际应用中,parkstreaming流数据处理系统可能会返回不同格式的处理结果,如json格式、xml格式等。因此,在进行下发文件生成前,需要对处理结果进行格式化处理,以便后续操作。
73.针对不同的业务需求和场景,下发文件的类型也可能会有所不同。例如,可以生成文本文件、excel文件、pdf文件等多种类型的文件,以满足不同的用户需求。
74.本实施例中,采用kafka消息队列进行数据传输和parkstreaming流数据处理系统进行数据处理,可以提高数据传输和处理的稳定性和可靠性,减少出错率。
75.请参阅图4,本发明实施例中的一种数智化管理的数据下发处理方法的第四个实施例包括:
76.s401、获取下发文件的存储容量。
77.在本实施例中,每个下发文件的存储容量不同,因此,在上传下发文件前获取下发文件的存储容量,根据下发文件的存储容量判断是否需要进行压缩处理。
78.s402、判断下发文件的存储容量是否超出预置的容量阈值。
79.可以理解地,理论上对文件压缩后可以得到比原始文件更小的存储容量,但在发送文件的方法的实际运用中,有些文件无论是否经过压缩,对于传输速度以及传输的便捷度并没有改善太多。例如存储容量为几十k的小文件,压缩前后存储容量变化不大,这直接导致了无论是按照现有技术的方案直接发送该文件,还是根据本实施例中对下发文件进行压缩处理后再发送,都没有带来传输速度和传输便捷度的改善。但对于大文件而言,压缩前后存储容量变化比较大,根据本实施例中对下发文件进行压缩处理后再发送会有更好的效果。所以,可以通过预先设置一个容量阈值,然后由系统判断下发文件的存储容量是否超出预置的容量阈值,再进行后续对应的处理。
80.s403、当判断结果为是时,对下发文件进行压缩处理,并上传经过压缩处理的下发文件至预设位置;当判断结果为否时,上传未经过处理的下发文件至预设位置。
81.在本实施例中,当s402得到的判断结果为下发文件的存储容量是否超出预置的容量阈值,即认定下发文件比较大,系统对下发文件进行压缩处理。压缩处理的具体过程可以是使用包括有损压缩算法和/或无损压缩算法在内的各种压缩算法对下发文件进行压缩,最终得到经过压缩处理的下发文件。
82.本实施例提供的是一种数智化管理的数据下发处理方法,其建立了较为严密的存储容量控制机制,保证下发文件存储容量不超过预置的容量阈值。如此一来,就不会因为下发文件超出最大容量而导致系统故障或空间不足问题。还设立了相应的处理流程,对超出预置容量阈值的下发文件进行压缩和优化处理,通过压缩处理下发文件,不仅可以降低所需的存储空间,而且可以加快数据传输速率,提高数据处理能力。
83.请参阅图5,本发明实施例中的一种数智化管理的数据下发处理方法的第五个实施例包括:
84.s501、基于数据下发任务确定对应的目标组别。
85.在本实施例中,可以同过自然语言分析技术对数据下发任务进行分析,确定需要发送下发数据的目标组别。也可以通过正则匹配法对数据下发任务的内容进行匹配,确定需要发送下发数据的目标组别。
86.s502、对上传的下发文件进行加密处理,得到加密文件。
87.在本实施例中,对下发文件进行加密处理,得到加密文件,包括:确定上传的下发文件的敏感等级;将上传的下发文件按照预设格式进行打包处理,得到打包文件;根据上传的下发文件的敏感等级选择对应等级的加密方式对打包文件进行加密处理,生成加密文件。
88.可以理解地,敏感等级包括低、中、高,等级越高需要的加密方式越强。可选地,可以根据文件的内容来进行敏感等级划分,也可以根据文件所属类别来进行敏感等级划分,还可以根据文件的成果使用目的来进行敏感等级划分。)
89.在本实施例中,根据不同的需求和场景,选择合适的预设格式以确保打包后的数据格式的正确性和兼容性,例如xml、json、csv等。在生成打包文件后,可以进行校验和验证,确保打包文件的正确性和可用性,可以使用哈希算法和数字签名技术进行验证,并记录验证结果。
90.可以理解地,在进行数据加密处理时,可以根据加密等级预设不同的加密方式,每
种加密方式的加密算法和密钥长度可以根据需求设置。
91.s503、使用sftp协议将加密文件发送至对应的目标组别。
92.需要说明的是,sftp(ssh file transfer protocol)是一种基于ssh协议的文件传输协议,用于在不安全的网络中对数据进行安全性保护。它使用加密通信和身份验证机制来保护数据传输过程中的安全性和完整性。
93.与其他文件传输协议相比,sftp具有以下优点:
94.第一,sftp使用ssh加密通信和身份验证机制,可以保证数据传输过程中的安全性和完整性,避免被非法获取、篡改或破坏等风险。
95.第二,sftp使用二进制协议传输数据,速度较快,并且支持压缩算法,可以进一步提高传输效率。
96.第三,sftp支持断点续传功能,可以在传输过程中自动恢复中断的传输,并提供校验和检查机制,确保接收到的数据是完整无误的。
97.本实施例提供的是一种数智化管理的数据下发处理方法,其通过对上传的下发文件进行加密处理,得到加密文件,并使用sftp协议将加密文件发送至对应的目标组别,可以有效地保护数据隐私和安全,避免敏感信息被泄露或数据在传输过程中受到篡改,而且使用sftp协议可以实现高效、稳定的数据传输,还能够提高数据下发的效率和质量。
98.请参阅图6,本发明实施例中的一种数智化管理的数据下发处理方法的第六个实施例包括:
99.s601、监控目标组别是否反馈补发请求。
100.在本实施例中,系统需要对目标组别进行状态监测,根据下发文件的要求和约束条件,包括应答期限、下发文件状态、重传次数等。如果监控结果发现目标组别反馈补发请求,则需要进一步对该目标组别进行补发操作。
101.s602、当监控结果为是时,根据补发请求获取补发事项,补发事项包括待补发文件,并将待补发文件的文件编号写入补发队列中。
102.在本实施例中,当监控结果为是时,需要开放补发服务的接口,接收补发请求。补发请求中包含了需要补发的下发文件编号等详细信息。同时,可以做安全性验证,确保补发请求来自合法来源。当监控结果为是时,根据补发请求获取补发事项,补发事项包括待补发文件,将需要补发的下发文件编号写入补发队列中。如果队列中已经存在该编号,则需要更新相关信息。在写入补发队列的过程中,还需要预留足够的存储空间,并考虑对补发队列进行备份。
103.s603、根据补发队列中的待补发文件的文件编号,将待补发文件下发至对应的目标组别。
104.s604、当反馈补发成功消息时,将相应的文件编号从补发队列中删除。
105.在本实施例中,系统需要记录所有的补发请求和补发结果信息,并进行分类归档和备份,确保安全性和可靠性。在后续补发分析和效果评估工作中,可以根据存储的记录,对补发相关情况进行分析、报表制作等。
106.本实施例提供的是一种数智化管理的数据下发处理方法,其监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项,补发事项包括待补发文件,并将待补发文件的文件编号写入补发队列中,可以快速响应补发需求,减少等待时间。
107.上面对本发明实施例中数智化管理的数据下发处理方法进行了描述,下面对本发明实施例中装置进行描述,请参阅图7,本发明实施例中数智化管理的数据下发处理装置的实施方式包括:
108.生成模块701,用于接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别;
109.接收模块702,用于接收数据下发任务,并根据所述数据下发任务生成下发文件;
110.上传模块703,用于上传所述下发文件至预设位置;
111.发送模块704,用于基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别;
112.补发模块705,用于监控所述目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发。
113.在本实施例中,生成模块701包括:第一接收单元7011,用于接收组别部署请求,从组别部署请求中获取组别部署方案;第一生成单元7012,用于对组别部署方案进行分析,确定待添加的组别名称和/或组别成员,并将待添加的组别成员配置到对应的组别中,生成多个目标组别;核查单元7013,用于对多个目标组别进行核查以删除重复数据及修正错漏数据。
114.在本实施例中,接收模块702包括:第二接收单元7021,用于接收数据下发任务,确定需要下发的数据;调用单元7022,调用kafka消息队列中需要下发的数据,并传输至parkstreaming流数据处理系统以进行实时流处理;第二生成单元7023,用于接收parkstreaming流数据处理系统返回的处理结果,并根据处理结果生成下发文件。
115.在本实施例中,上传模块703包括:获取单元7031,用于获取下发文件的存储容量;判断单元7032,用于判断下发文件的存储容量是否超出预置的容量阈值;上传单元7033,用于当判断结果为是时,对下发文件进行压缩处理,并上传经过压缩处理的下发文件至预设位置;当判断结果为否时,上传未经过处理的下发文件至预设位置。
116.在本实施例中,发送模块704包括:确定单元7041,用于基于数据下发任务确定对应的目标组别;加密单元7042,用于对上传的下发文件进行加密处理,得到加密文件;发送单元7043,用于使用sftp协议将加密文件发送至对应的目标组别。
117.在本实施例中,补发模块705包括:监控单元7051,用于监控目标组别是否反馈补发请求;写入单元7052,用于在判定监控结果为是时,根据补发请求获取补发事项,所述补发事项包括待补发文件,并将待补发文件的文件编号写入补发队列中;补发单元7053,用于根据补发队列中的待补发文件的文件编号,将待补发文件下发至对应的目标组别;删除单元7054,用于在反馈补发成功消息后,将相应的文件编号从补发队列中删除。
118.本实施例中,通过部署组别,通过组别对文件进行数据下发,采用数据找人模式,解决下发数据时存在的时效性、便利性不足,能够更好地适应不同的任务需要、更好地提供数据支持;而且该装置基于数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的目标组别,可以增强数据的安全性,避免敏感信息被泄露或者数据在传输过程中受到篡改;此外,该装置在下发数据的过程中监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发,能够提高补发事项的响应速度和处理效率。
119.上面图7从模块化功能实体的角度对本发明实施例中的数智化管理的数据下发处理装置进行详细描述,下面从硬件处理的角度对本发明实施例中数智化管理的数据下发处理设备进行详细描述。
120.图8是本发明实施例提供的一种数智化管理的数据下发处理设备的结构示意图,该设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)810(例如,一个或一个以上处理器)和存储器820,一个或一个以上存储应用程序833或数据832的存储介质830(例如一个或一个以上海量存储设备)。其中,存储器820和存储介质830可以是短暂存储或持久存储。存储在存储介质830的程序可以包括一个或一个以上模块(图未示),每个模块可以包括对设备800中的一系列指令操作。更进一步地,处理器810可以设置为与存储介质830通信,在设备800上执行存储介质中的一系列指令操作。
121.设备800还可以包括一个或一个以上电源840,一个或一个以上有线或无线网络接口850,一个或一个以上输入输出接口860,和/或,一个或一个以上操作系统831,例如windows serve,mac os x,unix,linux,freebsd等等。
122.本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在计算机上运行时,使得计算机执行数智化管理的数据下发处理方法的步骤。
123.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统或装置、单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
124.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
125.以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
技术特征:
1.一种数智化管理的数据下发处理方法,其特征在于,所述数智化管理的数据下发处理方法包括:接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别;接收数据下发任务,并根据所述数据下发任务生成下发文件;上传所述下发文件至预设位置;基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别;监控所述目标组别是否反馈补发请求,当监控结果为是时,根据所述补发请求获取补发事项并进行补发。2.根据权利要求1所述的数智化管理的数据下发处理方法,其特征在于,所述接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别,包括:接收组别部署请求,从组别部署请求中获取组别部署方案;对所述组别部署方案进行分析,确定待添加的组别名称和/或组别成员,并将待添加的组别成员配置到对应的组别中,生成多个目标组别;对所述多个目标组别进行核查以删除重复数据及修正错漏数据。3.根据权利要求1所述的数智化管理的数据下发处理方法,其特征在于,所述接收数据下发任务,并根据所述数据下发任务生成下发文件,包括:接收数据下发任务,确定需要下发的数据;调用kafka消息队列中需要下发的数据,并传输至parkstreaming流数据处理系统以进行实时流处理;接收所述parkstreaming流数据处理系统返回的处理结果,并根据所述处理结果生成下发文件。4.根据权利要求1所述的数智化管理的数据下发处理方法,其特征在于,所述上传所述下发文件至预设位置,包括:获取所述下发文件的存储容量;判断所述下发文件的存储容量是否超出预置的容量阈值;当判断结果为是时,对所述下发文件进行压缩处理,并上传经过压缩处理的下发文件至预设位置;当判断结果为否时,上传未经过处理的下发文件至预设位置。5.根据权利要求1所述的数智化管理的数据下发处理方法,其特征在于,所述基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别,包括:基于所述数据下发任务确定对应的目标组别;对上传的下发文件进行加密处理,得到加密文件;使用sftp协议将所述加密文件发送至对应的所述目标组别。6.根据权利要求5所述的数智化管理的数据下发处理方法,其特征在于,所述对上传的下发文件进行加密处理,得到加密文件,包括:确定上传的下发文件的敏感等级;将上传的下发文件按照预设格式进行打包处理,得到打包文件;根据上传的下发文件的敏感等级选择对应等级的加密方式对所述打包文件进行加密
处理,生成加密文件。7.根据权利要求1所述的数智化管理的数据下发处理方法,其特征在于,所述监控所述目标组别是否反馈补发请求,当监控结果为是时,根据所述补发请求获取补发事项并进行补发,包括:监控目标组别是否反馈补发请求;当监控结果为是时,根据补发请求获取补发事项,所述补发事项包括待补发文件,并将待补发文件的文件编号写入补发队列中;根据补发队列中的待补发文件的文件编号,将待补发文件下发至对应的目标组别;当反馈补发成功消息时,将相应的文件编号从补发队列中删除。8.一种数智化管理的数据下发处理装置,其特征在于,包括:生成模块,用于接收组别部署请求,并根据所述组别部署请求进行人员组别配置,生成多个目标组别;接收模块,用于接收数据下发任务,并根据所述数据下发任务生成下发文件;上传模块,用于上传所述下发文件至预设位置;发送模块,用于基于所述数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的所述目标组别;补发模块,用于监控所述目标组别是否反馈补发请求,当监控结果为是时,根据所述补发请求获取补发事项并进行补发。9.一种数智化管理的数据下发处理设备,其特征在于,包括存储器和至少一个处理器,所述存储器中存储有计算机可读指令;所述至少一个处理器调用所述存储器中的所述计算机可读指令,以执行如权利要求1-7中任一项所述数智化管理的数据下发处理方法的各个步骤。10.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时实现如权利要求1-7中任一项所述数智化管理的数据下发处理方法的各个步骤。
技术总结
本发明涉及物流领域,公开了数智化管理的数据下发处理方法、装置、设备及存储介质,该方法用于通过组别对文件进行数据下发,采用数据找人模式,时效性高,并能够更好地适应不同的任务需要、更好地提供数据支持。该方法包括:接收组别部署请求,并根据组别部署请求进行人员组别配置,生成多个目标组别;接收数据下发任务,并根据数据下发任务生成下发文件;上传下发文件至预设位置;基于数据下发任务确定对应的目标组别,并将上传的下发文件发送至对应的目标组别;监控目标组别是否反馈补发请求,当监控结果为是时,根据补发请求获取补发事项并进行补发。进行补发。进行补发。
技术研发人员:余刚 杨周龙
受保护的技术使用者:上海东普信息科技有限公司
技术研发日:2023.05.22
技术公布日:2023/8/23
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:一种电解制氢设备的制作方法 下一篇:一种智能上肢运动康复器械及其方法