一种跨系统流程环节串接方法及装置与流程

本技术涉及计算机技术领域，特别是涉及一种跨系统流程环节串接方法及装置。


背景技术：

不同业务组件实现方式各异，产生的业务数据格式各异，而没有分析，组织的数据，对于上层系统来说只是毫无意义的数据泥潭。每分钟上千万条业务数据，每天，每个月积累下来，我们又会面对更加巨大的数据海洋，只有在可以接受的时间内，从这个海洋内解析出有意义的数据才是我们想得到的收获。


技术实现要素：

针对现有技术的不足，本发明提供了一种跨系统流程环节串接方法及装置，解决了上述背景技术提到的问题。本技术实施例提供了一种跨系统流程环节串接方法及装置，实施本技术从其他系统组件中进行数据采集，将获取到的数据进行分析处理，提取关键业务信息。以所述数据为基础，进行数据的再加工和处理。对所述数据进行串接，并将拼接后的数据以及原始贴源数据存储在gp数据库中。旅程管理服务访问gp，将加工好的旅程信息数据到前端展示。第一方面，本技术实施例提供了数据采集方法，提高任务处理效率，上述方法包括：用任务调度方式并发执行；按照配置表中所定义的topic数据，创建多个按固定时间窗口触发flink任务；通过设置并行度设置该任务的并发处理数量。每个任务都会按时间窗口触发，并分别获取该时间段内kafka订阅主题中累积的节点日志信息。第二方面，本技术实施例提供了数据采集方法，提高任务处理效率，上述方法包括：取数据后过滤掉无效数据，然后将节点日志信息数据保存到redis中，提高节点日志信息接收效率；第三方面，本技术实施例提供了日志分流模型方法，提高任务处理效率，上述方法包括：业务组件产生日志的总量具有并发量高，数据量大的特点，而具体到每个组件又具有并发量不均衡，数据量不一致的特点。因此我们需要一个可以灵活配置的日志分流模型，针对不同的组件并发度，数据量不同的情况设置进行一定的配置；数据源头开始进行分流，以便控制数据流并发处理的负载均衡度；第四方面，本技术实施例提供了信息串接方法，上述方法包括。
主要通过任务调度方式，并发采用获取任务getredistasks功能。从获取已完成消息解析处理的待串接信息表(按批次号)，并处理每个贴源信息在每种匹配的流程定义下的信息串接。串接完后根据串接好的贴源消息，调用petredistasks创建待保存任务到redis指定队列中。供后续服务完成流程实例信息和贴源信息的基础数据保存和站点信息、旅程站点信息和旅程信息的生成，和保存(gp)。第五方面，本技术实施例提供了信息入库方法，上述方法包括。采用任务调度方式并发执行。调用getredistasks从redis指定队列待存储队列中获取代存储信息列表。完成基础数据(流程实例信息和贴源信息)的存储，并同步生成站点信息，旅程信息数据。第六方面，本技术实施例提供了一种电子设备，包括处理器、存储器以及存储在存储器上并可在处理器上运行的计算机执行指令，当计算机执行指令被运行时，使得电子设备执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。第七方面，本技术实施例提供了一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用用于存储计算机程序,所述计算机程序包括程序指令。一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令。第八方面，本技术实施例提供了一种计算机程序产品，其中，计算机程序产品包括计算机程序，计算机程序可操作来使计算机执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。有益效果本发明提供了一种跨系统流程环节串接方法及装置。与现有技术相比，具备以下有益效果：该跨系统流程环节串接方法及装置，通过本发明公开的方法可以实现无需人工干预的将各个系统的数据抽取展现合并，方便快捷的看到数据处理过程，减少沟通成本，提高工作效率。
附图说明
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图图1是本技术实施例提供的一种物理架构示意图；图2是本技术实施例提供的一种跨系统流程环节串接方法的流程示意图；图3是本技术实施例提供的一种应用架构示意图；图4是本技术实施例提供的一种数据采集处理流程；图5本技术的实施例提供的一种串接服务处理流程意图；
图6本技术实施例提供的一种串接规则定义表示意图；图7本技术实施例提供的一种待串接信息表示意图。图8本技术实施例提供的一种待标记贴源记录表示意图。
具体实施方式
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。还应当进一步理解,在本技术说明书和所附权为利要求书中使用的术语是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。下面结合附图对本技术实施例涉及的应用场景进行介绍。首先，在对本技术实施例进行描述过程中出现的名词或者术语做如下解释kafka，kafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:通过磁盘数据结构提供消息的持久化,这种结构对于即使数以tb的消息存储也能够保持长时间的稳定性能。高吞吐量，能够快速的对消息进行生产和消费，易于扩展。redis，redis是一个开源的key—value型数据库，支持string、list、set、zset和hash类型数据。对这些数据的操作都是原子性的，redis为了保证效率会定期持久化数据。由于数据存储在内存中，读写速度非常快。gp，gp数据库是基于postgresql基础上开发，具有巨大的并行处理能力的数据仓库，mpp(massively parallel processing)是greenplumn的主要特性，mpp是指服务器上拥有两个或者以上的处理节点，并且多个处理节点可以并行,协同的工作来完成一个计算,这些处理节点拥有独自的内存,操作系统和硬盘,处理节点可以理解成为一台物理主机。gp会分发tb及以上的数据到所有的子节点，并且当在greenplumn上执行查询时，所有的子节点能够利用各自的资源来并发地执行这个查询。flink，flink通过实现google dataflow流式计算模型实现了高吞吐、低延迟、高性能兼具实时流式计算框架。同时flink支持高度容错的状态管理，防止状态在计算过程中因为系统异常而出现丢失，flink周期性地通过分布式快照技术checkpoints实现状态的持久化维护，使得即使在系统停机或者异常的情况下都能计算出正确的结果。是个分布式流计算引擎，能从kafka实时接收、处理组件的日志信息。充分利用flink高吞吐、低延迟、高性能、可伸缩，等等特性。图1是本技术实施例提供的一种物理架构的结构示意图。如图1所示，服务器包括flink集群，redis集群，数据抓取机器人，gp集群，前台服务器。图2是本技术实施例提供的一种跨系统流程环节串接方法的流程示意图。具体地，该方法包括如下步骤。
数据采集卡夫卡客户端从卡夫卡服务器中获取所有p4报文日志。利用flink技术将获取的p4报文日志进行过滤解析成贴源消息。
51.如原始数据格式为：《tx》《tx_header》《sys_hdr_len》《/sys_hdr_len》《sys_prg_vrsn》01《/sys_prg_vrsn》《sys_til_len》《/sys_til_len》《sys_snd_sec_id》108125《/sys_snd_sec_id》《sys_tx_type》020000《/sys_tx_type》《sys_env_trace_id》108125adm137936010021568《/sys_env_trace_id》《sys_pr g_type》1《/sys_prg_type》《sys_smg_len》《/sys_smg_len》《sys_is_envrypte d》0《/sys_is_envrypted》《sys_compress_type》3《/sys_compress_type》《sys_ems_msg_len》《/sys_ems_msg_len》《sys_recv_time》2020012100010346《/sy s_recv_time》《sys_resp_time》2020012100010352《/sys_resp_time》《sys_pk g_sts_type》01《/sys_pkg_sts_type》《sys_tx_status》00《/sys_tx_status》《sys_resp_code》00000000000《/sys_resp_code》《sys_resp_desc》ok《/sys_re sp_desc》《/tx_header》《tx_body》《common》《/common》《entity》《transaction_header》《cmdstatus》success《/cmdstatus》《cmderrc ode》success《/cmderrcode》《cmderrdesc》success《/cmderrdesc》《/transact ion_header》《transaction_body》《address》128.196.22.33:9999《/address》《status》00《/status》《/transaction_body》《/entity》《/tx_body》《/tx》那么，解析后的格式：为：{“cos”:”945”,”rcv”:
””
,rtc:
””
,trn:”10234823748292484393”,typ:”020000”,st:”20200123348592205”,em:
””
,bi:”422110200”,snd:”102001”,res9:”a0791_00101|@@|429001199329433219|@@|429001199339433212|@@|429001199339431512|@@|@@|@@|@@|@@|@@|@@|@@|”,app:”10142”,revtime:”1547282939201”}将所述贴源信息进行过滤。清洗有效数据：将采集过来的数据，按规则匹配，判断是否是完整数据，如果是完整数据，则继续执行，如果不是完整数据，按制定规则补全或者其他操作。过滤规则：包含有系统配置项kafka.filter设置元素的节点日志信息为有效节点日志信息。如：kafka.filter设置为-a0791t006|a0791t007|a07910t008，该设置包含三个过滤元素：a0791t006，a0791t007，a07910t008，当接收到的节点日志信息中包含其中任意一个元素，则视为有效节点日志信息，予以保留，其它节点日志信息抛弃。信息填充，将通过过滤流程的数据，存入到redis的贴源信息表和redis待串接信息表中。信息串接，任务调度多线程执行，主要根据站点串接规则生成初始的消息流程实例。调用通用功能：getredistasks，从redis的待串接信息表中获取消息id列表。根据获取的消息id列表，循环处理每个消息。根据消息id到redis中贴源信息表获取消息详细信息。根据消息的站点编号和产品编号(可能为空)，查询匹配该站点不同流程定义(产品编号)的串接规则列表，并依次处理每个消息在某一具体串接规则的逻辑处理。根据正常串接规则和消息的业务数据生成当前消息的业务串接字符串，并为该消
息的流程实例id(normalflwid)，并将《串接字符串,msgid》放到redis的流程实例消息映射表中。如果当前消息所属的站点规则有特殊串接规则，表明该站点承上启下，则根据特殊串接规则和消息的业务数据生成特殊业务串接字符串(specflwid)，表明有其它的消息生成的流程实例id与这个specflwid相同，且生成错误，需要改成normalflwid.,就将值《specflwid,normalflwid》放到redis的错误串接信息表中，用于后面一个环节进行批量错误流程实例修改。每个消息处理完即结束当前这批消息的处理。特殊串接处理：步骤需要等待初始串接所有线程处理完后才能进行。遍历redis的错误串接信息表，循环处理每个待修改流程实例的处理，即将key(错误的流程实例id)下在redis的流程实例消息映射表中该实例的消息id列表转移到value(正确的流程实例id)下在redis的流程实例消息映射表中该实例的消息id列表中，并清除该key。无效串接处理，特殊串接处理处理完后才能进行；在redis的队列(流程实例消息id映射表)中依次查找每个key(流程实例id)下的value即消息id列表，如果没有或小于2，则清除该key。也可以在进行判断的时候直接调用生产者petredistasks创建待存储任务到redis指待存储信息表)中；信息入库，串接旅程机器人取出待串接记录:每隔一定时间从redis待串接记录表中批量取出固定数量的串接记录。取出这些信息后，最终会批量删除这些待串接记录。遍历获取的所有串接记录，其中会包含有要新建或者更新的流程实例id，另外还包含新增的若干个贴源消息。比如：《流程实例id》|c；《贴源表消息id1》|g；《流程定义id》；《贴源表消息id2》...；《贴源表消息idn》。如果贴源表消息id后面有一个|g，那么代表这个贴源消息是从gp中来；不带则代表是从redis里获取。如果流程实例id后面带一个|c，就代表是要新增流程；不带则代表是更新流程；新增流程实例记录并写入串接信息依据来自待串接记录中的贴源表id获取所有贴源信息，依据贴源信息的结束时间进行排序，然后新增串接信息到流程实例记录。id取待串接记录中提供的流程实例id。将贴源表站点编号放入到站点连接串中。将贴源表的消息id放入到站点实例id连接串中。将贴源表的时间放入到站点实例时间连接串中。更新流程实例中的串接信息依据来自待串接记录中的贴源表id获取所有贴源信息，依据贴源信息的结束时间进行排序，然后更新流程实例中的串接信息,步骤如下。依据流程实例id，从gp中获取流程实例记录；将贴源表站点编号按实际位置插入到对应流程实例的站点连接串中；(注意：这个实际位置指的是时序)；
将贴源表的消息id按实际位置插入到站点实例id连接串中；将贴源表的时间按实际位置插入到站点实例时间连接串中。如果原来状态是s-待确认流程，则要执行状态更新逻辑，如果是如下两种情况之一，就还是s-待确认流程，否则为0-已确认流程进行中：如果发现该流程存在路由，但是最早的站点也不是起点，则说明真正的起点还没有被到来，则为待确认流程。如果不存在路由，但是最早站点的串接规则不是通用规则而是一个特殊串接规则(也就是那种在串接标识规则表里面有站点编号的)，那么也是待确认流程如果是从s改为0，则要执行旅程机器人的新增流程实例的逻辑。串接规则字符串字段的更新，这个部分利用旧版逻辑中的流程组装规则更新，不在此处更新，需要说明的是，在流程结束前，它都是用不到的，它只用于清理redis映射表逻辑。生成或更新站点、旅程站点、旅程信息。只有在流程状态是已确认流程的情况下(0或1)时，才能根据贴源消息生成或更新站点、旅程站点、旅程信息。完成站点信息的生成后，需要删除对应的消息贴源信息，来自redis就从redis中删除，来自gp就从gp中删除，以便减小数据库压力。流程实例结束:关于有路由或者有结束条件的流程实例的结束逻辑:如果该流程实例对应的流程定义是存在路由的，那么遇到路由的最末站点，就算该流程实例结束。如果该流程实例对应的流程定义存在结束流程条件设置的，那么遇到相应条件可以结束该流程实例(这是旧版旅程机器人逻辑，不赘述)，结束规则从流程结束规则表中获取。当结束后，将流程实例的状态置为结束状态(1-已完成)，最终批量更新到gp中。关于无路由且无结束条件的流程实例的结束逻辑：这种流程实例要么就是无路由的，要么就是无流程定义的，它们的结束是需要依赖超时清理机器人，每当机器人发现一个流程超过一定时间没有得到下一站点，则直接结束(这个结束时间由配置表配置)，将状态置为1-已完成；同时，通过流程实例中的串接规则字符串字段，可以查到所有的相关映射，然后一并清除，再将流程实例的清理状态设置为(1-已清空映射标识)即可，以免重新找到。在本技术所提供的几个实施方式中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如所述单元的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分
布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。上述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。上述计算机可读存储介质可以是前述任一实施例所述的任务处理装置或电子设备的内部存储单元,例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备,例如该电子设备上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,内存卡(f lash card)等。进一步地,该计算机可读存储介质还可以既包括该电子设备的内部存储单于元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出出的数据。本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。本技术是参照本技术实施例的方法、装置和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程诊疗数据的处理设备的处理器以产生一个机器,使得通过计算机或其他可编程诊疗数据的处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程诊疗数据的处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程诊疗数据的处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的外理，从而在让算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本技术进行了描述,显而易见的,在不脱离本电请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附冬仅仅是所附权利要求所界定的本技术的示例性说明,目视为已覆盖本技术范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种跨系统流程环节串接方法，其特征在于，所述方法包括：数据采集，从其他系统组件中进行数据采集，将获取到的数据进行分析处理，提取关键业务信息，并将关键业务信息和原始信息等存储到redis中缓存起来；以所述数据为基础，进行数据的再加工和处理，flink在做数据处理时，还需要对数据进行筛选，将心跳数据等踢出，减少数据量；使用任务抓取机器人从redis中获取贴源数据，对数据进行拆包解析，得到站点数据后进行串接，并将拼接后的数据以及原始贴源数据存储在gp数据库中；旅程管理服务访问gp，将加工好的旅程信息数据到前端展示。2.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，从其他系统组件中进行数据采集，包括：采用任务调度方式并发执行，按照配置表中所定义的topic数据；创建多个按固定时间窗口触发flink任务，通过设置并行度设置该任务的并发处理数量，每个任务都会按时间窗口触发，并分别获取该时间段内kafka订阅主题中累积的节点日志信息；获取数据后过滤掉无效数据，然后将节点日志信息数据保存到redis中，这里选择保存到redis是因为redis的读写效率高，提高节点日志信息接收效率。根据关键业务信息进行数据整理；flink进行数据处理：通过大数据流计算引擎flink从kafka采集各个业务组件的日志，经过数据清洗操作，数据解析操作，后将业务组件日志信息、解析后的结构化日志信息保存到数据层。3.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，数据串接，所述方法还包括：并发采用获取任务getredistasks功能，从获取已完成消息解析处理的待串接信息表(按批次号)，并处理每个贴源信息在每种匹配的流程定义下的信息串接。串接完后根据串接好的贴源消息，调用petredistasks创建待保存任务到redis指定队列中，供后续服务完成流程实例信息和贴源信息的基础数据保存和站点信息、旅程站点信息和旅程信息的生成和保存(gp)；旅程信息入库，所述方法还包括：采用任务调度方式并发执行，调用getredistasks从redis指定队列待存储队列中获取代存储信息列表《格式：流程实例id，消息id列表》，完成基础数据(流程实例信息和贴源信息)的存储，并同步生成站点信息，旅程信息数据。4.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，旅程信息前端展示，所述方法还包括：旅程管理服务访问gp，将加工好的旅程信息数据到前端展示；flink从kafka数据采集，所述方法还包括：在业务组件产生日志的源头就开始进行数据流的分流设计，然后通过不同的flink任务来采集分流后的日志数据，并通过设计合理的并行度来处理数据从而实现海量日志数据的高效、并发可伸缩的数据采集、解析流程。5.根据权利要求2所述的一种跨系统流程环节串接方法，其特征在于，任务调度，所述
方法还包括：支持分布式的调度框架，能让一种批量任务或者不断变化的任务，被动态的分配到多个主机的jvm中，不同的线程组中并行执行，将调度作业从业务系统中分离出来,降低或者是消除和业务系统的耦合度,进行高效异步任务处理；定时发送心跳及处理异常消息到监控中心；启动和停止的时间可参数化配置；旅程系统结构化数据日志查询展示，所述方法还包括：旅程管理系统通过数据访问接口查询结构化组件日志，构造流程、旅程数据展示给用户；系统日志监控也通过相应的接口访问后台存储的系统日志信息；接入层是系统和外部系统交互的控制中心和数据交换中心，日志格式检查和转换，使系统和外部系统的交互以统一的方式进行，并且与外部系统解耦。6.根据权利要求1所述的一种跨系统流程环节串接方法，其特征在于，所述方法还包括：任务抓取器获取当前用的角色和机构信息列表，以rmi访问队列管理器；队列管理器从相应的队列列表中选出优先级最好的一个或若干个工作项返回给任务抓取器。7.一种跨系统流程环节串接方法装置，应用于服务器中，所述装置包括：数据采集单元，用于从其他系统中抽取获得系统日志或系统实时数据信息；数据整理单元，用于从所述数据采集获取的数据进行关键业务字段抽取；数据清理单元，用于从所述数据单元数据进行清理，清楚无关数据；数据加工单元，用于从所述数据清理单元的数据加工获得旅程信息。8.一种电子设备，其特征在于，包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机执行指令，当所述计算机执行指令被运行时，使得所述电子设备执行权利要求1-10任一项所述的方法。9.一种终端,其特征在于,包括处理器、输入设备、输出设备和存储器,所述处理器、输入设备、输出设备和存储器相互连接,其中,所述存储器用用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行如权利要求1-6任一项所述的方法。10.一种计算机可读存储介质,其特征在于,所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1-6任一项所述的方法。

技术总结
本发明公开了一种跨系统流程环节串接方法及装置，其中方法的实现包括：数据采集、数据整理、数据清理和数据加工，数据展现。数据采集，是Flink从Kafka中实时消费获取各个系统主键的消息信息。将获取到的数据进行分析处理，提取关键业务信息，并将关键业务信息和原始信息等存储到Redis中缓存起来。其中存储到Redis中的数据，都是贴源数据，后续应用服务层需要以此数据为基础，进行数据的再加工和处理。Flink在做数据处理时，还需要对数据进行筛选，将心跳数据等踢出，减少数据量。数据清理通过数据采集接口，实时采集这些业务数据并进行数据分析和处理，串接完整的业务流程图谱，并将清理后的数据存储到Redis中。清理后的数据存储到Redis中。清理后的数据存储到Redis中。


技术研发人员：周小玲
受保护的技术使用者：武汉凌禹信息科技有限公司
技术研发日：2023.05.16
技术公布日：2023/8/4