一种RPA流程处理分析方法及计算机设备与流程

一种rpa流程处理分析方法及计算机设备
技术领域
1.本技术涉及但不限于rpa、数据处理、机器学习等技术领域，尤其涉及一种rpa流程处理分析方法及计算机设备。


背景技术：

2.rpa (robotic process automation) 是指利用软件机器人或自动化工具来执行日常重复性任务的技术。它可以模拟人类的行为，自动化执行一系列规定的任务，从而提高工作效率、减少错误和减轻人员负担。rpa 可以应用于各种行业和部门，例如金融、保险、人力资源、客户服务等。它能够处理结构化数据和重复性任务，通过自动化处理来解放人力并提高工作效率。rpa 可以与现有的应用程序和系统集成，通过界面操作或api进行交互，实现自动化流程和任务的执行。这样可以节省时间和成本，并提供更高的准确性和一致性。但是，在特定场景中，如远程桌面、虚拟机、自定义软件等场景，无法进行api操作目标确定。在现有技术中，通过各类目标检测技术对上述场景中的rpa元素进行拾取，例如现有技术中有采用图像搜索、光学字符检测和模板匹配等联合识别的方式对rpa元素进行拾取，这样的方式复杂度较高，需要一种能保证拾取准确度、高效且简单的rpa流程中元素拾取的方式。


技术实现要素：

3.有鉴于此，本技术实施例至少提供一种rpa流程处理分析方法及计算机设备，改善以上技术问题。
4.本技术实施例的技术方案是这样实现的：一方面，本技术实施例提供一种rpa流程处理分析方法，应用于计算机设备，所述方法包括：获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，所述多个关联图像元素用以表征所述第一目标图像元素包含的各种元素可能性；通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征；通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征；通过所述整合知识表征获取所述待拾取rpa元素页面图像对应的目标元素拾取结果。
5.在一些实施例中，所述通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征包括：将所述第一目标图像元素和所述上下文图像元素输入知识表征挖掘网络；通过所述知识表征挖掘网络对所述第一目标图像元素和所述上下文图像元素进
行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征。
6.在一些实施例中，所述对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征包括：获取所述第一目标图像元素的第一搜索数组、第一锚定数组和第一结果数组；获取所述上下文图像元素的第二锚定数组和第二结果数组；对所述第一搜索数组与所述第一锚定数组的相乘结果和所述第一搜索数组与所述第二锚定数组的相乘结果进行标准化操作，得到所述第一目标图像元素的第一显著性偏心因子和所述上下文图像元素对所述第一目标图像元素的第二显著性偏心因子；将所述第一显著性偏心因子与所述第一结果数组的相乘结果与所述第二显著性偏心因子与所述第二结果数组的相乘结果进行求和，得到所述第一目标图像元素的知识表征；所述通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过知识表征挖掘网络进行以下操作：通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，确定所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的多个第一相关性偏心因子，所述第一相关性偏心因子用以表征对应关联图像元素与所述第一目标图像元素的关联度；通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征。
7.在一些实施例中，所述通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行融合，得到所述第一目标图像元素的融合知识表征；对所述融合知识表征进行多头显著性特征嵌入映射，得到所述第一目标图像元素的多个显著性特征嵌入映射数组；将所述多个显著性特征嵌入映射数组进行组合，得到显著性特征嵌入映射张量；对所述显著性特征嵌入映射张量进行下采样操作，得到所述第一目标图像元素的整合知识表征。
8.在一些实施例中，所述知识表征挖掘网络的调试过程包括：获取调试学习样例，所述调试学习样例包括rpa元素页面图像学习样例、目标元素拾取结果样例和所述rpa元素页面图像学习样例与所述目标元素拾取结果样例之间的共性度量结果样例；将所述rpa元素页面图像学习样例和所述目标元素拾取结果样例输入到所述知识表征挖掘网络；通过所述知识表征挖掘网络提取所述rpa元素页面图像学习样例中的目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征；
通过所述目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征之间的共性度量结果与所述共性度量结果样例之间的损失，优化所述知识表征挖掘网络的网络内部配置变量。
9.在一些实施例中，所述获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素包括：在关联图像元素集合中遍历和所述第一目标图像元素产生关联的目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素；将所述目标图像元素对应的多个关联图像元素确定为所述第一目标图像元素的多个关联图像元素；所述第一目标图像元素的获取过程包括：对所述待拾取rpa元素页面图像进行图像分割处理，得到所述待拾取rpa元素页面图像的多个对比图像元素；当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致时，将所述任一对比图像元素确定为所述第一目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素。
10.在一些实施例中，所述对所述待拾取rpa元素页面图像进行图像分割处理，得到所述待拾取rpa元素页面图像的多个对比图像元素包括：通过不同策略对所述待拾取rpa元素页面图像进行图像分割处理，得到所述不同策略分别对应的多个对比图像元素集合，每个对比图像元素集合包括所述待拾取rpa元素页面图像中的多个对比图像元素，同一对比图像元素集合中不同对比图像元素的图像块数目相同，同时不同对比图像元素集合中的对比图像元素的图像块数目不同；所述当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致，将所述任一对比图像元素确定为所述第一目标图像元素包括：当属于不同对比图像元素集合的多个对比图像元素分别与所述关联图像元素集合中的多个图像元素一致，将所述属于不同对比图像元素集合的多个对比图像元素中图像块数目最多的对比图像元素确定为所述第一目标图像元素。
11.在一些实施例中，所述多个关联图像元素的知识表征的获取方法包括：对于任一关联图像元素，将所述任一关联图像元素输入知识表征挖掘网络；通过所述知识表征挖掘网络，对所述任一关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到所述任一关联图像元素的知识表征。
12.在一些实施例中，所述对所述任一关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到所述任一关联图像元素的知识表征包括：对于所述任一关联图像元素中的多个图像元素中的任意一图像元素，获取所述任意一图像元素的第三搜索数组、第三锚定数组和第三结果数组；获取所述任一关联图像元素中的多个图像元素中的所述任意一图像元素之外的其余图像元素的第四锚定数组和第四结果数组；对所述第三搜索数组与所述第三锚定数组的相乘结果和所述第三搜索数组与所述第四锚定数组的相乘结果进行标准化操作，得到所述任意一图像元素的第三显著性偏心
因子和所述其余图像元素对所述任意一图像元素的第四显著性偏心因子；将所述第三显著性偏心因子与所述第三结果数组的相乘结果与所述第四显著性偏心因子与所述第四结果数组的相乘结果进行求和，得到所述任意一图像元素的知识表征；将所述任一关联图像元素中的多个图像元素的知识表征进行整合，得到所述任一关联图像元素的知识表征。
13.在另一实施例中，本技术还提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述方法中的步骤。
14.本技术至少具有以下有益效果：本技术提供的rpa流程处理分析方法以及计算机设备，通过获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，该多个关联图像元素用以表征第一目标图像元素包含的各种元素可能性，之后通过第一目标图像元素和待拾取rpa元素页面图像中的第一目标图像元素的上下文图像元素，获取第一目标图像元素的知识表征，然后通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征，最后通过整合知识表征获取待拾取rpa元素页面图像对应的目标元素拾取结果。在对第一目标图像元素进行知识表征挖掘时，将关联图像元素加入分析过程，依据关联图像元素对第一目标图像元素的知识表征中包含的语义信息进行完善，得到的整合知识表征可以更加准确地表征第一目标图像元素在待拾取rpa元素页面图像中的语义信息，这样能增加通过整合知识表征获取的目标元素拾取结果的精确度。
15.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术的技术方案。
附图说明
16.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
17.图1为本技术实施例提供的一种rpa流程处理分析方法的实现流程示意图。
18.图2为本技术实施例提供的一种rpa流程处理分析装置的组成结构示意图。
19.图3为本技术实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
20.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本技术的技术方案进一步详细阐述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
21.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对
对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
22.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术的目的，不是旨在限制本技术。
23.本技术实施例提供一种rpa流程处理分析方法，该方法可以由计算机设备的处理器执行。其中，计算机设备可以指的是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。
24.图1为本技术实施例提供的一种rpa流程处理分析方法的实现流程示意图，如图1所示，该方法包括如下步骤s110至步骤s140：步骤s110，获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，多个关联图像元素用以表征第一目标图像元素包含的各种元素可能性。
25.待拾取rpa元素页面图像可以为rpa机器人执行任务时的目标页面，例如远程桌面或虚拟系统中的操作界面，在任务执行时，需要对目标页面包含的操作元素进行拾取，以进行后续的自动化操作，操作元素例如为按钮、输入框、链接等，按钮例如为提交按钮、开始按钮、结束按钮、跳转按钮等，每一操作元素对应相应的操作。第一目标图像元素为在待拾取rpa元素页面图像中确定的待识别元素类型的图像元素，其具有识别难度，换言之，目标图像元素可能包含多种识别可能性，比如在页面中包含的图像元素为按钮a，在不同的场景下可以包含不同含义，如跳转、提交、结束、关闭等，一个关联图像元素代表第一目标图像元素可能具有的一个含义，多个关联图像元素表征第一目标图像元素不同含义，关联图像元素的含义是明确的。
26.步骤s120，通过第一目标图像元素和待拾取rpa元素页面图像中的第一目标图像元素的上下文图像元素，获取第一目标图像元素的知识表征。
27.因为第一目标图像元素在不同的界面环境中，可能对应不同的含义，界面环境即待拾取rpa元素页面图像中第一目标图像元素的上下文图像元素和第一目标图像元素一起构建的，所以通过第一目标图像元素自身和上下文图像元素得到的第一目标图像元素的知识表征，可以体现第一目标图像元素在待拾取rpa元素页面图像中的语义信息。其中，图像元素的知识表征是机器学习模型提取到的图像元素的特征信息，为模型获取的图像元素的知识，可以通过特征向量、矩阵或张量等载体进行表征。
28.步骤s130，通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征。
29.因为多个关联图像元素可以代表第一目标图像元素的多个不同的含义，则通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果（也即知识表征之间的相似性度量值，可以通过相似度或匹配度进行体现，其计算方式可以是计算向量距离，向量距离越小，共性度量结果越大），将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行整合，可以在第一目标图像元素的知识表征中添加完善额外的
信息，完善得到的第一目标图像元素的整合知识表征就可以更加准确地表征第一目标图像元素在待拾取rpa元素页面图像中的语义信息。知识表征整合的过程也即融合的过程，例如进行向量相加、拼接或连接等，本技术对此不做限定。
30.步骤s140，通过整合知识表征获取待拾取rpa元素页面图像对应的目标元素拾取结果。
31.本技术中，因为整合知识表征可以准确完善地对第一目标图像元素在待拾取rpa元素页面图像中的语义信息进行表征，基于此，通过整合知识表征得到的目标元素拾取结果，可以准确还原该目标图像元素的真实语义，增加元素拾取的精确度。其中目标元素拾取结果例如是识别出的该目标图像元素的类型，即代表的元素含义，如提交、输入、跳转等。
32.基于本技术实施例提供的上述方法，对第一目标图像元素进行知识表征挖掘时，将关联图像元素加入分析过程，不同关联图像元素可以对应第一目标图像元素的不同含义。通过关联图像元素的知识表征与第一目标图像元素的知识表征之间的关联度，将关联图像元素的知识表征与第一目标图像元素的知识表征进行整合，为第一目标图像元素的知识表征中包含的语义信息信息进行完善，令整合知识表征可以精确表征第一目标图像元素在待拾取rpa元素页面图像中的语义信息，这样能增加通过整合知识表征获取的目标元素拾取结果的精确度。
33.作为另一种实施例，本技术提供的rpa流程处理分析方法可以包括以下步骤：步骤s210，从待拾取rpa元素页面图像中获取第一目标图像元素。
34.可选地，对待拾取rpa元素页面图像进行图像分割处理，得到待拾取rpa元素页面图像的多个对比图像元素。图像分割的过程可以是按照预设的像素尺寸对目标页面进行切割，得到多个图像分块，预设的像素尺寸可以根据页面的实际像素进行适应性选择，本技术不做限定。当多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致，将该对比图像元素作为第一目标图像元素，关联图像元素集合中保存有多个图像元素和与每一图像元素对应的多个关联图像元素。
35.关联图像元素集合保存有多个图像元素和与每一图像元素对应的多个关联图像元素，换言之，将以多个图像元素为锚定（键-key），每一图像元素对应的关联图像元素作为结果（值-value）进行保存，可以通过图像元素搜索对应的关联图像元素。可选地，可以通过图网络生成关联图像元素集合，图网络中的图像元素通过特征向量进行表示，目标图像元素对应的关联图像元素通过边与目标图像元素连接。基于上述实施方案，可以在对待拾取rpa元素页面图像进行图像分割处理的情况下，在关联图像元素集合中对多个对比图像元素进行搜索，如此确定待拾取rpa元素页面图像中的第一目标图像元素，第一目标图像元素的识别速度快。
36.可选地，通过不同策略对待拾取rpa元素页面图像进行图像分割处理，得到不同策略分别对应的多个对比图像元素集合，这里提及的不同策略是按照不同的像素尺度进行图像分割，每个对比图像元素集合包括待拾取rpa元素页面图像中的多个对比图像元素，一个对比图像元素是有至少一个图像块组合构建的，同一对比图像元素集合中不同对比图像元素的图像块数目相同，同时不同对比图像元素集合中的对比图像元素的图像块数目不同，当属于不同对比图像元素集合的多个对比图像元素分别与关联图像元素集合中的多个图像元素一致，将属于不同对比图像元素集合的多个对比图像元素中图像块数目最多的对比
图像元素确定为第一目标图像元素。
37.步骤s220，获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，多个关联图像元素用以表征第一目标图像元素包含的各种元素可能性。
38.可选地，在关联图像元素集合中遍历和第一目标图像元素产生关联的目标图像元素。将目标图像元素对应的多个关联图像元素确定为第一目标图像元素的多个关联图像元素。基于上述实施方案，可以在关联图像元素集合中高效地确定第一目标图像元素的多个关联图像元素，以便可以通过多个关联图像元素获取第一目标图像元素的整合知识表征，进一步地，更加精准地表征第一目标图像元素在待拾取rpa元素页面图像中的语义信息。
39.步骤s230，通过第一目标图像元素和待拾取rpa元素页面图像中的第一目标图像元素的上下文图像元素，获取第一目标图像元素的知识表征。
40.可选地，将第一目标图像元素和上下文图像元素输入知识表征挖掘网络，通过知识表征挖掘网络，对第一目标图像元素和上下文图像元素进行显著性特征嵌入映射，得到第一目标图像元素的知识表征。基于上述实施方案，因为第一目标图像元素与上下文图像元素综合起来才可以体现第一目标图像元素在待拾取rpa元素页面图像中的语义信息，可以对第一目标图像元素和上下文图像元素进行显著性特征嵌入映射，通过显著性特征嵌入映射得到第一目标图像元素的知识表征，如此第一目标图像元素的知识表征可以准确完善表征第一目标图像元素的含义。其中，显著性特征嵌入映射是基于注意力机制（例如内部注意力机制）对目标元素进行嵌入映射的过程，嵌入映射可以是基于encoder（编码器）进行编码。例如，将第一目标图像元素和上下文图像元素分别输入知识表征挖掘网络，该知识表征挖掘网络可以是任意可行的神经网络模型，例如transformer。基于知识表征挖掘网络获取第一目标图像元素的第一搜索数组、第一锚定数组和第一结果数组，其中，搜索数组为注意力机制中的query，其对应的数组可以是一个一维的数组，即向量，锚定数组为注意力机制中的key，结果数组为注意力机制中的value。通过知识表征挖掘网络获取上下文图像元素的第二锚定数组和第二结果数组，对第一搜索数组与第一锚定数组的相乘结果和第一搜索数组与第二锚定数组的相乘结果进行标准化操作，得到第一目标图像元素的第一显著性偏心因子和上下文图像元素对第一目标图像元素的第二显著性偏心因子，将第一显著性偏心因子与第一结果数组的相乘结果与第二显著性偏心因子与第二结果数组的相乘结果进行求和，得到第一目标图像元素的知识表征。可选地，第一搜索数组和第一锚定数组用于获取第一目标图像元素的第一显著性偏心因子，第一结果数组用以表征第一目标图像元素，第一显著性偏心因子和第一结果数组用于获取第一目标图像元素的知识表征。标准化操作的过程是将不同数值的相乘结果进行特定数值范围内的映射投影，例如统一映射到[0，1]，目标图像元素的显著性偏心因子是其对应的注意力影响度，可以通过赋予对应的权重进行体现，那么显著性偏心因子即为一个权值，可以调节对应的目标图像元素的重要性。
[0041]
步骤s240，通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征。
[0042]
可选地，采用知识表征挖掘网络，通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，确定第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的多个第一相关性偏心因子，第一相关性偏心因子用以表征对应
关联图像元素与第一目标图像元素的关联度。通过多个第一相关性偏心因子，将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征。基于上述实施方案，可以采用知识表征挖掘网络，通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，确定第一相关性偏心因子，换言之，如果第一目标图像元素的知识表征与一个关联图像元素的知识表征之间的共性度量结果很大，代表该关联图像元素更接近第一目标图像元素在待拾取rpa元素页面图像中的语义信息，可以将第一目标图像元素的知识表征与该关联图像元素的知识表征之间的第一相关性偏心因子的数值配置大一些，以对第一目标图像元素的知识表征中包含的语义信息信息进行完善，得到的整合知识表征就可以更精准地表征第一目标图像元素的在待拾取rpa元素页面图像中的语义信息。
[0043]
下面从获取第一相关性偏心因子的过程以及获取整合知识表征的过程进行介绍，对于第一相关性偏心因子的获取，可选地，将第一目标图像元素的知识表征与多个关联图像元素的知识表征输入知识表征挖掘网络，知识表征挖掘网络在获取第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果时，可以采用以下公式1进行：αn＝2sigmoid（2
×
(m1×v1
+m2×vn
)）-1在确定第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的多个第一相关性偏心因子时，可以采用以下公式2进行：wn=exp（vn）/∑exp（vm）其中，αn为共性度量结果，v1为第一目标图像元素的知识表征，v2为关联图像元素的知识表征，n为关联图像元素的编号。m1和m2为参变量数组，在调试知识表征挖掘网络时产生，wn为第一相关性偏心因子。因为第一目标图像元素的知识表征v1具有待拾取rpa元素页面图像的上下文信息，则基于以上计算方式可以准确获取每个关联图像元素在当下页面中的含义。
[0044]
可选地，第一相关性偏心因子与第一目标图像元素的知识表征与关联图像元素的知识表征之间的共性度量结果正相关，换言之第一目标图像元素的知识表征与一关联图像元素的知识表征之间的共性度量结果越大，则第一目标图像元素的知识表征与该关联图像元素的知识表征之间的第一相关性偏心因子越大，第一目标图像元素的知识表征与另一关联图像元素的知识表征之间的共性度量结果越大，则第一目标图像元素的知识表征与该关联图像元素的知识表征之间的第一相关性偏心因子越小。
[0045]
对于获取整合知识表征的过程，可选地，采用知识表征挖掘网络，通过多个第一相关性偏心因子将第一目标图像元素的知识表征与多个关联图像元素的知识表征进行融合（例如先进行加权，调节数值后再进行相加求和，完成融合），得到第一目标图像元素的融合知识表征。通过知识表征挖掘网络对融合知识表征进行多头显著性特征嵌入映射，得到第一目标图像元素的多个显著性特征嵌入映射数组，采用知识表征挖掘网络，通过多个显著性特征嵌入映射数组，得到第一目标图像元素的整合知识表征。多头显著性特征嵌入映射是采用不同的调节数组对整合知识表征进行编码，多头显著性特征嵌入映射可以对整合知识表征完成更深层的特征信息挖掘，增加整合知识表征的特征表征效果。
[0046]
对于获取整合知识表征的过程，还可以进一步细化为如下三个层面进行详细介
绍：首先是对获得第一目标图像元素的整合知识表征的方式进行介绍；然后是对获得第一目标图像元素的多个显著性特征嵌入映射数组的方式进行介绍；最后是对获取第一目标图像元素的整合知识表征的方式进行介绍。
[0047]
首先，对于获得第一目标图像元素的整合知识表征的方式，可选地，可以采用以下公式3进行：vf=（v1+）/2其中，vf为第一目标图像元素的整合知识表征。
[0048]
在通过第一目标图像元素的知识表征和多个关联图像元素的知识表征，获取第一目标图像元素的整合知识表征时，可以基于以下方式进行，下面的介绍中，会对知识表征挖掘网络的组成结构进行简单引入。可选地，将第一目标图像元素和多个关联图像元素输入知识表征挖掘网络的编码器，通过编码器对第一目标图像元素和多个关联图像元素进行嵌入映射编码，获得第一目标图像元素的知识表征v1和多个关联图像元素的知识表征，将第一目标图像元素的知识表征v1和多个关联图像元素的知识表征输入知识表征挖掘网络的第一相关性偏心因子算子，由第一相关性偏心因子算子采用上述公式1、2计算多个第一相关性偏心因子，其中，第一相关性偏心因子算子即注意力算子。采用知识表征挖掘网络，将第一相关性偏心因子与对应的知识表征进行作积，将得到的结果（一个向量）加载到知识表征挖掘网络的归总映射算子，归总映射算子可以为全连接网络，通过以上公式3计算第一目标图像元素的整合知识表征。
[0049]
对于获得第一目标图像元素的多个显著性特征嵌入映射数组的方式，设多头显著性特征嵌入映射为两头显著性特征嵌入映射，例如显著性头1、显著性头2，对于每个显著性头，都匹配对应的三个调节数组（例如二维的矩阵）mq、mk和mv，对于显著性头1而言，通过知识表征挖掘网络将第一目标图像元素的整合知识表征别与三个调节数组mq、mk和mv相乘，得到整合知识表征的搜索数组、锚定数组和结果数。通过知识表征挖掘网络将搜索数组与锚定数组的转置相乘，得到乘积figure1，对乘积figure1进行标准化操作，得到第一目标图像元素的显著性偏心因子wx，将显著性偏心因子wx与第一目标图像元素的结果数组相乘，得到第一目标图像元素的一个显著性特征嵌入映射数组1。对于显著性头2而言，通过知识表征挖掘网络，将第一目标图像元素的整合知识表征分别与三个调节数组mq、mk和mv相乘，得到整合知识表征的搜索数组、锚定数组和结果数组。通过知识表征挖掘网络，将搜索数组与锚定数组的转置相乘，得到乘积figure2，对乘积figure2进行标准化操作，得到第一目标图像元素的显著性偏心因子wy，将显著性偏心因子wy与第一目标图像元素的结果数组相乘，得到第一目标图像元素的一个显著性特征嵌入映射数组2。
[0050]
对于获取第一目标图像元素的整合知识表征的方式，通过知识表征挖掘网络，将多个显著性特征嵌入映射数组进行组合，得到显著性特征嵌入映射张量，采用知识表征挖掘网络对显著性特征嵌入映射张量进行下采样操作，得到第一目标图像元素的整合知识表征。设多头显著性特征嵌入映射为以上第二层面的两头显著性特征嵌入映射，采用知识表征挖掘网络，将第一目标图像元素的显著性特征嵌入映射数组1和显著性特征嵌入映射数组2进行组合，即拼接起来，得到显著性特征嵌入映射张量，通过知识表征挖掘网络对显著性特征嵌入映射张量进行全连接，即将显著性特征嵌入映射张量与全连接权值向量作积，再与全连接偏置向量进行求和，得到第一目标图像元素的整合知识表征。
[0051]
在获取多个关联图像元素的知识表征时，可以采用以下步骤进行：可选地，对于任一关联图像元素，将任一关联图像元素输入知识表征挖掘网络，通过知识表征挖掘网络对该关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到该关联图像元素的知识表征。例如，对于任一关联图像元素中的多个图像元素中的任意一图像元素，通过知识表征挖掘网络，获取图像元素的第三搜索数组、第三锚定数组和第三结果数组，通过知识表征挖掘网络获取关联图像元素中的多个图像元素中的该图像元素之外的其余图像元素的第四锚定数组和第四结果数组；通过知识表征挖掘网络对第三搜索数组与第三锚定数组的相乘结果和第三搜索数组与第四锚定数组的相乘结果进行标准化操作，得到图像元素的第三显著性偏心因子和其余图像元素对该图像元素的第四显著性偏心因子；通过知识表征挖掘网络将第三显著性偏心因子与第三结果数组的相乘结果与第四显著性偏心因子与第四结果数组的相乘结果进行求和，得到图像元素的知识表征；通过知识表征挖掘网络将关联图像元素中的多个图像元素的知识表征进行整合，得到关联图像元素的知识表征。
[0052]
步骤s250，通过整合知识表征获取待拾取rpa元素页面图像对应的目标元素拾取结果。
[0053]
可选地，当任一目标元素拾取结果的整合知识表征与第一目标图像元素的整合知识表征之间的共性度量结果满足目标共性度量结果要求，将该目标元素拾取结果确定为与待拾取rpa元素页面图像对应的目标元素拾取结果。其中，共性度量结果满足目标共性度量结果要求为共性度量结果不小于共性度量结果预设值。基于上述实施方案，可以通过第一目标图像元素的整合知识表征和目标元素拾取结果的整合知识表征之间的共性度量结果来确定与待拾取rpa元素页面图像对应的目标元素拾取结果，目标元素拾取结果的确定速度更快。
[0054]
例如，包括n个目标元素拾取结果1、2、3
……
n，设第一目标图像元素的整合知识表征为vf，n个目标元素拾取结果的整合知识表征分别为v1、v2、v3……vn
，分别确定第一目标图像元素的整合知识表征vf与n个目标元素拾取结果的整合知识表征间的欧氏距离，得到共性度量结果，如果该共性度量结果预设值为s1，则将整合知识表征大于s1的目标元素拾取结果确定为待拾取rpa元素页面图像对应的目标元素拾取结果。
[0055]
在获取目标元素拾取结果的整合知识表征时，可选地，对目标元素拾取结果进行图像分割处理，得到目标元素拾取结果的多个对比图像元素，当目标元素拾取结果的多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致，将任一对比图像元素确定为第二目标图像元素，关联图像元素集合中保存有多个图像元素和与多个图像元素对应的多个关联图像元素，从关联图像元素集合中获取第二目标图像元素对应的多个关联图像元素，通过第二目标图像元素和目标元素拾取结果中的第二目标图像元素的上下文图像元素，获取第二目标图像元素的知识表征，通过第二目标图像元素的知识表征与第二目标图像元素对应的多个关联图像元素的知识表征之间的共性度量结果，将第二目标图像元素的知识表征与第二目标图像元素对应的多个关联图像元素的知识表征进行整合，得到目标元素拾取结果的整合知识表征。
[0056]
本技术上述实施例中，由于不同关联图像元素可以对应第一目标图像元素的不同含义。通过关联图像元素的知识表征与第一目标图像元素的知识表征之间的关联度，将关
联图像元素的知识表征与第一目标图像元素的知识表征进行整合，为第一目标图像元素的知识表征中包含的语义信息信息进行完善，令整合知识表征可以精确表征第一目标图像元素在待拾取rpa元素页面图像中的语义信息，这样能增加通过整合知识表征获取的目标元素拾取结果的精确度。
[0057]
接下来再对以上所述的知识表征挖掘网络的调试过程进行介绍，具体可以包括如下步骤：步骤s310，获取调试学习样例。
[0058]
调试学习样例是用于进行训练调试网络的数据，其包括rpa元素页面图像学习样例、目标元素拾取结果样例和rpa元素页面图像学习样例与目标元素拾取结果样例之间的共性度量结果样例。
[0059]
例如，采用y和n表征rpa元素页面图像学习样例与目标元素拾取结果样例之间的共性度量结果样例，其中，y代表rpa元素页面图像学习样例与目标元素拾取结果样例共性度量结果高，或者说rpa元素页面图像学习样例与目标元素拾取结果样例匹配，n代表rpa元素页面图像学习样例与目标元素拾取结果样例共性度量结果低，或者说rpa元素页面图像学习样例与目标元素拾取结果样例不匹配。
[0060]
步骤s320，将rpa元素页面图像学习样例和目标元素拾取结果样例输入到知识表征挖掘网络。
[0061]
步骤s330，通过知识表征挖掘网络提取rpa元素页面图像学习样例中的目标图像元素样例的整合知识表征和目标元素拾取结果样例的整合知识表征。
[0062]
可选地，依据知识表征挖掘网络获取rpa元素页面图像学习样例中的目标图像元素样例，依据知识表征挖掘网络获取目标元素拾取结果样例的识别目标图像元素，依据知识表征挖掘网络获取目标图像元素样例的多个关联图像元素和索引目标图像元素的多个关联图像元素，依据知识表征挖掘网络获取目标图像元素样例的整合知识表征和目标元素拾取结果样例的整合知识表征。
[0063]
例如，依据知识表征挖掘网络的知识抽取算子在rpa元素页面图像学习样例中获取目标图像元素样例，从关联图像元素集合中获取目标图像元素样例对应的多个关联图像元素，提取目标图像元素样例的知识表征va和多个关联图像元素的知识表征vr。通过知识表征挖掘网络的知识抽取算子在目标元素拾取结果样例中获取识别目标图像元素，从关联图像元素集合中获取识别目标图像元素对应的多个关联图像元素，提取识别目标图像元素的知识表征vb和多个关联图像元素的知识表征vs。将目标图像元素样例的知识表征va和多个关联图像元素的知识表征vr输入知识表征挖掘网络的内部聚焦特征分析算子（即基于自注意力机制的网络算子），通过内部聚焦特征分析算子将目标图像元素样例的知识表征va和多个关联图像元素的知识表征vr进行整合，得到目标图像元素样例的整合知识表征，识别目标图像元素的知识表征vb和多个关联图像元素的知识表征vs输入知识表征挖掘网络的内部聚焦特征分析算子，通过内部聚焦特征分析算子将识别目标图像元素的知识表征vb和多个关联图像元素的知识表征vs进行整合，得到识别目标图像元素的整合知识表征。将目标图像元素样例的整合知识表征和识别目标图像元素的整合知识表征输入知识表征挖掘网络的联合映射整合算子（即基于多头注意力机制的网络算子，将多个头的信息联合进行显著性映射），通过联合映射整合算子对目标图像元素样例的整合知识表征进行多头显
著性特征嵌入映射，得到目标图像元素样例的整合知识表征对应的多个显著性特征嵌入映射数组；基于联合映射整合算子对识别目标图像元素的整合知识表征进行多头显著性特征嵌入映射，得到识别目标图像元素的整合知识表征对应的多个显著性特征嵌入映射数组。将目标图像元素样例的整合知识表征对应的多个显著性特征嵌入映射数组输入知识表征挖掘网络的归总决策算子（例如是全连接网络算子），通过归总决策算子对目标图像元素样例的整合知识表征对应的多个显著性特征嵌入映射数组进行决策（全连接映射），得到目标图像元素样例的整合知识表征，将识别目标图像元素的整合知识表征对应的多个显著性特征嵌入映射数组输入知识表征挖掘网络的归总决策算子，通过归总决策算子对识别目标图像元素的整合知识表征对应的多个显著性特征嵌入映射数组进行决策，得到识别目标图像元素的整合知识表征，通过识别目标图像元素的整合知识表征，得到目标元素拾取结果样例的整合知识表征。
[0064]
步骤s340，通过目标图像元素样例的整合知识表征和目标元素拾取结果样例的整合知识表征之间的共性度量结果与共性度量结果样例之间的损失，优化知识表征挖掘网络的网络内部配置变量。
[0065]
例如，基于对比损失函数对知识表征挖掘网络的网络内部配置变量（包含各类参数、超参数等）进行优化，或者，在其他实施例中，还可以基于交叉熵损失函数进行优化。
[0066]
以上对知识表征挖掘网络进行调试时，将关联图像元素加入分析过程，不同关联图像元素表征第一目标图像元素的不同含义，依据关联图像元素对目标图像元素样例的知识表征和识别目标图像元素中包含的语义信息进行完善，获得的两个整合知识表征可以更加准确地表征目标图像元素样例在rpa元素页面图像学习样例中的语义信息和识别目标图像元素在目标元素拾取结果中的语义信息，以此增加知识表征挖掘网络的知识表征挖掘效果。
[0067]
基于前述的实施例，本技术实施例提供一种rpa流程处理分析装置，该装置所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(central processing unit，cpu)、微处理器(microprocessor unit，mpu)、数字信号处理器(digital signal processor，dsp)或现场可编程门阵列(field programmable gate array，fpga)等。
[0068]
图2为本技术实施例提供的一种rpa流程处理分析装置的组成结构示意图，如图2所示，rpa流程处理分析装置200包括：关联元素获取模块210，用于获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，所述多个关联图像元素用以表征所述第一目标图像元素包含的各种元素可能性；知识表征抽取模块220，用于通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征；知识表征整合模块230，用于通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征；
rpa元素拾取模块240，用于通过所述整合知识表征获取所述待拾取rpa元素页面图像对应的目标元素拾取结果。
[0069]
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0070]
需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的rpa流程处理分析方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
[0071]
本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0072]
本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
[0073]
本技术实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0074]
本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0075]
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0076]
图3为本技术实施例提供的一种计算机设备的硬件实体示意图，如图3所示，该计算机设备1000的硬件实体包括：处理器1001和存储器1002，其中，存储器1002存储有可在处理器1001上运行的计算机程序，处理器1001执行程序时实现上述任一实施例的方法中的步骤。
[0077]
存储器1002存储有可在处理器上运行的计算机程序，存储器1002配置为存储由处
理器1001可执行的指令和应用，还可以缓存待处理器1001以及计算机设备1000中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。
[0078]
处理器1001执行程序时实现上述任一项的rpa流程处理分析方法的步骤。处理器1001通常控制计算机设备1000的总体操作。
[0079]
本技术实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的rpa流程处理分析方法的步骤。
[0080]
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术存储介质和设备实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。上述处理器可以为目标用途集成电路(application specific integrated circuit，asic)、数字信号处理器(digital signal processor，dsp)、数字信号处理装置(digital signal processing device，dspd)、可编程逻辑装置(programmable logic device，pld)、现场可编程门阵列(field programmable gate array，fpga)、中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。
[0081]
上述计算机存储介质/存储器可以是只读存储器(read only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性随机存取存储器(ferromagnetic random access memory，fram)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(compact disc read-only memory，cd-rom)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
[0082]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0083]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为
一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0084]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0085]
另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0086]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0087]
或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0088]
以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。

技术特征：
1.一种rpa流程处理分析方法，其特征在于，应用于计算机设备，所述方法包括：获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素，所述多个关联图像元素用以表征所述第一目标图像元素包含的各种元素可能性；通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征；通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征；通过所述整合知识表征获取所述待拾取rpa元素页面图像对应的目标元素拾取结果。2.根据权利要求1所述的方法，其特征在于，所述通过所述第一目标图像元素和所述待拾取rpa元素页面图像中的所述第一目标图像元素的上下文图像元素，获取所述第一目标图像元素的知识表征包括：将所述第一目标图像元素和所述上下文图像元素输入知识表征挖掘网络；通过所述知识表征挖掘网络对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征。3.根据权利要求2所述的方法，其特征在于，所述对所述第一目标图像元素和所述上下文图像元素进行显著性特征嵌入映射，得到所述第一目标图像元素的知识表征包括：获取所述第一目标图像元素的第一搜索数组、第一锚定数组和第一结果数组；获取所述上下文图像元素的第二锚定数组和第二结果数组；对所述第一搜索数组与所述第一锚定数组的相乘结果和所述第一搜索数组与所述第二锚定数组的相乘结果进行标准化操作，得到所述第一目标图像元素的第一显著性偏心因子和所述上下文图像元素对所述第一目标图像元素的第二显著性偏心因子；将所述第一显著性偏心因子与所述第一结果数组的相乘结果与所述第二显著性偏心因子与所述第二结果数组的相乘结果进行求和，得到所述第一目标图像元素的知识表征；所述通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，将所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过知识表征挖掘网络进行以下操作：通过所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的共性度量结果，确定所述第一目标图像元素的知识表征与所述多个关联图像元素的知识表征之间的多个第一相关性偏心因子，所述第一相关性偏心因子用以表征对应关联图像元素与所述第一目标图像元素的关联度；通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征。4.根据权利要求3所述的方法，其特征在于，所述通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行整合，得到所述第一目标图像元素的整合知识表征包括：通过多个第一相关性偏心因子，将所述待拾取rpa元素页面图像的知识表征与所述多个关联图像元素的知识表征进行融合，得到所述第一目标图像元素的融合知识表征；
对所述融合知识表征进行多头显著性特征嵌入映射，得到所述第一目标图像元素的多个显著性特征嵌入映射数组；将所述多个显著性特征嵌入映射数组进行组合，得到显著性特征嵌入映射张量；对所述显著性特征嵌入映射张量进行下采样操作，得到所述第一目标图像元素的整合知识表征。5.根据权利要求4所述的方法，其特征在于，所述知识表征挖掘网络的调试过程包括：获取调试学习样例，所述调试学习样例包括rpa元素页面图像学习样例、目标元素拾取结果样例和所述rpa元素页面图像学习样例与所述目标元素拾取结果样例之间的共性度量结果样例；将所述rpa元素页面图像学习样例和所述目标元素拾取结果样例输入到所述知识表征挖掘网络；通过所述知识表征挖掘网络提取所述rpa元素页面图像学习样例中的目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征；通过所述目标图像元素样例的整合知识表征和所述目标元素拾取结果样例的整合知识表征之间的共性度量结果与所述共性度量结果样例之间的损失，优化所述知识表征挖掘网络的网络内部配置变量。6.根据权利要求1所述的方法，其特征在于，所述获取待拾取rpa元素页面图像中的第一目标图像元素的多个关联图像元素包括：在关联图像元素集合中遍历和所述第一目标图像元素产生关联的目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素；将所述目标图像元素对应的多个关联图像元素确定为所述第一目标图像元素的多个关联图像元素；所述第一目标图像元素的获取过程包括：对所述待拾取rpa元素页面图像进行图像分割处理，得到所述待拾取rpa元素页面图像的多个对比图像元素；当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致时，将所述任一对比图像元素确定为所述第一目标图像元素，所述关联图像元素集合中保存有多个图像元素和与每一所述图像元素对应的多个关联图像元素。7.根据权利要求6所述的方法，其特征在于，所述对所述待拾取rpa元素页面图像进行图像分割处理，得到所述待拾取rpa元素页面图像的多个对比图像元素包括：通过不同策略对所述待拾取rpa元素页面图像进行图像分割处理，得到所述不同策略分别对应的多个对比图像元素集合，每个对比图像元素集合包括所述待拾取rpa元素页面图像中的多个对比图像元素，同一对比图像元素集合中不同对比图像元素的图像块数目相同，同时不同对比图像元素集合中的对比图像元素的图像块数目不同；所述当所述多个对比图像元素中任一对比图像元素与关联图像元素集合中的任一个图像元素一致，将所述任一对比图像元素确定为所述第一目标图像元素包括：当属于不同对比图像元素集合的多个对比图像元素分别与所述关联图像元素集合中的多个图像元素一致，将所述属于不同对比图像元素集合的多个对比图像元素中图像块数
目最多的对比图像元素确定为所述第一目标图像元素。8.根据权利要求1~7任一项所述的方法，其特征在于，所述多个关联图像元素的知识表征的获取方法包括：对于任一关联图像元素，将所述任一关联图像元素输入知识表征挖掘网络；通过所述知识表征挖掘网络，对所述任一关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到所述任一关联图像元素的知识表征。9.根据权利要求8所述的方法，其特征在于，所述对所述任一关联图像元素中的多个图像元素进行显著性特征嵌入映射，得到所述任一关联图像元素的知识表征包括：对于所述任一关联图像元素中的多个图像元素中的任意一图像元素，获取所述任意一图像元素的第三搜索数组、第三锚定数组和第三结果数组；获取所述任一关联图像元素中的多个图像元素中的所述任意一图像元素之外的其余图像元素的第四锚定数组和第四结果数组；对所述第三搜索数组与所述第三锚定数组的相乘结果和所述第三搜索数组与所述第四锚定数组的相乘结果进行标准化操作，得到所述任意一图像元素的第三显著性偏心因子和所述其余图像元素对所述任意一图像元素的第四显著性偏心因子；将所述第三显著性偏心因子与所述第三结果数组的相乘结果与所述第四显著性偏心因子与所述第四结果数组的相乘结果进行求和，得到所述任意一图像元素的知识表征；将所述任一关联图像元素中的多个图像元素的知识表征进行整合，得到所述任一关联图像元素的知识表征。10.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1~9任一项所述方法中的步骤。

技术总结
本申请提供一种RPA流程处理分析方法及计算机设备，获取待拾取RPA元素页面图像中的第一目标图像元素的多个关联图像元素，之后通过第一目标图像元素和其上下文图像元素，获取第一目标图像元素的知识表征，然后通过第一目标图像元素的知识表征与多个关联图像元素的知识表征之间的共性度量结果，将第一目标图像元素的知识表征与关联图像元素的知识表征进行整合，得到第一目标图像元素的整合知识表征，并基于其获取对应的目标元素拾取结果。依据关联图像元素对第一目标图像元素的知识表征中包含的语义信息进行完善，能更准确地表征第一目标图像元素在待拾取RPA元素页面图像中的语义信息，这样能增加通过整合知识表征获取的目标元素拾取结果的精确度。标元素拾取结果的精确度。标元素拾取结果的精确度。


技术研发人员：刘艳
受保护的技术使用者：富璟科技（深圳）有限公司
技术研发日：2023.07.25
技术公布日：2023/9/20