基于归一化向量表示的RPA元素位置关系建模方法及系统与流程

基于归一化向量表示的rpa元素位置关系建模方法及系统
技术领域
1.本发明涉及rpa技术领域，具体涉及基于归一化向量表示的rpa元素位置关系建模方法及系统。


背景技术：

2.机器人流程自动化技术（robotic process automation，简称rpa）是一种用于企业规则化、重复性工作替代的有效技术，目前正广泛应用于各行各业的财务、税务、审批、风控、运营、物流、广告等业务中。rpa技术提供了可视化的流程编辑器，开发人员可以在流程编辑器上设计和配置出能够在企业业务系统中自动执行的流程脚本；在脚本执行过程中，则通过模拟键盘、鼠标操作、调用操作系统接口、分析网页结构等手段，来模拟人类的按钮点击、键盘输入、文件创建、网页跳转、逻辑判断等动作。
3.rpa技术的核心是对计算机软件界面上的各类元素，例如按钮、文字、搜索框、输入框、可操作区域等，进行精确的定位和操作，进而完成流程执行所需的点击、跳转、输入、复制、粘贴等动作。传统拾取和匹配技术可以通过操作系统指令、网页结构分析、软件代码解析等方式实现。而对于无法通过传统技术拾取和匹配的软件，目前主流的方法是利用计算机视觉技术来识别。
4.基于计算机视觉技术完成的rpa元素定位从“样式唯一性”的角度可分为以下2种元素类型：1.唯一元素，其样式在整个界面中唯一；2.重复元素，整个界面中含有多个与其样式相同且功能不同的其他元素；对于唯一元素的定位，当前业内的解决方案相对成熟，主要通过模版匹配或者深度学习技术提取元素特征进行精确定位；对于重复元素的定位，目前业内的主流方法是引入锚点元素用于辅助定位；在使用锚点进行辅助定位时，需要在拾取阶段记录锚点元素与目标元素之间的相对位置关系，以便在执行阶段通过锚点元素在执行界面的对应元素的位置辅助定位到目标元素在执行界面对应元素的位置。目前，业内对于相对位置关系的表示主要包含“左上、右下”等方位关系、以及两元素之间的“相对距离”和“角度”信息。这种对相对位置关系的表示方式不仅繁琐复杂，且应用的局限性较大。比如在面对系统分辨率或者系统dpi改变的情况时，两元素大小会发生改变，两元素之间的相对距离也会发生改变，此时再通过拾取时记录的相对距离信息去辅助定位，就会导致定位失败，从而导致整个rpa流程运行的失败。
5.对于锚点元素与目标元素之间的相对位置关系表示，目前主流表示方法以“方位+距离+角度”表示。
6.以“方位+距离+角度”形式表示锚点元素和目标元素之间的相对位置关系的方式存在不足，其一体现在相对位置关系的构建较为繁琐；其二体现在其无法应对系统尺度因子（分辨率、dpi等）变化的情况。具体来说：1.“方位+距离+角度”的相对位置关系表示存在局限性首先，这种相对位置关系表示方法构建步骤繁琐，需要在获取两元素坐标的前提下，还需要计算并记录“方位+距离+角度”三个相对位置属性；根据锚点元素位置推断目标
元素位置的过程也较为繁琐，需要首先推断方位，再推断角度，最后推断距离，才能完成对目标元素的定位，期间涉及许多繁琐的计算步骤。其次，繁琐的计算还会带来计算资源和内存资源的消耗（所记录的方位、距离、角度信息都需要占用内存），从而导致运行效率更低。最后，这种表示方式对元素拾取和执行阶段系统尺度因子一致性要求严格，在执行阶段如果改变了系统尺度因子或界面形状，则无法根据拾取阶段所记录的“距离”信息来基于锚点元素在执行界面的对应元素位置来定位目标元素在执行界面的对应位置。举例来说，在拾取阶段，拾取目标元素，及其锚点元素，并记录目标元素相对于锚点元素的相对位置关系为：“左上方、100像素、45度”。在执行阶段，首先在执行界面定位到锚点元素位置，然后根据坐标偏移，定位到锚点元素“左上方45度100像素”的位置的元素即为目标元素。但是，当执行界面的系统dpi为拾取时的1.5倍时，执行界面上，目标元素应该在锚点元素的“左上方45度150像素”位置，此时再使用“左上方45度100像素”的相对位置关系来辅助定位，就会导致目标元素定位出错，从而导致整个rpa流程运行失败。因此，这种“方位+距离+角度”的相对位置关系表示方式的存在一定的局限性。
7.因此，设计一种能够简化rpa元素匹配中锚点元素和目标元素相对位置关系的构建方式，且能够解决当前构建方案对系统尺度因子敏感问题的基于归一化向量表示的rpa元素位置关系建模方法及系统，就显得十分重要。


技术实现要素：

8.本发明是为了克服现有技术中，现有以“方位+距离+角度”形式表示锚点元素和目标元素之间的相对位置关系的方式，存在相对位置关系的构建较为繁琐以及无法应对系统尺度因子变化情况的问题，提供了一种能够简化rpa元素匹配中锚点元素和目标元素相对位置关系的构建方式，且能够解决当前构建方案对系统尺度因子敏感问题的基于归一化向量表示的rpa元素位置关系建模方法及系统。
9.为了达到上述发明目的，本发明采用以下技术方案：基于归一化向量表示的rpa元素位置关系建模方法，包括如下步骤；s1，在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；s2，对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；s3，在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。
10.作为优选，所述目标元素的顶点坐标矩阵和锚点元素的顶点坐标矩阵均为n行2列。
11.作为优选，所述矩阵的行数n表示参与构建相对位置关系的顶点个数，列表示对应顶点的相对坐标差值。
12.作为优选，步骤s1中，所述建立d和a的相对位置关系并用矩阵表示，具体如下所示：；
其中，、分别表示锚点元素的右下、左上顶点二维坐标。
13.作为优选，所述尺度无关的两元素相对位置关系，具体如下所示：；其中，表示目标元素在执行界面上的对应元素的顶点坐标矩阵；表示锚点元素在执行界面上的对应元素的顶点坐标矩阵；分别表示锚点元素在执行界面上对应元素的右下、左上顶点坐标。
14.作为优选，步骤s3包括如下步骤：s31，当系统尺度因子不发生变化时，公式成立，并根据锚点元素在执行界面对应元素顶点坐标推断目标元素在执行界面对应元素的顶点坐标；s32，当系统尺度因子发生变化时，设定变化程度为，则：
[0015][0016][0017]
并得到执行界面相对位置关系表示为：
[0018]
所述相对位置关系的表示是尺度无关的；在执行界面利用锚点元素位置定位目标元素的过程为：
[0019][0020][0021][0022]
其中，由下式计算得到：；
[0023]
最终，在执行界面利用锚点元素位置定位目标元素的过程直接描述为：。
[0024][0025]
作为优选，所述系统尺度因子包括分辨率和每英寸点数dpi。
[0026]
本发明还提供了基于归一化向量表示的rpa元素位置关系建模系统，包括；拾取模块，用于在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶
点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；归一化模块，用于对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；执行模块，用于在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。
[0027]
本发明与现有技术相比，有益效果是：（1）在相对位置关系表示方面，本发明直接通过锚点元素和目标元素的顶点坐标相减，来获得两元素的相对位置关系矩阵，大大简化了相对位置关系表示获取的步骤；（2）在尺度适应方面，本发明将所获得的相对位置关系矩阵进行尺度归一化，进一步获得了尺度无关的两元素相对位置关系矩阵，本发明表示方法不仅构建步骤简洁，且能够应对各种系统尺度因子改变的情况，大大提升了rpa重复元素定位的准确性和rpa流程执行的稳定性。
附图说明
[0028]
图1为本发明实施例所提供的拾取界面元素分布的一种示意图；图2为本发明实施例所提供的执行界面元素分布的一种示意图；图3为本发明实施例所提供的基于归一化向量表示的rpa元素位置关系建模方法的一种流程图。
具体实施方式
[0029]
为了更清楚地说明本发明实施例，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
[0030]
本发明提供了基于归一化向量表示的rpa元素位置关系建模方法，包括如下步骤；s1，在拾取阶段，设定d为目标元素的顶点坐标矩阵（n行2列），a为锚点元素的顶点坐标矩阵（n行2列），建立d和a的相对位置关系并用矩阵表示；矩阵的行数n表示参与构建相对位置关系的顶点个数，列表示对应顶点的相对坐标差值，其中直接暗含了距离、角度、方位信息；步骤s1中，所述建立d和a的相对位置关系并用矩阵表示，具体如下所示：
[0031]
其中，、分别表示锚点元素的右下、左上顶点二维坐标。
[0032]
所述尺度无关的两元素相对位置关系，具体如下所示：
[0033]
其中，表示目标元素在执行界面上的对应元素的顶点坐标矩阵；表示锚点元素在执行界面上的对应元素的顶点坐标矩阵；分别表示锚点元素在执行界
面上对应元素的右下、左上顶点坐标。
[0034]
s2，对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；尺度无关的两元素相对位置关系，具体如下所示：
[0035]
其中，表示目标元素在执行界面上的对应元素的顶点坐标矩阵；表示锚点元素在执行界面上的对应元素的顶点坐标矩阵；分别表示锚点元素在执行界面上对应元素的右下、左上顶点坐标s3，在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素；步骤s3具体过程如下：s31，当系统尺度因子（分辨率、每英寸点数dpi）不发生变化时，公式成立，并根据锚点元素在执行界面对应元素顶点坐标推断目标元素在执行界面对应元素的顶点坐标；s32，当系统尺度因子（分辨率、每英寸点数dpi）发生变化时，设定变化程度为，则：
[0036][0037][0038]
并得到执行界面相对位置关系表示为：
[0039]
所述相对位置关系的表示是尺度无关的；在执行界面利用锚点元素位置定位目标元素的过程为：
[0040][0041][0042][0043]
其中，由下式计算得到：
[0044]
最终，在执行界面利用锚点元素位置定位目标元素的过程直接描述为：
[0045]
可以看到，利用锚点元素在执行界面对应元素的坐标来定位目标元素在执行界面对应元素的坐标的过程也是尺度无关的。
[0046]
本发明还提供了基于归一化向量表示的rpa元素位置关系建模系统，包括；拾取模块，用于在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；归一化模块，用于对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；执行模块，用于在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。
[0047]
基于本发明的技术方案，如图3所示流程，通过一个实际使用案例展示了本发明的实施方案，及其部分有益效果：1.如图1所示为一个rpa流程中的重复元素匹配场景的拾取界面，系统dpi=100%。目标元素为022，在拾取阶段，系统自动判断022、021、023为重复元素，因此在拾取元素022时，系统自动将元素026作为目标元素022的锚点元素。其中，目标元素022的左上、右上、左下、右下4个顶点的坐标集为d={(dx1, dy1), (dx2, dy1), (dx1, dy2), (dx2, dy2)}，锚点元素026的左上、右上、左下、右下4个顶点坐标集为a={(ax1, ay1), (ax2, ay1), (ax1. ay2), (ax2, ay2)}。
[0048]
2.根据本发明所设计的相对位置关系表示，建立锚点元素026和目标元素022之间的相对位置关系的归一化向量表示，具体为：
[0049][0050]
。
[0051]
3.如图2所示为执行界面，系统dpi=200%。在执行阶段，首先根据外观特征通过模版匹配或者深度学习模型判断所要定位的目标元素022在执行界面的几个候选元素031、032、033的位置，由于锚点元素的样式在整个界面是唯一的，因此可以先在执行界面唯一定位出锚点元素036的位置，假设锚点元素036的顶点坐标集为，目标元素的顶点坐标集为。根据本发明所构建的定位模型：，即可定位出目标元素在执行界面的对应元素为032，其中、分别表示锚点元素036右下、左上角顶点坐标。
[0052]
本发明通过将锚点元素和目标元素的相对位置关系进行归一化向量表示，大大简化了重复元素匹配中，锚点元素和目标元素相对位置关系的构建步骤；且归一化后的相对位置关系向量表示是尺度无关的，能够应对各种拾取和执行阶段系统尺度因子不一致的情况，大大提升了rpa重复元素匹配的准确性和rpa流程执行的稳定性。
[0053]
本发明的创新点如下：1.本发明创造性地提出了一种rpa元素间相对位置关系的表示方法，以元素顶点坐标相减的向量化表示代替现有的“方位+距离+角度”的表示方法，大大简化了相对位置关系构建步骤。
[0054]
2.本发明创造性地将rpa元素间相对位置关系优化成了一种尺度无关的向量化表示，通过归一化两元素顶点坐标差值，消除尺度因子对相对位置关系表示的影响，大大提升了rpa元素定位的准确性，从而大大提升了rpa流程执行的稳定性。
[0055]
以上所述仅是对本发明的优选实施例及原理进行了详细说明，对本领域的普通技术人员而言，依据本发明提供的思想，在具体实施方式上会有改变之处，而这些改变也应视为本发明的保护范围。

技术特征：
1.基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，包括如下步骤；s1，在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；s2，对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；s3，在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。2.根据权利要求1所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，所述目标元素的顶点坐标矩阵和锚点元素的顶点坐标矩阵均为n行2列。3.根据权利要求2所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，所述矩阵的行数n表示参与构建相对位置关系的顶点个数，列表示对应顶点的相对坐标差值。4.根据权利要求1所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，步骤s1中，所述建立d和a的相对位置关系并用矩阵表示，具体如下所示：；其中，、分别表示锚点元素的右下、左上顶点二维坐标。5.根据权利要求4所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，所述尺度无关的两元素相对位置关系，具体如下所示：；其中，表示目标元素在执行界面上的对应元素的顶点坐标矩阵；表示锚点元素在执行界面上的对应元素的顶点坐标矩阵；分别表示锚点元素在执行界面上对应元素的右下、左上顶点坐标。6.根据权利要求5所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，步骤s3包括如下步骤：s31，当系统尺度因子不发生变化时，公式成立，并根据锚点元素在执行界面对应元素顶点坐标推断目标元素在执行界面对应元素的顶点坐标；s32，当系统尺度因子发生变化时，设定变化程度为，则：；；；并得到执行界面相对位置关系表示为：；所述相对位置关系的表示是尺度无关的；
在执行界面利用锚点元素位置定位目标元素的过程为：在执行界面利用锚点元素位置定位目标元素的过程为：在执行界面利用锚点元素位置定位目标元素的过程为：在执行界面利用锚点元素位置定位目标元素的过程为：；其中，由下式计算得到：；最终，在执行界面利用锚点元素位置定位目标元素的过程直接描述为： 。7.根据权利要求6所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，所述系统尺度因子包括分辨率和每英寸点数dpi。8.基于归一化向量表示的rpa元素位置关系建模系统，用于实现权利要求1-7任一项所述的基于归一化向量表示的rpa元素位置关系建模方法，其特征在于，所述基于归一化向量表示的rpa元素位置关系建模系统包括；拾取模块，用于在拾取阶段，设定d为目标元素的顶点坐标矩阵，a为锚点元素的顶点坐标矩阵，建立d和a的相对位置关系并用矩阵表示；归一化模块，用于对矩阵进行尺度归一化，获得尺度无关的两元素相对位置关系；执行模块，用于在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。

技术总结
本发明涉及RPA技术领域，具体涉及基于归一化向量表示的RPA元素位置关系建模方法及系统。方法包括：S1，在拾取阶段，设定D为目标元素的顶点坐标矩阵，A为锚点元素的顶点坐标矩阵，建立D和A的相对位置关系并用矩阵θ表示；S2，对矩阵θ进行尺度归一化，获得尺度无关的两元素相对位置关系；S3，在执行阶段，根据所述尺度无关的两元素相对位置关系，在执行界面利用锚点元素位置定位目标元素。本发明具有能够简化RPA元素匹配中锚点元素和目标元素相对位置关系的构建方式，且能够解决当前构建方案对系统尺度因子敏感问题的特点。尺度因子敏感问题的特点。尺度因子敏感问题的特点。


技术研发人员：宋志龙
受保护的技术使用者：杭州实在智能科技有限公司
技术研发日：2023.03.14
技术公布日：2023/7/31