一种精准确定测试范围的方法及系统与流程

1.本发明涉及金融行业非功能质量保障技术领域，尤其涉及一种精准确定测试范围的方法及系统。


背景技术：

2.金融行业既有非功能质量保障工作依赖业务需求调研文档和人工经验分析开展；敏态研发模式下，版本迭代频繁对系统性能容量及稳定性的影响性分析依赖负责人的主观判断。
3.但现有技术中非功能质量保障工作存在如下缺陷：人的经验决定需求迭代影响范围，具有局限性；需求变更频繁引起版本投产周期缩短，牵连实施周期缩短，加大了系统稳定性风险的不可控性。


技术实现要素：

4.为解决现有技术的不足，本发明提出一种精准确定测试范围的方法及系统，可基于命中率建模的自动化关联质量影响边界分析；在一种敏态研发周期下，可精准识别增量需求影响范围，从而提升系统性能容量稳定性。
5.为实现以上目的，本发明所采用的技术方案包括：
6.一种精准确定测试范围的方法，其特征在于，包括：
7.s1、在应用系统新建或重构时，创建系统非功能能力档案；
8.s2、针对应用系统的排期需求，建立非功能风险自评表；所述非功能风险自评表包括若干个大类，每个大类包括若干个小类；
9.s3、将所述非功能风险自评表中的每个小类与系统非功能能力档案中的每个资产项建立映射关系；根据应用系统的分类设置非功能能力档案的资产项受非功能风险自评表中相应小类的影响程度系数；
10.s4、基于排期需求是否需要进行非功能测试、应用系统变更情况以及非功能风险自评表，通过需求评估模型评估非功能变更的风险，得到需求评估模型量化结果以及对比量化的需求跟踪矩阵基线；
11.s5、基于对比量化的需求跟踪矩阵基线，识别当期投产排期变更的需求，通过需求评估模型对变更的需求进行拆解、贯标，拆解子项包括非功能指标变更、受影响典型业务交易变更、系统技术架构变更；
12.s6、根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果；
13.s7、结合系统非功能能力档案对需求评估模型量化结果进行二次重检，得到校对结果，若发生变化，则变更基线；若未发生变化，则通知资产库系统及devops流水线进行回归测试。
14.进一步地，所述非功能能力档案的资产项包括：应用系统的物理架构拓扑、硬件资
源配置、关键技术组件选型及版本、非功能能力设计指标、关键业务场景、关键交易清单、生产服务器资源清单以及测试结果基线。
15.进一步地，所述非功能风险自评表的自评项包括：l个大类，每个大类包括1-n个小类且每个大类中设定至少1个最典型小类o；每个大类设定基础分值k；每个小类评分设计为阶梯档次，以0、1、2、3分阶梯记录。
16.进一步地，所述步骤s4包括分步骤：
17.s41、将排期需求拆解为量化需求和非量化需求两部分，量化需求包括：非功能测试需求的数据指标、测试环境的资源配置清单；非量化需求包括：非功能风险自评表；
18.s42、将量化需求和非量化需求分别与系统非功能能力档案中的资产项建立映射关系，进行数据处理计算，将处理结果整合为与能力档案可对标的评估项；
19.针对量化需求，根据测试环境的资源配置清单和系统非功能能力档案的生产服务器资源清单计算比例系数，根据系统的线性扩容能力和生产测试环境资源差异的比例系数，对非功能测试的指标进行归一化贯标计算，评估在生产同等资源配置下的能力要求；
20.针对非量化需求，计算非功能风险自评表各个分类对应用系统非功能能力的影响值，基于分类对应用系统的影响程度系数计算系统影响度。
21.进一步地，所述步骤s6包括分步骤：移除得分为0分的对应小类；如果关键小类得分为0，则该大类基础得分值减1；根据得分对每个大类下的小类进行排序；取各排序分值最高的构成关键需求命中率趋势分析图，并对需求命中率进行建模。
22.进一步地，所述二次重检包括：系统典型非功能案例基线变化情况核验、系统历史指标基线变化情况核验以及系统当期坐标防御基线情况核验。
23.本发明还涉及一种精准确定测试范围的系统，其特征在于，包括：
24.系统非功能能力档案创建模块，用于在应用系统新建或重构时，创建系统非功能能力档案；
25.非功能风险自评表建立模块，用于针对应用系统的排期需求，建立非功能风险自评表；所述非功能风险自评表包括若干个大类，每个大类包括若干个小类；
26.映射关系建立模块，用于将所述非功能风险自评表中的每个小类与系统非功能能力档案中的每个资产项建立映射关系；根据应用系统的分类设置非功能能力档案的资产项受非功能风险自评表中相应小类的影响程度系数；
27.风险评估模块，用于基于排期需求是否需要进行非功能测试、应用系统变更情况以及非功能风险自评表，通过需求评估模型评估非功能变更的风险，得到需求评估模型量化结果以及对比量化的需求跟踪矩阵基线；
28.排期变更需求识别模块，用于基于对比量化的需求跟踪矩阵基线，识别当期投产排期变更的需求，通过需求评估模型对变更的需求进行拆解、贯标；拆解子项包括非功能指标变更、受影响典型业务交易变更、系统技术架构变更；
29.实例化建立模块，用于根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果；
30.二次重检模块，用于结合系统非功能能力档案对需求评估模型量化结果进行二次重检，得到校对结果，若发生变化，则变更基线；若未发生变化，则通知资产库系统及devops流水线进行回归测试。
31.本发明还涉及一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的精准确定测试范围的方法。
32.本发明还涉及一种电子设备，其特征在于，包括处理器和存储器；
33.所述存储器，用于存储系统非功能能力档案以及非功能风险自评表；
34.所述处理器，用于通过调用系统非功能能力档案以及非功能风险自评表，执行上述的精准确定测试范围的方法。
35.本发明还涉及一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现上述精准确定测试范围的方法的步骤。
36.本发明的有益效果为：
37.采用本发明所述一种精准确定测试范围的方法及系统，提供了一种敏态研发周期下，可精准识别增量需求影响范围，从而提升系统性能容量稳定性的分析方法；基于命中率建模的自动化关联质量影响边界分析方法；在金融行业敏态研发周期下提升非功能质量保障工艺的解决方案；通过对时序性需求跟踪矩阵进行自动分析判断，能够推演出更准确的需求影响边界计算结果。本发明所述一种精准确定测试范围的方法及系统，可帮助测试人员在开展非功能性质量保障工作前，精准识别业务需求影响范围、影响场景、典型交易等，保障了测试实施动作的有效性和必要性，最大程度降低由于人工经验局限或片面导致的测试不全面或者引入新的非功能质量风险的情况发生。
附图说明
38.图1为本发明一种精准确定测试范围的方法流程示意图。
39.图2为本发明一种精准确定测试范围的系统结构示意图。
具体实施方式
40.为了更清楚的理解本发明的内容，将结合附图和实施例详细说明。
41.本发明第一方面涉及一种精准确定测试范围的方法步骤流程如图1所示的方法，包括：
42.1、针对应用系统，在应用系统新建或重构时创建系统非功能能力档案。非功能能力档案包含应用系统的物理架构拓扑、硬件资源配置、关键技术组件选型及版本、非功能能力设计指标、关键业务场景、关键交易清单、测试结果基线等资产，在应用系统投产后，更新运行阶段的数据作为运行态资产；
43.2、针对应用系统的排期需求，建立非功能风险自评表，自评项包括；l个大类，l不能被2整除；每个大类包括1-n个小类；每个大类中设定至少1个最典型小类o；每个小类评分设计为阶梯档次，以0、1、2、3分阶梯记录；每个大类设定基础分值k。以上作为基线数据；自评表中的每个小类与系统的非功能能力档案中的资产项建立映射关系，能力档案中的相关资产项根据应用用系统的分类设置该能力受相关自评项小类的影响程度系数；
44.3、应用系统创建排期进行功能优化时，针对该排期是否需要进行非功能测试，根据应用系统变更情况和非功能风险自评表的反馈，自动评估非功能变更的风险。需求评估模型分为需求拆解、需求贯标、数值计算三个部分：
45.(1)需求拆解。将排期需求中的内容拆解为量化需求和非量化需求两部分，量化需
求包含非功能测试需求的数据指标、测试环境的资源配置清单等内容；非量化需求主要指非功能风险自评表；
46.(2)需求贯标。需求贯标模块将拆解的量化需求和非量化需求，分别与应用系统非功能能力档案中的内容建立映射关系，并调用数值计算模块进行数据处理，将处理结果整合为与能力档案可对标的评估项；
47.(3)数值计算。针对量化需求部分，根据测试环境的资源配置清单和系统档案中的生产服务器资源清单计算比例系数，根据系统的线性扩容能力和生产测试环境资源差异的比例系数，对非功能测试的指标进行归一化贯标计算，评估在生产同等资源配置下的能力要求；针对非量化需求部分根据步骤5中的计算方法，计算各个分类对应用系统非功能能力的影响值，基于该分类对该系统的影响程度系数，计算对系统的影响度，实现非量化需求转化为可量化评估需求；
48.4、对比量化的需求跟踪矩阵基线(通过第3点将需求评估量化形成)，识别当期投产排期变更的需求，通过需求评估模型对变更的需求进行拆解、贯标，拆解子项包括非功能指标变更、受影响典型业务交易变更、系统技术架构变更等；
49.5、根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果：
50.移除得分为0分的对应小类；如果关键小类得分为0，则该大类基础得分值减1；根据得分对每个大类下的小类进行排序；
51.取各排序分值最高的构成关键需求命中率趋势分析图，并对需求命中率进行建模；
52.6、结合系统性能档案，对需求评估模型量化结果进行二次重检，输出校对结果：
53.系统典型非功能案例基线变化情况核验，如发生变化则变更基线；
54.系统历史指标基线变化情况核验，如发生变化则变更基线；
55.系统当期坐标防御基线情况核验，如发生变化则变更基线。
56.7、如果没有发生变化，则通知资产库系统及devops流水线进行回归测试。
57.8、如果发生变化：
58.揭示基线变更风险；
59.通知排期负责人需要额外安排工作周期预留测试；
60.启动增量测试实施过程。
61.本发明另一方面还涉及一种精准确定测试范围的系统，其结构如图2所示，包括：
62.系统非功能能力档案创建模块，用于在应用系统新建或重构时，创建系统非功能能力档案；
63.非功能风险自评表建立模块，用于针对应用系统的排期需求，建立非功能风险自评表；所述非功能风险自评表包括若干个大类，每个大类包括若干个小类；
64.映射关系建立模块，用于将所述非功能风险自评表中的每个小类与系统非功能能力档案中的每个资产项建立映射关系；根据应用系统的分类设置非功能能力档案的资产项受非功能风险自评表中相应小类的影响程度系数；
65.风险评估模块，用于基于排期需求是否需要进行非功能测试、应用系统变更情况以及非功能风险自评表，通过需求评估模型评估非功能变更的风险，得到需求评估模型量
化结果以及对比量化的需求跟踪矩阵基线；
66.排期变更需求识别模块，用于基于对比量化的需求跟踪矩阵基线，识别当期投产排期变更的需求，通过需求评估模型对变更的需求进行拆解、贯标；拆解子项包括非功能指标变更、受影响典型业务交易变更、系统技术架构变更；
67.实例化建立模块，用于根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果；
68.二次重检模块，用于结合系统非功能能力档案对需求评估模型量化结果进行二次重检，得到校对结果，若发生变化，则变更基线；若未发生变化，则通知资产库系统及devops流水线进行回归测试。
69.通过使用该系统，能够执行上述的运算处理方法并实现对应的技术效果。
70.本发明的实施例还提供能够实现上述实施例中的方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的方法的全部步骤。
71.本发明的实施例还提供一种用于执行上述方法的电子设备，作为该方法的实现装置，所述电子设备至少具备有处理器和存储器，特别是该存储器上存储有执行方法所需的数据和相关的计算机程序，例如系统非功能能力档案以及非功能风险自评表等，并通过由处理器调用存储器中的数据、程序执行实现方法的全部步骤，并获得对应的技术效果。
72.优选的，该电子设备可以包含有总线架构，总线可以包括任意数量的互联的总线和桥，总线将包括由一个或多个处理器和存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他系统通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。
73.额外的，所述电子设备还可以进一步包括通信模块、输入单元、音频处理器、显示器、电源等部件。其所采用的处理器(或称为控制器、操作控件)可以包括微处理器或其他处理器装置和/或逻辑装置，该处理器接收输入并控制电子设备的各个部件的操作；存储器可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种，可储存上述有关的数据信息，此外还可存储执行有关信息的程序，并且处理器可执行该存储器存储的该程序，以实现信息存储或处理等；输入单元用于向处理器提供输入，例如可以为按键或触摸输入装置；电源用于向电子设备提供电力；显示器用于进行图像和文字等显示对象的显示，例如可为lcd显示器。通信模块即为经由天线发送和接收信号的发送机/接收机。通信模块(发送机/接收机)耦合到处理器，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)还经由音频处理器耦合到扬声器和麦克风，以经由扬声器提供音频输出，并接收来自麦克风的音频输入，从而实现通常的电信功能。音频处理器可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器还耦合到中央处理器，从而使得可以通过麦克风能够在本机上录音，且使得可以通过扬声器来播放本机上存储的声音。
74.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
75.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
76.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令系统的制造品，该指令系统实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
77.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
78.以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换等都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

技术特征：
1.一种精准确定测试范围的方法，其特征在于，包括：s1、在应用系统新建或重构时，创建系统非功能能力档案；s2、针对应用系统的排期需求，建立非功能风险自评表；所述非功能风险自评表包括若干个大类，每个大类包括若干个小类；s3、将所述非功能风险自评表中的每个小类与系统非功能能力档案中的每个资产项建立映射关系；根据应用系统的分类设置非功能能力档案的资产项受非功能风险自评表中相应小类的影响程度系数；s4、基于排期需求是否需要进行非功能测试、应用系统变更情况以及非功能风险自评表，通过需求评估模型评估非功能变更的风险，得到需求评估模型量化结果以及对比量化的需求跟踪矩阵基线；s5、基于对比量化的需求跟踪矩阵基线，识别当期投产排期变更的需求，通过需求评估模型对变更的需求进行拆解、贯标，拆解子项包括非功能指标变更、受影响典型业务交易变更、系统技术架构变更；s6、根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果；s7、结合系统非功能能力档案对需求评估模型量化结果进行二次重检，得到校对结果，若发生变化，则变更基线；若未发生变化，则通知资产库系统及devops流水线进行回归测试。2.如权利要求1所述的方法，其特征在于，所述非功能能力档案的资产项包括：应用系统的物理架构拓扑、硬件资源配置、关键技术组件选型及版本、非功能能力设计指标、关键业务场景、关键交易清单、生产服务器资源清单以及测试结果基线。3.如权利要求1所述的方法，其特征在于，所述非功能风险自评表的自评项包括：l个大类，每个大类包括1-n个小类且每个大类中设定至少1个最典型小类o；每个大类设定基础分值k；每个小类评分设计为阶梯档次，以0、1、2、3分阶梯记录。4.如权利要求1所述的方法，其特征在于，所述步骤s4包括分步骤：s41、将排期需求拆解为量化需求和非量化需求两部分，量化需求包括：非功能测试需求的数据指标、测试环境的资源配置清单；非量化需求包括：非功能风险自评表；s42、将量化需求和非量化需求分别与系统非功能能力档案中的资产项建立映射关系，进行数据处理计算，将处理结果整合为与能力档案可对标的评估项；针对量化需求，根据测试环境的资源配置清单和系统非功能能力档案的生产服务器资源清单计算比例系数，根据系统的线性扩容能力和生产测试环境资源差异的比例系数，对非功能测试的指标进行归一化贯标计算，评估在生产同等资源配置下的能力要求；针对非量化需求，计算非功能风险自评表各个分类对应用系统非功能能力的影响值，基于分类对应用系统的影响程度系数计算系统影响度。5.如权利要求1所述的方法，其特征在于，所述步骤s6包括分步骤：移除得分为0分的对应小类；如果关键小类得分为0，则该大类基础得分值减1；根据得分对每个大类下的小类进行排序；取各排序分值最高的构成关键需求命中率趋势分析图，并对需求命中率进行建模。6.如权利要求1所述的方法，其特征在于，所述二次重检包括：系统典型非功能案例基线变化情况核验、系统历史指标基线变化情况核验以及系统当期坐标防御基线情况核验。
7.一种精准确定测试范围的系统，其特征在于，包括：系统非功能能力档案创建模块，用于在应用系统新建或重构时，创建系统非功能能力档案；非功能风险自评表建立模块，用于针对应用系统的排期需求，建立非功能风险自评表；所述非功能风险自评表包括若干个大类，每个大类包括若干个小类；映射关系建立模块，用于将所述非功能风险自评表中的每个小类与系统非功能能力档案中的每个资产项建立映射关系；根据应用系统的分类设置非功能能力档案的资产项受非功能风险自评表中相应小类的影响程度系数；风险评估模块，用于基于排期需求是否需要进行非功能测试、应用系统变更情况以及非功能风险自评表，通过需求评估模型评估非功能变更的风险，得到需求评估模型量化结果以及对比量化的需求跟踪矩阵基线；排期变更需求识别模块，用于基于对比量化的需求跟踪矩阵基线，识别当期投产排期变更的需求，通过需求评估模型对变更的需求进行拆解、贯标；拆解子项包括非功能指标变更、受影响典型业务交易变更、系统技术架构变更；实例化建立模块，用于根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果；二次重检模块，用于结合系统非功能能力档案对需求评估模型量化结果进行二次重检，得到校对结果，若发生变化，则变更基线；若未发生变化，则通知资产库系统及devops流水线进行回归测试。8.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的精准确定测试范围的方法。9.一种电子设备，其特征在于，包括处理器和存储器；所述存储器，用于存储系统非功能能力档案以及非功能风险自评表；所述处理器，用于通过调用系统非功能能力档案以及非功能风险自评表，执行权利要求1至6中任一项所述的精准确定测试范围的方法。10.一种计算机程序产品，包括计算机程序和/或指令，其特征在于，该计算机程序和/或指令被处理器执行时实现权利要求1至6中任一项所述精准确定测试范围的方法的步骤。

技术总结
本发明涉及一种精准确定测试范围的方法及系统，针对应用系统的排期需求，建立非功能风险自评表；通过建立需求评估模型，分为需求拆解、需求贯标、数值计算；对比量化的需求跟踪矩阵基线，识别当期投产排期变更的需求；根据反馈的非功能风险自评表自评结果，建立当期非功能质量保障必要性需求评估模型实例化结果：结合系统性能档案，对需求评估模型量化结果进行二次重检，输出校对结果；本发明所述方法及系统可帮助测试人员再开展非功能性质量保障工作前，精准识别业务需求影响范围、影响场景、典型交易等，保障了测试实施动作的有效性和必要性，最大程度降低由于人工经验局限或片面导致的测试不全面或者引入新的非功能质量风险的情况发生。的情况发生。的情况发生。


技术研发人员：熊严飞 苗潇绚 刘光宇 冷炜 高蕊 龙飞
受保护的技术使用者：中信银行股份有限公司
技术研发日：2023.06.30
技术公布日：2023/10/15