一种低代码模版自动挖掘与复用的方法及系统与流程

1.本发明涉及计算机软件信息技术领域，具体涉及一种低代码模版自动挖掘与复用的方法、系统、设备及存储介质。


背景技术：

2.目前，由于低代码模版自动挖掘与复用技术可以提高低代码开发效率，因此，被广泛应用。但在实际应用过程中，采用下述方式实现的同时也带来了诸多的问题：一、模版标注依赖人工代码模版，标注过程依赖人工分类与标签的输入，这样则需要投入一定人力，由于采用人工标注的方式导致标注结果的准确性直接影响后续的推荐效果。如果标注不够准确详细，会影响推荐的精准性。
3.二、模版推荐难以高度智能化虽然可以利用开发者使用反馈不断优化推荐算法，但要达到极高的人工智能水平，实现开发者个性化精准推荐，难度还是比较大的，部分场景下推荐结果不一定完全符合开发者需求。
4.三、兼容性问题不同的代码模版可能使用不同的技术栈与框架，这可能导致推荐系统推荐的模版无法完全兼容，需要开发者进行额外工作使其协同工作，会增加开发难度。
5.四、模版维护成本代码模版库不断增加新模版后，对模版进行管理、维护与升级也需要投入一定成本，需要平台持续跟进各技术栈与框架的变化来更新模版，这样对于平台来说也增加了一定的负担。
6.五、模版可重用性难以保证，即：并非所有的代码片段或项目都具有很强的可重用性，有些模版的适用场景比较狭窄。如果推荐给不适用场景，开发者需要额外工作修改与重构，这会增加工作量，影响开发效率。
7.综上，对于上述现有实现技术的实现方式来说，对代码模版的管理与挖掘主要通过手动标注与分类、基于源码分析挖掘模版以及基于开发者行为挖掘优质模版等方式实现，手动标注与分类:开发者手动对代码模版进行详细标注与分类，然后在标注信息的帮助下进行搜索与过滤。这需要投入大量人工成本与时间，无法实现自动化与大规模。
8.基于源码分析挖掘模版：通过分析源码之间的相似度与结构，实现自动挖掘代码模版。但是无法准确理解模版的实际场景与功能，导致推荐效果不佳。
9.基于开发者行为挖掘优质模版：通过分析开发者使用与下载行为，判断代码模版的影响力与活跃度，但是也无法判断模版的实际适用场景，推荐结果片面。
10.因此，亟需研发一种低代码模版自动挖掘与复用的方法及系统。


技术实现要素：

11.本发明为解决现有低代码模版在应用过中存在无法实现自动化与大规模、无法准确理解模版的场景与功能以及无法判断模版的实际适用场景，最终导致推荐效果差等问题，提供一种低代码模版自动挖掘与复用的方法及系统。
12.一种低代码模版自动挖掘与复用的方法，该方法由以下步骤实现：
步骤一、获取代码片段形成代码文件，将所述代码文件与低代码平台用户生成的代码模版构建低代码平台的代码模版库；步骤二、设置标注规则，采用正则表达式提取所述代码模版库的代码中的注释和元数据信息作为标签，并通过人工标注和内容矫正，生成分类训练数据；步骤三、根据步骤二获得的分类训练数据，采用基于albert和textcnn的网络进行模版内容的多标签分类训练，迭代多次后生成模版分类标注模型；步骤四、采用步骤三生成的模版分类标注模型进行规模化模版标注，实现代码模版自动分类标注；步骤五、更新所述代码模版库中的模版数量以及模版标签，并记录用户与所述代码模版之间的交互信息；步骤六、将步骤五记录的交互信息、模版标注的标签信息以及用户信息生成推荐系统的训练数据集；采用基于transformer的推荐模型进行代码模版推荐训练，迭代多次后生成所述代码模版推荐模型；步骤七、用户采用步骤六生成的代码模版推荐模型输入检索信息，通过所述代码模版推荐模型生成用户推荐列表，并使用基于listwise的排序算法更新所述用户推荐列表。
13.本发明还提供一种低代码模版自动挖掘与复用的系统，该系统包括代码抓取模块、模版标注模块、模版训练及更新模块、行为交互模块、推荐系统生成模块以及推荐列表更新模块；所述代码抓取模块，用于获取代码片段，并形成代码文件；将所述代码文件与低代码平台用户生成的代码模版构建低代码平台的代码模版库；所述模版标注模块：采用人工模版标注的方式，通过设置具体的标注规则，辅以正则表达式提取代码中的注释和元数据信息作为标签，最后通过人工标注和内容矫正，生成分类训练数据；所述模版训练及更新模块：使用基于albert和textcnn网络方法进行模版内容的多标签分类训练，迭代多次后获取模版分类标注模型；通过生成的模版分类标注模型进行规模化模版标注；并更新模版库中的模版数量以及模版标签；所述行为交互模块：记录用户与代码模版之间的交互行为，包括不限于代码模版修改、代码模版浏览、代码模版使用、代码模版打分等，生成数据文件并保存；通过用户与模版行为交互，与模版标注的标签信息和用户信息生成推荐系统的训练数据集；所述推荐系统生成模块：使用基于transformer的推荐模型进行模版推荐训练，迭代多次后生成模版推荐模型；所述推荐列表更新模块：用户向所述模版推荐模型输入检索信息，生成推荐列表，采用基于列表法的排序算法更新推荐列表。
14.本发明还提供一种电子设备，包括存储器和处理器；所述存储器，用于存储可执行指令；所述处理器，用于执行所述存储器中存储的可执行指令时，实现所述低代码模版
自动挖掘与复用的方法。
15.本发明还提供一种存储介质，存储有可执行指令，用于被处理器执行时，实现所述低代码模版自动挖掘与复用的方法。
16.本发明的有益效果：一、本发明方法中，采用深度学习模型进行自动标注代替手动分类，实现模版标注自动化，大幅降低人工成本。
17.二、本发明方法包括模版的功能、技术、适用度等信息，实现基于需求进行推荐，而不仅局限于源码或开发者行为分析。
18.三、本发明方法中，利用自动化标注技术采用深度学习算法训练标注模型，使用基于albert（a lite bert：精简的基于注意力机制的编解码模型（transformer）的双向编码预训练模型）和文本卷积网络（textcnn）的多标签文本分类技术进行代码模版标注模型训练，生成的分类标注模型的分类准确率高、推理速度块，从而实现规模化的模版分类标注，包含海量的高质量标注信息，这也是实现高质量推荐的基础。
19.四、本发明方法中，使用基于transformer注意力模型构建的推荐系统，能够动态学习不同开发者与代码模版间标注信息的行为关系，通过列表法（listwise approach）对生成的推荐模版列表进行学习优化，可根据开发者输入的场景描述与要求，快速精准地对开发者进行个性化代码模版推荐。
20.五、本发明方法中，通过在推荐模型中引入transformer注意力机制，建立开发者与场景之间的对应关系，挖掘不同开发者在应用模版时的使用偏好，进行个性化推荐。本发明使用自动化技术实现了大规模代码模版标注，并基于此实现高质量的模版推荐与重用。通过标注信息实现了对模版的深入理解与描述，远超源码或行为分析方法。个性化推荐与排序也体现了其推荐效果的提升。
21.六、本发明方法中，通过使用人工智能技术实现自动化标注，以及基于模版的深度理解与推荐，实现了更智能与高效的代码模版管理与重用方式。通过建立标注丰富的代码模版库，实现模版之间的关联与推荐，帮助开发者快速找到适用的代码模版，减少重复劳动，提高开发效率。
附图说明
22.图1为本发明所述的一种低代码模版自动挖掘与复用的方法的流程图。
23.图2为本发明所述的一种低代码模版自动挖掘与复用的系统的原理框图。
具体实施方式
24.具体实施方式一、结合图1说明本实施方式，一种低代码模版自动挖掘与复用的方法，该方法由以下步骤实现：一、代码片段抓取：通过爬虫或git配套的api接口进行代码片段及模版的抓取，抓取后的数据存在本地文件中；通过爬虫或git配套的api接口进行代码模版的抓取，抓取后的数据存储在本地文件中。本实施方式中，收集不同开发者编写的代码片段与应用模版，建立代码模版库。可以从github等开源库中抓取，也可以从低代码平台上开发者编写并发布的代码中抽取。
25.二、代码模版库：通过抓取获得的代码文件与低代码平台用户生成的代码模版共同构成低代码平台的基础代码模版库。
26.三、人工模版标注：通过设置具体的标注规则，辅以正则表达式提取代码中的注释和元数据信息作为标签，最后通过人工标注和内容矫正，生成分类训练数据。
27.四、模版标注模型训练：使用基于albert和textcnn的网络方法进行模版内容的多标签分类训练，迭代多次后获取稳定的、准确率高的模版分类标注模型。
28.五、代码模版自动分类标注：通过生成的模版分类标注模型进行规模化模版标注（即：将人工模板标注生成分类训练数据，经过模板分类标注模型训练），实现代码模版自动分类标注；对代码模版库中的模版进行标注，包括：所属场景：如移动端页面开发、web管理后台开发、桌面应用开发等；实现功能:如数据展示、表单提交、业务流程等；技术栈:如 react、vue、java 等；其它元数据:开发者、日期、评分等。
29.六、更新代码模版库：持续更新模版库中的模版数量以及模版标注的标签信息；七、用户模版行为交互：记录用户与代码模版之间的交互行为，包括不限于代码模版修改、代码模版浏览、代码模版使用、代码模版打分等，生成数据文件并保存；八、推荐系统训练数据集：通过用户模版行为交互，与模版标注的标签信息和用户信息生成推荐系统的训练数据集；九、训练推荐系统：使用基于transformer的推荐模型进行模版推荐训练，迭代多次后生成稳定、高准确率、高覆盖率的代码模版推荐模型。
30.本实施方式中，基于transformer的推荐模型是一种机器学习模型，用于推荐系统中的个性化推荐。该模型基于注意力机制进行构建，可以学习用户的历史行为和偏好，从而预测用户可能感兴趣的物品或内容，并向用户推荐相关的物品或内容。在代码模版推荐中，该模型可以通过注意力机制学习用户的代码需求和偏好，从而预测用户可能需要的代码模版，并向用户推荐相关的代码模版。因此，所述代码模版推荐模型代表了一个能够根据用户的需求和偏好，自动推荐相关代码模版的机器学习模型。十、用户检索生成推荐列表：用户输入检索信息，通过模型生成推荐列表，并使用基于listwise的排序算法持续更新推荐列表，提高推荐准确率。
31.本实施方式中，开发者在低代码平台上开发应用时，平台可以根据目前开发者编写的代码、选用的技术栈与框架等信息推荐匹配的代码模版。开发者可以选择使用推荐的模版，减少重复劳动，提高开发效率。
32.当开发者使用某个代码模版修改或补充其功能后，如果开发者允许，低代码平台可以提取开发者的增强版模版，加入到代码模版库中，不断丰富模版数量与提高模版质量，形成正反馈。
33.本实施方式中，低代码平台还可以开放代码模版库，允许开发者直接在库中查找并使用需要的模版，并对模版进行评分，提供更精准的推荐，不断优化推荐算法与机制。
34.本实施方式中，根据场景与功能为中心建立代码模版之间的关联，实现模版推荐的场景化与个性化。开发者选择某一场景或某些功能，低代码平台可以推荐包含相关场景与功能的代码模版组合，快速搭建应用原型或框架。
35.具体实施方式二、结合图2说明本实施方式，一种低代码模版自动挖掘与复用的系
统，该系统用于实现具体实施方式一所述的方法，该系统包括代码抓取模块、模版标注模块、模版训练及更新模块、行为交互模块、推荐系统生成模块以及推荐列表更新模块；所述代码抓取模块，用于获取代码片段，并形成代码文件；将所述代码文件与低代码平台用户生成的代码模版构建低代码平台的代码模版库；所述模版标注模块：采用人工模版标注的方式，通过设置具体的标注规则，辅以正则表达式提取代码中的注释和元数据信息作为标签，最后通过人工标注和内容矫正，生成分类训练数据；所述模版训练及更新模块：使用基于albert和textcnn的网络方法进行模版内容的多标签分类训练，迭代多次后获取模版分类标注模型；通过生成的模版分类标注模型进行规模化模版标注；并更新模版库中的模版数量以及模版标签；所述行为交互模块：记录用户与代码模版之间的交互行为，包括不限于代码模版修改、代码模版浏览、代码模版使用、代码模版打分等，生成数据文件并保存；通过用户与模版行为交互，与模版标注的标签信息和用户信息生成推荐系统的训练数据集；所述推荐系统生成模块：使用基于transformer的推荐模型进行模版推荐训练，迭代多次后生成代码模版推荐模型；所述推荐列表更新模块：用户向所述模版推荐模型输入检索信息，生成推荐列表，采用基于listwise的排序算法更新推荐列表，提高推荐准确率。
36.本实施方式所述的系统中，具备下述优势：1、实现自动化与大规模采用人工智能技术实现模版的自动化标注与推荐，可处理海量模版，大幅提高效率，超越人工分类与标注的限制。
37.2、标注维度更加全面与准确，考虑代码结构、注释、依赖等更加全面的标注维度，生成准确的标注内容，避免人工遗漏或误判。
38.3、个性化与定制化根据开发者的技能与场景，为其定制个性化的模版推荐，超越基于流行度与热度的推荐机制。
39.4、模版推荐不仅考虑源码相似度，而是基于模版的真实使用场景与目的进行推荐，实现更为准确的推荐效果。
40.5、持续优化算法可以根据评估反馈进行持续优化与迭代，不断提高推荐质量。而人工推荐结果一经产出即固定，难以再进行优化。
41.6、标准化与一致性遵循预定义的标准与规则，最大限度确保不同模版之间标注与推荐的一致性，减少人工习惯引入的偏差。
42.7、降低使用门槛无需专业的人工分类与标注技能，由算法自动生成标注与推荐规则，使用门槛显著降低。
43.8、持续丰富标注内容随着模版数量的增加，人工无法保证标注的及时更新，而算法可以随时解析新添加的模版，更新标注内容，保证其时效性。
44.具体实施方式三、本实施方式提供一种设备，该设备包括存储器、处理器和通信接口，该存储器、处理器和通信接口相互之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电连接。存储器可用于存储软件程序及模块，如具体实施方式二所述的系统的模块，可以
软件或固件（firmware）的形式存储于存储器中或固化在设备的操作系统（operating system，os）中，处理器通过执行存储在存储器内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口可用于与其他节点设备进行信令或数据的通信。其中，存储器可以是但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read
‑ꢀ
onlymemory，prom)，可擦除只读存储器(erasable programmable read-only memory， eprom)，电可擦除只读存储器(electric erasable programmable read-only memory， eeprom)等。处理器可以是一种集成电路芯片，具有信号处理能力。该处理器可以是通用处理器 ，包括中央处理器 ( centralprocessingunit，cpu) 、网络处理器 (networkprocessor，np)等；还可以是数字信号处理器(digital signal processing，15dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。具体实施方式四、本实施方式提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现具体实施方式一所述的方法。该计算机可读存储介质可以是，但不限于，u盘、移动硬盘、rom、ram、prom、eprom、eeprom、磁碟或者光盘等各种可以存储程序代码的介质。
45.以上只通过说明的方式描述了本发明的某些示范性实施例，毋庸置疑，对于本领域的普通技术人员，在不偏离本发明的精神和范围的情况下，可以用各种不同的方式对所描述的实施例进行修正。因此，上述附图和描述在本质上是说明性的，不应理解为对本发明权利要求保护范围的限制。

技术特征：
1.一种低代码模版自动挖掘与复用的方法，其特征在于：该方法由以下步骤实现：步骤一、获取代码片段形成代码文件，将所述代码文件与低代码平台用户生成的代码模版构建低代码平台的代码模版库；步骤二、设置标注规则，采用正则表达式提取所述代码模版库的代码中的注释和元数据信息作为标签，并通过人工标注和内容矫正，生成分类训练数据；步骤三、根据步骤二获得的分类训练数据，采用基于albert和textcnn的网络进行模版内容的多标签分类训练，迭代多次后生成模版分类标注模型；步骤四、采用步骤三生成的模版分类标注模型进行规模化模版标注，实现代码模版自动分类标注；步骤五、更新所述代码模版库中的模版数量以及模版标注的标签信息，并记录用户与所述代码模版之间的交互行为；步骤六、将步骤五记录的交互行为、模版标注的标签信息以及用户信息生成推荐系统的训练数据集；采用基于transformer的推荐模型进行代码模版推荐训练，迭代多次后生成所述代码模版推荐模型；最终实现自动挖掘与复用。2.根据权利要求1所述的一种低代码模版自动挖掘与复用的方法，其特征在于：还包括步骤七，用户采用步骤六生成的代码模版推荐模型输入检索信息，通过所述代码模版推荐模型生成用户推荐列表，并使用基于listwise的排序算法更新所述用户推荐列表。3.根据权利要求1所述的一种低代码模版自动挖掘与复用的方法，其特征在于：步骤一中，通过爬虫或git配套的api接口进行代码模版的抓取，抓取后的数据存储在本地文件中。4.根据权利要求1所述的一种低代码模版自动挖掘与复用的方法，其特征在于：步骤五中，用户与所述代码模版之间的交互行为包括代码模版修改、代码模版浏览、代码模版使用以及代码模版打分，并对交互行为生成的数据文件进行保存。5.一种低代码模版自动挖掘与复用的系统，其特征是：该系统包括代码抓取模块、模版标注模块、模版训练及更新模块、行为交互模块、推荐系统生成模块以及推荐列表更新模块；所述代码抓取模块，用于获取代码片段，并形成代码文件；将所述代码文件与低代码平台用户生成的代码模版构建低代码平台的代码模版库；所述模版标注模块：采用人工模版标注的方式，通过设置具体的标注规则，辅以正则表达式提取代码中的注释和元数据信息作为标签，最后通过人工标注和内容矫正，生成分类训练数据；所述模版训练及更新模块：使用基于albert和textcnn网络方法进行模版内容的多标签分类训练，迭代多次后获取模版分类标注模型；通过生成的模版分类标注模型进行规模化模版标注；并更新模版库中的模版数量以及模版标签；所述行为交互模块：记录用户与代码模版之间的交互行为，包括代码模版修改、代码模版浏览、代码模版使用以及代码模版打分，生成数据文件并保存；通过用户与模版行为交互，与模版标注的标签信息和用户信息生成推荐系统的训练数据集；所述推荐系统生成模块：使用基于transformer的推荐模型进行模版推荐训练，迭代多
次后生成模版推荐模型；所述推荐列表更新模块：用户向所述模版推荐模型输入检索信息，生成推荐列表，采用基于列表法的排序算法更新推荐列表。6.根据权利要求5所述的一种低代码模版自动挖掘与复用的系统，其特征在于：所述代码抓取模块收集开源库中不同开发者编写的代码片段或从低代码平台上开发者编写并发布的代码中抓取代码片段与代码模版，建立代码模版库。7.一种电子设备，其特征是：包括存储器和处理器；所述存储器，用于存储可执行指令；所述处理器，用于执行所述存储器中存储的可执行指令时，实现权利要求1至4任一项所述的方法。8.一种存储介质，其特征是：存储有可执行指令，用于被处理器执行时，实现权利要求1至4任一项所述的方法。

技术总结
一种低代码模版自动挖掘与复用的方法及系统，涉及计算机软件信息技术领域，解决现有低代码模版在应用过中存在无法实现自动化与大规模、无法准确理解模版的场景与功能以及无法判断模版的实际适用场景，最终导致推荐效果差等问题，本发明利用自动化标注技术采用深度学习算法训练标注模型，使用基于ALBERT与TextCNN的多标签文本分类技术进行代码模版标注模型训练，生成的分类标注模型的分类准确率高、推理速度块，从而实现规模化的模版分类标注，通过使用人工智能技术实现自动化标注，以及基于模版的深度理解与推荐，实现了更智能与高效的代码模版管理与重用方式。减少重复劳动，提高开发效率。提高开发效率。提高开发效率。


技术研发人员：禚浩 迟雪 邱张华 夏玮 于林平 王琳琳
受保护的技术使用者：太极计算机股份有限公司
技术研发日：2023.07.21
技术公布日：2023/8/21