容器作业的使用资源推荐方法、装置、设备及介质与流程

1.本技术涉及计算机技术、大数据技术，尤其涉及一种容器作业的使用资源推荐方法、装置、设备及介质。
背景技术：
：：2.目前，当容器作业提交到k8s平台运行的过程中(一个作业在一个pod运行)，需要设置pod对应的需求使用资源和限制使用资源，其中，需求使用资源表征了k8s调度pod的各种物理资源(如cpu、内存等)申请依据，限制使用资源表征了该pod运行过程中能使用的最大资源。3.现有技术条件下，配置人员主要依据容器作业使用的峰值或者按照调度平台设置的默认值来配置资源使用申请值和资源使用限制值。例如，实现方案：方案一，现有的调度系统一般是通过在平台层面设置默认资源值的方式，例如，一个容器作业默认request资源使用申请值为：cpu300m,memory512m，资源使用限制值：cpu1core,memory2g。方案二，利用k8s的弹性机制，如k8s的网络能力，实现pod资源的弹性伸缩，但是这种方式目前在生产环境使用较少。4.由上可知，上述现有方式无法对容器作业所需要的资源使用值进行动态调优，难以实现资源的合理利用。技术实现要素：5.本技术提供一种容器作业的使用资源推荐方法、装置、设备及介质，用以解决现有方式无法对容器作业所需要的资源使用值进行动态调优，难以实现资源的合理利用的问题，实现对容器作业所需要的资源使用值进行动态调优，实现资源的合理利用的技术效果。6.一方面，本技术提供一种容器作业的使用资源推荐方法，所述方法包括：7.获取容器作业的当前生命周期的当前资源使用值，其中，所述当前资源使用值包括：处理资源使用值和内存资源使用值；8.根据所述当前资源使用值确定所述容器作业的资源使用均值和资源使用峰值；9.根据所述资源使用均值和所述资源使用峰值，确定所述容器作业的资源推荐使用值；10.向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者第三方应用经所述服务接口调用所述资源推荐使用值。11.进一步地，所述获取容器作业的当前生命周期的当前资源使用值，包括：12.采用独立的数据采集线程，采集所述容器作业在作业运行过程中的处理资源使用值和内存资源使用值，并在所述容器作业的作业运行结束后，将所述处理资源使用值和所述内存资源使用值保存到消息队列。13.进一步地，所述根据所述当前资源使用值确定所述容器作业的资源使用均值和资源使用峰值，包括：14.获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值；15.采用移动加权平均算法，根据所述当前资源使用值、所述历史资源使用均值和历史资源使用峰值，计算得到所述容器作业当前的资源使用均值和资源使用峰值。16.进一步地，所述根据所述资源使用均值和所述资源使用峰值，确定所述容器作业的资源推荐使用值，包括：17.将所述资源使用均值和/或所述资源使用峰值，作为所述容器作业的资源推荐使用值，并将所述资源推荐使用值存储至远程字典服务数据库中。18.进一步地，所述向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者第三方应用经所述服务接口调用所述资源推荐使用值，包括：19.向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者所述第三方应用经所述服务接口从所述远程字典服务数据库调用所述资源推荐使用值。20.进一步地，将所述资源推荐使用值存储至远程字典服务数据库中，包括：21.获取所述远程字典服务数据库的哈希数据格式；22.采用所述哈希数据格式将所述资源推荐使用值存储至远程字典服务数据库中，或者采用轻量级的数据交换格式将格式处理后的资源推荐使用值存储至远程字典服务数据库中。23.另一方面，本技术提供一种容器作业的使用资源推荐装置，所述装置包括：24.获取模块，用于获取容器作业的当前生命周期的当前资源使用值，其中，所述当前资源使用值包括：处理资源使用值和内存资源使用值；25.第一确定模块，用于根据所述当前资源使用值确定所述容器作业的资源使用均值和资源使用峰值；26.第二确定模块，用于根据所述资源使用均值和所述资源使用峰值，确定所述容器作业的资源推荐使用值；27.推荐服务模块，用于向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者第三方应用经所述服务接口调用所述资源推荐使用值。28.进一步地，所述获取模块，包括：29.采集单元，用于采用独立的数据采集线程，采集所述容器作业在作业运行过程中的处理资源使用值和内存资源使用值，并在所述容器作业的作业运行结束后，将所述处理资源使用值和所述内存资源使用值保存到消息队列。30.进一步地，所述第一确定模块，包括：31.获取单元，用于获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值；32.计算单元，用于采用移动加权平均算法，根据所述当前资源使用值、所述历史资源使用均值和历史资源使用峰值，计算得到所述容器作业当前的资源使用均值和资源使用峰值。33.进一步地，所述第二确定模块，包括：34.确定单元，用于将所述资源使用均值和/或所述资源使用峰值，作为所述容器作业的资源推荐使用值，并将所述资源推荐使用值存储至远程字典服务数据库中。35.进一步地，所述推荐服务模块，包括：36.推荐服务单元，用于向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者所述第三方应用经所述服务接口从所述远程字典服务数据库调用所述资源推荐使用值。37.进一步地，所述确定单元还用于：获取所述远程字典服务数据库的哈希数据格式；采用所述哈希数据格式将所述资源推荐使用值存储至远程字典服务数据库中，或者采用轻量级的数据交换格式将格式处理后的资源推荐使用值存储至远程字典服务数据库中。38.另一方面，本技术提供一种电子设备，包括：处理器，以及与上述处理器连接的存储器；上述存储器存储计算机执行指令；上述处理器执行上述存储器存储的计算机执行指令，以实现如任一项上述的方法。39.另一方面，本技术提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机执行指令，上述计算机执行指令被处理器执行时用于实现如任一项上述的方法。40.另一方面，本技术提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任一项上述的方法。41.本技术提供的容器作业的使用资源推荐方法，通过获取容器作业的当前生命周期的当前资源使用值，其中，该当前资源使用值包括：处理资源使用值和内存资源使用值；根据当前资源使用值确定容器作业的资源使用均值和资源使用峰值；根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值；向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口调用资源推荐使用值。可以解决现有方式无法对容器作业所需要的资源使用值进行动态调优，难以实现资源的合理利用的问题，不仅调用方无需关注资源推荐使用值预测的具体过程，而且可以对容器作业所需要的资源使用值进行动态调优，实现资源的合理利用的技术效果。附图说明42.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。43.图1为本技术实施例提供的一种容器作业的使用资源推荐方法的流程示意图；44.图2为本技术实施例提供的一种可选的容器作业的使用资源推荐方法的流程示意图；45.图3为本技术实施例所提供的一种可选的容器作业的使用资源推荐方法的流程示意图；46.图4为本技术实施例提供的一种容器作业的使用资源推荐装置的结构框图；47.图5为本技术实施例提供的一种电子设备的结构示意图。48.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。具体实施方式49.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。50.首先对本技术所涉及的名词进行解释：51.作业：是调度系统的基本的配置单位，即由用户定义的完成一定工作的逻辑单元，它包括执行的程序及其参数。在任务调度中，作业(或任务)是最小的执行单位。52.容器：将应用及其运行所需要的必要的软件、配置等信息封装到一个运行时环境的技术，常见的如docker等，可以运行在容器编排管理平台中。53.kubernetes：当前开源的主流容器编排管理平台，简称k8s。54.prometheus：当前主流的开源监控方法，用于收集和聚合指标作为时间序列数据。在本发明中用于采集容器的原始指标数据，例如，pod生命周期的cpu、内存使用量。55.vpa全称verticalpodautoscaler，即垂直pod自动扩缩容，可以根据容器资源使用情况自动设置cpu和内存的资源请求值，从而允许在节点上进行适当的调度，以便为每个pod提供适当的资源。它既可以缩小过度请求资源的容器，也可以根据其使用情况随时提升资源不足的容量。56.pod：kubernetes调度的基本单元，一个pod中可以包含多个容器。57.资源使用申请值request：是指容器作业运行时使用到的如cpu、内存的资源值，例如cpu500m，内存1g等，request是k8s调度pod的依据，即系统中至少需要满足request的资源量才能进行调度。58.资源使用限制值limit：代表了容器资源使用的上限值，底层一般采用linux的cgroup等技术实现。其中，cgroup是linux下一种将进程按组管理的机制，在用户层面看，cgroup技术就是可以把系统中的所有进程组织成一颗独立的树，每颗树都包含系统所有进程，树的每个节点就是一个进程组，而每颗树又和一个或者多个subsystem关联，树的作用是对进程分组，而subsystem作用是对这些组进行操作。59.作业容器化运行：将批处理作业运行在k8s的pod中的方式，一个作业在一个pod当中运行，当作业运行完成时，对pod自动进行回收；这类作业本发明中称为容器作业。60.动态调参：根据作业容器运行的历史资源数据，按照一定的策略进行动态调整，并在下次调度过程中自动生效的过程。61.现有技术条件下，配置人员主要依据容器作业使用的峰值或者按照调度平台设置的默认值来配置资源使用申请值和资源使用限制值。例如，实现方案：方案一，现有的调度系统一般是通过在平台层面设置默认资源值的方式，例如，一个容器作业默认request资源使用申请值为：cpu300m,memory512m，资源使用限制值：cpu1core,memory2g。方案二，利用k8s的弹性机制，如k8s的网络能力，实现pod资源的弹性伸缩，但是这种方式目前在生产环境使用较少。62.现有方案一存在的缺点是，应用在资源配置时主要依据容器作业的波峰情况进行粗粒度的估算，同时还会预留一定的缓冲，容易造成资源的浪费。并且，没有利用容器作业的历史运行数据，任务调度系统缺乏资源参数的自动化、智能化的反馈机制。63.现有方案二存在的缺点是，生产上直接利用k8s的网络进行资源的动态调整，容易造成资源的波动，因此这种方式一般在生产环境使用的不多。利用k8s自身机制进行资源的动态调整，要求运维人员对k8s的机制有较深的理解，带来了较高的运维成本。一般的调度系统对不同优先级的作业需要采用不同的资源设置策略，以确保pod的服务质量等级，开启vpa的方式易影响不同作业的服务质量等级。此外，与任务调度系统缺乏必要的联动。64.本技术提供的容器作业的使用资源推荐方法，旨在解决现有技术的如上技术问题。该容器作业的使用资源推荐方法，涉及计算机技术、大数据技术，可以适用于图1所示的一种容器作业的使用资源推荐系统的架构示意图。如图1所示，该容器作业的使用资源推荐系统包括：任务调度系统、k8s平台和作业动态调参系统，其中，该任务调度系统用于将容器作业提交到k8s平台，k8s平台用于从任务调度系统中获取容器作业的资源使用指标，包含当前资源使用值和历史资源使用值，一种可选的实施例中，在容器作业的当前生命周期运行结束之后，任务调度系统触发作业动态调参系统更新资源推荐使用值。65.可选的，在作业动态调参系统中设置有资源采集模块、指标预处理模块、指标预测模块和服务模块，一种示例中，由于在创建pod时必须提供该pod对应的资源使用申请值request和资源使用限制值limit，其中，资源使用申请值request可以采用本技术实施例预测得到的资源推荐使用值表征，资源使用限制值limit代表资源使用的上限值，仍可以由用户具体个性化设置。66.一种示例中，该作业动态调参系统可以采用资源采集模块，获取容器作业的当前生命周期的当前资源使用值，例如，处理资源使用值和内存资源使用值。作业动态调参系统还可以采用指标预处理模块，对当前资源使用值进行格式处理、计算处理，以确定容器作业的资源使用均值和资源使用峰值；作业动态调参系统还可以采用指标预测模块，根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值；作业动态调参系统还可以采用服务模块，向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口调用资源推荐使用值。67.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。68.图2是本技术实施例所提供的一种容器作业的使用资源推荐方法的流程示意图，如图2所示，该方法包括：69.s101，获取容器作业的当前生命周期的当前资源使用值，其中，当前资源使用值包括：处理资源使用值和内存资源使用值。70.s102，根据当前资源使用值确定容器作业的资源使用均值和资源使用峰值。71.s103，根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值。72.s104，向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口调用资源推荐使用值。73.可选的，上述处理资源使用值即cpu资源使用值，上述cpu资源使用值＝1000*(cpu使用时间/程序运行时间)，其中，cpu使用时间可以通过cgroup目录下的/sys/fs/cgroup/cpu/cpuacct.usage表征，程序运行时间通过程序结束时间减去程序开始时间获得。74.可选的，上述内存资源使用值memoryuse＝usage–cacheinactive，其中，usage可以采用cgroup目录下的内存使用值表征/sys/fs/cgroup/memory/memory.usage_in_bytes，cacheinactive用cgroup目录下的未激活缓存(total_inactive_file)表征。75.本技术实施例中，一种可选的容器作业的当前资源使用指标(即当前生命周期的当前资源使用值)的获取方式，通过在作业运行框架中增加独立的线程，并结合容器cgroup目录下的指标，实时获取处理资源使用值和内存资源使用值，可以更加精细(如秒级)地获取容器作业在整个运行生命周期中的cpu处理资源使用值和内存资源使用值，并通过滚动更新的方式获得cpu和内存的根据资源使用均值、资源使用峰值，进而根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值，以减少存储资源的浪费。76.可选的，本技术实施例中，本发明中最终产生的资源推荐使用值可以供外部调度系统(用于负责容器类型作业的调度)或者其他的第三方应用(可以理解为有周期性调度容器场景的应用)经服务接口调用。77.如图3所示的一种可选的当前资源使用值的获取方式，可以在容器作业开始运行时，采用作业动态调参系统中的资源采集模块，启用一个新的线程作为采集线程，以采集容器作业的当前生命周期的当前资源使用值，并判断采集进程是否停止，如果是则确定该采集线程结束，如果否，则根据内存资源使用值和历史内存资源使用值(例如，当前生命周期之前一个生命周期所确定的历史内存资源使用峰值和历史内存资源使用均值)，计算得到该容器作业当前的内存资源使用峰值(最大值)和内存资源使用均值。78.此外，仍如图3所示，继续或者同时根据处理资源使用值和历史处理资源使用值(例如，之前确定的历史处理资源使用峰值和历史处理资源使用均值)，计算得到该容器作业的处理资源使用峰值(最大值)和处理资源使用均值，之后，可以在休眠1s后，再返回执行判断是否停止采集进程。79.一种示例中，本技术实施例，可以采用作业动态调参系统中的指标预处理模块，对资源采集模块获取到该容器作业的当前生命周期当前资源使用值，以及计算得到的资源使用均值和资源使用峰值进行滚动更新和保存，以获取该容器作业在最近一段时间内(例如，30天，具体天数可以灵活设置)的当前资源使用指标。80.另一种示例中，在对该当前资源使用指标进行预处理后，可以将预处理后的当前资源使用指标，保存在容器资源使用表中，该容器资源使用表的结构包括：字段名和对应的字段描述，其中，上述字段名包括：容器作业id、作业实例id、代表容器作业最近30天的容器资源使用量信息res_value，容器作业id对应的字段描述为唯一确定调度系统内的某个容器作业，作业实例id对应的字段描述为标识某个作业的某次运行实例，res_value对应的字段描述为保存该作业最近30天的当前资源使用指标数据，例如，可以以json格式保存res_values。81.此外，还存在一种可选的实施例，本技术实施例中，还可以采用作业动态调参系统中的指标预测模块，根据预处理过后的当前资源使用指标进行计算，得到容器作业的资源使用均值和资源使用峰值，以获取该容器作业的推荐资源值。cpu和内存的推荐值的计算算法如下：采用移动加权平均的算法，时间越近权重越高，如最近10天的数据权重0.5，最近11-20天数据权重0.3，最近21-30天数据权重0.2。82.并且，在计算得到容器作业的资源推荐使用值之后，以远程字典服务数据库redis的哈希数据hash结构形式,保存该资源推荐使用值。其中，key值为容器作业id(全局唯一表示一个容器作业，并且有两个字段field，分别为处理资源使用值和内存资源使用值。83.本技术实施例中，该容器作业最近一次运行周期中所需要的处理资源和内存资源的申请值request，是根据过去若干次(例如，30次)运行的实例数据计算得出，并且，距离当前时间越近的实例，对应的权重越大，距离当前时间越远的实例，对应的权重越小。例如，历史运行周期中第30次至历史运行周期中第21次的区间权重，可以设置为0.2，并且，该权重值可以根据实际情况进行设置。此外，上述30次是一种可选的经验值，同样可以进行灵活调整。84.需要说明的是，上述实施例中示例性展示了在指标预测模块中的一种可选的处理算法，本技术实施例中，还可以支持其他可以实现的不同算法，对此并不限定。85.在本技术实施例中，还可以采用作业动态调参系统中的服务模块，以接口的形式对外提供调用服务(例如，以web接口的形式对外提供调用服务)，即调度系统在调度作业的过程中动态请求服务模块获取容器作业的资源推荐使用值作为创建容器作业对应pod的资源使用申请值request，资源使用限制值limit仍然可以保持为用户个性化设置的限制使用值。86.一种示例中，由于在创建pod时必须提供该pod对应的资源使用申请值request和资源使用限制值limit，其中，资源使用申请值request可以采用本技术实施例中预测得到的资源推荐使用值表征，资源使用限制值limit代表资源使用的上限值，仍可以由用户具体个性化设置。87.本技术提供的容器作业的使用资源推荐方法，通过获取容器作业的当前生命周期的当前资源使用值，其中，该当前资源使用值包括：处理资源使用值和内存资源使用值；根据当前资源使用值确定容器作业的资源使用均值和资源使用峰值；根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值；向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口调用资源推荐使用值。可以解决现有方式无法对容器作业所需要的资源使用值进行动态调优，难以实现资源的合理利用的问题，实现对容器作业所需要的资源使用值进行动态调优，实现资源的合理利用的技术效果。88.一种可选的实施例中，获取容器作业的当前生命周期的当前资源使用值，包括：89.s201，采用独立的数据采集线程，采集容器作业在作业运行过程中的处理资源使用值和内存资源使用值，并在容器作业的作业运行结束后，将处理资源使用值和内存资源使用值保存到消息队列。90.可选的，可以通过独立线程采集容器作业运行过程中的处理资源使用值和内存资源使用值，以实现不断累计计算容器作业的资源使用均值和资源使用峰值，在容器作业本次运行结束后将处理资源使用值和内存资源使用值保存到消息队列mq；一种示例中，作业动态调参系统中的资源采集模块通过订阅上述消息队列mq，获取当前生命周期的当前资源使用值；采用指标预处理模块对资源采集模块获取到的当前资源使用值，滚动更新保存到远程字典服务数据库中的容器资源使用表。91.通过本技术实施例，可以实现在容器作业执行完成后，触发对容器作业的当前生命周期的当前资源使用值的预处理和资源推荐使用值预测，保证指标计算的性能和时效性。92.一种可选的实施例中，根据当前资源使用值确定容器作业的资源使用均值和资源使用峰值，包括：93.s301，获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值。94.s302，采用移动加权平均算法，根据当前资源使用值、历史资源使用均值和历史资源使用峰值，计算得到容器作业当前的资源使用均值和资源使用峰值。95.一种可选的实施例中，向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口调用资源推荐使用值，包括：向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口从远程字典服务数据库调用资源推荐使用值。96.一种示例中，本技术实施例，可以采用指标预测模块，从容器资源使用表中获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值，按照移动加权平均算法，根据当前资源使用值、历史资源使用均值和历史资源使用峰值，计算得到容器作业当前的资源使用均值和资源使用峰值，之后再保存到远程字典服务数据库当中。进而，可以采用服务模块，从上述远程字典服务数据库中请求得到容器作业的资源推荐使用值，以接口形式供外部的任务调度系统或者第三方应用调用，以作为资源使用申请值request。97.通过本技术实施例，可以高效处理得到容器作业的资源推荐使用值以及进行资源使用申请值request的动态调整和推荐，例如，以web接口的形式对外提供调用服务，这样只需要约定好对外服务报文接口，调用方无需关注资源推荐使用值预测的具体过程。98.一种可选的实施例中，根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值，包括：99.s401，将资源使用均值和/或资源使用峰值，作为容器作业的资源推荐使用值，并将资源推荐使用值存储至远程字典服务数据库中。100.一种可选的实施例中，将资源推荐使用值存储至远程字典服务数据库中，包括：101.s501，获取远程字典服务数据库的哈希数据格式。102.s502，采用哈希数据格式将资源推荐使用值存储至远程字典服务数据库中，或者采用轻量级的数据交换格式将格式处理后的资源推荐使用值存储至远程字典服务数据库中。103.本技术实施例中，具体可以采用json数据形式或者以redishash数据形式，在远程字典服务数据库中保存预处理过后的资源推荐使用值，避免损耗性能的聚合排序计算，并且便于外部调度系统或者第三方应用经服务接口从远程字典服务数据库调用资源推荐使用值，以作为外部调度系统或者第三方应用的资源使用申请值request。104.通过上述实施例，不仅可以实现对容器作业所需要的资源使用值进行动态调优，实现资源的合理利用，而且，外部调度系统或者第三方应用作为调用方，只需要根据预先确定的对外服务报文接口调用资源推荐使用值作为资源使用申请值request，调用方无需关注资源推荐使用值预测的具体过程。105.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。106.根据本技术的一个或多个实施例，提供了一种容器作业的使用资源推荐装置，图4为本技术实施例提供的一种容器作业的使用资源推荐装置的结构框图，如图4所示，上述装置包括：107.获取模块401，用于获取容器作业的当前生命周期的当前资源使用值，其中，上述当前资源使用值包括：处理资源使用值和内存资源使用值；108.第一确定模块402，用于根据上述当前资源使用值确定上述容器作业的资源使用均值和资源使用峰值。109.第二确定模块403，用于根据上述资源使用均值和上述资源使用峰值，确定上述容器作业的资源推荐使用值。110.推荐服务模块404，用于向外部调度系统或者第三方应用提供服务接口，以使得上述外部调度系统或者第三方应用经上述服务接口调用上述资源推荐使用值。111.根据本技术的一个或多个实施例，上述获取模块，包括：112.采集单元，用于采用独立的数据采集线程，采集上述容器作业在作业运行过程中的处理资源使用值和内存资源使用值，并在上述容器作业的作业运行结束后，将上述处理资源使用值和上述内存资源使用值保存到消息队列。113.根据本技术的一个或多个实施例，上述第一确定模块，包括：114.获取单元，用于获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值。115.计算单元，用于采用移动加权平均算法，根据上述当前资源使用值、上述历史资源使用均值和历史资源使用峰值，计算得到上述容器作业当前的资源使用均值和资源使用峰值。116.根据本技术的一个或多个实施例，上述第二确定模块，包括：117.确定单元，用于将上述资源使用均值和/或上述资源使用峰值，作为上述容器作业的资源推荐使用值，并将上述资源推荐使用值存储至远程字典服务数据库中。118.根据本技术的一个或多个实施例，上述推荐服务模块，包括：119.推荐服务单元，用于向外部调度系统或者第三方应用提供服务接口，以使得上述外部调度系统或者上述第三方应用经上述服务接口从上述远程字典服务数据库调用上述资源推荐使用值。120.根据本技术的一个或多个实施例，上述确定单元还用于：获取上述远程字典服务数据库的哈希数据格式；采用上述哈希数据格式将上述资源推荐使用值存储至远程字典服务数据库中，或者采用轻量级的数据交换格式将格式处理后的资源推荐使用值存储至远程字典服务数据库中。121.在示例性实施例中，本技术实施例还提供了一种电子设备，包括：处理器，以及与上述处理器连接的存储器；122.上述存储器存储计算机执行指令；123.上述处理器执行上述存储器存储的计算机执行指令，以实现如任一项上述的方法。124.在示例性实施例中，本技术实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机执行指令，上述计算机执行指令被处理器执行时用于实现如任一项上述的方法。125.在示例性实施例中，本技术实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现任一项上述的方法。126.为了实现上述实施例，本技术实施例还提供了一种电子设备。参考图5，其示出了适于用来实现本技术实施例的电子设备700的结构示意图，该电子设备700可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、消息收发设备，游戏控制台，医疗设备，健身设备，个人数字助理(personaldigitalassistant，简称pda)、平板电脑(portableandroiddevice，简称pad)、便携式多媒体播放器(portablemediaplayer，简称pmp)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。127.如图5所示，电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701，其可以根据存储在只读存储器(readonlymemory，简称rom)702中的程序或者从存储装置708加载到随机访问存储器(randomaccessmemory，简称ram)703中的程序而执行各种适当的动作和处理。在ram703中，还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。128.通常，以下装置可以连接至i/o接口705：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706；包括例如液晶显示器(liquidcrystaldisplay，简称lcd)、扬声器、振动器等的输出装置707；包括例如磁带、硬盘等的存储装置708；以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备700，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。129.特别地，根据本技术的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置709从网络上被下载和安装，或者从存储装置708被安装，或者从rom702被安装。在该计算机程序被处理装置701执行时，执行本技术实施例的方法中限定的上述功能。130.需要说明的是，本技术上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置或者器件使用或者与其结合使用。而在本技术中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。131.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。132.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。133.可以以一种或多种程序设计语言或其组合来编写用于执行本技术的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(localareanetwork，简称lan)或广域网(wideareanetwork，简称wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。134.附图中的流程图和框图，图示了按照本技术各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。135.描述于本技术实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定，例如，第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。136.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。137.在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行装置或设备使用或与指令执行装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。138.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。139.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。当前第1页12当前第1页12
技术特征：
1.一种容器作业的使用资源推荐方法，其特征在于，所述方法包括：获取容器作业的当前生命周期的当前资源使用值，其中，所述当前资源使用值包括：处理资源使用值和内存资源使用值；根据所述当前资源使用值确定所述容器作业的资源使用均值和资源使用峰值；根据所述资源使用均值和所述资源使用峰值，确定所述容器作业的资源推荐使用值；向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者第三方应用经所述服务接口调用所述资源推荐使用值。2.根据权利要求1所述的方法，其特征在于，所述获取容器作业的当前生命周期的当前资源使用值，包括：采用独立的数据采集线程，采集所述容器作业在作业运行过程中的处理资源使用值和内存资源使用值，并在所述容器作业的作业运行结束后，将所述处理资源使用值和所述内存资源使用值保存到消息队列。3.根据权利要求1所述的方法，其特征在于，所述根据所述当前资源使用值确定所述容器作业的资源使用均值和资源使用峰值，包括：获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值；采用移动加权平均算法，根据所述当前资源使用值、所述历史资源使用均值和历史资源使用峰值，计算得到所述容器作业当前的资源使用均值和资源使用峰值。4.根据权利要求1所述的方法，其特征在于，所述根据所述资源使用均值和所述资源使用峰值，确定所述容器作业的资源推荐使用值，包括：将所述资源使用均值和/或所述资源使用峰值，作为所述容器作业的资源推荐使用值，并将所述资源推荐使用值存储至远程字典服务数据库中。5.根据权利要求4所述的方法，其特征在于，所述向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者第三方应用经所述服务接口调用所述资源推荐使用值，包括：向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者所述第三方应用经所述服务接口从所述远程字典服务数据库调用所述资源推荐使用值。6.根据权利要求4所述的方法，其特征在于，将所述资源推荐使用值存储至远程字典服务数据库中，包括：获取所述远程字典服务数据库的哈希数据格式；采用所述哈希数据格式将所述资源推荐使用值存储至远程字典服务数据库中，或者采用轻量级的数据交换格式将格式处理后的资源推荐使用值存储至远程字典服务数据库中。7.一种容器作业的使用资源推荐装置，其特征在于，所述装置包括：获取模块，用于获取容器作业的当前生命周期的当前资源使用值，其中，所述当前资源使用值包括：处理资源使用值和内存资源使用值；第一确定模块，用于根据所述当前资源使用值确定所述容器作业的资源使用均值和资源使用峰值；第二确定模块，用于根据所述资源使用均值和所述资源使用峰值，确定所述容器作业的资源推荐使用值；推荐服务模块，用于向外部调度系统或者第三方应用提供服务接口，以使得所述外部
调度系统或者第三方应用经所述服务接口调用所述资源推荐使用值。8.根据权利要求7所述的装置，其特征在于，所述获取模块，包括：采集单元，用于采用独立的数据采集线程，采集所述容器作业在作业运行过程中的处理资源使用值和内存资源使用值，并在所述容器作业的作业运行结束后，将所述处理资源使用值和所述内存资源使用值保存到消息队列。9.根据权利要求7所述的装置，其特征在于，所述第一确定模块，包括：获取单元，用于获取容器作业的历史生命周期的历史资源使用均值和历史资源使用峰值；计算单元，用于采用移动加权平均算法，根据所述当前资源使用值、所述历史资源使用均值和历史资源使用峰值，计算得到所述容器作业当前的资源使用均值和资源使用峰值。10.根据权利要求7所述的装置，其特征在于，所述第二确定模块，包括：确定单元，用于将所述资源使用均值和/或所述资源使用峰值，作为所述容器作业的资源推荐使用值，并将所述资源推荐使用值存储至远程字典服务数据库中。11.根据权利要求10所述的装置，其特征在于，所述推荐服务模块，包括：推荐服务单元，用于向外部调度系统或者第三方应用提供服务接口，以使得所述外部调度系统或者所述第三方应用经所述服务接口从所述远程字典服务数据库调用所述资源推荐使用值。12.根据权利要求10所述的装置，其特征在于，所述确定单元还用于：获取所述远程字典服务数据库的哈希数据格式；采用所述哈希数据格式将所述资源推荐使用值存储至远程字典服务数据库中，或者采用轻量级的数据交换格式将格式处理后的资源推荐使用值存储至远程字典服务数据库中。13.一种电子设备，其特征在于，包括：处理器，以及与所述处理器连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至6中任一项所述的方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6中任一项所述的方法。15.一种计算机程序产品，其特征在于，包括计算机程序，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法。

技术总结
本申请提供一种容器作业的使用资源推荐方法、装置、设备及介质。涉及计算机技术、大数据技术，该方法包括：获取容器作业的当前生命周期的当前资源使用值，其中，当前资源使用值包括：处理资源使用值和内存资源使用值；根据当前资源使用值确定容器作业的资源使用均值和资源使用峰值；根据资源使用均值和资源使用峰值，确定容器作业的资源推荐使用值；向外部调度系统或者第三方应用提供服务接口，以使得外部调度系统或者第三方应用经服务接口调用资源推荐使用值。以解决现有方式无法对容器作业所需要的资源使用值进行动态调优，实现资源的合理利用的技术效果。的合理利用的技术效果。的合理利用的技术效果。


技术研发人员：赖海滨 翁世清 赵世辉 苏超然 陈文柏
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2023.03.24
技术公布日：2023/8/1