管理装置、预测方法和预测程序与流程

1.本发明涉及一种管理装置、预测方法和预测程序。


背景技术：

2.近年，在基板制造工艺的领域中，正朝向智慧工厂的实现进行各种努力。具体而言，由管理装置收集基板制造工艺中测得的各种数据(物理空间(physical space)中的数据)并在网络空间(cyber space)重现物理空间的数字孪生(digital twins)技术的开发持续发展。
3.此时，在重现物理空间时，例如，寻求由重现执行基板制造工艺的各基板处理装置内的控制对象(物理空间)的模型(网络空间)高精度地预测控制对象中处理值的变化。此外，寻求构筑一种有效利用通过模型预测出的处理值的结构。
4.专利文献1：国际公开第2020/050072号
5.专利文献2：日本特表第2020-518079号公报
6.专利文献3：日本特开第2018-092511号公报


技术实现要素：

7.《本发明要解决的问题》
8.本发明提供一种预测控制对象中处理值的变化并利用预测结果的结构。
9.《用于解决问题的手段》
10.根据本发明的一方面的管理装置，例如具有如下构成。亦即，包括：
11.预测模型部，学习了控制对象中时刻t时的多变量控制值与该控制对象中时刻t+δt时的多变量处理值的输入输出关系；以及
12.优化模型部，探索用于将由所述预测模型部输出的时刻t+δt时的多变量处理值与对应的目标值之间的各差值最小化的时刻t时的多变量控制值，并利用所探索出的该多变量控制值控制所述控制对象，
13.其中，在存在来自管理所述预测模型部的代理部的请求时，所述预测模型部对在以指定的控制值控制所述控制对象的情况下的所述控制对象中时刻δt后的多变量处理值进行预测，并输出至所述代理部。
14.《发明的效果》
15.根据本发明，能够提供一种对控制对象中处理值的变化进行预测并利用预测结果的结构。
附图说明
16.图1是表示具备执行基板制造工艺的多个基板处理装置的网络物理系统(cyber physical system)的系统配置的一例的图。
17.图2是表示管理装置的硬件配置的一例的图。
18.图3是表示控制阶段中的网络物理系统的功能配置的一例的图。
19.图4是表示控制处理的流程的流程图的一例。
20.图5是表示模拟阶段中的网络物理系统的功能配置的一例的图。
21.图6是表示模拟处理的流程的流程图的一例。
22.图7是表示学习阶段中的网络物理系统的功能配置的一例的第一图。
23.图8是表示第一学习处理的流程的流程图的一例。
24.图9是表示学习阶段中的网络物理系统的功能配置的一例的第二图。
25.图10是表示第二学习处理的流程的流程图的一例。
具体实施方式
26.以下，参照附图对各实施方式进行说明。此外，在本说明书及附图中，对于具有实质上相同的功能配置的构成要件标示相同符号，并省略重复的说明。
27.(第一实施方式)
28.＜网络物理系统的系统配置＞
29.首先，说明具备执行基板制造工艺的多个基板处理装置的网络物理系统的系统配置。图1是表示具备执行基板制造工艺的多个基板处理装置的网络物理系统的系统配置的一例的图。
30.如图1所示，网络物理系统100具有服务器装置110_1～110_3、管理装置120_1～120_n、基板处理装置130_1～130_n以及管理员终端140。
31.在网络物理系统100中，服务器装置110_1～110_3、管理装置120_1～120_n与管理员终端140经由网络150连接而能够进行通信。
32.服务器装置110_1～110_3是统管整个网络物理系统100的装置。服务器装置110_1～110_3例如进行各基板处理装置130_1～130_n所执行的基板制造工艺的制造管理、数据管理、装置管理、以及各管理装置120_1～120_n在网络空间所使用的模型的管理等。
33.管理装置120_1～120_n分别与基板处理装置130_1～130_n连接，构成管理系统。
34.此外，管理装置120_1～120_n具有重现其对应的基板处理装置130_1～130_n内的各控制对象的各种模型，形成网络空间。管理装置120_1～120_n利用通过该各种模型计算出的控制值来执行各控制对象的控制处理。
35.具体而言，管理装置120_1～120_n中，计算出将由该各种模型预测出的处理值与目标值的差值最小化的控制值，来对控制对象进行控制。亦即，管理装置120_1～120_n能够在预测处理值的变化后对控制对象进行控制。
36.再者，管理装置120_1～120_n通过收集在基板处理装置130_1～130_n获取的物理空间中的数据，
37.·
掌握基板处理裝置130_1～130_n的状态，
38.·
检测基板处理裝置130_1～130_n中发生的事态等，
39.并适当地应对在物理空间中发生的各种事态。
40.此外，管理装置120_1～120_n在应对物理空间中发生的各种事态时，在网络空间利用上述各种模型执行模拟处理。由此，管理装置120_1～120_n中，例如，能够预测出：若在时刻t使控制值变化，控制对象(物理空间)中的处理值在时刻δt后会如何变化。
41.亦即，管理装置120_1～120_n能够在掌握时刻δt后的控制对象(物理空间)中的处理值的变化后应对事态。
42.基板处理装置130_1～130_n是执行基板制造工艺的装置，构成物理空间。于基板处理装置130_1～130_n，例如包括执行成膜处理的装置、执行微影处理的装置、执行蚀刻处理的装置、执行洗净处理的装置等。
43.基板处理装置130_1～130_n具有多个控制对象，对于各控制对象，是基于通过管理装置120_1～120_n计算出的控制值进行控制。此外，基板处理装置130_1～130_n是将在基板制造工艺的执行中获取的物理空间中的数据发送至管理装置120_1～120_n。
44.管理员终端140是由管理网络物理系统100的管理员操作的终端。管理员终端140例如生成在管理装置120_1～120_n利用的各种模型。具体而言，首先，管理员终端140获取由管理装置120_1～120_n收集的物理空间中的数据之中的控制对象中的实测处理值和实测控制值，并生成学习用数据。然后，管理员终端140利用所生成的学习用数据进行学习处理，从而生成各种模型。
45.需说明的是，图1所示的网络物理系统100中表示的是管理装置120_1～120_n与基板处理装置130_1～130_n分开构成的情况。然而，管理装置120_1～120_n与基板处理装置130_1～130_n也可构成为一体。
46.＜管理装置和管理员终端的硬件配置＞
47.接下来，说明管理装置120_1～120_n和管理员终端140的硬件配置。需说明的是，管理装置120_1～120_n和管理员终端140均具有相同的硬件配置，因而在此对管理装置120_1～120_n利用图2统一说明。图2是表示管理装置的硬件配置的一例的图。
48.如图2所示，管理装置120_1～120_n具有处理器201、存储器202、辅助存储装置203、i/f(interface，接口)装置204、通信装置205以及驱动装置206。需说明的是，管理装置120_1～120_n的各硬件经由总线207互相连接。
49.处理器201具有cpu(central processing unit，中央处理单元)、gpu(graphics processing unit，图形处理单元)等各种运算装置。处理器201在存储器202上读取各种程序(例如，下述的预测程序等)并执行。
50.存储器202具有rom(read only memory，只读存储器)、ram(random access memory，随机存取存储器)等主存储装置。处理器201与存储器202形成通常所说的计算机，该计算机通过使处理器201执行在存储器202上读取出的各种程序来实现各种功能。
51.辅助存储装置203储存各种程序、以及通过处理器201执行各种程序时所使用的各种数据。
52.i/f装置204是将外部装置的一例即基板处理装置130_1～130_n与管理装置120_1～120_n连接的连接装置。
53.通信装置205是用以经由网络150而与其他装置(本实施方式中为服务器装置110_1～110_3、其他管理装置、管理员终端140等)进行通信的通信装置。
54.驱动装置206是用以设置记录介质210的装置。此处所说的记录介质210包括如cd-rom、软性磁盘、磁光盘等以光学、电性或磁性方式记录信息的介质。此外，记录介质210也可包括如rom、闪存等以电性方式记录信息的半导体存储器等。
55.需说明的是，安装至辅助存储装置203的各种程序例如通过将分发的记录介质210
设置于驱动装置206，并由驱动装置206读取记录于该记录介质210中的各种程序，来进行安装。或者，安装至辅助存储装置203的各种程序也可以是经由通信装置205从网络下载来安装。
56.＜网络物理系统的功能配置及各种处理＞
57.接下来，对网络物理系统100的功能配置及在网络物理系统100中执行的各种处理的细节进行说明。如上所述，网络物理系统100中，在以下各阶段，分别使不同的功能进行动作：
58.·
控制阶段，其中，管理装置120_1～120_n利用用于重现控制对象的各种模型进行控制对象的控制处理，
59.·
模拟阶段，其中，管理装置120_1～120_n掌握基板处理装置的状态，并在检测出事态时，利用用于重现控制对象的各种模型进行模拟处理，以应对该事态，
60.·
学习阶段，其中，管理员终端140利用控制对象中的实测处理值、实测控制值等生成学习用数据，并利用生成的学习用数据进行学习处理，从而生成各种模型。
61.以下，将网络物理系统100的功能配置及各种处理的细节，分为各阶段进行说明。
62.(1)控制阶段
63.(1-1)功能配置
64.首先，说明控制阶段中的网络物理系统100的功能配置。图3是表示控制阶段中的网络物理系统的功能配置的一例的图。
65.如上所述，在管理装置120_1～120_n分别安装预测程序。并且，通过使管理装置120_1～120_n执行该各预测程序，在控制阶段中的网络空间310，在每个管理装置中实现代理部320和模型预测控制部330。
66.在控制阶段中，代理部320对模型预测控制部330设定多变量的目标值。此处所说的目标值，是指模型预测控制部330在执行基板处理装置130_1～130_n内的控制对象(物理空间340)的控制处理时所使用的目标值。需说明的是，图3的例子表示控制对象(物理空间340)具有传感器341_1～341_n和致动器342_1～342_m。
67.如图3所示，对于具有传感器341_1～341_n和致动器342_1～342_m的控制对象，为使多变量(n个)实测处理值与对应的多变量(n个)目标值一致，控制多个(m个)致动器的动作。因此，由代理部320对模型预测控制部330设定多变量(n个)目标值。
68.模型预测控制部330具有预测模型部331、目标函数部332、优化模型部333、以及验证部334。
69.预测模型部331是将控制对象(物理空间340)的行为模型化而成的模型，是学习了控制对象的时刻t时的多变量实测控制值与控制对象中的时刻t+δt时的多变量实测处理值的输入输出关系的模型。
70.目标函数部332计算出由预测模型部331输出的时刻t+δt时的多变量预测处理值与由代理部320设定的多变量目标值之间的各差值，并通知优化模型部333。
71.优化模型部333探索将由目标函数部332通知的各差值最小化的时刻t时的多变量控制值。此外，优化模型部333将探索出的多变量控制值输入至预测模型部331，并再次获取由预测模型部331输出的时刻t+δt时的多变量预测处理值与多变量目标值之间的各差值。优化模型部333中，通过反复进行这些处理将各差值最小化，并计算出时刻t时的最佳多变
量控制值。
72.此外，优化模型部333将时刻t时的最佳多变量控制值发送至控制对象(物理空间340)的致动器342_1～342_m(实际上为发送至对应的基板处理装置，再从该处通知各致动器)。
73.由此，优化模型部333能够在预测多变量预测处理值后，对控制对象(物理空间340)进行控制。
74.验证部334从优化模型部333获取最佳多变量控制值。此外，响应于最佳多变量控制值向控制对象(物理空间340)的致动器342_1～342_m的发送，验证部334从物理空间340获取多变量实测处理值。
75.进而，验证部334基于最佳多变量控制值和所获取的多变量实测处理值，判定控制值是否合适，并且验证预测模型部331的预测精度，根据需要调整预测模型部331的模型参数。由此，验证部334能够使预测模型部331的行为与物理空间340中的控制对象的行为一致(亦即，能够使预测处理值与实测处理值一致)。
76.另一方面，在基板处理装置130_1～130_n所构成的物理空间340中，包含多个控制对象。图3的例子表示其中一个具有传感器341_1～341_n和致动器342_1～342_m的控制对象。
77.传感器341_1～341_n测量流量信息、压力信息等处理值。通过传感器341_1～341_n测得的流量信息、压力信息等作为实测处理值被提供至网络空间310。
78.致动器342_1～342_m基于来自网络空间310的指示进行动作。图3的例子表示致动器342_1～342_m分别基于由模型预测控制部330计算出的最佳多变量控制值进行动作。
79.(1-2)控制处理
80.接下来，说明在控制阶段中网络物理系统100所执行的控制处理的流程。图4是表示控制处理的流程的流程图的一例。
81.在步骤s401中，模型预测控制部330判定是否已由代理部320设定新的多变量目标值。
82.在步骤s401中，判定为尚未设定新的多变量目标值时(在步骤s401中为“否”的情况)，前进至步骤s404。
83.另一方面，在步骤s401中，判定为已设定新的多变量目标值时(在步骤s401中为“是”的情况)，前进至步骤s402。
84.在步骤s402中，模型预测控制部330探索时刻t时的最佳多变量控制值，以从预测模型部331输出用于将与新的多变量目标值的各差值最小化的时刻t+δt时的多变量预测处理值。
85.在步骤s403中，模型预测控制部330将通过探索得出的时刻t时的最佳多变量控制值，发送至控制对象(物理空间340)的致动器342_1～342_m。
86.在步骤s404中，模型预测控制部330响应于时刻t时的最佳多变量控制值的发送，获取从物理空间340提供的时刻t+δt时的多变量实测处理值。
87.在步骤s405中，模型预测控制部330基于时刻t时的最佳多变量控制值与获取到的时刻t+δt时的多变量实测处理值，判定时刻t时的控制值是否合适，并且验证预测模型部331的预测精度。
88.在步骤s406中，模型预测控制部330判定是否需要进行预测模型部331的模型参数的调整。
89.在步骤s406中，判定为无需进行模型参数的调整时(在步骤s406中为“否”的情况)，前进至步骤s408。
90.另一方面，在步骤s406中，判定为需要进行模型参数的调整时(在步骤s406中为“是”的情况)，前进至步骤s407。
91.在步骤s407中，模型预测控制部330调整预测模型部331的模型参数。
92.在步骤s408中，模型预测控制部330判定是否结束控制处理。
93.在步骤s408中判定为不结束控制处理时(在步骤s408中为“否”的情况)，返回至步骤s401。
94.另一方面，在步骤s409中判定为结束控制处理时(在步骤s408中为“是”的情况)，结束控制处理。
95.(2)模拟阶段
96.(2-1)功能配置
97.接下来，说明模拟阶段中的网络物理系统100的功能配置。图5是表示模拟阶段中的网络物理系统的功能配置的一例的图。
98.其与已利用图3说明的控制阶段中的网络物理系统100的功能配置的不同之处在于代理部320的功能以及物理空间340的构成。
99.在模拟阶段中，代理部320通过收集物理空间中的数据(除实测处理值之外的任意数据，如粒子信息、维修信息、装置构成信息、操作信息等)，
100.·
掌握基板处理裝置130_1～130_n的状态，
101.·
检测基板处理裝置130_1～130_n中发生的事态，
102.诸如此类，并适当地应对在物理空间340中发生的各种事态。需说明的是，图5所示的物理空间中的数据仅为一例，例如也可以代替粒子信息(或者在粒子信息之外)包含对基板的处理状态测量出的信息。此外，图5的例子中，将用以测量粒子信息的机器设为装置外测量机，但用以测量粒子信息的机器不限于装置外测量机，也可以是设置于基板处理装置130_1～130_n内的装置内测量机。例如，也可以是隔着设于基板处理装置130_1～130_n的壁面上的窗测量基板处理装置130_1～130_n内部的状态的机器。此外，用以测量粒子信息的机器也可以是观察处理对象的基板上的状态的机器，还可以是获取对处理对象的基板进行处理的处理空间的状态的机器。
103.这里，假设代理部320在应对事态时，判断为需要变更发送至控制对象(物理空间340)的控制值。此时，代理部320对模型预测控制部330进行要求，并使其通过执行模拟处理来预测“在变更了发送至控制对象的控制值的情况下，时刻δt后的控制对象(物理空间340)中的实测处理值会如何变化”。
104.图5的例子表示代理部320要求模型预测控制部330预测“在时刻t变更了多变量控制值的情况下”的时刻t+δt时的预测处理值的状态。具体而言，代理部320将变更后的时刻t时的多变量控制值输入至预测模型部331。
105.由此，代理部320可从模型预测控制部330获取时刻t+δt时的预测处理值。其结果是，代理部320能够在掌握“在时刻t变更控制值的情况下的时刻δt后的控制对象(物理空
间340)中的处理值”的变化后应对事态。
106.(2-2)模拟处理
107.接下来，说明在模拟阶段中网络物理系统100所执行的模拟处理的流程。图6是表示模拟处理的流程的流程图的一例。
108.在步骤s601中，模型预测控制部330判定是否已输入由代理部320指定的变更后的多变量控制值。
109.在步骤s601中，判定为尚未输入指定的变更后的多变量控制值时(在步骤s601中为“否”的情况)，前进至步骤s604。
110.另一方面，在步骤s601中，判定为已输入指定的变更后的多变量控制值时(在步骤s601中为“是”的情况)，前进至步骤s602。
111.在步骤s602中，模型预测控制部330预测时刻δt后的预测处理值。
112.在步骤s603中，模型预测控制部330将时刻δt后的预测处理值输出至代理部320。
113.在步骤s604中，模型预测控制部330判定是否结束模拟处理。在步骤s604中判定为不结束模拟处理时(在步骤s604中为“否”的情况)，返回至步骤s601。
114.另一方面，在步骤s604中，判定为结束模拟处理的情况(在步骤s604中为“是”的情况)，结束模拟处理。
115.(3)学习阶段(预测模型部)
116.(3-1)功能配置
117.接下来，说明对预测模型部进行学习处理的学习阶段中的网络物理系统100的功能配置。图7是表示学习阶段中的网络物理系统的功能配置的一例的第一图。
118.在管理员终端140安装有第一学习程序，通过执行该第一学习程序，管理员终端140作为第一学习部720发挥功能。
119.第一学习部720将第一学习用数据积蓄于第一学习用数据积蓄部723。具体而言，第一学习部720经由管理装置120_1～120_n(图7中未图示)获取从物理空间340提供的时刻t时的多变量实测控制值和时刻t+δt时的多变量实测处理值。
120.图7的例子表示在物理空间340中基板处理装置130_1～130_n具有控制对象(传感器341_1～341_n、致动器342_1～342_m)以及对该控制对象进行控制的控制器730。
121.控制器730控制致动器342_1～342_m，以使传感器341_1～341_n所测得的多变量实测处理值接近由控制器730设定的多变量目标值。
122.第一学习部720将此时的时刻t时的多变量实测控制值与时刻t+δt时的多变量实测处理值进行关联并获取，从而生成第一学习用数据，并积蓄于第一学习用数据积蓄部723。
123.此外，第一学习部720具有预测模型部721和比较/变更部722，并对预测模型部721进行学习处理。
124.具体而言，第一学习部720从第一学习用数据积蓄部723读取第一学习用数据，并将时刻t时的多变量实测控制值输入至预测模型部721。由此，预测模型部721输出时刻t+δt时的多变量预测处理值。
125.此外，第一学习部720将时刻t+δt时的多变量实测处理值作为正解数据，输入至比较/变更部722。由此，比较/变更部722计算出时刻t+δt时的多变量预测处理值与时刻t+
δt时的多变量实测处理值之间的各误差，并使计算出的各误差反向传播，从而更新预测模型部721的模型参数。由此，第一学习部720能够学习控制对象中的时刻t时的多变量实测控制值与控制对象中的时刻t+δt时的多变量实测处理值的输入输出关系，并能够生成完成学习的预测模型部331。
126.(3-2)第一学习处理
127.接下来，说明在学习阶段中网络物理系统100所执行的第一学习处理的流程。图8是表示第一学习处理的流程的流程图的一例。
128.在步骤s801中，物理空间340中，基板处理装置130_1～130_n内的控制器730开始控制对象的控制处理。
129.在步骤s802中，管理员终端140的第一学习部720获取从物理空间340提供的时刻t时的多变量实测控制值。
130.在步骤s803中，管理员终端140的第一学习部720获取从物理空间340提供的时刻t+δt时的多变量实测处理值。
131.在步骤s804中，管理员终端140的第一学习部720将获取的时刻t时的多变量实测控制值与时刻t+δt时的多变量实测处理值进行关联，并生成第一学习用数据。
132.在步骤s805中，管理员终端140的第一学习部720利用所生成的第一学习用数据，对预测模型部721进行学习处理。
133.在步骤s806中，管理员终端140的第一学习部720判定对预测模型部721进行的学习处理是否已完成。在步骤s806中判定为尚未完成学习处理时(在步骤s806中为“否”的情况)，返回至步骤s802。
134.另一方面，在步骤s806中判定已完成学习处理时(在步骤s806中为“是”的情况)，前进至步骤s807。
135.在步骤s807中，管理员终端140的第一学习部720输出完成学习的预测模型部。
136.(4)学习阶段(优化模型部)
137.(4-1)功能配置
138.接下来，说明对优化模型部进行学习处理的学习阶段中的网络物理系统100的功能配置。图9是表示学习阶段中的网络物理系统的功能配置的一例的第二图。
139.在管理员终端140安装有第二学习程序，通过执行该第二学习程序，管理员终端140作为第二学习部920发挥功能。
140.第二学习部920将第二学习用数据积蓄于第二学习用数据积蓄部924。具体而言，第二学习部920获取差值计算部923所计算出的时刻t+δt时的各差值、以及从物理空间340提供的时刻t时的多变量实测控制值。此外，差值计算部923经由管理装置120_1～120_n(在图9中未图示)获取从物理空间340提供的时刻t+δt时的实测处理值和目标值，从而计算出各差值。
141.图9的例子表示在物理空间340中基板处理装置130_1～130_n具有控制对象(传感器341_1～341_n、致动器342_1～342_m)以及对该控制对象进行控制的控制器730。
142.控制器730控制致动器342_1～342_m，以使传感器341_1～341_n所测得的多变量实测处理值接近由控制器730设定的多变量目标值。
143.差值计算部923获取此时的多变量目标值和时刻t+δt时的多变量实测处理值，并
计算出时刻t+δt时的各差值。此外，第二学习部920获取此时的时刻t时的多变量实测控制值，并与差值计算部923所计算出的时刻t+δt时的各差值进行关联，从而生成第二学习用数据，并积蓄于第二学习用数据积蓄部924。
144.此外，第二学习部920具有优化模型部921和比较/变更部922，并对优化模型部921进行学习处理。
145.具体而言，第二学习部920从第二学习用数据积蓄部924读取第二学习用数据，并将时刻t+δt时的各差值输入至优化模型部921。由此，优化模型部921输出时刻t时的多变量控制值。
146.此外，第二学习部920将时刻t时的多变量实测控制值作为正解数据，输入至比较/变更部922。由此，比较/变更部922计算出时刻t时的多变量控制值与时刻t时的多变量实测控制值之间的各误差，并使计算出的各误差反向传播，从而更新优化模型部921的模型参数。由此，第二学习部920能够学习时刻t+δt时的差值与时刻t时的控制值的输入输出关系，并生成完成学习的优化模型部333。
147.(4-2)第二学习处理
148.接下来，说明在学习阶段中网络物理系统100所执行的第二学习处理的流程。图10是表示第二学习处理的流程的流程图的一例。
149.在步骤s1001中，物理空间340中，基板处理装置130_1～130_n内的控制器730开始控制对象的控制处理。
150.在步骤s1002中，管理员终端140的第二学习部920获取从物理空间340提供的多变量目标值。此外，管理员终端140的第二学习部920获取从物理空间340提供的时刻t+δt时的多变量实测处理值。
151.在步骤s1003中，管理员终端140的第二学习部920计算出多变量目标值与时刻t+δt时的多变量实测处理值之间的各差值。
152.在步骤s1004中，管理员终端140的第二学习部920获取从物理空间340提供的时刻t时的多变量实测控制值。
153.在步骤s1005中，管理员终端140的第二学习部920将计算出的时刻t+δt时的各差值与获取的时刻t时的多变量实测控制值进行关联，并生成第二学习用数据。
154.在步骤s1006中，管理员终端140的第二学习部920利用生成的第二学习用数据，对优化模型部921进行学习处理。
155.在步骤s1007中，管理员终端140的第二学习部920判定是否已完成对优化模型部921进行的学习处理。在步骤s1007中判定为尚未完成学习处理时(在步骤s1007中为“否”的情况)，返回至步骤s1002。
156.另一方面，在步骤s1007中判定为已完成学习处理时(在步骤s1007中为“是”的情况)，前进至步骤s1008。
157.在步骤s1008中，管理员终端140的第二学习部920输出完成学习的优化模型部。
158.＜总结＞
159.从以上说明可知，第一实施方式的管理装置中：
160.·
具有预测模型部，该预测模型部学习了控制对象中的时刻t时的多变量实测控制值与控制对象中的时刻t+δt时的多变量实测处理值的输入输出关系。
161.·
具有优化模型部，该优化模型部探索将由预测模型部输出的时刻t+δt时的多变量处理值与对应的目标值之间的各差值最小化的时刻t时的多变量控制值，并利用所探索出的时刻t时的最佳多变量控制值对控制对象进行控制。
162.·
存在来自代理部的请求时，预测模型部对以在时刻t时指定的控制值对控制对象进行控制的情况下的控制对象中的时刻δt后的多变量处理值进行预测，并向代理部输出。
163.如此，根据第一实施方式的管理装置，通过具有预测模型部，从而能够高精度地预测控制对象中处理值的变化。此外，根据第一实施方式的管理装置，采用基于预测出的预测处理值计算出最佳控制值的构成，能够利用预测出的预测处理值来进行控制对象的控制处理。再者，根据第一实施方式的管理装置，采用对应来自代理部的请求预测出预测处理值并向代理部输出的构成，能够利用预测出的预测处理值来应对物理空间中发生的事态。
164.亦即，根据第一实施方式，能够提供一种预测控制对象中处理值的变化并利用预测结果的结构。
165.(第二实施方式)
166.上述第一实施方式中是将管理装置120_1～120_n分别构成为分体的管理装置的，但管理装置120_1～120_n也可构成为一体的装置。此情况下，可在一体的装置上使n台管理装置虚拟的(亦即，作为虚拟机)进行动作。
167.此外，上述第一实施方式中是将对应于基板处理装置130_1～130_n的管理装置120_1～120_n作为分别以单体执行预测程序的装置进行说明的。但是，也可使对应于1台基板处理装置(例如，基板处理装置130_1)的管理装置(例如，管理装置120_1)例如由多台计算机构成。并且，可分别在多台计算机安装预测程序，从而以分散运算的方式执行预测程序。
168.此外，上述第一实施方式中，作为向管理装置120_1～120_n的辅助存储装置203安装预测程序的方法的一例，提及经由网络下载并安装的方法。此时，虽未特别提及下载源，但在以此方法进行安装的情况下，下载源例如可以是以可存取的方式存储预测程序的服务器装置。此外，该服务器装置也可以是经由网络接受来自各个管理装置120_1～120_n的存取，并以付费为条件下载预测程序的云端上的装置。亦即，该服务器装置可以是进行预测程序的提供服务的云端上的装置。
169.此外，上述第一实施方式中，说明了在包含多个管理装置120_1～120_n的管理系统中形成网络空间的情况，但也可在管理系统之外形成网络空间。例如，可在服务器装置110_1～110_3中形成网络空间。
170.此外，上述第一实施方式中，说明了在管理员终端140中执行第一学习处理和第二学习处理的情况。但是，第一学习处理和第二学习处理也可在管理装置120_1～120_n或者服务器装置110_1～110_3中执行。
171.亦即，在控制阶段、模拟阶段、学习阶段各阶段中动作的功能，可在分体的装置中实现，也可在一体的装置中实现。
172.此外，上述第一实施方式中，说明了在不同阶段执行控制处理和模拟处理的情况，但也可在同一阶段中并行执行。
173.此外，上述第一实施方式中，未提及完成学习处理的预测模型部和优化模型部的
输出对象，但完成学习处理的预测模型部和优化模型部可输出至管理装置120_1～120_n。或者，以可下载的方式登录至服务器装置110_1～110_n。
174.此外，上述第一实施方式中，未提及关于模型的细节，但在上述第一实施方式中所使用的模型，例如，可以是包含深度学习的机器学习模型，例如：
175.·
rnn(recurrent neural network：循环神经网络)，
176.·
lstm(long short-term memory：长短期记忆网络)，
177.·
cnn(convolutional neural network：卷积神经网络)，
178.·
r-cnn(region based convolutional neural network：基于区域的卷积神经网络)，
179.·
yolo(you only look once：“你只看一次”目标检测算法)，
180.·
ssd(single shot multibox detector：单次多宽框检测器)，
181.·
gan(generative adversarial network：生产对抗网络)，
182.·
svm(support vector machine：支持向量机)，
183.·
决策树，
184.·
随机森林
185.等中的任一者。
186.需说明的是，可替代地，也可以是使用ga(genetic algorism：遗传算法)、gp(genetic programming：遗传编程)等遗传算法的模型、或者通过强化学习而学习的模型。
187.或者，上述第一实施方式中所使用的模型也可以是pcr(principal component regression：主成分回归)、pls(partial least square：偏最小二乘法)、lasso、脊回归、线性多项式、自回归模型、移动平均模型、自回归移动平均模型、arx模型等通过深层学习以外的一般的统计分析而得到的模型。或者，也可以将上述模型组合利用。
188.需说明的是，本发明并不限于上述实施方式中所列举的结构等、与其他要素的组合等、这里所示出的结构。关于这一点，可以在不脱离本发明主旨的范围内进行改变，并且可以根据其应用形式适当地加以规定。
189.本技术基于2020年12月28日递交的日本专利申请第2020-218532号并主张其优先权，该日本专利申请的全部内容通过参考而援引于本技术中。
190.附图标记说明
191.100网络物理系统
192.120_1～120_n管理装置
193.130_1～130_n基板处理装置
194.140管理员终端
195.310网络空间
196.320代理部
197.330模型预测控制部
198.340物理空间
199.720第一学习部
200.920第二学习部。

技术特征：
1.一种管理装置，包括：预测模型部，学习了控制对象中的时刻t时的多变量控制值与该控制对象中的时刻t+δt时的多变量处理值的输入输出关系；以及优化模型部，探索将由所述预测模型部输出的时刻t+δt时的多变量处理值与对应的目标值之间的各差值最小化的时刻t时的多变量控制值，并利用探索出的该多变量控制值对所述控制对象进行控制，其中，在存在来自对所述预测模型部进行管理的代理部的请求时，所述预测模型部对在以指定的控制值控制所述控制对象的情况下的所述控制对象中的时刻δt后的多变量处理值进行预测，并输出至所述代理部。2.根据权利要求1所述的管理装置，还包括：第一学习部，对预测模型部进行学习处理，以使该预测模型部在被输入了时刻t时的多变量实测控制值的情况下的多变量输出，接近时刻t+δt时的所述控制对象中的多变量实测处理值。3.根据权利要求1所述的管理装置，还包括：第二学习部，对优化模型部进行学习处理，以使该优化模型部通过被输入所述控制对象中的时刻t+δt时的多变量实测处理值与对应的目标值之间的各差值而输出的时刻t时的多变量控制值，接近对所述控制对象进行控制时的时刻t时的多变量实测控制值。4.一种预测方法，包括下述步骤：执行预测模型部的步骤，所述预测模型部学习了控制对象中的时刻t时的多变量控制值与该控制对象中的时刻t+δt时的多变量处理值的输入输出关系；以及执行优化模型部的步骤，所述优化模型部探索将由所述预测模型部输出的时刻t+δt时的多变量处理值与对应的目标值之间的各差值最小化的时刻t时的多变量控制值，并利用所探索出的该多变量控制值对所述控制对象进行控制，其中，所述执行预测模型部的步骤中，在存在来自管理该预测模型部的代理部的请求时，对以指定的控制值对所述控制对象进行控制的情况下的所述控制对象中的时刻δt后的多变量处理值进行预测，并输出至所述代理部。5.一种预测程序，用以使计算机执行下述步骤：执行预测模型部的步骤，所述预测模型部学习了控制对象中的时刻t时的多变量控制值与该控制对象中的时刻t+δt时的多变量处理值的输入输出关系；以及执行优化模型部的步骤，所述优化模型部探索将由所述预测模型部输出的时刻t+δt时的多变量处理值与对应的目标值之间的各差值最小化的时刻t时的多变量控制值，并利用所探索出的该多变量控制值对所述控制对象进行控制，其中，所述执行预测模型部的步骤中，在存在来自管理该预测模型部的代理部的请求时，对以指定的控制值对所述控制对象进行控制的情况下的所述控制对象中的时刻δt后的多变量处理值进行预测，并输出至所述代理部。

技术总结
本发明的目的在于提供一种预测控制对象中处理值的变化并利用预测结果的结构。本发明的管理装置，包括：预测模型部，学习了控制对象中的时刻T时的多变量控制值与所述控制对象中的时刻T+ΔT时的多变量处理值的输入输出关系；以及优化模型部，探索将由所述预测模型部输出的时刻T+ΔT时的多变量处理值与对应的目标值之间的各差值最小化的时刻T时的多变量控制值，并利用所探索出的该多变量控制值对所述控制对象进行控制，其中，在存在来自管理所述预测模型部的代理部的请求时，所述预测模型部对以指定的控制值对所述控制对象进行控制的情况下的所述控制对象中的时刻ΔT后的多变量处理值进行预测，并输出至所述代理部。并输出至所述代理部。并输出至所述代理部。


技术研发人员：守屋刚 茂木弘典 片冈勇树 鱼山和哉 松泽贵仁
受保护的技术使用者：东京毅力科创株式会社
技术研发日：2021.12.14
技术公布日：2023/8/31