基板检查单元及包括其的基板处理装置的制作方法

1.本发明涉及基板检查单元及包括其的基板处理装置。更详细地，涉及能够利用图像数据检查基板的基板检查单元及包括其的基板处理装置。


背景技术：

2.当为了制造lcd面板、pdp面板、led面板等显示装置而在透明的基板上执行印刷工序(例如，rgb图案化(rgb patterning))时，可以使用具有喷墨头单元(inkjet head unit)的印刷装置。


技术实现要素：

3.在利用喷墨头单元对基板进行印刷处理的情况下，当墨喷出到基板上时，可以检查相应的基板以防止大量的不良基板量产。在这种情况下，设置在印刷装备中的相机模块可以用于获取用于检查基板的图像数据。
4.当利用图像数据检查基板时，可以执行利用图像数据的深度学习(deep learning)过程以提高其验证可靠性。
5.然而，在深度学习过程中的数据训练(data training)步骤中，如果作业者没有明确地定义类别(class)的分类标准，或者使用没有与各个类别对应地标记(labeling)的图像数据集(image dataset)来执行训练，则训练模型(training model)的学习程度会降低，并且最终预测性能可能会降低。
6.本发明要解决的技术问题是提供能够通过对训练图像数据集(training image dataset)的验证以及半自动图像标记(semi-auto image labeling)来减少图像数据标记(image data labeling)作业时间，同时提高对数据集的分类准确度从而提高预测性能的基板检查单元及包括其的基板处理装置。
7.本发明的技术问题不限于上述技术问题，本领域的技术人员可以通过下面的描述清楚地理解未提及的其它技术问题。
8.用于解决上述技术问题的本发明的基板检查单元的一方面(aspect)包括：特征提取模块，在与基板的图像数据相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价所述特征的有效性；类别验证模块，验证所述既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构所述多个训练数据，其中，在检查所述基板时使用重构的训练数据。
9.所述特征提取模块可以利用预学习模型提取所述特征，所述预学习模型为利用与所述基板的图像数据相关的基准量以上的数据进行学习而获得的结果。
10.所述有效性评价模块可以通过对所述特征应用降维方法来评价所述特征的有效性。
11.所述有效性评价模块可以使用t-sne(t-distributed stochastic neighbor embedding，t分布随机邻域嵌入)算法作为所述降维方法。
12.所述类别验证模块可以利用非层次聚类分析来验证所述既定义的类别。
13.所述类别验证模块可以利用基于密度的聚类方法来验证所述既定义的类别。
14.所述类别验证模块可以利用基于无监督学习的聚类分析来验证所述既定义的类别。
15.所述基板检查单元，还可以包括：数据量判别模块，判别包括在所述每个类别中的训练数据的量是否为基准量以上。
16.所述特征提取模块可以在包括在所述每个类别中的训练数据的量小于所述基准量的情况下，利用预学习模型提取所述特征，所述预学习模型为利用与所述基板的图像数据相关的、所述基准量以上的数据进行学习而获得的结果。
17.所述基板检查单元还可以包括：数据标记模块，根据所述既定义的类别直接对所述多个训练数据进行分类。
18.所述基板检查单元还可以包括：标记信息获取模块，被输入或接收关于按类别分类的训练数据的信息和关于所述既定义的类别的信息。
19.所述多个训练数据可以是良好状态的基板的图像数据和不良状态的基板的图像数据中的至少一种图像数据。
20.所述多个训练数据可以是被喷出基板处理液的所述基板的图像数据。
21.所述基板检查单元还可以包括：数据处理模块，在所述基板的图像数据被获取的情况下，处理所述基板的图像数据；基准数据检测模块，检测出基准数据；数据分析模块，对所述基板的图像数据和所述基准数据进行比较和分析；以及基板判别模块，基于所述基板的图像数据和所述基准数据之间的比较和分析结果来判别所述基板是良好还是不良。
22.所述基准数据检测模块可以在所述既定义的类别中确定与所述基板的图像数据相关的类别，并且从包括在所确定的类别中的训练数据中检测出所述基准数据。
23.所述基板检查单元可以在处理所述基板的装置被驱动至少一次的情况下，重构所述多个训练数据。
24.此外，用于解决上述技术问题的本发明的基板检查单元的另一方面包括：特征提取模块，在与基板的图像数据相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价所述特征的有效性；类别验证模块，验证所述既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构所述多个训练数据，其中，在检查所述基板时使用重构的训练数据，所述特征提取模块利用预学习模型的迁移学习提取所述特征，所述预学习模型为利用与所述基板的图像数据相关的基准量以上的数据进行学习而获得的结果，所述有效性评价模块通过对所述特征应用降维方法来评价所述特征的有效性，所述类别验证模块使用基于无监督学习的dbscan来验证所述既定义的类别，以及所述多个训练数据是被喷出基板处理液的所述基板的图像数据，并且是良好状态的图像数据和不良状态的图像数据中的至少一种图像数据。
25.此外，用于解决上述技术问题的本发明的基板处理装置的一方面包括：工艺处理单元，在基板被处理期间支承所述基板；喷墨头单元，向所述基板上喷出基板处理液；机架单元，设置有所述喷墨头单元，并且使所述喷墨头单元在所述基板上方移动；以及基板检查单元，检查所述基板，
26.其中，所述基板检查单元包括：特征提取模块，在与所述基板的图像数据5相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价所述特征的有效性；类别验证模块，验证所述既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构所述多个训练数据，其中，在检查所述基板时使用重构的训练数据。
27.0所述特征提取模块可以利用预学习模型的迁移学习提取所述特征，
28.所述预学习模型为利用与所述基板的图像数据相关的基准量以上的数据进行学习而获得的结果。
29.所述类别验证模块可以利用基于无监督学习的dbscan来验证所述既定义的类别。
30.5其它实施例的具体事项包括在详细的说明及附图中。
附图说明
31.图1是示意性地示出根据本发明一实施例的基板处理装置的内部结构的图。
32.图2是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第一方法相关的内部模块的第一示例图。
33.图3是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第一方法相关的内部模块的第二示例图。
34.图4是示意性地示出根据本发明一实施例的与构成基板处理装置5的基板检查单元的第一方法相关的内部模块的第三示例图。
35.图5是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第一方法的第一示例图。
36.图6是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第一方法的第二示例图。
37.图7是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第一方法的第三示例图。
38.图8是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第二方法相关的内部模块的示例图。
39.图9是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第二方法的示例图。
40.附图标记的说明
41.100：基板处理装置110：工艺处理单元
42.120：维护单元125：视觉模块
43.130：机架单元140：喷墨头单元
44.150：基板处理液供应单元160：控制单元
45.200：基板检查单元210a：标记信息获取模块
46.210b：数据标记模块220：特征提取模块
47.230：有效性评价模块240：类别验证模块
48.250：数据重构模块260：数据量判别模块
49.610：数据处理模块620：基准数据检测模块
50.630：数据分析模块640：基板判别模块
具体实施方式
51.下面，将参照附图详细描述本发明的优选的实施例。本发明的优点和特征以及实现这些优点和特征的方法将通过参照下面与附图一起详细描述的实施例而变得清楚。然而，本发明并不限于以下所公开的实施例，而是能够以彼此不同的多种形态实现，本实施例只是为了使本发明的公开完整，并向本发明所属技术区域的普通技术人员完整地告知发明的范围而提供的，本发明仅由权利要求书的范围限定。在整个说明书中，相同的附图标记指代相同的构成要素。
52.元件(elements)或层被称为在另一个元件或层“上(on)”或“上方(on)”不仅包括其在另一个元件或层的正上方，而且还包括其它层或其它元件介于中间的情况。相反，元件被称为“直接”在另一个元件“上”或者在另一个元件的正上方表示没有其它元件或层介于中间的情况。
53.为了容易地描述如图所示的一个元件或构成要素与另一个元件或构成要素的相关关系，可以使用空间相对术语“下方(below)”、“下面(beneath)”、“下部(lower)”、“上方(above)”、“上部(upper)”等。应该理解的是，除了图中所示的方向之外，空间相对术语是还包括元件在使用或操作时的彼此不同的方向的术语。例如，当图中所示的元件被翻转时，被描述为在另一个元件的“下方(below)”或“下面(beneath)”的元件可以位于另一个元件的“上方(above)”。因此，示例性的术语“下方”可以包括下方和上方两种方向。元件也可以以另一个方向定向，由此空间相对术语可以根据定向进行解释。
54.虽然术语“第一”、“第二”等用于描述各种元件、构成要素和/或部分，但是这些元件、构成要素和/或部分显然不被这些术语所限制。这些术语仅用于划分一个元件、构成要素和/或部分与另一个元件、构成要素和/或部分。因此，以下提及的第一元件、第一构成要素或第一部分在本发明的技术思想之内显然也可以是第二元件、第二构成要素或第二部分。
55.本说明书中使用的术语是为了说明实施例，并不是为了限制本发明。在本说明书中，除非在句中特别提及，单数形式也包括复数形式。说明书中使用的“包括(comprises)”和/或“包括(comprising)”不排除除了所提及的构成要素、步骤、操作和/或元件之外存在或增加一个以上的其他构成要素、步骤、操作和/或元件。
56.如果没有其它定义，则在本说明书中使用的所有术语(包括技术和科学术语)可以以本发明所属区域的普通技术人员能够共同理解的含义所使用。此外，在通常使用的词典中定义的术语，除非明确地特别定义，否则不被理想地或过度地解释。
57.以下，将参照附图详细说明本发明的实施例，在参照附图说明时，与附图标记无关地，相同或对应的构成要素被赋予相同的参照标号，并省略对其的重复说明。
58.本发明涉及基于基板的图像数据来检查基板的基板检查单元及包括其的基板处理装置。后面将对基板检查单元进行更详细的描述，这里首先将对基板处理装置进行说明。
59.图1是示意性地示出根据本发明一实施例的基板处理装置的内部结构的图。
60.基板处理装置100处理用于制造显示装置的基板g(例如，玻璃基板(glass))。这种基板处理装置100可以设置为通过利用喷墨头单元140向基板g上喷出基板处理液来印刷基
板g的喷墨设备。
61.基板处理装置100可以使用墨作为基板处理液。这里，基板处理液是指用于对基板g进行印刷处理的药液。基板处理液可以是例如包含超细半导体微粒的量子点(qd：quantum dot)墨，且基板处理装置100可以设置为例如qd(quantum dot，量子点)cf(color filter，滤色器)喷墨(inkjet)设备。基板处理装置100可以利用基板处理液对基板g进行像素印刷(pixel printing)，并且可以设置为循环式喷墨设备以防止喷嘴(nozzle)被基板处理液堵塞。
62.根据图1，基板处理装置100可以包括工艺处理单元110、维护单元(maintenance unit)120、机架单元(gantry unit)130、喷墨头单元(inkjet head unit)140、基板处理液供应单元150、控制单元(controller)160和基板检查单元200。
63.工艺处理单元110在对基板g执行pt操作期间支承基板g。这里，pt操作是指利用基板处理液对基板g进行印刷(printing)处理。
64.工艺处理单元110可以利用非接触方式支承基板g。工艺处理单元110可以例如通过利用空气(air)使基板g悬浮在空中来支承基板g。然而，本实施例不限于此。工艺处理单元110也可以利用接触方式支承基板g。工艺处理单元110也可以例如利用在上部设置有安置面的支承部件来支承基板g。
65.工艺处理单元110可以在利用空气支承基板g的状态下移动基板g。工艺处理单元110可以包括例如第一台(1
st stage)111和气孔(air hole)112。
66.第一台111是基座(base)，并且设置成基板g能够安置在其上部。气孔112可以贯通这种第一台111的上表面而形成，并且可以在第一台111上的印刷区域(printing zone)内形成多个。
67.气孔112可以向第一台111的上部方向(第三方向30)喷射空气。气孔112可以由此使安置在第一台111上的基板g悬浮在空中。
68.虽然未在图1中示出，但是工艺处理单元110还可以包括夹持部(gripper)和导轨(guide rail)。夹持部在基板g沿着第一台111的长度方向(第一方向10)移动时夹持基板g，以防止基板g从第一台111上脱离。当基板g移动时，夹持部可以以夹持基板g的状态在与基板g的移动方向相同的方向上沿着导轨移动。夹持部和导轨可以设置在第一台111的外侧。
69.维护单元120测量基板g上的基板处理液的喷出位置(即，打点)、基板处理液是否喷出等。维护单元120可以针对设置在喷墨头单元140中的多个喷嘴中的每个测量基板处理液的喷出位置、基板处理液是否喷出等，并且可以将如此获取的测量结果提供给控制单元160。
70.维护单元120可以包括例如第二台(2
nd stage)121、第三导轨(3
rd guide rail)122、第一板(1
st plate)123、校准板(calibration board)124和视觉模块(vision module)125。
71.第二台121与第一台111一样是基座，并且可以与第一台111平行地布置。这种第二台121可以在其上部包括维护区域(maintenance zone)。第二台121可以设置为与第一台111相同的大小，但也可以设置成具有小于或大于第一台111的大小。
72.第三导轨122引导第一板123的移动路径。这种第三导轨122可以在第二台121上沿着第二台121的长度方向(第一方向10)至少设置为一条线。第三导轨122可以实现为例如lm
引导系统(linear motor guide system，线性电机引导系统)。
73.虽然在图1中未示出，但是维护单元120还可以包括第四导轨。第四导轨与第三导轨122一样引导第一板123的移动路径，并且可以在第二台121上沿着第二台121的宽度方向(第二方向20)至少设置为一条线。
74.第一板123沿着第三导轨122和/或第四导轨在第二台121上移动。第一板123可以沿着第三导轨122与基板g平行地移动，并且可以沿着第四导轨接近或远离基板g。
75.校准板124用于测量基板g上的基板处理液的喷出位置。这种校准板124可以包括对准标记(align mark)、标尺等并设置在第一板123上，并且可以沿着第一板123的长度方向(第一方向10)设置。
76.视觉模块125包括相机模块(camera module)，并且获取关于基板g的图像信息。由视觉模块125获取的基板g的图像信息中可以包括关于基板处理液是否喷出、基板处理液的喷出位置、基板处理液的喷出量、基板处理液的喷出面积等的信息。另一方面，除了关于被喷出基板处理液的基板g的图像信息之外，视觉模块125还可以获取并提供关于校准板124的信息。
77.当处理基板g时，视觉模块125可以实时地获取关于基板g的图像信息。视觉模块125可以在长度方向(第一方向10)上拍摄基板g以获取图像信息，在这种情况下，视觉模块125可以包括行扫描相机(line scan camera)。此外，视觉模块125也可以针对基板g的每个预定大小的区域进行拍摄以获取图像信息。在这种情况下，视觉模块125可以包括区域扫描相机(area scan camera)。
78.视觉模块125可以附接到机架单元130的下表面或侧表面，以获取被喷出基板处理液的基板g的图像信息。然而，本实施例不限于此。视觉模块125也可以附接到喷墨头单元140的侧表面。另一方面，视觉模块125可以在基板处理装置100内至少设置一个，并且可以固定设置或可移动地设置。
79.机架单元130支承喷墨头单元140。这种机架单元130可以设置在第一台111和第二台121的上部，以使喷墨头单元140能够向基板g上喷出基板处理液。
80.机架单元130可以以第一台111和第二台121的宽度方向(第二方向20)为长度方向设置在第一台111和第二台121上。机架单元130可以沿着第一导轨(1
st guide rail)170a和第二导轨(2
nd guide rail)170b在第一台111和第二台121的长度方向(第一方向10)上移动。另一方面，第一导轨170a和第二导轨170b可以沿着第一台111和第二台121的长度方向(第一方向10)设置在第一台111和第二台121的外侧。
81.另一方面，虽然在图1中未示出，但是基板处理装置100还可以包括机架移动单元。机架移动单元使机架单元130沿着第一导轨170a和第二导轨170b滑动。机架移动单元可以设置在机架单元130的内部。
82.喷墨头单元140将基板处理液以液滴(droplet)形态喷出到基板g上。这种喷墨头单元140可以设置在机架单元130的侧表面或下表面上。
83.喷墨头单元140可以在机架单元130上至少设置一个。在多个喷墨头单元140设置在机架单元130上的情况下，多个喷墨头单元140可以沿着机架单元130的长度方向(第二方向20)布置成一列。此外，多个喷墨头单元140可以分别独立运行，也可以与此相反地统一运行。
84.喷墨头单元140可以沿着机架单元130的长度方向(第二方向20)移动，以位于基板g上的期望的位置。然而，本实施例不限于此。喷墨头单元140可以沿着机架单元130的高度方向(第三方向30)移动，也可以在顺时针方向或逆时针方向上旋转。
85.另一方面，喷墨头单元140也可以设置成固定在机架单元130上。在这种情况下，机架单元130可以可移动地设置。
86.虽然在图1中未示出，但是基板处理装置100还可以包括喷墨头移动单元。喷墨头移动单元使喷墨头单元140直线移动或旋转。
87.虽然在图1中未示出，但是喷墨头单元140可以包括喷嘴板、多个喷嘴、压电元件等。喷嘴板构成喷墨头单元140的主体。多个(例如，128个、256个等)喷嘴可以在这种喷嘴板的下部以一定的间隔设置成多行多列，且压电元件可以在喷嘴板内设置为与喷嘴的数量对应的数量。在如此构成的情况下，喷墨头单元140可以根据压电元件的运行通过喷嘴向基板g上喷出基板处理液。
88.另一方面，喷墨头单元140也可以根据施加到压电元件的电压独立地控制通过各个喷嘴提供的基板处理液的喷出量。
89.基板处理液供应单元150向喷墨头单元140供应墨。这种基板处理液供应单元150可以包括存储罐150a和压力控制模块150b。
90.存储罐150a存储基板处理液，且压力控制模块150b调节存储罐150a的内部压力。存储罐150a可以基于由压力控制模块150b提供的压力向喷墨头单元140提供适量的基板处理液。
91.控制单元160控制构成基板处理装置100的各个单元的整体运行。控制单元160可以控制例如工艺处理单元110的气孔112和夹持部、维护单元120的视觉模块125、机架单元130、喷墨头单元140、基板处理液供应单元150的压力控制模块150b等的运行。
92.控制装置160可以实现为包括过程控制器、控制程序、输入模块、输出模块(或显示模块)、存储器模块等的计算机或服务器。在上文中，过程控制器可以包括对构成基板处理装置100的各个构成执行控制功能的微处理器，且控制程序可以根据过程控制器的控制来执行对基板处理装置100的各种处理。存储器模块存储用于根据各种数据和处理条件执行对基板处理装置100的各种处理的程序，即处理配方。
93.另一方面，控制单元160也可以起到对喷墨头单元140执行维护的作用。控制单元160可以例如基于维护单元120的测量结果来校正设置在喷墨头单元140中的各个喷嘴的基板处理液的喷出位置，或者可以从多个喷嘴中检测出不良喷嘴(即，不喷出基板处理液的喷嘴)，以对不良喷嘴执行清洗作业。
94.基板检查单元200可以基于由视觉模块125获取的基板g的图像数据来检查基板g。具体地，在通过视觉模块125获取基板g的图像数据的情况下，基板检查单元200处理该图像数据，然后通过比较和分析上述图像数据和基准数据来检查基板g。为此，基板检查单元200可以与视觉模块125联动，并且可以与控制单元160一样设置为包括过程控制器、控制程序、输入模块、输出模块(或显示模块)、存储器模块等的计算机或服务器。
95.基板检查单元200可以通过深度学习(deep learning)对训练数据(training data)进行分类。基板检查单元200可以从如此进行分类的训练数据中检测出将作为与基板g的图像数据的比较对象的基准数据，然后通过比较基板g的图像数据和基准数据来检查基
板g。
96.在上文中，训练数据可以是具有各种形状的基板g的图像数据。此外，训练数据可以包括能够用于制造显示装置的优良基板的图像数据和无法用于制造显示装置的不良基板的图像数据中的至少一种图像数据。
97.当通过深度学习对训练数据进行分类时，可以提高利用图像数据检查基板g的情况下的验证可靠性。然而，如上所述，在深度学习中的数据训练(data training)步骤中，如果作业者没有明确地定义类别的分类标准，或者使用没有与各个类别对应地标记(labeling)的图像数据集(image dataset)来执行训练，则训练模型(training model)的学习程度会降低，并且最终预测性能可能会降低。
98.在本实施例中，基板检查单元200可以通过对训练图像数据集(training image dataset)的验证以及半自动图像标记(semi-auto image labeling)来减少图像数据标记(image data labeling)作业时间，同时提高对数据集的分类准确度从而提高预测性能。以下，将对这种方法进行详细说明。
99.图2是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第一方法相关的内部模块的第一示例图。基板检查单元200可以利用深度学习对基板g的图像数据进行分类。在这种情况下，如图2所示，基板检查单元200可以包括标记信息获取模块210a、特征提取模块220、有效性评价模块230、类别验证模块240和数据重构模块250。
100.在对多个训练数据执行了标记作业的情况下，标记信息获取模块210a获取与该标记作业相关的标记信息。标记信息获取模块210a可以获取关于标记时所使用的分类类别的信息、关于通过标记而按类别被分类的训练数据的信息(即，关于被标记的训练数据的信息)等作为标记信息。
101.多个作业者可以执行手动图像标记(manual image labeling)，以符合针对多个训练数据预先定义的分类类别。当由多个作业者完成针对多个训练数据的手动图像标记时，标记信息获取模块210a可以从其结果获取上述标记信息。在这种情况下，标记信息获取模块210a可以通过诸如键盘、触摸屏等的输入工具接收标记信息的输入，也可以通过诸如wifi等的有线/无线通信工具接收标记信息。
102.特征提取模块220在多个训练数据通过手动图像标记而按类别被分类的情况下，以包括在每个类别中的训练数据为对象提取特征(feature)。这里，特征是指需要被预测或被分类的数据的特性(属性值)。
103.当针对包括在每个类别中的训练数据提取特征时，特征提取模块220可以基于预学习模型(pre-trained model)提取上述特征。
104.为了提高深度学习模型的质量，需要利用很大量的数据进行学习。因此，关于每个类别预先利用庞大的量的数据来进行学习的模型、即预学习模型可以应用于特征提取。当利用预学习模型执行特征提取时，特征提取模块220可以通过基于预学习模型的迁移学习(transfer learning)，以包括在每个类别中的训练数据为对象提取特征。
105.当包括在每个类别中的训练数据为庞大的量的数据时，特征提取模块220可以基于包括在每个类别中的训练数据来执行特征提取。即，特征提取模块220可以不利用预学习模型。考虑到这些方面，如图3所示，基板检查单元200还可以包括数据量判别模块260。图3是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第一方法
相关的内部模块的第二示例图。
106.数据量判别模块260判别包括在每个类别中的训练数据是否为庞大的量的数据。数据量判别模块260可以基于包括在每个类别中的训练数据的量(或数量)是否为基准值以上来执行上述判别。具体地，当包括在每个类别中的训练数据的量为基准值以上时，数据量判别模块260可以判别为包括在每个类别中的训练数据为庞大的量的数据，且当包括在每个类别中的训练数据的量小于基准值时，数据量判别模块260可以判别为包括在每个类别中的训练数据不是庞大的量的数据。
107.另一方面，数据量判别模块260也可以判别被执行标记作业的多个训练数据是否为庞大的量的数据。在这种情况下，当被执行标记作业的多个训练数据为庞大的量的数据时，特征提取模块220也可以不利用预学习模型而是基于包括在每个类别中的训练数据来执行特征提取。
108.再次参照图2进行说明。
109.有效性评价模块230评价由特征提取模块220提取的特征的有效性。这种有效性评价模块230可以通过对上述特征应用降维方法来评价每个特征的有效性。有效性评价模块230通过对每个特征的有效性评价来去除被判断为没有有效性的特征，从而能够提高与图像数据分类方法相关的基板检查单元200的计算速度和处理速度。
110.当针对每个特征评价有效性时，有效性评价模块230可以利用t-sne(t-distributed stochastic neighbor embedding，t-分布随机邻域嵌入)算法作为降维方法。然而，本实施例不限于此。有效性评价模块230也可以利用umap(uniform manifold approximation and projection，统一流形近似和投影)算法作为降维方法。
111.类别验证模块240对预先定义的类别执行验证。这里，预先定义的类别是指用于手动图像标记的类别。
112.当对预先定义的类别执行验证时，类别验证模块240可以基于预先定义的每个类别分类标准的适当性来对预先定义的类别执行验证。在这种情况下，类别验证模块240可以利用非层次聚类(non-hierarchical clustering)分析来对预先定义的类别执行验证。特别地，类别验证模块240可以利用基于无监督学习(unsupervised learning)的非层次聚类分析来对预先定义的类别执行验证。
113.当利用非层次聚类分析时，类别验证模块240可以利用基于密度(density-based)的聚类方法来对预先定义的类别执行验证。例如，类别验证模块240可以使用dbscan(density based spatial clustering of applications with noise，基于密度的含噪应用空间聚类)来对预先定义的类别执行验证。然而，本实施例不限于此。类别验证模块240也可利用基于中心(center-based)的聚类方法来对预先定义的类别执行验证。例如，类别验证模块240可以使用k-平均聚类算法(k-means clustering algorithm)来对预先定义的类别执行验证。
114.在对特征的有效性评价和对类别的验证完成的情况下，数据重构模块250基于被判断为具有有效性的特征和被验证的类别对多个训练数据执行聚类。即，在聚类于以多个训练数据为对象被验证的类别的训练数据的情况下，数据重构模块250可以判断为该训练数据适合被验证的类别而进行保留，且在未聚类于被验证的类别的训练数据的情况下，数据重构模块250可以判断为该训练数据不适合被验证的类别而进行排除，从而对多个训练
数据执行聚类。
115.基板检查单元200可以通过包括如上所述的标记信息获取模块210a、特征提取模块220、有效性评价模块230、类别验证模块240和数据重构模块250来对训练数据(即，基板g的图像数据)进行分类。基板检查单元200的这种方法与作业者主观上对训练数据进行分类的现有的方法相比，可以获得能够确保一贯化的训练图像数据的效果。
116.此外，在由收集图像数据集(collect image dataset)的步骤、训练图像数据集(train image dataset)的步骤、验证图像数据集(validate image dataset)的步骤、设计模型架构(design model architecture)的步骤、训练模型(train model)的步骤、评价模型(evaluate model)的步骤和预测测试图像(predict test image)的步骤构成的深度学习框架(dl framework)中，不同于上述现有的方法在上述收集图像数据集的步骤中实现，本发明也可以获得上述方法在上述训练图像数据集的步骤中实现的效果。
117.另一方面，基板检查单元200可以在基板处理装置100至少运行一次的情况下，执行训练数据的再分类。
118.以上参照图2说明的基板检查单元200是利用深度学习对基板g的图像数据进行分类的情况的示例，且在这种情况下，基板检查单元200不对多个训练数据执行标记作业。然而，本实施例不限于此。基板检查单元200也可以对多个训练数据执行标记作业。下面对此进行说明。
119.图4是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第一方法相关的内部模块的第三示例图。根据图4，基板检查单元200可以包括数据标记模块210b、特征提取模块220、有效性评价模块230、类别验证模块240和数据重构模块250。
120.已经参照图2描述了特征提取模块220、有效性评价模块230、类别验证模块240和数据重构模块250，这里将省略其详细说明。
121.数据标记模块210b根据预定的类别将多个训练数据分类到各个类别。与图2的基板检查单元200进行比较，图2所示的基板检查单元200不对多个训练数据按类别进行分类，而图4所示的基板检查单元200的不同之处在于，通过数据标记模块210b直接对多个训练数据按类别进行分类。
122.接着，对基板检查单元200的图像数据分类方法进行说明。图5是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第一方法的第一示例图。以下，参照图5进行说明。
123.首先，在多个训练数据由多个作业者手动分类到各个类别(s310)的情况下，特征提取模块220以包括在每个类别中的训练数据为对象提取特征(s320)。特征提取模块220可以通过基于预学习模型的迁移学习针对包括在每个类别中的训练数据提取特征。
124.然后，有效性评价模块230评价由特征提取模块220提取的特征的有效性(s330)。有效性评价模块230可以利用降维方法(例如，t-sne算法)针对每个特征评价有效性。
125.然后，类别验证模块240对预先定义的类别(即，在步骤s310中用于对多个训练数据进行分类的类别)执行验证(s340)。类别验证模块240可以使用基于无监督学习的dbscan来对与预先定义的类别执行验证。
126.然后，数据重构模块250基于由有效性评价模块230判断为具有有效性的特征和由类别验证模块240验证的类别，对多个训练数据执行聚类(步骤s350)。
127.另一方面，如上所述，当包括在每个类别中的训练数据为庞大的量的数据时，特征提取模块220可以不利用基于预学习模型的迁移学习而是基于包括在每个类别中的训练数据来提取特征。因此，基板检查单元200的图像数据分类方法也可以如下执行。
128.图6是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第一方法的第二示例图。以下，参照图6进行说明。
129.首先，在多个训练数据由多个作业者手动分类到各个类别(s410)的情况下，数据量判别模块260判别包括在每个类别中的训练数据是否为庞大的量的数据(s420)。
130.这里，当判别为包括在每个类别中的训练数据为庞大的量的数据时，特征提取模块220利用包括在每个类别中的训练数据来提取特征(s430)。
131.相反，当判别为包括在每个类别中的训练数据不是庞大的量的数据时，特征提取模块220利用应用于预学习模型的数据来提取特征(s440)。这里，预学习模型可以由与包括在每个类别中的训练数据有关联性的图像数据构成。
132.然后，有效性评价模块230评价由特征提取模块220提取的特征的有效性(s450)。
133.然后，类别验证模块240对预先定义的类别(即，在步骤s410中用于对多个训练数据进行分类的类别)执行验证(s460)。
134.然后，数据重构模块250基于由有效性评价模块230判断为具有有效性的特征和由类别验证模块240验证的类别，对多个训练数据执行聚类(s470)。
135.另一方面，基板检查单元200也可以直接对多个训练数据执行标记作业。图7是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第一方法的第三示例图。以下，参照图7进行说明。
136.首先，数据标记模块210b根据预定的类别将多个训练数据分类到各个类别(s510)。
137.然后，特征提取模块220以包括在每个类别中的训练数据为对象提取特征(s520)。
138.然后，有效性评价模块230评价由特征提取模块220提取的特征的有效性(s530)。
139.然后，类别验证模块240对预先定义的类别(即，在步骤s510中用于对多个训练数据进行分类的类别)执行验证(s540)。
140.然后，数据重构模块250基于由有效性评价模块230判断为具有有效性的特征和由类别验证模块240验证的类别，对多个训练数据执行聚类(s550)。
141.以上，参照图2至图7对基板检查单元200的图像数据分类方法进行了说明。以下，对利用基板检查单元200的图像数据的基板检查方法进行说明。
142.图8是示意性地示出根据本发明一实施例的与构成基板处理装置的基板检查单元的第二方法相关的内部模块的示例图。此外，图9是按流程示出根据本发明一实施例的构成基板处理装置的基板检查单元的第二方法的示例图。以下参照图8和图9进行说明。
143.首先，在由视觉模块125获取基板g的图像数据(s710)的情况下，基板检查单元200的数据处理模块610处理上述图像数据(s720)。在上文中，由视觉模块125获取的基板g的图像数据可以是由喷墨头单元140喷出基板处理液从而其上部被喷出基板处理液的基板g的图像数据。
144.然后，基板检查单元200的基准数据检测模块620从根据图像数据分类方法按类别进行分类的多个训练数据中检测出将作为与基板g的图像数据的比较对象的基准数据
(s730)。基准数据检测模块620可以在预先定义的类别中确定与基板g的图像数据有关联性的类别，然后从被分类到相应类别的训练数据中检测出上述基准数据。
145.上述步骤s730可以在步骤s720之后执行，但是也可以与步骤s720同时执行。或者，步骤s730也可以在步骤s720之前执行。另一方面，在本实施例中，也可以在执行步骤s730之前执行图像数据分类方法，然后执行步骤s730。
146.然后，基板检查单元200的数据分析模块630比较和分析基板g的图像数据和基准数据(s740)。
147.然后，基板检查单元200的基板判别模块640基于上述比较和分析结果来判别基板g是处于良好的状态还是不良的状态(s750)。例如，在对基板g执行像素印刷的情况下，基板判别模块640可以在判断基板g上不存在由于冲击错误而导致的线性缺陷(line defect)或区域性斑纹(area spot)时判别为基板g处于良好的状态，且可以在判断基板g上存在上述线性缺陷或区域性斑纹时判别为基板g处于不良的状态。
148.以上说明的本发明涉及由基板检查单元200执行的方法，并且涉及基于无监督学习(unsupervised learning)技术的半自动图像标记算法(semi-auto image labeling algorithm)。上述算法涉及能够通过在应用深度学习的初期步骤中验证和补充由作业者手动标记(manual labeling)的训练图像数据来提高预测准确度的半自动标记算法。
149.通常，在深度学习算法中所使用的训练数据是通过与目的相符合地预先定义分类类别后执行标记来构成的。由于训练数据如此按照预先的设计而构成，所以训练数据在没有另外的验证作业的情况下用作深度学习算法的输入数据(input data)。
150.然而，在制造领域中，当执行基于深度学习的良好/不良图像检测时，需要另外对训练数据执行验证作业。这是因为在设备启动之前难以事先预测良好/不良图像数据以何种形态产生。因此，不同于一般的训练数据构成，发生难以预先定义和标记类别的问题。
151.此外，在收集图像数据的步骤中，由n名作业者定义类别并且执行手动标记，然后最终合并各个类别从而构成训练数据。由于在该步骤中个别地反映了n名作业者的主见，因此需要执行验证作业以验证训练数据是否与类别相符合地构成。
152.深度学习算法的预测准确度受训练数据的构成、模型架构和训练(training)重复次数的极大影响。其中，可以认为训练数据的构成是影响最大的因素。
153.本发明提出的深度学习框架的目的在于，针对n名作业者的手动标记，验证和重构训练数据(semi-auto labeling)，以符合预先定义的类别标准，从而提高分类预测准确度。在本发明中，通过由此提高训练数据构成的可靠性，能够针对设备的各种缺陷的发生而进行更加准确的预测分类。
154.本发明提出的深度学习框架具体如下进行。如在现有技术的缺陷部分中所述，在制造业领域中，有必要验证训练数据，并且通过由此再次执行标记来重构训练数据，从而提高预测准确度。在本发明中，将如此验证和重构训练图像数据的一系列过程定义为半自动图像标记(semi-auto image labeling)。
155.首先，根据预先定义的分类类别，由n名作业者执行手动图像标记。
156.然后，以被第一次手动图像标记的训练数据中的每个类别为对象，通过基于通用图像数据专用的预学习模型的迁移学习来提取特征。
157.然后，通过减小通过t-sne算法提取的特征的维数来确认特征的有效性，并且由此
提高计算处理速度。
158.然后，使用基于无监督学习的dbscan来验证预先定义的每个类别的分类标准是否合适。
159.聚类的图像是适合相应类别的图像而进行保留，未聚类的图像是不适合相应类别的图像而进行排除，由此重构训练图像数据。通过对其余的类别也执行上述过程，重构全部训练图像数据。
160.对以上说明的本发明的特征再次进行整理如下。
161.第一，通过在执行深度学习的初期步骤中，针对由n名作业者手动标记的训练图像数据执行基于无监督学习技术的数据一贯性验证，然后使用通过半自动图像标记而更准确地分类的训练图像数据作为深度学习的输入数据，可以提高预测准确度。
162.第二，通过以训练图像数据为对象通过迁移学习来提取特征，并且执行基于t-sne算法的特征降维(feature dimension reduction)然后使用作为无监督学习的dbscan，可以实现半自动图像标记。
163.以上参照附图对本发明的实施例进行了说明，但是本发明所属技术领域的普通技术人员应该可以理解，本发明在不改变其技术思想或必要特征的情况下，能够以其他具体形态实施。因此，应该理解，以上描述的实施例在所有方面都是示例性的，而不是限制性的。

技术特征：
1.一种基板检查单元，包括：特征提取模块，在与基板的图像数据相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价所述特征的有效性；类别验证模块，验证所述既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构所述多个训练数据，其中，在检查所述基板时使用重构的训练数据。2.根据权利要求1所述的基板检查单元，其中，所述特征提取模块利用预学习模型提取所述特征，所述预学习模型为利用与所述基板的图像数据相关的基准量以上的数据进行学习而获得的结果。3.根据权利要求1所述的基板检查单元，其中，所述有效性评价模块通过对所述特征应用降维方法来评价所述特征的有效性。4.根据权利要求3所述的基板检查单元，其中，所述有效性评价模块使用t-sne算法作为所述降维方法。5.根据权利要求1所述的基板检查单元，其中，所述类别验证模块利用非层次聚类分析来验证所述既定义的类别。6.根据权利要求5所述的基板检查单元，其中，所述类别验证模块利用基于密度的聚类方法来验证所述既定义的类别。7.根据权利要求1所述的基板检查单元，其中，所述类别验证模块利用基于无监督学习的聚类分析来验证所述既定义的类别。8.根据权利要求1所述的基板检查单元，还包括：数据量判别模块，判别包括在所述每个类别中的训练数据的量是否为基准量以上。9.根据权利要求8所述的基板检查单元，其中，所述特征提取模块在包括在所述每个类别中的训练数据的量小于所述基准量的情况下，利用预学习模型提取所述特征，所述预学习模型为利用与所述基板的图像数据相关的、所述基准量以上的数据进行学习而获得的结果。10.根据权利要求1所述的基板检查单元，还包括：数据标记模块，根据所述既定义的类别直接对所述多个训练数据进行分类。11.根据权利要求1所述的基板检查单元，还包括：标记信息获取模块，被输入或接收关于按类别分类的训练数据的信息和关于所述既定义的类别的信息。12.根据权利要求1所述的基板检查单元，其中，所述多个训练数据是良好状态的基板的图像数据和不良状态的基板的图像数据中的至少一种图像数据。13.根据权利要求1所述的基板检查单元，其中，所述多个训练数据是被喷出基板处理液的基板的图像数据。14.根据权利要求1所述的基板检查单元，还包括：数据处理模块，在所述基板的图像数据被获取的情况下，处理所述基板的图像数据；
基准数据检测模块，检测出基准数据；数据分析模块，对所述基板的图像数据和所述基准数据进行比较和分析；以及基板判别模块，基于所述基板的图像数据和所述基准数据之间的比较和分析结果来判别所述基板是良好还是不良。15.根据权利要求14所述的基板检查单元，其中，所述基准数据检测模块在所述既定义的类别中确定与所述基板的图像数据相关的类别，并且从包括在所确定的类别中的训练数据中检测出所述基准数据。16.根据权利要求1所述的基板检查单元，其中，所述基板检查单元在处理所述基板的装置被驱动至少一次的情况下，重构所述多个训练数据。17.一种基板检查单元，包括：特征提取模块，在与基板的图像数据相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价所述特征的有效性；类别验证模块，验证所述既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构所述多个训练数据，其中，在检查所述基板时使用重构的训练数据，所述特征提取模块利用预学习模型的迁移学习提取所述特征，所述预学习模型为利用与所述基板的图像数据相关的基准量以上的数据进行学习而获得的结果，所述有效性评价模块通过对所述特征应用降维方法来评价所述特征的有效性，所述类别验证模块使用基于无监督学习的dbscan来验证所述既定义的类别，以及所述多个训练数据是被喷出基板处理液的所述基板的图像数据，并且是良好状态的图像数据和不良状态的图像数据中的至少一种图像数据。18.一种基板处理装置，包括：工艺处理单元，在基板被处理期间支承所述基板；喷墨头单元，向所述基板上喷出基板处理液；机架单元，设置有所述喷墨头单元，并且使所述喷墨头单元在所述基板上方移动；以及基板检查单元，检查所述基板，其中，所述基板检查单元包括：特征提取模块，在与所述基板的图像数据相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价所述特征的有效性；类别验证模块，验证所述既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构所述多个训练数据，其中，在检查所述基板时使用重构的训练数据。19.根据权利要求18所述的基板处理装置，其中，所述特征提取模块利用预学习模型的迁移学习提取所述特征，所述预学习模型为利用
与所述基板的图像数据相关的基准量以上的数据进行学习而获得的结果。20.根据权利要求18所述的基板处理装置，其中，所述类别验证模块利用基于无监督学习的dbscan来验证所述既定义的类别。

技术总结
本发明提供能够通过对训练图像数据集的验证以及半自动图像标记来减少图像数据标记作业时间，同时提高对数据集的分类准确度从而提高预测性能的基板检查单元及包括其的基板处理装置。所述基板检查单元包括：特征提取模块，在与基板的图像数据相关的多个训练数据根据既定义的类别被分类的情况下，从包括在每个类别中的训练数据中提取特征；有效性评价模块，评价特征的有效性；类别验证模块，验证既定义的类别；以及数据重构模块，基于被判断为具有有效性的特征和被验证的类别来重构多个训练数据，其中，在检查基板时使用重构的训练数据。据。据。


技术研发人员：柳志勳 金光燮 李锺民 宋延彻 吴埈昊 朴永镐 林名俊
受保护的技术使用者：细美事有限公司
技术研发日：2022.12.02
技术公布日：2023/7/11