用于增量制造的基于深度学习的图像增强的制作方法

1.公开的实现一般地涉及增量制造，并且更特别地涉及用于增量制造的基于深度学习的图像增强的系统、方法和用户接口。


背景技术：

2.由于增量制造的零件(例如，使用3-d打印制造的零件)的复杂性，非破坏性质量控制方法非常有限。最广泛地使用的非破坏性测试方法是微ct(计算机断层扫描)扫描。虽然这种过程提供更高的几何精确度，但该过程非常昂贵并且耗时，并且无法扩展到由致密材料制成的大型零件(例如，该过程受致密材料中的阴影伪像影响)。一些系统使用基于近红外(nir)图像的数字孪生3-d体积。nir后处理提供优秀的孔隙或裂缝定义，但提供不那么准确的几何尺寸和公差(gd&t)，并且不预测建造后效果。3-d体积也受图像的分辨率限制。此外，这种系统仅在制造过程期间捕获数据，这意味着以后发生的变化不被捕获。例如，这些系统不捕获改变最终几何形状的金属的重新熔化。


技术实现要素：

3.除了在背景技术章节中阐述的问题之外，还存在需要一种检查增量制造质量的改进系统和方法的其他原因。例如，因为已有技术依赖于增量制造的产品的事后分析，所以缺少用于合适的根本原因分析的上下文信息。本公开描述一种解决传统方法和系统的缺点的系统和方法。
4.本公开描述一种解决传统方法和系统的一些缺点的系统和方法。本公开使用被称为生成对抗网络(gan)的深度神经网络技术来同时增加nir图像的分辨率，对建造后效果(诸如，重新熔化或收缩)进行建模，并且将数据转换成可由现成的ct分析工具使用的格式。本文中描述的技术使大型3-d体积能够被神经网络处理。本公开描述两种不同的过程流水线。第一流水线被用于训练和测试(正在进行的过程，它改进算法的质量)，并且第二流水线被用于现场部署。
5.根据一些实现，本公开使用计算机视觉、机器学习和/或统计建模，并且建造用于增量制造质量的现场检查的数字模型。本文中描述的技术可被用于将更低分辨率nir图像增强至类似ct的质量和分辨率。另外，利用现成的ct扫描软件，输出能够被分析。对于高度准确的综合gd&t，所述技术在每次建造需要可忽略的成本。所述技术增强对特征(诸如，裂缝或孔隙)的特征检测。所述技术还能够被用于基于来自以前的建造的训练来预测层后效果，诸如重新熔化、膨胀和收缩。与ct不同，根据本文中描述的技术的系统不像ct一样产生扫描伪像，并且帮助减小输出中的噪声。
6.根据一些实现，本发明使用一个或多个照相机作为传感器以在产品的增量制造期间捕获序列图像(例如，静止图像或视频)。利用计算机视觉和机器/深度学习技术，时间序列图像被作为多维数据数组处理以产生相关分析和/或预测见解。这包括定位特定特征(例如，缺陷)并且确定那些特征的范围以评定质量。
7.在一些实现中，使用已训练的计算机视觉和机器/深度学习算法来处理正在进行的增量制造过程的图像，以产生缺陷表征。在一些实现中，基于正在进行的增量制造过程的图像，计算机视觉和机器/深度学习算法被训练以确定产品质量。
8.根据一些实现，一种方法在计算系统执行。通常，计算系统包括单个计算机或工作站或者多个计算机，每个计算机具有一个或多个cpu和/或gpu处理器和存储器。实现的机器学习建模的方法通常不需要计算群集或超级计算机。
9.在一些实现中，一种计算系统包括一个或多个计算机。每个计算机包括一个或多个处理器和存储器。存储器存储被配置用于由所述一个或多个处理器执行的一个或多个程序。所述一个或多个程序包括用于执行本文中描述的任何方法的指令。
10.在一些实现中，一种非暂态计算机可读存储介质存储被配置用于由计算系统执行的一个或多个程序，所述计算系统具有一个或多个计算机，每个计算机具有一个或多个处理器和存储器。所述一个或多个程序包括用于执行本文中描述的任何方法的指令。
11.因此，公开了促进增量制造过程的现场检查的方法和系统。本文中描述的讨论、示例、原理、组成、结构、特征、布置和过程能够应用于自适应制造过程，适应于自适应制造过程，并且被体现在自适应制造过程中。
附图说明
12.为了更好地理解公开的系统和方法以及另外的系统和方法，应该结合下面的附图参照以下的具体实施方式，在附图中，相同的标号在附图中始终指代对应的部分。
13.图1是根据一些实现的用于增量制造过程的现场检查的系统的方框图。
14.图2a是根据一些实现的用于训练生成对抗网络(gan)以增强增量制造的产品的2-d图像的序列的图像分辨率的系统的方框图。
15.图2b是根据一些实现的图2a中示出的生成对抗网络(gan)的方框图。
16.图2c是根据一些实现的用于使用生成对抗网络(gan)来增强增量制造的产品的2-d图像的序列的图像分辨率的系统的方框图。
17.图3是根据一些实现的计算装置的方框图。
18.图4是根据一些实现的增量制造过程的层的图像的示例性图块(tile)的示图。
19.图5是根据一些实现将增量制造过程的图像图块拼接在一起的示图。
20.图6a是根据一些实现的针对nir、微ct扫描和人造高分辨率图像测量的壁厚度的示图。
21.图6b示出根据一些实现的具有基于几何比较测试的示例性测量值的表。
22.图7示出根据一些实现的壁厚度测量值的示例性可视化。
23.图8a和8b示出根据一些实现的人造高分辨率图像的示例。
24.图9是根据一些实现的用于z轴提升(upscale)(内插)的方法的示意图。
25.图10是图示根据一些实现的训练生成对抗网络以增强增量制造的产品的2-d图像的序列的图像分辨率的系统的方框图。
26.图11是图示根据一些实现的使用生成对抗网络来增强增量制造的产品的2-d图像的序列的图像分辨率的系统的方框图。
27.现在将参照实现，所述实现的示例被图示在附图中。在下面的描述中，阐述许多特
定细节以便提供对本发明的彻底的理解。然而，对于本领域普通技术人员而言将会清楚的是，本发明可被实施，而不需要这些特定细节。
具体实施方式
28.图1是根据一些实现的用于增量制造过程的现场检查的系统100的方框图。增量制造装备102由一个或多个照相机装置104监测，每个装置104包括一个或多个图像传感器106和一个或多个图像处理器108。使用通信网络110，由照相机装置收集的数据被传输给现场检查服务器112。增量制造装备102使用一组增量制造参数118，所述增量制造参数118能够由现场检查服务器112动态地更新。制造参数能够包括详细的过程流程，所述过程流程定义使用的材料以及如何执行所述过程。
29.现场检查服务器112使用一些标准的计算机视觉处理算法114以及一些机器/深度学习数据模型116。
30.该过程在增量制造操作期间现场捕获图像，并且应用标准图像处理技术以强调特征(例如，高斯模糊、电极和焊池的边缘检测、信噪滤波和角度校正)。该过程使用时间互相关来将图像堆栈或视频帧与几何形状对准。在一些实现中，这种信息被馈送给一个或多个安装的机器人照相机以用于准确的图像捕获。通过取得图像的时间导数，系统将时间图像趋势转换成静止信号。系统利用3-d卷积(例如，像素位置、强度和颜色/光谱带)在顺序滞后图像批次上训练卷积神经网络。在一些实现中，机器/深度学习数据模型116输出某些事件(例如，缺陷的类型或是/否)的概率。
31.图2a是根据一些实现的用于训练生成对抗网络(gan)以增强增量制造的产品的2-d图像的序列的图像分辨率的系统200的方框图。从增量制造过程的现场监测获得原始输入图像202(例如，nir图像或ct数据)。通过按照预定分辨率(例如，60μ m(微米)分辨率)捕获nir图像(在建造产品时)，一些实现获取初始数据(原始输入图像202)。一些实现按照第二预定分辨率(例如，20μ m分辨率)执行打印零件或产品的微ct扫描。通常在产品被完全构造之后生成微ct扫描。在一些实现中，每个nir图像对应于产品的x-y横截面(例如，层)。输入图像被裁剪并且对准以获得nir和ct数据204，nir和ct数据204随后利用翘曲变换被分块(tiled)(例如，随机x-y、y-z或x-z图块)以获得中间分块输入206。这些图块堆栈(每个图块堆栈代表总体图像的一部分)被用于训练生成对抗网络208。例如，每个nir图像对应于产品的x-y剖面或层，并且ct图像堆栈包括产品自下而上的层的扫描(即，首先是最底层，后面跟随有随后的层，一直到最顶层)。对准nir图像和ct扫描图像包括逐层地匹配图像，从最底层到最顶层。通过修改输入数据以增加可用于训练的数据的量，一些实现扩充输入数据(用于训练神经网络的数据)。一些实现旋转、调整位置和/或缩放输入数据以获得用于训练的进一步数据。在一些实例中，这些操作并不实际上提供另外的数据。例如，当输入数据或图像包含圆圈或六边形时，旋转并不提供另外的数据或信息。通过使数据翘曲，一些实现扩充数据。在一些实例中，翘曲产生用于训练神经网络的另外的信息(例如，h形)。翘曲被用于扩充训练数据集以增加训练数据的多样性。翘曲(有时被称为透视翘曲)包括输入数据的仿射变换(一个或多个)。一些实现使nir图像(或从nir图像获得的图块)和ct图像(或从ct图像获得的图块)翘曲，以产生用于训练的对应翘曲图像(或图块)。翘曲操作取得2-d图像并且将其投影到3-d空间中，这使得该图像看起来就好像它被在某个角度观看。由于最终图像被投
影回到二维中，所以翘曲产生看起来拉伸、扭曲、弯曲或者以其他方式变形的图像。一些实现对ct和nir输入数据都同样地执行翘曲操作，从而为原始数据中看不见的几何形状或特征创建配对的基准真值(ground-truth)。
32.一些实现通过将nir图像组装成3-d体积来对数据源进行配对，将nir和微ct体积对准，和/或将nir图像提升到ct分辨率(例如，使用基本内插)。通过从上述配对的3-d体积随机选择图块、随机操纵数据以扩充数据集和/或将数据集划分为训练、测试和确认数据集，一些实现提取训练集。一些实现随后使用训练集来训练gan 208。
33.图2b是根据一些实现的图2a中示出的生成对抗网络(gan)208的方框图。生成对抗网络或gan是训练深度卷积神经网络(cnn)的高级方法。替代于使用单个网络，两个单独的网络(生成器212和辨别器216)被训练。生成器212是将会在训练之后最终使用的网络。生成器212取得输入数据210(例如，近红外或nir图像)，处理输入数据210，并且生成样本218(例如，伪造或人造ct数据)。结果218被视为“伪造”数据，因为它是生成的(不是实际ct扫描)。辨别器216接收原始“真实”样本214或“伪造”生成的样本218(或同时接收二者)，并且尝试确定数据是“真实”还是“伪造”。所述两个网络被同时训练。基于生成器212“欺骗”辨别器216使辨别器216相信它的数据“真实”的能力，生成器212被训练，而基于辨别器216辨别“真实“与”伪造”的能力，辨别器216被训练。这导致两个模型或网络变得越来越准确。当两个网络的准确性都已稳定(例如，对于若干迭代，准确性不变)时，模型被视为“收敛”或“完全训练”(由块220示出的状态)。在一些情况下，当辨别器在大约50％的时间正确时，收敛发生。在网络收敛之前，块220中示出的状态将微调反馈222提供给生成器212和辨别器216。在一些实现中，人类开发者确认“伪造”数据结果的质量。在gan过程期间，网络使用训练数据集(如上所述)来训练网络，并且使用独立确认数据集(也如上所述)来测量准确性。对于每个输入，训练模型产生统计数据(例如，准确性和/或损失)。在一些实现中，一旦训练已达到开发者相信输出质量良好的点，使用完全单独的数据集来执行测试。这个数据集本质上是生产模型的试运行，不仅测试神经网络本身，还测试整个图像处理和组装流水线。
34.图2c是根据一些实现的用于使用生成对抗网络(gan)208来增强增量制造的产品的2-d图像的序列的图像分辨率的系统224的方框图。从产品的增量制造过程的现场监测获得原始输入图像226(例如，nir图像)。一些实现在增量制造过程期间捕获产品的层图像。一些实现调整图像的大小(例如，将大小增加至3倍)。输入图像被裁剪以获得裁剪的nir图像228。一些实现将裁剪的图像228分割成带编号的图块(例如，作为256x256像素图块)，针对每预定数量的像素(例如，每128个像素)提取图块。在一些实现中，图块重叠(例如，4个图块重叠)以消除边缘效应。随后，裁剪的nir图像被排序和/或分块以获得有序图块230。有序图块230被输入到已训练gan生成器208(所述已训练gan生成器208在推理模式下运行)以获得有序图块输出232。有序图块输出232被拼接并且混合以获得输出234，输出234被用于重构数字孪生模型236(例如，拼接图像被附加以形成3-d体积)。根据一些实现，以下参照图4和5描述分块和图像拼接算法的细节。在一些实现中，每个图块被单独输入到gan。输入图像被切成图块，每个图块由gan处理，然后输出图块被重新组装成最终图像。对于(图块的)图像堆栈中的每个图像，实现这一点，然后最终，输出图像的堆栈被组合成3-d体积。
35.图3是图示根据一些实现的计算装置300的方框图。计算装置300的各种示例包括服务器、超级计算机、桌上型计算机、云服务器和其他计算装置的高性能群集(hpc)。计算装
置300通常包括：一个或多个处理单元/核(cpu和/或gpu)302，用于执行存储在存储器314中的模块、程序和/或指令并且由此执行处理操作；一个或多个网络或其他通信接口304；存储器314；和一个或多个通信总线312，用于将这些部件互连。通信总线312可包括将系统部件互连并且控制系统部件之间的通信的电路。
36.计算装置300可包括用户接口306，用户接口306包括显示装置308和一个或多个输入装置或机构310。在一些实现中，输入装置/机构包括键盘。在一些实现中，输入装置/机构包括“软”键盘，“软”键盘根据需要被显示在显示装置308上，使用户能够“按压”出现在显示器308上的“键”。在一些实现中，显示器308和输入装置/机构310包括触摸屏显示器(也被称为触摸敏感显示器)。
37.在一些实现中，存储器314包括高速随机存取存储器，诸如dram、sram、ddr ram或其他随机存取固态存储装置。在一些实现中，存储器314包括非易失性存储器，诸如一个或多个磁盘存储装置、光盘存储装置、闪存装置或其他非易失性固态存储装置。在一些实现中，存储器314包括相对于gpu(一个或多个)/cpu(一个或多个)302远程地布置的一个或多个存储装置。存储器314，或者替代地，存储器314内的非易失性存储装置(一个或多个)，包括非暂态计算机可读存储介质。在一些实现中，存储器314或存储器314的计算机可读存储介质存储下面的程序、模块和数据结构或其子集：
38.·
操作系统316，包括用于处理各种基本系统服务以及用于执行硬件相关任务的过程；
39.·
通信模块318，用于经由所述一个或多个通信网络接口304(有线或无线)和一个或多个通信网络(诸如，互联网、其他广域网、局域网、城域网等等)将计算装置300连接到其他计算机和装置；
40.·
可选数据可视化应用或模块320，用于显示增量制造缺陷的可视化以进行现场检查；
41.·
输入/输出用户接口处理模块346，允许用户指定参数或控制变量；
42.·
现场检查引擎112(有时被称为在线监测引擎，如以上参照图1所述)。在一些实现中，检查引擎112包括图像处理模块322和/或增量制造控制模块330，如以下针对图10所述。在一些实现中，图像处理模块322包括图像分块模块324、图像拼接模块326和/或图像转换模块328，如以下更详细所述；
43.·
分块图332，由图像分块模块324用来细分低分辨率2-d图像以获得低分辨率(lr)图块和/或细分高分辨率2-d图像以获得高分辨率(hr)图块；
44.·
机器/深度学习/回归模型334(例如，图1中的模型116，并且如以下进一步所述)，包括权重和输入向量；
45.·
增量制造过程336；
46.·
序列低分辨率2-d图像338；
47.·
高分辨率3-d图像340，包括高分辨率2-d图像的切片；
48.·
可选地，建造后效果模型342；和/或
49.·
内插模块344。
50.每个以上识别的可执行模块、应用或过程集可被存储在以前提及的存储装置中的一个或多个中，并且对应于用于执行上述功能的一组指令。以上识别的模块或程序(即，指
令集)不需要被实现为单独的软件程序、过程或模块，并且因此，在各种实现中，这些模块的各种子集可被组合或者以其他方式重新布置。在一些实现中，存储器314存储以上识别的模块和数据结构的子集。另外，存储器314可存储以上未描述的另外的模块或数据结构。根据一些实现，以下进一步描述图3中示出的每个模块的操作和数据结构的性质。
51.虽然图3示出计算装置300，但图3更多地旨在作为可能存在的各种特征的功能描述，而非作为本文中描述的实现的结构示意图。实际上，并且如本领域普通技术人员所意识到，单独示出的项目能够被组合，并且一些项目能够被分离。
52.在一些实现中，虽然未示出，但存储器314还包括模块以训练并且执行以上参照图1和2a-2c描述的模型。特别地，在一些实现中，存储器314还包括随机采样模块、译码框架、一个或多个卷积神经网络、统计支持包和/或其他图像、信号或关联的数据。
53.图4是根据一些实现的增量制造过程的层的图像的示例性图块的示图。根据一些实现，图像400、402、404和406可对应于同一产品(或使用相同增量制造过程或不同增量制造过程建造的不同产品)的不同层。根据一些实现，根据作为图像大小的小部分(例如，图像大小的四分之一或八分之一)的图块大小，每个图像被分块。一些实现使用相同的图块大小来对所有图像进行分块。一些实现将不同的图块大小用于不同的产品和/或不同的增量制造过程。在图4中，图像400、402、404和406对应于来自同一图像的单独组的图块。一些实现组合这些组图块以创建在每个方向上重叠的一组图块。例如，高分辨率图像通常在每个轴上包括10个或更多个总图块，一共400个图块(4*100)。由于图块偏移，所以在边缘上存在在一个或多个方向上具有一半厚度的图块。在一些实现中，gan要求图块具有统一大小，因此这些图块不被包括在计算中(例如，裁剪部分利用零来填充)，或者从非裁剪部分对裁剪部分进行镜像。
54.图5是根据一些实现的增量制造过程的层的图像的图块的拼接的示图。一些实现使用图像拼接算法，与传统方法相比，所述图像拼接算法在不损失细节的情况下提供分块图像的优秀混合。输出图像中的每个像素通过四个或更多个重叠图块中的每个图块中的该像素的值的加权和而生成。每个图块的权重与到图块的中心的距离成线性比例以消除边缘效应。根据一些实现，图5示出初始分块图像502，初始分块图像502能够由拼接算法500处理以产生拼接分块图像。在图5中，图像500示出重叠的图块，其中来自每个重叠图块的边缘出现在图像中。通过拼接4种重叠图块配置并且经过取得4个图像(每个图像对应于重叠图块)的平均数或平均值将它们混合在一起，一些实现生成图像500。图5还示出使用改进的混合方法生成的第二图像502。在一些实现中，在拼接每组图块之前，图块乘以由数学公式生成的“混合图块”，以下示出该公式的示例：
[0055][0056]
在以上示出的方程(1)中，x和y是(图像的像素的)x、y坐标，并且width和height是与像素对应的图块的宽度和高度(维度的大小)。在一些实现中，方程(1)产生具有由到图像的中心的x和y距离确定的从0至1的标度的加权图像。在一些实现中，由这4种配置产生的图像被相加在一起，从而每个像素的总权重是1。
[0057]
图6a和6b示出根据一些实现测试已训练神经网络(例如，gan 208)的输出的结果。根据一些实现，测试结果基于nir、ct和伪造ct(由gan 208的生成器创建的人造图像)的卡
尺测量值。根据一些实现，测试结果来自几何比较测试，所述几何比较测试包括：通过按照像素测量零件的全宽来校准像素大小，使用卡尺测量薄壁(最小可能特征)的厚度，并且将系统的输出的测量值与针对nir和微ct扫描测量的壁厚度进行比较。图6a示出根据一些实现的使用卡尺在宽度方向上测量的增量制造的零件的横截面。在宽度方向上的测量值被划分为每个图像中的这个区域的平均像素宽度以确定体素大小。通过使用零件的整个宽度，由于+/-1像素边缘清晰度不确定性而导致的测量误差比被最小化为分数+/-2/(像素的总数)。在图6a中，第一图像600是nir图像(具有低分辨率的输入图像，并且包括最少427个像素、228个平均数量的像素和431个最大数量的像素)。第二图像602对应于ct扫描图像(有时被称为ct图像，它是更高分辨率图像，其包括最少1367个像素、最多1373个像素和平均1369个像素)。第三图像604对应于由系统生成的输出(伪造ct图像，它包括最少1294个像素、最多1301个像素和平均1297个像素)。分辨率被示出在图像600、602和604中的每个图像的y轴上。输入图像600具有660μm的卡尺测量值，并且伪造ct图像604具有626μm
±
40μm的卡尺测量值。如图中所示，nir图像的分辨率低(0-100个单位)，而伪造ct图像的分辨率(接近300个单位)类似于ct图像602的分辨率。图像600、602和604中的x轴对应于通过增量制造而建造的产品或零件的层的线性尺寸。
[0058]
图6b示出根据一些实现的其横截面被示出在图6a中的产品或零件的面(“面1”)的测量值的表606。表606示出26.14个单位的卡尺值，ct像素的数量是1369，nir像素的数量是428，伪造ct像素的数量是1297，ct体素大小是19.0μm，nir体素大小是61μm，并且伪造ct体素大小是20.15μm。根据一些实现，表606示出用于计算图6a中示出的图像的体素大小的数字。
[0059]
图7示出根据一些实现的使用图6a和6b中的零件的相同位置的nir、ct和伪造ct数据的示例性厚度测量值700。在图7中，根据一些实现，曲线图702对应于输入nir图像600，曲线图704对应于ct图像602，并且曲线图706对应于伪造ct图像604。每个曲线图或图像包括该区域上的最大、最小和平均厚度测量值。该测量值与来自相同位置的卡尺测量值进行比较以确定准确性，如以上参照图6a和6b所述。
[0060]
图8a和8b示出根据一些实现的人造高分辨率图像的示例。图8a示出nir图像804，nir图像804被输入到在来自更早建造的ct数据上训练的已训练网络中，所述已训练网络生成伪造ct图像806(与ct图像匹配的人造图像)。当网络收敛时，伪造ct图像的分辨率和/或质量与真实ct图像的分辨率和/或质量匹配。图8b示出当在不同几何形状上测试(即，在训练集中不包括的多个几何形状上测试网络)时如参照图8a所述训练的网络的输出。例如，使用如图8a中所述训练的网络，输入图像808生成图像810，并且输入图像812生成图像814。
[0061]
图9是根据一些实现的用于z轴提升(内插)的系统900的示意图。一些实现使用单独的神经网络(例如，除上述gan 208之外的神经网络)。一些实现训练gan 208，并且将gan 208用于z轴提升。在一些实现中，所述单独的网络被训练以便不仅增加x轴和y轴上的分辨率，还在z轴上的打印层之间内插。在实验中，结果示出持续的gd&t准确性，并且在一些实例中，示出改进的孔隙清晰度。在一些实现中，内插操作由以上参照图3描述的内插模块344执行。在一些实现中，三个通道输入(例如，3x1通道输入，包括在0μm的第一输入通道902、在25μm的第二输入通道904和在50μm的第三输入通道906)被组合以形成3通道输入908。一些实现将一个输入通道用于增量制造的产品的每个层。一些实现将相应输入通道用于相对于增
量制造的产品的预定位置处于相应距离的每个层。在一些实现中，每个输入通道对应于相对于增量制造的产品的另一层处于预定距离(例如，25μm)的层。3通道输入被输入到神经网络(类似于gan 208)，该神经网络被训练以在z轴中的打印层之间内插(类似于产生更高分辨率图像)，并且输出3通道输出910，3通道输出910被分割成3x1通道输出(分别在0μm、25μm和50μm的图像912、914和916)。
[0062]
图10是图示根据一些实现的训练生成对抗网络以增强增量制造的产品的2-d图像的序列的图像分辨率的系统1000的方框图。在一些实现中，系统1000(例如，计算装置300)执行用于增强增量制造的产品的2-d图像的时间序列的图像分辨率的方法。所述方法包括：执行多个增量制造过程1002中的每个增量制造过程的一系列步骤。所述一系列步骤包括：在相应增量制造过程期间获得(1016)相应产品的相应多个序列低分辨率2-d图像1004(例如，使用近红外(nir)图像的低分辨率2-d图像338)。所述一系列步骤还包括：在相应增量制造过程完成之后，获得(1018)相应产品的相应高分辨率3-d图像1008(例如，高分辨率3-d图像342)。高分辨率3-d图像包括与低分辨率2-d图像对应的多个高分辨率2-d图像。所述一系列步骤还包括：选择(1006)一个或多个分块图，所述分块图将每个低分辨率2-d图像细分为多个lr图块并且将每个对应高分辨率2-d图像细分为多个对应hr图块。在图10中，所述多个lr图块和所述多个hr图块由图块1010指示。在一些实现中，lr和hr图块被单独地存储。一些实现计算并且存储lr和hr图块的有序对。所述一系列步骤还包括：使用(1020)包括对应lr图块和hr图块的有序对的训练输入在生成对抗网络中迭代地建造(1012)图像增强生成器1014。在一些实现中，所述一系列步骤还包括：存储(1022)图像增强生成器以随后用于增强在增量制造期间为产品捕获的低分辨率2-d图像的序列。
[0063]
在一些实现中，生成对抗网络(例如，gan 208)包括包含图像增强生成器(例如，生成器212)的第一神经网络和包含辨别器(例如，辨别器216)的第二神经网络。在一些实现中，迭代地建造图像增强生成器包括：训练图像增强生成器以基于低分辨率2-d图像产生候选高分辨率2-d图像(例如，伪造ct数据)；并且训练辨别器以区分候选高分辨率2-d图像和获得的高分辨率3-d图像(真实高分辨率图像)的2-d切片。根据一些实现，以上参照图2a-2c、6、8a和8b描述了训练的示例(低分辨率2-d图像和高分辨率2-d图像)。在一些实现中，当在多次连续训练迭代期间对于50％的候选高分辨率2-d图像而言图像增强生成器的输出被辨别器分类为真实高分辨率3-d图像时，建造图像增强生成器停止。例如，两个模型都变得越来越准确。当两个网络的准确性都已稳定时，模型被视为“收敛”或“完全训练”。在一些实现中，人类开发者接受“伪造”数据结果的质量。
[0064]
在一些实现中，所述多个序列低分辨率2-d图像1004中的每个低分辨率2-d图像是在相应增量制造过程期间的相应产品的近红外(nir)图像。
[0065]
在一些实现中，基于在相应增量制造过程完成之后执行相应产品的微ct扫描(例如，20μm分辨率)，生成每个高分辨率3-d图像1008。
[0066]
在一些实现中，所述方法还包括：在细分成图块之前，裁剪低分辨率2-d图像并且使低分辨率2-d图像与高分辨率2-d图像对准。在一些实现中，所述方法还包括：通过对一些2-d图像执行翘曲变换，扩充训练输入中的lr图块和hr图块。在一些实现中，所述一个或多个分块图包括多个分块图，每个分块图根据不同模式进行细分。在一些实现中，所述选择分块图并且细分(有时被称为分块)由图像处理模块322(例如，使用图像分块模块324)执行。
根据一些实现，以上参照图3和4描述了分块图像和分块操作的示例。
[0067]
图11是图示根据一些实现的使用来自已训练生成对抗网络(例如，经由以上参照图10描述的过程训练的gan)的生成器来增强增量制造的产品的2-d图像的序列的图像分辨率的系统1100的方框图。系统1100执行为增强增量制造的产品的2-d图像的序列的图像分辨率而提供的方法。在计算装置300执行所述方法，计算装置300具有：一个或多个处理器；和存储器，存储被配置用于由所述一个或多个处理器执行的一个或多个程序。
[0068]
所述方法包括：在正在进行的增量制造过程1102(例如，增量制造过程336)期间获得(1118)产品的多个序列低分辨率2-d图像1104(例如，近红外(nir)图像)。所述方法还包括：获得(1120)作为生成对抗网络的一部分的以前训练(例如，如以上参照图10所述训练)的图像增强生成器1014。图像增强生成器被配置为接受固定2维大小的输入图像。所述方法还包括：选择(1106)一个或多个分块图(例如，使用图像分块模块324)，所述分块图将每个低分辨率2-d图像细分成多个lr图块1108。来自低分辨率2-d图像的在空间上对应的图块形成多个图块堆栈。所述方法还包括：对于每个lr图块，应用(1110)图像增强生成器1014以生成产品的高分辨率2-d人造图像图块1112。所述方法还包括：将高分辨率2-d人造图像图块拼接(例如，使用图像拼接模块326)在一起以用于与低分辨率图像对应的一组高分辨率2-d人造层；并且将高分辨率2-d人造层堆叠在一起以形成产品的3-d人造体积。
[0069]
在一些实现中，所述方法还包括：使用3-d人造体积来识别(1114)产品中的建造后效果和/或缺陷1116(例如，特征检测，诸如裂缝/孔隙，基于以前的建造来预测层后效果，诸如重新熔化、膨胀、收缩)。
[0070]
在一些实现中，生成对抗网络(如以上参照图2b所述)包括包含图像增强生成器的第一神经网络和包含辨别器的第二神经网络。
[0071]
在一些实现中，在训练(以上参照图10描述了所述训练的示例)期间，图像增强生成器1014被训练以基于低分辨率2-d图像(例如，nir图像)产生候选高分辨率2-d图像(例如，伪造或人造ct数据)；并且辨别器被训练以区分候选高分辨率2-d图像和在增量制造过程完成之后捕获的真实高分辨率3-d图像的切片。
[0072]
在一些实现中，获得所述多个序列低分辨率2-d图像1104包括在正在进行的增量制造过程期间捕获产品的每个层的相应低分辨率2-d图像(例如，图4、5、6、8a、8b和9中示出的图像)。
[0073]
在一些实现中，所述方法还包括：调整所述多个序列低分辨率2-d图像的大小(例如，使用图像转换模块328)。
[0074]
在一些实现中，每个分块图将每个低分辨率2-d图像细分成非重叠图块。在一些实现中，所述一个或多个分块图包括多个分块图，每个分块图根据不同模式细分低分辨率2-d图像。在一些实现中，所述拼接包括：对于分块图的两个或更多个重叠区域中所包括的每个像素，通过计算对应高分辨率2-d人造图像图块中的值的相应加权和，生成相应像素的相应输出图像。在一些实现中，计算相应加权和包括：对于每个图块对相应加权和的贡献，关联与到相应图块的中心的距离成线性比例的相应权重。
[0075]
在一些实现中，所述方法还包括：将产品的高分辨率3-d人造体积转换(例如，使用图像转换模块328)成原始ct扫描格式(例如，可由现成的ct分析工具使用的格式)。
[0076]
在一些实现中，所述方法还包括：使用已训练神经网络在正在进行的增量制造过
程的打印层之间进行内插(例如，使用内插模块344，并且如以上参照图9所述)(例如，除了增加x轴和y轴上的分辨率之外，gan网络还在z轴中的打印层之间进行内插)。
[0077]
一些实现迭代参照图11描述的过程以随后标记和/或拒绝有缺陷的零件。例如，一些系统识别和/或丢弃被预测具有超过预定孔隙率阈值的产品或不满足预定几何标准的层。
[0078]
本文中在本发明的描述中使用的术语仅用于描述特定实现的目的，并且不旨在限制本发明。如本发明和所附权利要求的描述中所使用，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另外指示。还将会理解，如本文中所使用，术语“和/或”指代并且包括关联的列出的项中的一个或多个的任何和所有可能的组合。还将会理解，当在本说明书中使用时，术语“包括”和/或“包含”指定陈述的特征、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、步骤、操作、元件、部件和/或其群组的存在或添加。
[0079]
为了解释的目的，已参照特定实现描述了前面的描述。然而，以上说明性讨论不旨在是穷尽的或者将本发明限制于公开的精确形式。考虑到以上教导，许多修改和变化是可能的。选择并且描述所述实现以便最好地解释本发明的原理及其实际应用，由此使其他本领域技术人员能够最好地使用本发明和具有适合于设想的特定用途的各种修改的各种实现。

技术特征：
1.一种用于增强增量制造的产品的2-d图像的序列的图像分辨率的方法，所述方法包括：对于多个增量制造过程中的每个增量制造过程：在相应增量制造过程期间获得相应产品的相应多个序列低分辨率2-d图像；在相应增量制造过程完成之后，获得相应产品的相应高分辨率3-d图像，其中所述高分辨率3-d图像包括与所述低分辨率2-d图像对应的多个高分辨率2-d图像；选择一个或多个分块图，所述分块图将每个低分辨率2-d图像细分为多个lr图块并且将每个对应高分辨率2-d图像细分为多个对应hr图块；使用包括对应lr图块和hr图块的有序对的训练输入，在生成对抗网络中迭代地建造图像增强生成器；并且存储所述图像增强生成器以随后用于增强在增量制造期间为产品捕获的低分辨率2-d图像的序列。2.如权利要求1所述的方法，其中所述多个序列低分辨率2-d图像中的每个序列低分辨率2-d图像是在相应增量制造过程期间按照时间顺序捕获的相应产品的近红外(nir)图像。3.如权利要求1所述的方法，其中基于在相应增量制造过程完成之后执行相应产品的微ct扫描，生成每个高分辨率3-d图像。4.如权利要求1所述的方法，其中所述生成对抗网络包括包含所述图像增强生成器的第一神经网络和包含辨别器的第二神经网络。5.如权利要求4所述的方法，其中迭代地建造所述图像增强生成器包括：训练所述图像增强生成器以基于低分辨率2-d图像产生候选高分辨率2-d图像；并且训练所述辨别器以区分所述候选高分辨率2-d图像和获得的高分辨率3-d图像的2-d切片。6.如权利要求5所述的方法，其中当在多次连续训练迭代期间对于50％的所述候选高分辨率2-d图像而言所述图像增强生成器的输出被所述辨别器分类为真实高分辨率3-d图像时，建造所述图像增强生成器停止。7.如权利要求1所述的方法，还包括：在细分成图块之前，裁剪所述低分辨率2-d图像并且使所述低分辨率2-d图像与所述高分辨率2-d图像对准。8.如权利要求1所述的方法，还包括：通过对一些2-d图像执行翘曲变换，扩充所述训练输入中的所述lr图块和hr图块。9.如权利要求1所述的方法，其中所述一个或多个分块图包括多个分块图，每个分块图根据不同模式进行细分。10.一种用于增强增量制造的产品的2-d图像的序列的图像分辨率的方法，所述方法包括：在正在进行的增量制造过程期间获得产品的多个时间序列低分辨率2-d图像；获得作为生成对抗网络的一部分的以前训练的图像增强生成器，其中所述图像增强生成器被配置为接受固定2维大小的输入图像；选择一个或多个分块图，所述分块图将每个低分辨率2-d图像细分成多个lr图块；对于每个lr图块，应用所述图像增强生成器以生成所述产品的高分辨率2-d人造图像图块；
将所述高分辨率2-d人造图像图块拼接在一起以用于与所述低分辨率图像对应的一组高分辨率2-d人造层；并且将所述高分辨率2-d人造层堆叠在一起以形成所述产品的3-d人造体积。11.如权利要求10所述的方法，其中所述生成对抗网络包括包含所述图像增强生成器的第一神经网络和包含辨别器的第二神经网络。12.如权利要求11所述的方法，其中在训练期间：所述图像增强生成器被训练以基于低分辨率2-d图像生成候选高分辨率2-d图像；并且所述辨别器被训练以区分所述候选高分辨率2-d图像和在增量制造过程完成之后捕获的真实高分辨率3-d图像的切片。13.如权利要求10所述的方法，其中获得所述多个时间序列低分辨率2-d图像包括在正在进行的增量制造过程期间捕获所述产品的每个层的相应低分辨率2-d图像。14.如权利要求10所述的方法，还包括：调整所述多个序列低分辨率2-d图像的大小。15.如权利要求10所述的方法，其中每个分块图将每个低分辨率2-d图像细分成非重叠图块。16.如权利要求10所述的方法，其中所述一个或多个分块图包括多个分块图，每个分块图根据不同模式细分所述低分辨率2-d图像。17.如权利要求10所述的方法，其中所述拼接包括：对于所述分块图的两个或更多个重叠区域中所包括的每个像素，通过计算对应高分辨率2-d人造图像图块中的值的相应加权和，生成相应像素的相应输出图像。18.如权利要求17所述的方法，其中计算相应加权和包括：对于每个图块对相应加权和的贡献，关联与到相应图块的中心的距离成线性比例的相应权重。19.如权利要求10所述的方法，还包括：将所述产品的所述3-d人造体积转换成原始ct扫描格式。20.如权利要求10所述的方法，还包括：使用已训练神经网络在正在进行的增量制造过程的打印层之间进行内插。21.如权利要求10所述的方法，还包括：使用所述3-d人造体积来识别所述产品中的建造后效果或缺陷。22.一种用于增强增量制造的产品的2-d图像的序列的图像分辨率的电子装置，包括：一个或多个处理器；和存储器，存储被配置用于由所述一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-21中任一项所述的方法的指令。23.一种非暂态计算机可读存储介质，存储被配置用于由电子装置的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-21中任一项所述的方法的指令。

技术总结
提供了一种用于增强增量制造的产品的2-D图像的序列的图像分辨率的方法。对于多个增量制造过程中的每个增量制造过程，所述过程在相应增量制造过程期间获得相应产品的相应多个序列低分辨率2-D图像，并且在相应增量制造过程完成之后，获得相应产品的相应高分辨率3-D图像。所述过程选择分块图，所述分块图分别将低分辨率2-D图像和高分辨率3-D图像细分成低分辨率图块和高分辨率图块。所述过程还使用包括低分辨率和高分辨率图块的有序对的训练输入在生成对抗网络中迭代地建造图像增强生成器。所述过程存储图像增强生成器以随后用于增强在增量制造期间为产品捕获的低分辨率2-D图像的序列。像的序列。像的序列。


技术研发人员：S
受保护的技术使用者：博沃艾特先进技术有限责任公司
技术研发日：2021.12.01
技术公布日：2023/10/15