带电粒子显微镜检查中的利用反馈的自动调谐载物台稳定时间的制作方法

1.本领域是带电粒子显微镜检查。


背景技术：

2.在显微镜检查中，由移动载物台支撑的样本位于探测束的视野中。将束引导至样本，并且然后检测由样本透射、散射或发射的束粒子或其他粒子，以便形成样本的图像。可通过移动载物台将样本移动到各种位置或取向，使得可对不同区域或视角进行成像。


技术实现要素：

3.根据所公开的技术的一个方面，用于控制带电粒子显微镜检查系统的计算机实现的方法包括：基于图像序列来估计该带电粒子显微镜检查系统的载物台的漂移，以及基于该漂移估计值来自动调整载物台稳定等待持续时间。一些示例还包括在该经调整的载物台稳定等待持续时间已经过去之后采集样本的图像。一些示例还包括：将该载物台移动到第一位置，其中在该第一位置处采集该图像序列，以及将该载物台移动到第二位置，其中在该经调整的载物台稳定等待持续时间之后在该第二位置处采集该样本的该图像。一些示例还包括将该载物台移动到第一位置，其中在该第一位置处采集该图像序列，其中该估计该漂移包括在到该第一位置的该移动之后基于该图像序列来估计该载物台的该漂移，该自动调整包括在该载物台在该第一位置处的该稳定期间调整该载物台稳定等待持续时间，并且该采集该样本的该图像包括在该经调整的载物台稳定等待持续时间之后在该第一位置处采集该图像。在一些示例中，该自动调整该载物台稳定等待持续时间包括：基于该漂移估计值来估计载物台稳定持续时间，以及响应于该载物台稳定等待持续时间估计值相对于所存储的载物台稳定等待持续时间的变化，将该载物台稳定等待持续时间调整固定量。在一些示例中，该自动调整该载物台稳定等待持续时间包括：基于该漂移估计值来估计载物台稳定持续时间，以及调整该载物台稳定等待持续时间以对应于该载物台稳定持续时间估计值。在一些示例中，该基于该漂移估计值来估计该载物台稳定持续时间包括在确定该漂移估计值低于阈值漂移值之后分配载物台稳定持续时间值。在一些示例中，该阈值漂移值是该图像序列的总移动。在一些示例中，该自动调整该载物台稳定等待持续时间包括通过人工神经网络来估计载物台稳定持续时间，该人工神经网络被配置为基于一个或多个网络输入和一个或多个经训练网络层来产生输出估计值以用于对该载物台稳定等待持续时间进行调整。在一些示例中，该网络输入包括以下中的一者或多者：图像漂移数据、载物台命令值、载物台位置、视场、载物台动态、环境输入和/或基于时间的模式。
4.根据所公开的技术的另一个方面，带电粒子显微镜检查系统包括：成像系统；移动载物台；以及处理器和被配置有计算机可执行指令的存储器，该计算机可执行指令在被执行时致使该处理器基于通过该成像系统获得的图像序列来估计该移动载物台的载物台稳定持续时间，以及基于该载物台稳定持续时间来自动调整该移动载物台的载物台稳定等待
持续时间。在一些示例中，该计算机可执行指令被进一步配置为致使该成像系统在该经调整的载物台稳定等待持续时间已经过去之后采集样本的图像。在一些示例中，该计算机可执行指令被进一步配置为致使将该载物台移动到第一位置，其中在该第一位置处采集该图像序列，并且将该载物台移动到第二位置，其中在该经调整的载物台稳定等待持续时间之后在该第二位置处采集该样本的该图像。在一些示例中，该计算机可执行指令被进一步配置为致使将该载物台移动到第一位置，其中在该第一位置处采集该图像序列，其中该载物台稳定持续时间的该估计包括在到该第一位置的该移动之后基于该图像序列来估计该载物台的该载物台稳定持续时间，该自动调整包括在该载物台在该第一位置处的该稳定期间调整该载物台稳定等待持续时间，并且该样本的该图像的该采集包括在该经调整的载物台稳定等待持续时间之后在该第一位置处采集该图像。在一些示例中，致使该估计该移动载物台的该载物台稳定持续时间的该计算机可执行指令包括基于该漂移估计值来估计载物台稳定持续时间的指令，并且其中致使该载物台稳定等待持续时间的该自动调整的该计算机可执行指令包括响应于该载物台稳定等待持续时间估计值的变化而相对于所存储的载物台稳定等待持续时间将该载物台稳定等待持续时间调整固定量的指令。在一些示例中，致使该估计该移动载物台的该载物台稳定持续时间的该计算机可执行指令包括基于该漂移估计值来估计载物台稳定持续时间的指令，并且其中致使该载物台稳定等待持续时间的该自动调整的该计算机可执行指令包括调整该载物台稳定等待持续时间以对应于该载物台稳定持续时间估计值的指令。在一些示例中，被配置为估计该载物台稳定持续时间的该计算机可执行指令包括基于漂移估计值来估计载物台稳定持续时间，以及在确定该漂移估计值低于阈值漂移值之后分配载物台稳定持续时间值。在一些示例中，该阈值漂移值是该图像序列的连续图像之间的路径长度差。在一些示例中，致使该载物台稳定等待持续时间的该自动调整的该计算机可执行指令包括通过人工神经网络来产生载物台稳定持续时间的估计值的指令，该人工神经网络被配置为基于一个或多个网络输入和一个或多个经训练网络层来产生输出估计值以用于对该载物台稳定等待持续时间进行调整。在一些示例中，该网络输入包括以下中的一者或多者：图像漂移数据、载物台命令值、载物台位置、视场、载物台动态、环境输入和/或基于时间的模式。
5.根据所公开的技术的另一个方面，装置包括：成像系统，该成像系统被配置为对样本进行成像；移动载物台，该移动载物台被配置为在该成像系统的视野中支撑该样本；和成像控制器，该成像控制器被配置为基于通过该成像系统获得的图像序列来确定在第一载物台位置处的该移动载物台的稳定参数，基于该稳定参数来调整该移动载物台的载物台稳定等待持续时间，以及致使该成像系统使用该经调整的载物台稳定等待持续时间来捕获在第二位置处的该移动载物台上的该样本的图像。
6.根据参考附图进行的以下详细描述，所公开的技术的前述和其他目的、特征和优点将变得更加明显。
附图说明
7.图1是示例性显微镜系统的示意图。
8.图2a是在样本移动到命令位置之后的图像漂移的平面图。
9.图2b是图2a所示的图像漂移相对于时间的曲线图。
10.图3是调整载物台稳定参数值的示例性方法的流程图。
11.图4是用于稳定时间参数值估计的示例性神经网络方法的示意图。
12.图5是其中可实现一些所描述的示例的示例性计算系统的示意图。
13.图6是可结合本文描述的技术使用的示例性云计算环境的示意图。
具体实施方式
14.如先前所讨论的，可通过移动载物台将样本移动到各种位置或取向以用于成像。然而，在将样本移动到新位置或取向之后，由于载物台动态和/或显微镜状况(例如，液氮的再填充)，载物台和样本继续稍微移动。最初，移动可以是大的，包括对于高分辨率图像采集中的期望的下一步骤而言过大。因此，在成像可进行之前，需要足够量的等待时间或延迟以便允许样本的各种移动衰减，直到移动足够小以使得它们不限制期望最终图像的所需分辨率。如果在稳定延迟的结束之前收集最终图像，则图像可能是模糊的或低质量的，这可能需要重复实验。在许多显微镜检查应用中，期望对样本的多个位置和/或取向进行成像。但是，随着所需移动的数量增加，由于稳定时间的累积量引起的总开销也增加。特别是对于具有大量命令载物台移动的快速、自动化成像序列，当使剩余载物台运动低于可接受量所需的稳定时间的量长于载物台的实际稳定时间时，增加的开销的问题会更严重。因此，稳定时间可直接对吞吐量施加约束。因此，仍需要可解决与通过移动载物台移动样本之后的稳定时间相关联的吞吐量问题的系统和方法。
15.随着带电粒子光学设计(诸如电子光学设计)、带电粒子检测(诸如电子检测)和图像处理的最近改进，已经实现了原子分辨率。单粒子分析(spa)是一种有效技术，其可受益于此类分辨率，例如，以确定大分子(诸如蛋白质)的(3d)结构。利用spa，在不同取向下获得相同结构的大量图像投影，由此累积可用于获得结构的3d知识的结构的大量图像投影。spa可使用冷冻带电粒子显微镜检查诸如电子显微镜检查(cryoem)来执行。在cryoem中，将大分子样本布置在环境受控的显微镜室中并且通过电子束以不同位置和取向进行成像。利用蛋白质的spa，可获得对蛋白质的3d结构的理解并且可辨别各种蛋白质功能。然后可利用该知识来开发例如有用的药物。
16.然而，成功的spa采集要求在图像采集序列之前配置几十个良好设置的参数。此类参数中的一者是载物台稳定或等待时间。在每个载物台移动之后，在图像采集进行之前通过采集过程施加稳定时间的持续时间以确保图像的漂移在可接受的容差内。稳定时间的持续时间参数优选地是不延伸超过使漂移达到可接受容差所需要的实际时间的最小量。使选择复杂化的是，基于各种输入，稳定时间的最佳设置随系统变化并且随时间变化。此类输入中的一者是显微镜的动态、移动载物台和局部系统配置(例如，显微镜和地面之间的锚定系统、地面的类型和其他工厂特性)。另一个输入可包括最近载物台移动的量和方向。其他输入可能更难以建模为参数，诸如与温度、震动等相关的区域模式。可针对稳定时间参数使用静态值，但针对这种稳定使用静态设置不仅由于需要大量的操作者专业知识而增加了具有多个载物台移动的spa或其他成像过程的采用障碍，而且还不足够灵活以吸收图像采集过程期间的变化。静态设置也可过度减少吞吐量，其中选定稳定时间参数值被保守地选择为比使图像漂移充分地在容差内所需的实际持续时间长得多。
17.在所公开的示例中，反馈用于在针对样本收集已稳定图像之前动态地选择载物台
稳定时间参数值。在已稳定图像收集之前收集图像以确定图像漂移，并且基于图像漂移调整稳定时间参数。因此，不是在图像采集序列内使用针对稳定时间值的固定估计值，而是可在图像采集过程期间基于图像行为自动调整稳定时间值。可通过包括同时发生或最近图像漂移行为的各种输入以及包括显微镜、载物台和系统动态(与载物台相关联的更特定动态模式(诸如最近载物台移动的量和方向))的各种动态输入、时间特定的模式输入(由诸如慢车时间表、电站等的环境变量引起)和其他输入来通知调整。以此方式，在需要较多延迟以产生充分无漂移的图像的情况下，可增加稳定时间的持续时间，并且在实际漂移时间具有较短持续时间的情况下，可减小稳定时间的持续时间。对应的采集图像可具有较高质量，其中附加延迟是有帮助的，并且可通过减小获得较高质量图像所需的延迟来改进图像采集吞吐量。在一些示例中，使用人工智能对输入进行建模(诸如利用一个或多个卷积神经网络)，使得可基于漂移模式来估计稳定持续时间参数值。
18.spa和涉及多个载物台移动的其他成像技术的更广泛部署存在许多障碍，其中最重要的障碍当前是采集过程的吞吐量。在许多应用需要数千个图像的情况下，可能需要多次移动载物台以确保带电粒子束(诸如电子束)瞄准样本的正确部分。此外，通常需要辅助图像采集以确保所有的光学状况和机械状况都是正确的，使得可执行后续的主图像采集。每个步骤都需要附加时间，其减少吞吐量。对于简单的材料科学应用，可能仅需要单个图像，在这种情况下，花费大量时间来找到和设置单个图像采集不是显著问题。然而，在多个载物台移动(如通过spa)的情况下，对数千个图像的需要可将吞吐量从每结构一天延迟到(例如)每结构一周或以上。所公开的示例可显著减小有关多个载物台移动的延迟，由此使原本可能不实用的应用变得实用。例如，一些公开的示例可消除在spa时期之前精确配置载物台稳定时间参数值的需要。此外，通过自动选择载物台稳定参数值，减小了执行图像采集时期所需的专业知识，由此允许更多用户访问相关应用。此外，利用对各种输入和状况的适应性，所公开的示例可比基于静态稳定时间或时期连续性的方法更灵活。例如，动态稳定时间调整可感测并响应于各种事件，诸如ln2再填充、局部地震状况等。通过减小冗余时间开销，对稳定时间参数值的自动调整可显著改进图像处理吞吐量。
19.参考图1，带电粒子显微镜100使用束源102和电子束操纵系统104(诸如一个或多个电子透镜)以将探测束106引导到感兴趣的样本108。示例性带电粒子显微镜包括透射电子显微镜、扫描电子显微镜、扫描透射电子显微镜和离子束显微镜、或它们的组合。样本108通常在受控环境(诸如冷冻受控真空室)中由载物台110可移动地支撑。在各种示例中，载物台110可在各种方向上平移和/或旋转样本108以对样本108的不同位置和/或取向进行成像。束106与样本108相互作用并且输出粒子112由检测器114(诸如成像传感器)接收以形成图像。成像控制器116可耦接到带电粒子显微镜100的不同部件(诸如束源102、束操纵系统104、载物台110和/或检测器114)以控制通过输出粒子112产生的图像的定时和收集。示例性成像控制器通常包括一个或多个处理单元和存储器，其被配置有处理器可执行指令以从各种耦接部件接收数据和/或向各种耦接部件发送各种命令。
20.成像控制器116还可包括或耦接到漂移分析工具118，该漂移分析工具被配置为在载物台110将样本移动到选定位置之后确定样本108的漂移。例如，可在载物台110到达命令位置之后收集样本的图像，使得可在载物台110稳定时收集展示样本108随时间推移的移动的图像的时间序列。束源102和/或检测器114可用于收集图像的时间序列，或者可使用另一
个光源和/或检测器，例如用于漂移监测或其他诊断的目的。根据时间序列，可获得漂移参数值，该漂移参数值指示载物台是否已经充分地稳定以使得可获得样本108的合适的高质量带电粒子图像。根据漂移参数值，可确定载物台110的实际稳定时间。然后可基于实际稳定时间来确定稳定时间参数值120以用于在成像采集过程中使用。在一些示例中，所确定的稳定时间可对应于实际稳定时间。在其他示例中，可使用其他输入或将其他输入与实际稳定时间进行比较以确定稳定时间参数值120。
21.在许多示例中，根据自动化序列对样本108进行成像，其中样本108被成像并且由载物台110移动多次以跨多个位置和取向收集许多图像。此类图像采集序列可以是相对快速的，从而允许用于确定稳定时间参数值120的最短时间。在许多情况下，可使用先前确定的稳定时间参数值，例如，在先前移动已经稳定之后确定的值。因此，来自第一位置的载物台稳定图像序列可用于确定第二位置的稳定时间，来自第二位置的载物台稳定图像序列可用于确定第三位置的稳定时间等。示例性载物台稳定图像序列可包括在对应于样本的预期过程图像(例如，spa投影)或样本的辅助图像(例如，低分辨率跟踪图像或为了另一个目的而采集的图像)的位置处采集的主图像序列。在另外的示例中，与样本的图像漂移的计算和分析相关联的计算机和通信处理延迟相对于涉及成像、载物台移动和相关联的稳定的图像采集过程而言为充分快的，使得漂移分析工具118和稳定时间参数值120可应用于当前成像位置。在一些情况下，可使用其他输入(诸如稳定模式)来定义稳定时间。例如，可使用从主要或预期图像集或辅助图像栈收集的图像序列。在选定示例中，漂移分析工具118可用于基于在样本108的移动被充分停止之前的漂移图像的收集来估计稳定时间参数值120以用于过程图像的采集。例如，可将漂移值与基于稳定模式预测的漂移进行比较。漂移值还可用于估计在达到低于阈值的稳定时间之前的漂移的时间序列衰减或阻尼特性，并且估计值可用于诸如通过将衰减外推至低于阈值的稳定时间持续时间来进一步估计稳定时间参数值。
22.图2a是由移动载物台支撑的样本的示例性图像漂移轨迹200。为了便于说明，时间t0可对应于载物台到新成像位置的移动完成的时刻。然而，由于漂移动态，样本继续移动。轨迹位置标记202a-202m可对应于样本(或载物台)随时间推移的共同位置，并且相应箭头示出了与位置标记202a-202m相关联的时间增量的路径长度的改变。可例如以相机传感器的帧速率从初始时间t0到结束时间t
end
收集相机图像的序列，但将理解的是，可在不同示例中以各种或可变速率收集漂移图像。通过线204，图2b示出了与漂移图像相关联的图2a中的箭头长度的路径长度随时间推移的改变。在典型漂移路径中，路径长度的改变随时间推移而减少并且路径长度可例如在时间t
settle
下降到低于阈值漂移量206。在一些示例中，持续时间t
settle-t0可用于确定当前或后续载物台移动的稳定时间参数值。在一些示例中，持续时间t
settle-t0本身可用作存储的稳定时间参数值。在另外的示例中，可将持续时间t
settle-t0与现有存储的稳定时间参数值进行比较，并且捏可基于比较使值增加或减少固定量或可变量。如上所述，初始时间t0对应于移动载物台到达新成像位置的到达时间。然而，其他时间也是可能的，典型地在到达时间和结束时间t
end
之间。
23.通常可用的漂移分析工具包括可用于执行漂移分析的软件模块。此类工具通常比较时间上相邻的影片帧以定义与漂移相关联的移动路径或曲线。漂移曲线可具有许多特性，诸如总漂移、弧长、方向变化、振动参数等。在将显微镜视场移动到新位置之后，所采集的图像的序列可为漂移分析软件模块提供影片帧序列。然后，模块可基于影片来确定在该
位置发生多少漂移。通过测量帧之间的漂移、每个帧之间的延迟和时标，可估计漂移，例如nm/s，并且该漂移可用于确定下一个采集区域的稳定时间。
24.图3是可用于通过借助移动载物台将样本移动到相应位置来对样本的多个位置进行成像的示例性图像处理方法300。在302处，通过移动载物台移动样本以对新位置进行成像，使得可在新位置处对样本进行成像。在304处，过程基于所存储的载物台稳定时间参数值等待持续载物台稳定时间。在306处，例如通过获得新位置处的一个或多个过程图像(诸如高分辨率带电粒子显微镜检查图像)来开始图像采集过程。当样本移动到位置序列中的初始位置时，所存储的载物台稳定时间参数可具有预设值，可保守地选择该预设值以确保306处的图像采集不会由于移动载物台的稳定所引起的图像漂移而导致模糊、失真或低质量的图像。
25.在移动到新位置之后，在308处，收集样本的图像的时间序列。在代表性示例中，在308处收集的时间序列或时间序列的图像中的一者或多者可对应于在306处收集的图像，例如，使306和308成为共同采集步骤。在310处，可基于时间序列的图像与图像的距离标尺之间的比较来测量样本漂移。在312处，基于样本漂移来确定载物台稳定时间参数值。例如，所确定的载物台稳定时间参数值时间可对应于实际稳定时间，例如等于或接近零漂移值，或低于选定漂移移动阈值。一些确定的载物台稳定时间参数值可对应于相对于在310处随时间推移测量的样本漂移增加或减少固定量或可变量的存储值。例如，可使用各种开环或闭环控制方法来控制设定点(诸如漂移阈值或与阈值漂移相关联的测量稳定时间)周围的载物台稳定时间参数值。在一些示例中，可基于各种输入通过人工神经网络来确定稳定时间参数值。示例性输入可包括实际稳定时间、漂移或稳定时间曲线、显微镜和载物台动态、命令移动位置，以及诸如周期性动态模式的其他环境输入。经训练或未经训练的人工神经网络可提供对应于所确定的状态稳定时间参数值的稳定时间参数值输出估计值。
26.在314处，然后使用所确定的载物台稳定时间参数值来更新和替换所存储的载物台稳定时间参数值。通常，由于图像收集和漂移以及载物台稳定分析，载物台稳定时间参数值的更新在306处的图像采集过程的完成之后发生。在306处执行图像采集过程之后，执行关于是否需要附加移动载物台移动以便在其他样本位置处获得附加图像的检查。如果移动完成，则过程可在316处结束。另选地，可在302处将样本移动到新位置，例如使得可在新的后续位置处执行图像采集过程。在代表性示例中，然后(例如，在检查308和新移动之后)将已替换的存储载物台稳定时间参数值用于新位置。在一些示例中，通过新确定值更新载物台稳定时间参数值的过程(例如，经由308-314)可为充分快速的，使得已更新的载物台稳定时间参数值可应用于当前载物台移动。
27.在选定示例中，基于由相机运动校正确定的漂移，在载物台的机械移动之后确定等待持续时间值。经由运动校正软件部件来校正和表征漂移。漂移路径可被描述为作为时间的函数的参数方程的集合(x，y)，每个参数方程可以是三次多项式。总漂移被取为在“t”时间内的路径长度，其中“t”是运动校正分数的数值。如果漂移高于选定阈值，则使载物台等待时间递增，否则使载物台等待时间递减，由此提供对载物台等待持续时间的动态调整。在确定载物台等待持续时间值之后，其可用于样本的多个位置，诸如通过被指定用于样本的当前网格方块的所有箔孔。如果箔孔具有多于一个运动校正漂移(来自多个粒子)，则可考虑最大漂移。如果网格方块中的多于一个箔孔具有运动校正结果，则可使用最近箔孔。等
待持续时间可针对不同的位置集合进行确定，诸如针对样本的网格方块或区域、按移动基础的移动等。
28.图4示出了调整成像系统的稳定时间参数值以减小成像采集过程吞吐量的系统400。ai漂移和/或稳定时间估计器402被定位以接收各种输入，包括漂移测量值404以及其他静态和/或动态输入。其他输入可包括建模的和/或实际的系统和/或环境输入406、样本或载物台漂移的趋势或模式408、和/或空间和/或时间移动载物台/命令相关性410。ai漂移和稳定时间估计器402可基于各种输入中的一者或多者产生更新的稳定时间参数值412。在一些示例中，可基于由估计器402产生的估计来调整其他参数值。例如，来自估计器402的漂移模式预测可用于产生用于各种光学部件的校正输出命令414。在一些示例中，响应于选定漂移图案预测，可调整透镜、发射器或其他显微镜部件以提供对各种成像误差(诸如畸变、束偏转位置、漂移移动等)的校正。
29.在许多示例中，漂移预测与稳定时间确定分开。在一些示例中，ai漂移和/或稳定时间估计器402可使用神经网络或其他机器学习(ml)技术来确定各种输入与所得漂移行为之间的相关性。在选定示例中，使用原始模型来拟合到少量测量值。然后，可利用估计器402通过将规则应用于原始模型的预测来产生稳定时间估计值。在一些示例中，如果漂移遵循指数衰减曲线，则可基于将在可接受漂移的时间期间获得后续采集的知识来早期采集图像。在许多示例中，稳定时间参数的估计值可基于漂移测量值或漂移估计值。可向估计器402提供各种输入，诸如图像漂移数据、载物台命令值、视场位置、载物台动态(包括载物台位置)、环境输入(包括温度、湿度、季节等)以及诸如液氮填充的其他模式输入。
30.图5描绘了其中可实现所描述的创新的合适计算系统500的一般化示例。计算系统500并不旨在提出对本公开的使用范围或功能的任何限制，因为创新可在各种通用或专用计算系统中实现。
31.参考图5，计算系统500包括一个或多个处理单元510、515和存储器520、525。在图5中，该基本配置530被包括在虚线内。处理单元510、515执行计算机可执行指令，诸如用于实现计算环境的部件或提供上述图1至图4所示的数据(例如，图像漂移数据、稳定时间数据等)输出。处理单元可以是通用中央处理单元(cpu)、专用集成电路(asic)中的处理器或任何其他类型的处理器。在多处理系统中，多个处理单元执行计算机可执行指令以增加处理能力。例如，图5示出了中央处理单元510以及图形处理单元或协同处理单元515。有形存储器520、525可以是可由处理单元510、515访问的易失性存储器(例如，寄存器、高速缓存、ram)、非易失性存储器(例如，rom、eeprom、闪存存储器等)、或这两者的某种组合。存储器520、525以适用于由处理单元510、515执行的计算机可执行指令的形式存储实现本文描述的一个或多个创新的软件580。
32.计算系统500可具有附加特征。例如，计算系统500包括存储装置540、一个或多个输入设备550、一个或多个输出设备560和一个或多个通信连接570。诸如总线、控制器或网络的互连机制(未示出)将计算系统500的部件互连。通常，操作系统软件(未示出)为在计算系统500中执行的其他软件提供操作环境，并且协调计算系统500的部件的活动。
33.有形存储装置540可以是可移除的或不可移除的，并且包括磁盘、磁带或盒式磁带、cd-rom、dvd或可用于以非暂态方式存储信息并且可在计算系统500内访问的任何其他介质。存储装置540存储用于实现本文所述的一个或多个创新的软件580的指令。
34.输入设备550可以是诸如键盘、鼠标、笔或轨迹球的触摸输入设备、语音输入设备、扫描设备、或向计算系统500提供输入的另一个设备。输出设备560可以是显示器、打印机、扬声器、cd刻录机或提供来自计算系统500的输出的另一个设备。
35.通信连接570实现通过通信介质到另一个计算实体的通信，诸如在显微镜控制接口、图像漂移分析工具、稳定时间估计网络和云计算系统之间的通信。通信介质传送诸如计算机可执行指令、音频或视频输入或输出、或经调制数据信号中的其他数据的信息。已调制数据信号是一种信号，该信号以一定方式设置或改变其特性中的一者或多者以便对信号中的信息进行编码。作为示例而非限制，通信介质可使用电、光、rf或其他载体。
36.图6描绘了其中可实现所描述的技术的示例性云计算环境600。云计算环境600包括云计算服务610。云计算服务610可包括各种类型的云计算资源，诸如计算机服务器、数据存储库、联网资源等。云计算服务610可为中心定位的(例如，由企业或组织的数据中心提供)或分布的(例如，由位于不同位置(诸如不同数据中心)和/或位于不同城市或国家的各种计算资源提供)。云计算服务610由诸如计算设备620、622和624的各种类型的计算设备(例如，客户端计算设备)利用。例如，计算设备(例如，620、622和624)可以是计算机(例如，台式或膝上型计算机)、移动设备(例如，平板计算机或智能电话)、或其他类型的计算设备。例如，计算设备(例如，620、622和624)可利用云计算服务610来执行计算操作，例如，数据处理(诸如漂移分析、包括基于神经网络的估计的稳定时间参数估计等)、数据存储(诸如模型输入和相关数据、稳定时间参数、网络训练信息等)等。
37.一般考虑
38.如在本技术和权利要求中所使用的，单数形式“一”、“一个”和“该”包括复数形式，除非上下文清楚地另外指出。另外，术语“包括”是指“包含”。此外，术语“耦接”不排除在耦接项目之间存在中间元件。
39.本文所述的系统、装置和方法不应被解释为以任何方式进行限制。相反，本公开涉及各种公开的实施方案的所有新颖的和非显而易见的特征和方面，单独地和以彼此的各种组合和子组合。所公开的系统、方法和装置不限于任何特定方面或特征或它们的组合，所公开的系统、方法和装置也不要求存在任何一个或多个特定优点或解决问题。任何操作理论都是为了便于解释，但所公开的系统、方法和装置不限于此类操作理论。
40.尽管为了方便呈现，以特定的顺序次序描述了所公开的方法中的一些方法的操作，但应当理解，这种描述方式包括重排，除非以下阐述的特定语言要求特定次序。例如，顺序描述的操作在一些情况下可被重新布置或同时执行。此外，为了简单起见，附图可能未示出所公开的系统、方法和装置可结合其他系统、方法和装置使用的各种方式。另外，说明书有时使用类似“产生”和“提供”的术语来描述所公开的方法。这些术语是所执行的实际操作的高级抽象。对应于这些术语的实际操作将取决于特定具体实施而变化并且可由所属领域的技术人员容易地辨别。
41.在一些示例中，值、规程或装置被称为“最低”、“最佳”、“最小”等。应当理解，此类描述旨在指示可在许多所使用的功能另选方案中进行选择，并且此类选择不需要比其他选择更好、更小或以其他方式优选。
42.可在计算机可执行指令的一般上下文中描述创新，诸如在程序模块中包括的、在目标真实或虚拟处理器上的计算系统中执行的那些指令。一般而言，程序模块或部件包括
执行特定任务或实现特定抽象数据类型的例程、程序、库、对象、类、部件、数据结构等。程序模块的功能可根据各种实施方案中的需要在程序模块之间进行组合或拆分。用于程序模块的计算机可执行指令可在本地或分布式计算系统内执行。一般而言，计算系统或计算设备可以是本地的或分布式的，并且可包括专用硬件和/或通用硬件与实现本文所描述的功能的软件的任何组合。
43.在本文所描述的各种示例中，模块(例如，部件或引擎)可被“编码”以执行某些操作或提供某些功能性，从而指示用于该模块的计算机可执行指令可被执行以执行此类操作、致使此类操作被执行、或以其他方式提供此类功能性。尽管相对于软件部件、模块或引擎描述的功能可作为分立的软件单元(例如，程序、函数、类方法)执行，但它不需要作为分立单元来实现。也就是说，功能可被并入到更大或更通用程序中，诸如更大或通用程序中的一行或多行代码。
44.为了呈现，详细描述使用如“确定”和“使用”的术语来描述计算系统中的计算机操作。这些术语是对由计算机执行的操作的高级抽象，并且不应当与由人类执行的动作混淆。对应于这些术语的实际计算机操作取决于具体实施而变化。
45.所描述的算法可例如体现为由数字计算机执行的软件或固件指令。例如，所公开的图像处理、漂移分析、漂移估计和/或自动化技术中的任一种可由作为显微镜检查工具的一部分的计算机或其他计算硬件中的一者或多者执行。计算机可以是包括一个或多个处理器(处理设备)和有形、非暂态计算机可读介质(例如，一个或多个光介质盘、易失性存储器设备(诸如dram或sram)、或非易失性存储器或存储设备(诸如硬盘驱动器、nvram、以及固态驱动器(例如，闪存驱动器))的计算机系统。一个或多个处理器可执行存储在有形、非暂态计算机可读介质中的一者或多者上的计算机可执行指令，并且由此执行所公开的技术中的任何技术。例如，用于执行所公开的实施方案中的任一者的软件可作为计算机可执行指令存储在一个或多个易失性非暂态计算机可读介质上，该计算机可执行指令在由一或多个处理器执行时致使一或多个处理器执行所公开的技术或技术子集中的任一者。计算的结果可存储在一个或多个有形、非暂态计算机可读存储介质中和/或还可例如通过在显示设备上显示图像漂移、图像时间序列、稳定特性和/或图像数据来输出给用户。
46.已经参考所示的实施方案描述和示出所公开的技术的原理，将认识到可在布置和细节上修改所示的实施方案而不脱离此类原理。例如，以软件示出的所示实施方案的元件可以硬件实现，反之亦然。此外，来自任何示例的技术可与在任何一个或多个其他示例中描述的技术组合。应当理解，诸如参考所示示例描述的那些的规程和功能可在单个硬件或软件模块中实现，或者可提供单独的模块。提供以上特定布置是为了方便说明，并且可使用其他布置。
47.鉴于所公开的技术的原理可应用于的许多可能实施方案，应当认识到，所示的实施方案仅是代表性示例并且不应当被视为限制本公开的范围。在这些部分中具体提出的另选方案仅是示例性的，并且不构成本文所述的实施方案的所有可能的另选方案。例如，本文描述的系统的各种部件可在功能和使用上进行组合。

技术特征：
1.一种用于控制带电粒子显微镜检查系统的计算机实现的方法，包括：基于图像序列来估计所述带电粒子显微镜检查系统的载物台的漂移；以及基于所述漂移估计值来自动调整载物台稳定等待持续时间。2.根据权利要求1所述的方法，还包括在所述经调整的载物台稳定等待持续时间已经过去之后采集样本的图像。3.根据权利要求2所述的方法，还包括：将所述载物台移动到第一位置，其中在所述第一位置处采集所述图像序列；以及将所述载物台移动到第二位置，其中在所述经调整的载物台稳定等待持续时间之后在所述第二位置处采集所述样本的所述图像。4.根据权利要求2所述的方法，还包括：将所述载物台移动到第一位置，其中在所述第一位置处采集所述图像序列，其中：所述估计所述漂移包括在到所述第一位置的所述移动之后基于所述图像序列来估计所述载物台的所述漂移，所述自动调整包括在所述载物台在所述第一位置处的所述稳定期间调整所述载物台稳定等待持续时间，并且所述采集所述样本的所述图像包括在所述经调整的载物台稳定等待持续时间之后在所述第一位置处采集所述图像。5.根据权利要求1所述的方法，其中所述自动调整所述载物台稳定等待持续时间包括：基于所述漂移估计值来估计载物台稳定持续时间；以及响应于所述载物台稳定等待持续时间估计值相对于所存储的载物台稳定等待持续时间的变化，将所述载物台稳定等待持续时间调整固定量。6.根据权利要求1所述的方法，其中所述自动调整所述载物台稳定等待持续时间包括：基于所述漂移估计值来估计载物台稳定持续时间；以及调整所述载物台稳定等待持续时间以对应于所述载物台稳定持续时间估计值。7.根据权利要求6所述的方法，其中所述基于所述漂移估计值来估计所述载物台稳定持续时间包括在确定所述漂移估计值低于阈值漂移值之后分配载物台稳定持续时间值。8.根据权利要求7所述的方法，其中所述阈值漂移值是所述图像序列的总移动。9.根据权利要求1所述的方法，其中所述自动调整所述载物台稳定等待持续时间包括：通过人工神经网络来估计载物台稳定持续时间，所述人工神经网络被配置为基于一个或多个网络输入和一个或多个经训练网络层来产生输出估计值以用于对所述载物台稳定等待持续时间进行调整。10.根据权利要求9所述的方法，其中所述网络输入包括以下中的一者或多者：图像漂移数据、载物台命令值、载物台位置、视场、载物台动态、环境输入和/或基于时间的模式。11.一种带电粒子显微镜检查系统，包括：成像系统；移动载物台；和处理器和被配置有计算机可执行指令的存储器，所述计算机可执行指令在被执行时致使所述处理器：基于通过所述成像系统获得的图像序列来估计所述移动载物台的载物台稳定持续时
间；以及基于所述载物台稳定持续时间来自动调整所述移动载物台的载物台稳定等待持续时间。12.根据权利要求11所述的系统，其中所述计算机可执行指令被进一步配置为致使所述成像系统在所述经调整的载物台稳定等待持续时间已经过去之后采集样本的图像。13.根据权利要求12所述的系统，其中所述计算机可执行指令被进一步配置为致使：将所述载物台移动到第一位置，其中在所述第一位置处采集所述图像序列；以及将所述载物台移动到第二位置，其中在所述经调整的载物台稳定等待持续时间之后在所述第二位置处采集所述样本的所述图像。14.根据权利要求12所述的系统，其中所述计算机可执行指令被进一步配置为致使：将所述载物台移动到第一位置，其中在所述第一位置处采集所述图像序列，其中：所述载物台稳定持续时间的所述估计包括在到所述第一位置的所述移动之后基于所述图像序列来估计所述载物台的所述载物台稳定持续时间，所述自动调整包括在所述载物台在所述第一位置处的所述稳定期间调整所述载物台稳定等待持续时间，并且所述样本的所述图像的所述采集包括在所述经调整的载物台稳定等待持续时间之后在所述第一位置处采集所述图像。15.根据权利要求11所述的系统，其中致使所述估计所述移动载物台的所述载物台稳定持续时间的所述计算机可执行指令包括基于所述漂移估计值来估计载物台稳定持续时间的指令；并且其中致使所述载物台稳定等待持续时间的所述自动调整的所述计算机可执行指令包括响应于所述载物台稳定等待持续时间估计值的变化而相对于所存储的载物台稳定等待持续时间将所述载物台稳定等待持续时间调整固定量的指令。16.根据权利要求11所述的系统，其中致使所述估计所述移动载物台的所述载物台稳定持续时间的所述计算机可执行指令包括基于所述漂移估计值来估计载物台稳定持续时间的指令；并且其中致使所述载物台稳定等待持续时间的所述自动调整的所述计算机可执行指令包括调整所述载物台稳定等待持续时间以对应于所述载物台稳定持续时间估计值的指令。17.根据权利要求16所述的系统，其中被配置为估计所述载物台稳定持续时间的所述计算机可执行指令包括基于漂移估计值来估计载物台稳定持续时间，以及在确定所述漂移估计值低于阈值漂移值之后分配载物台稳定持续时间值。18.根据权利要求17所述的系统，其中所述阈值漂移值是所述图像序列的连续图像之间的路径长度差。19.根据权利要求11所述的系统，其中致使所述载物台稳定等待持续时间的所述自动调整的所述计算机可执行指令包括通过人工神经网络来产生载物台稳定持续时间的估计值的指令，所述人工神经网络被配置为基于一个或多个网络输入和一个或多个经训练网络层来产生输出估计值以用于对所述载物台稳定等待持续时间进行调整。20.一种装置，包括：成像系统，所述成像系统被配置为对样本进行成像；
移动载物台，所述移动载物台被配置为在所述成像系统的视野中支撑所述样本；和成像控制器，所述成像控制器被配置为基于通过所述成像系统获得的图像序列来确定在第一载物台位置处的所述移动载物台的稳定参数，基于所述稳定参数来调整所述移动载物台的载物台稳定等待持续时间，以及致使所述成像系统使用所述经调整的载物台稳定等待持续时间来捕获在第二位置处的所述移动载物台上的所述样本的图像。

技术总结
用于控制带电粒子显微镜检查系统的计算机实现的方法包括：基于图像序列来估计该带电粒子显微镜检查系统的载物台的漂移，以及基于该漂移估计值来自动调整载物台稳定等待持续时间。带电粒子显微镜检查系统包括：成像系统；移动载物台；以及处理器和被配置有计算机可执行指令的存储器，该计算机可执行指令在被执行时致使该处理器基于通过该成像系统获得的图像序列来估计该移动载物台的载物台稳定持续时间，以及基于该载物台稳定持续时间来自动调整该移动载物台的载物台稳定等待持续时间。整该移动载物台的载物台稳定等待持续时间。整该移动载物台的载物台稳定等待持续时间。


技术研发人员：邓雨辰 E
受保护的技术使用者：FEI公司
技术研发日：2023.01.30
技术公布日：2023/7/26