多视图医疗活动识别系统和方法中的可见性度量与流程

多视图医疗活动识别系统和方法中的可见性度量
1.相关申请
2.本技术要求2021年1月26日提交的美国临时专利申请号63/141,830和2021年1月26日提交的美国临时专利申请号63/141,853和2020年11月13日提交的美国临时专利申请号63/113,685的优先权，其内容以其全部内容通过引入并入本文。


背景技术：

3.计算机实施的活动识别通常涉及捕获和处理场景的影像(imagery)以确定场景的特性。传统的活动识别对于动态和/或复杂环境可能缺乏期望水平的准确度和/或可靠性。例如，动态和复杂环境(诸如与手术程序相关联的环境)中的一些对象可以从成像装置的视图中被遮挡。


技术实现要素：

4.以下描述呈现了本文所述的系统和方法的一个或多个方面的简化概述。本概述不是对所有预期方面的广泛概述，并且既不旨在标识所有方面的关键或重要元素，也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面，作为下面给出的详细描述的序言。
5.说明性系统包括存储指令的存储器和处理器，处理器通信地耦连到存储器并且被配置成执行指令以访问由多个传感器从多个视点捕获的医疗会话(session)的场景的影像的指令，影像包括由多个传感器中的第一传感器从多个视点的第一视点捕获的第一影像；在医疗会话期间并且基于第一影像来确定第一传感器的活动可见性度量值；以及基于活动可见性度量值，促进调整第一传感器的第一视点。
6.一种说明性方法包括：通过处理器访问由多个传感器从多个视点捕获的医疗会话的场景的影像，影像包括由多个传感器中的第一传感器从多个视点的第一视点捕获的第一影像；在医疗会话期间并且基于第一影像通过处理器确定第一传感器的活动可见性度量值；以及基于活动可见性度量值通过处理器促进调整第一传感器的第一视点。
7.说明性非暂时性计算机可读介质存储指令，指令可通过处理器执行以访问由多个传感器从多个视点捕获的医疗会话的场景的影像，该影像包括由多个传感器中的第一传感器从多个视点中的第一视点捕获的第一影像；在医疗会话期间并且基于第一影像来确定第一传感器的活动可见性度量值；以及基于活动可见性度量值促进调整第一传感器的第一视点。
8.一种说明性系统包括存储指令的存储器和处理器，处理器通信地耦连到存储器并且配置以执行指令以访问由多个传感器从多个视点捕获的医疗会话的场景的影像，影像包括由多个传感器中的第一传感器从多个视点中的第一视点捕获的第一影像；基于第一影像确定场景的活动的第一分类；在医疗会话期间并且基于第一影像确定第一传感器的活动可见性度量值；确定第一传感器的活动可见性度量值低于活动可见性度量阈值；并且基于确定第一传感器的活动可见性度量值低于活动可见性度量阈值，降低场景的活动的第一分类
的权重，以基于场景的影像来确定场景的活动的总体分类。
9.一种说明性方法包括通过处理器访问由多个传感器从多个视点捕获的医疗会话的场景的影像，该影像包括由多个传感器中的第一传感器从多个视点的第一视点捕获的第一影像；基于第一影像，通过处理器确定场景的活动的第一分类；通过处理器在医疗会话期间并且基于第一影像确定第一传感器的活动可见性量度的值；通过处理器确定第一传感器的活动可见性度量值低于活动可见性度量阈值；以及基于确定第一传感器的活动可见性度量值低于活动可见性度量阈值，通过处理器降低场景的影像的第一分类的权重，以基于场景的影像确定场景的活动的总体分类。
10.一种说明性非暂时性计算机可读介质，其存储指令，指令可通过处理器执行以访问由多个传感器从多个视点捕获的医疗会话的场景的影像，影像包括由多个传感器中的第一传感器从多个视点中的第一视点捕获的第一影像；基于第一影像确定场景的活动的第一分类；在医疗会话期间并且基于第一影像，确定第一传感器的活动可见性度量值；确定第一传感器的活动可见性度量值低于活动可见性度量阈值；以及基于确定第一传感器的活动可见性度量值低于活动可见性度量阈值，降低场景的活动的第一分类的权重，以基于场景的影像来确定场景的活动的总体分类。
附图说明
11.附图示出了各种实施方式并且是说明书的一部分。示出的实施方式仅为示例，并且不限制本公开的范围。在整个附图中，相同或相似的附图标记表示相同或相似的元件。
12.图1描绘了根据本文描述的原理的说明性多视图医疗活动识别系统。
13.图2描绘了根据本文描述的原理的说明性处理系统。
14.图3-图4描绘了根据本文描述的原理的说明性多视图医疗活动识别系统。
15.图5描绘了根据本文描述的原理的说明性计算机辅助机器人手术系统。
16.图6描绘了根据本文描述的原理的附接到机器人手术系统的成像装置的说明性配置。
17.图7-图8描绘了根据本文描述的原理的说明性方法。
18.图9描绘了根据本文描述的原理的说明性计算装置。
具体实施方式
19.本文描述了用于多视图医疗活动识别的系统和方法。活动识别系统可以包括多个传感器，所述多个传感器包括配置以从不同视点捕获场景的影像的至少两个成像装置。活动识别系统可以确定由成像装置中的每个捕获的影像的一个或多个活动可见性度量，一个或多个活动可见性度量表示在影像中捕获的场景的活动的可见性。基于活动可见性度量值，活动识别系统可以促进调节一个或多个成像装置的一个或多个视点，诸如以从额外视点捕获额外影像，所述额外影像具有比初始影像更高的活动可见性度量值。另外或可替代地，活动识别系统可以利用活动可见性度量值来确定场景的活动的分类。
20.在某些示例中，场景可以是诸如手术会话(surgical session)的医疗会话，并且活动可以包括手术会话的阶段(phases)。在医疗会话期间，场景的影像可以由多个成像装置捕获。活动可见性度量值可以基于影像的内容和医疗会话内的活动两者来确定。当活动
可见性度量值指示成像装置具有场景的活动的次优视图时，活动识别系统可以提供输出，所述输出被配置成促进对成像装置的姿态的改变以捕获具有更好的活动视图的影像。因此，活动识别系统可以动态地调整成像装置的配置以从优化场景的活动的可见性的视点捕获影像。
21.本文描述的系统和方法可以提供各种优点和益处。例如，本文描述的系统和方法可以提供准确、动态和/或灵活的活动识别。本文描述的活动识别的说明性示例可以比基于单传感器活动识别或固定多传感器活动识别的常规活动识别更准确和/或灵活。本文描述的系统和方法的说明性示例可以非常适合于动态和/或复杂场景的活动识别，诸如与医疗会话相关联的场景。
22.现在将更详细地描述各种说明性实施方式。所公开的系统和方法可以提供上述益处中的一个或多个和/或将在本文中显而易见的各种额外和/或可替代的益处。
23.图1描绘了说明性多视图医疗活动识别系统100(系统100)。如图所示，系统100可以包括相对于场景104定位的多个传感器(例如，成像装置102-1和102-2，统称为“成像装置102”)，成像装置102可以配置以通过同时捕获场景104的图像来成像场景104。
24.场景104可以包括可以由成像装置102成像的环境的任何环境和/或元件，例如，场景104可以包括物理元件的有形现实世界场景(tangible real-world scene)。在某些说明性示例中，场景104与诸如手术程序的医疗会话相关联。例如，场景104可以包括手术部位(诸如手术设备、操作室或诸如此类)处的手术场景。例如，场景104可以包括其中可对患者执行手术程序的操作室的全部或一部分。在某些实现方式中，场景104包括靠近用于执行手术程序的机器人手术系统的操作室的区域。在某些实现方式中，场景104包括患者体内的区域。虽然本文中所描述的某些说明性示例针对包含手术设备处的场景的场景104，但本文中所描述的一或多个原理可以应用于其它实现方式中的其它合适场景。
25.成像装置102可以包括配置为捕获场景104的图像的任何成像装置。例如，成像装置102可以包括视频成像装置、红外成像装置、可见光成像装置、非可见光成像装置、强度成像装置(例如，颜色、灰度、黑白成像装置)、深度成像装置(例如，立体成像装置、飞行时间成像装置、红外成像装置等)、内窥镜成像装置、任何其它成像装置、或此类成像装置的任何组合或子组合。成像装置102可以被配置成以任何合适的捕获速率捕获场景104的图像。成像装置102可以以用于同步捕获场景104的图像的任何合适的方式同步。同步可以包括正被同步的成像装置的操作和/或由成像装置输出的数据集通过将数据集匹配到公共时间点而被同步。
26.图1示出了定位成从两个不同视点捕获场景104的图像的两个成像装置102的简单配置。该配置是示例性的。将理解，诸如多视图架构的多传感器架构可以包括被定位成从两个或更多个不同视点捕获场景104的图像的两个或更多个成像装置。成像装置102的视点(即，位置、取和视图设置，诸如成像装置102的变焦)确定由成像装置102捕获的图像的内容。多传感器架构还可以包括被定位成从额外方位捕获场景104的数据的额外传感器。
27.系统100可以包括通信地耦连到成像装置102的处理系统106。处理系统106可以被配置成访问由成像装置102捕获的影像并且确定成像装置102的活动可见性量度的值，如本文进一步描述的。处理系统106可以利用活动可见性量度的值来促进对成像装置102的视点的调整和/或确定医疗会话的场景的活动(例如，活动识别)。本文中还进一步描述用于活动
可见性度量的此类应用。
28.图2示出了多视图医疗活动识别系统(例如，系统100)的处理系统106的示例配置。处理系统106可以包括但不限于存储设备202和选择性地并且通信地彼此耦连的处理设备204。设备202和204可以各自包括一个或多个物理计算装置或由一个或多个物理计算装置来实现，该一个或多个物理计算装置包括硬件和/或软件部件，诸如处理器、存储器、存储驱动器、通信接口、存储在存储器中用于由处理器执行的指令等。虽然设备202和204被示出为图2中的单独设备，但是设备202和204可以被组合成更少的设备，诸如组合成单个设备，或者被划分成可服务于特定实现方式的更多设备。在一些示例中，设备202和204中的每个可以分布在可服务于特定实现方式的多个装置和/或多个方位之间。
29.存储设备202可以保持(例如，存储)由处理设备204用来执行本文描述的任何功能的可执行数据。例如，存储设备202可以存储可以由处理设备204执行以执行本文描述的操作中的一个或多个的指令206。指令206可以由任何合适的应用、软件、代码和/或其它可执行数据示例来实施。存储设备202还可以保持由处理设备204接收、生成、管理、利用和/或发送的任何数据。
30.处理设备204可以被配置成执行(例如，执行存储在存储设备202中的指令206以执行)与活动识别相关联的各种操作，诸如由计算机辅助的手术系统执行的医疗会话的场景的活动识别。
31.本文描述了可以由处理系统106(例如，由处理系统106的处理设备204)执行的这些和其它示例性操作。在以下描述中，对由处理系统106执行的功能的任何提及可以被理解为由处理设备204基于存储在存储设备202中的指令206来进行。
32.图3示出了处理系统106的示例配置。如图所示，处理系统106包括活动可见性模块302(例如，活动可见性模块302-1和活动可见性模块302-2)。活动可见性模块302可以被配置成访问由活动识别系统(例如，系统100)的成像装置(例如，成像装置102)捕获的影像304(例如，影像304-1和影像304-2)，并且基于影像304确定活动可见性度量值306(例如，活动可见性度量值306-1和活动可见性度量值306-2)。处理系统106还包括活动分类器308，该活动分类器308可以基于活动可见性度量值306生成活动分类310和/或提供输出以促进成像装置102的一个或多个视点调整312。
33.例如，活动可见性模块302-1可以从成像装置102-1接收影像304-1。影像304-1可以包括表示由场景(例如，场景104)(诸如医疗会话的场景)的成像装置102-1捕获的多个图像或图像的一个或多个方面的任何图像数据和/或由表示由场景(例如，场景104)(如医疗会话的场景)的成像装置102-1捕获的多个图像或图像的一个或多个方面的任何图像数据来表示。例如，多个图像可以是包括在一段时间内捕获的一系列图像的一个或多个视频片段。视频片段可以捕获在场景104中进行的一个或多个活动。
34.活动可以是由人或系统在场景104中执行的任何动作。在一些示例中，活动可以特定于与医疗会话(诸如医疗会话的预定义阶段)相关联地进行的动作。例如，特定手术会话可以包括10-20(或任何其它合适数量的)不同的预定义阶段，诸如无菌制备、患者调入(roll in)、手术等，其可以是定义的活动集，系统100从该活动集对如在特定视频片段中捕获的场景104的活动进行分类。
35.活动可见性模块302-1可以以任何合适的方式访问影像304-1(例如，一个或多个
视频片段)。例如，活动可见性模块302-1可以从成像装置102-1接收影像304-1、从成像装置102-1检索影像304-1、从存储装置和/或通信地耦连到成像装置102-1的任何其它合适的装置接收和/或检索影像304-1等。
36.活动可见性模块302-1可以基于影像304-1来确定活动可见性度量值306-1。活动可见性度量值306-1可以包括表示场景104的活动在影像中可见程度的分级(rating)的得分或任何其它度量。例如，活动可见性度量值306-1可以为1与5之间的数，其中5表示最高活动可见性而1表示最低活动可见性。该数字可以被实现为整数(即，得分可以是1、2、3、4或5中的一个)或可以被舍入到一位、两位或任何合适位数的小数位的任何合适的有理数。可替代地，可以利用任何其它此类适当范围和/或尺度来实现活动可见性度量。
37.活动可见性度量值306-1可以基于任何合适的因素集来确定。在某些示例中，活动可见性度量值306-1可以基于影像304-1的一般可见性和/或影像304-1中的活动的特定可见性。一般可见性可以对应于影像304-1的任何内容在影像304-1中的总体可见性程度。例如，一般可见性可以包括诸如距场景104的距离、成像装置102-1捕获的影像304-1中的噪声水平、影像304-1是否聚焦、影像304-1是否过度曝光的因素。
38.另一方面，活动的特定可见性可以基于场景104的活动在影像304-1中的可见程度，其可以与一般可见性分离。例如，两个视频片段可以类似地大体上可见(例如，距离具有类似的内容清晰度的场景104类似的距离)，但是基于场景104的活动，活动的特定可见性(以及作为结果，活动可见性度量值306-1)可能由于对于一个视频片段中可见但在另一视频片段中不可见的活动的识别重要的元素而不同。可能影响活动的特定可见性的示例因素可以包括对象是否正在遮挡场景104的活动、影像304-1是否捕获活动的重要元素(例如，活动感兴趣的对象)等。活动的特定可见性可以另外受到影像304-1的一般可见性的影响。例如，由于影像304-1的所有内容(包括活动)不清楚，活动的特定可见性在具有低的一般可见性的影像中可能更低。
39.因此，活动可见性模块302-1可以基于影像304-1(例如，影像304-1的内容)以及场景104的活动来确定活动可见性度量值306-1，其中影像304-1可以在影像304-1的一般可见性(并且在一些情况下，活动的特定可见性)中被反映，场景104的活动可以影响影像304-1中的活动的特定可见性。
40.活动可见性模块302可以以任何合适的方式确定活动可见性度量值306。例如，可以利用一个或多个机器学习算法来训练配置成基于影像304和场景104的活动来预测活动可见性度量值306的机器学习模块。本文进一步描述了这样的机器学习算法和模型。另外或可替代地，活动可见性模块302可以将活动识别算法应用于影像304以识别场景104的活动。活动识别算法还可以产生活动的识别的置信度测量，其可以用于确定活动可见性度量值306。另外或可替代地，活动可见性模块302可以接收与场景104的活动相关联的信息，其可以用于确定活动可见性度量值306。与场景104的活动相关联的信息可以从任何合适的(一个或多个)来源(例如，机器人手术系统、用户输入等)接收并且可以包括与场景104的活动有关的任何信息和/或可以从中衍生的与场景104的活动相关的信息。
41.活动可见性度量值306可以被输出到活动分类器308，活动分类器308可以基于活动可见性度量值306和影像304来确定活动分类310。例如，活动分类器308可以基于影像304-1和影像304-2来确定场景104的活动的单独的个别分类。活动分类器308然后可以利用
活动可见性度量值306来对活动的个别分类赋予权重——利用活动可见性度量值306-1作为(或还有)基于影像304-1的活动的分类的置信度测量并且利用活动可见性度量值306-2作为(或还有)基于影像304-2的活动的分类的置信度测量。基于加权的分类，活动分类器308可以确定总体分类并将总体分类输出作为活动分类310。另外或可替代地，活动分类器308可以在一些情况下当活动的个别分类不同时选择性地利用活动可见性度量值306以用于生成活动分类310，而当活动的个别分类相同时忽略活动可见性度量值306。另外或可替代地，活动分类器308可以利用活动可见性度量阈值来确定是否利用一个或多个活动可见性度量。例如，如果活动可见性度量值306低于活动可见性度量阈值，则活动分类器308可以忽略对应的影像304和/或降低对应影像304的用于对活动进行分类的权重。另外或可替代地，活动分类器308可以以用于确定活动分类310的任何其它合适的方式利用活动可见性度量。
42.此外，活动分类器308可以确定和输出视点调整312以促进调整成像装置102中的一个或多个的视点。例如，如果活动可见性度量值306-1低于活动可见性度量阈值，活动分类器308可以促进调整成像装置102-1以改变成像装置102-1的视点，使得成像装置102-1可以从不同的视点捕获场景104的额外影像。例如，活动分类器308可以输出视点调整312，视点调整312包括将成像装置102-1相对于场景104移动以改变成像装置102-1的视点的指令，以便成像装置102-1捕获与从初始视点捕获的影像相比具有更高的活动可见性度量值的额外影像。
43.移动成像装置102-1的指令可以包括以任何合适的方式相对于场景104物理地移动成像装置102-1的指令。例如，成像装置102-1可以包括配置成相对于场景104进行铰接的铰接成像装置。在某些示例中，成像装置102-1可以铰接，因为成像装置102-1附接到铰接支撑结构，从而使得当铰接支撑结构铰接时成像装置102-1对应地铰接。在某些示例中，成像装置102-1被安装到机器人系统的铰接臂，诸如机器人系统的远程操作的机器人臂。在某些示例中，成像装置102-1被安装到手术设备中的铰接支撑结构，诸如安装到铰接成像装置吊杆(boom)、手术推车或手术设备中的其它结构。视点调整312可以包括被配置用于成像装置102-1的结构的输出。例如，视点调整312可以包括向机器人系统和/或铰接支撑结构输出，以指示机器人系统和/或铰接支撑结构改变成像装置102-1的姿态。另外或可替代地，视点调整312可以包括向用户输出(例如，在屏幕上等)以指示用户改变成像装置102-1的姿态。
44.除了或替代成像装置102-1相对于场景104物理移动，成像装置102-1可以被认为是以一种或多种其它方式相对于场景104移动。在某些实施方式中，例如，成像装置102-1的移动可以包括对成像装置102-1的视点的任何改变。对视点的改变可以由对成像装置102-1的一个或多个参数的任何合适的改变引起。作为示例，变焦参数的变化改变成像装置102-1的视点。作为另一示例，成像装置102-1的空间位置和/或取向的变化改变成像装置102-1的视点。在这样的示例中，视点调整312可以包括向成像装置102-1输出以改变成像装置102-1的一个或多个参数。视点可以在医疗会话期间(例如，在医疗会话的任何阶段期间，诸如在术前活动(例如，设置活动)期间、术中活动和/或术后活动期间)被动态地改变。
45.在某些说明性示例中，多传感器架构可以包括安装在机器人手术系统的不同部件上的多个成像装置102，其中一个或多个部件被配置成相对于成像场景并且相对于机器人手术系统的其它部件中的一个或多个进行铰接。例如，成像装置102-1可以被安装在机器人
系统的铰接或非铰接部件上，并且成像装置102-2可以被安装在机器人系统的另一铰接部件上。
46.在某些说明性示例中，多传感器架构的一个或多个成像装置102可以被安装在手术设备的额外或可替代部件(诸如操作室中的其它部件)上。例如，成像装置102-1可以被安装在手术设备的铰接或非铰接部件上，并且成像装置102-2可以被安装在手术设备的另一个铰接部件上。作为另一示例，成像装置102-1可以被安装在机器人系统的铰接部件上，并且成像装置102-1可以被安装在手术设备的铰接或非铰接部件上。
47.当处理系统106可以确定活动可见性度量值306并且实时提供视点调整312时，处理系统106可以促进调整成像装置102，从而使得成像装置102连续地提供针对场景104的每个活动优化的影像304。在一些示例中，视点调整312可以包括关于何处或如何移动成像装置102以提高活动可见性的特定指引和/或指导。
48.在某些示例中，活动分类器308可以包括可以用于产生生成的影像的生成模块314。生成的影像可以基于由成像装置102捕获的影像304。作为示例，除了成像装置102-1和102-2(未示出)之外的另一成像装置可能正在捕获具有活动可见性度量值的影像，该活动可见性度量值指示其他成像装置的当前视点对于活动可见性是次优的。活动分类器308可以利用生成模块314来产生基于影像304-1和影像304-2的生成的影像。利用影像304-1和影像304-2，生成的影像可以内插(interpolate)、建模和/或预测场景104可以如何从其它视点观看(例如，成像装置102-1和102-2的当前视点之间的视点)。基于生成的影像，活动分类器308可以确定生成的影像的生成的活动可见性度量值。活动分类器308然后可以选择具有更优生成的可见性度量的视点，并且促进调整其他成像装置以改变其他成像装置的姿态，使得其他成像装置可以从所选择的视点捕获场景104的影像。
49.另外或可选地，活动分类器308可以利用生成模块314来从成像装置的当前视点生成影像。例如，在某些实施方式中，成像装置(例如，成像装置102-1)可以固定在特定位置。活动分类器308可以确定从固定位置的视点捕获影像304-1的成像装置102-1的活动可见性度量值306-1低于活动可见性度量阈值。作为响应，活动分类器308可以利用生成模块314来产生从固定位置的视点的视角但基于来自其它成像装置(例如，成像装置102-2、未示出的额外成像装置)的影像的生成的影像。利用来自可具有更高活动可见性度量值(例如，活动可见性度量的至少阈值和/或高于活动可见性度量值306-1)的其它成像装置的影像，生成的影像可以用于补充和/或替换影像304-1。例如，由于遮挡场景104的视图的对象，成像装置102-1可以具有低的活动可见性度量值。由生成模块314产生的生成的影像可以利用来自其它视点的影像来重构对象和/或场景104的环境，如从成像装置102-1的视点观看的。所生成的影像和/或补充有生成的影像的影像304-1可以作为输出提供给用户和/或由系统100进一步处理。
50.生成模块314可以配置成以任何合适的方式产生生成的影像。例如，生成模块314可以利用经训练以生成影像的一个或多个机器学习算法，诸如生成对抗网络(gan)等。另外或可替代地，生成模块314可以内插由其它成像装置从不同视点捕获的影像，基于由其它成像装置捕获的影像生成模块，并且基于模块生成影像等。
51.在一些示例中，活动分类器308可以基于由多个成像装置(例如，多视图架构的所有成像装置102)捕获的影像来确定呈现场景104的活动的可见性的总体活动可见性度量
值。活动分类器308还可以使视点调整312基于总体活动可见性度量值。因此，在一些情况下，活动分类器308可以促进特定成像装置到新视点的调整，该新视点可以导致针对特定成像装置的较低的活动可见性度量值，但是较高的总体活动可见性度量值。
52.图4示出了用于多视角医疗活动识别系统(例如，“系统100”)的机器学习模块402(“模块402”)的示例配置400。虽然配置400示出了模块402的训练，其可以由系统100用于确定活动可见性度量值并且对活动进行分类，但是系统100可以另外或可替代地利用以任何合适的方式训练的任何合适的机器学习模块。
53.配置400示出了访问影像404(例如，影像404-1至404-n)的模块402。影像404可以是视频片段的形式，每个视频片段包括由成像装置(例如，成像装置102-1)捕获的时间排序的一系列图像。每个视频片段可以包含任何合适数目(例如，16、32等)的帧(例如，图像)。
54.模块402利用活动识别算法406(例如，活动识别算法406-1到406-n)来提取相应视频片段的特征以确定在视频片段中捕获的场景的活动。活动识别算法406可以通过任何合适的一个或多个算法(诸如微调的i3d模型或任何其它神经网络或其它算法)来实现。
55.活动识别算法406各自向分类器408提供输出，分类器408被配置成接收用于影像404的多个视频片段的活动识别算法406的输出。因此，分类器408利用从多个视频片段中提取的特征来识别每个视频片段中的活动。在一些示例中，配置400可以在模块402的实现期间利用分类器408来训练模块402，但不依赖于或包括分类器408，从而允许模块402实时地识别独立视频片段中的活动。
56.分类器408可以将每个视频片段的第一分类输出到相应的长短期记忆(lstm)算法410(例如，lstm算法410-1至410-n)。lstm算法410可以被各自配置成处理相应的视频片段，同时还与其它lstm算法410(例如，用于先前视频片段和后续视频片段的lstm算法)通信。每个lstm算法410可以处理视频片段以还提取用于由视频片段捕获的场景的活动识别的特征。lstm算法410可以将特征输出到分类器412(例如，分类器412-1至412-n)。
57.分类器412可以接收由lstm算法410提取的特征，以识别在对应的视频片段中捕获的活动。分类器412还可以接收由分类器408生成的视频片段的第一分类，并且使其视频片段的分类至少部分地基于第一分类。基于由lstm算法410提取的特征和由分类器408生成的第一分类，分类器412可以输出由相应的视频片段捕获的活动的最终分类。
58.最终分类可以是与由影像404捕获的医疗会话相关联的一个或多个预定义活动414的选择。例如，最终分类可以是具有对应于针对医疗会话预定义的活动的数量的长度的一维向量。每一向量可以具有对应于如在相应的视频片段中所标识的活动中的每一个的概率的值。
59.可以将最终分类提供给两层回归算法416和418(例如，回归算法416-1至416-n和回归算法418-1至418-n)。回归算法416和418可以被配置成基于相应的视频片段生成活动可见性得分。在一些示例中，活动可见性得分可以进一步基于由分类器412确定的相应视频片段的最终分类。在其它示例中，活动可见性得分可以独立于最终分类来确定。
60.可以以任何合适的方式训练模块402。例如，可以利用监督学习算法来对模块402进行端对端训练。训练数据集可以包括被标记有在视频片段中捕获的场景的活动的视频片段，以及基于视频片段的影像的活动的活动可见性度量值。活动标识标签可以由用户和/或来自其它成像装置的其它同步影像来验证。活动可见性度量值标签可以由用户提供。基于
此类标记的数据集，模块402可以学习接收影像作为输入并基于影像和活动来预测活动可见性度量，以及预测活动分类。活动可见性度量值的预测可以基于活动分类预测和/或独立于活动分类预测而生成。
61.图5示出了与系统100相关联的示例计算机辅助机器人手术系统500(“手术系统500”)。系统100可以由手术系统500实现、连接到手术系统500和/或以其它方式与手术系统500结合使用。例如，系统100可以由手术系统500的一个或多个部件(诸如操纵系统、用户控制系统或辅助系统)来实现。作为另一示例，系统100可以由通信地耦连到计算机辅助手术系统的独立计算系统来实现。
62.如图所示，手术系统500可以包括操纵系统502、用户控制系统504和彼此通信地耦连的辅助系统506。手术团队可利用手术系统500来对患者508执行计算机辅助手术程序。如图所示，手术团队可以包括外科医生510-1、助理510-2、护士510-3和麻醉科医师510-4，所有这些人可以被统称为“手术团队成员510”。可以在手术会话期间存在额外的或可替代的手术团队成员。
63.虽然图5示出正在进行的微创手术程序，但是应当理解，手术系统500可以类似地用于执行开放式手术程序或可以类似地受益于手术系统500的准确性和便利性的其它类型的手术程序。另外，将理解的是，可以在整个过程中使用手术系统500的诸如手术会话的医疗会话可以不仅包括手术程序的术中阶段(如图5所示)，而且还可以包括术前(其可以包括手术系统500的设置)、术后和/或手术会话的其它合适的阶段。
64.如图5所示，操纵系统502可以包括多个操纵器臂512(例如，操纵器臂512-1到512-4)，多个手术器械可以耦连到操纵器臂512。每个手术器械可以由以下各项实现：任何合适的手术工具(例如，具有组织交互功能的工具)、医疗工具、成像装置(例如，内窥镜、超声工具等)、感测器械(例如，力感测手术器械)、诊断器械或可用于患者508上的计算机辅助手术程序(例如，通过至少部分地插入患者508中并操纵以在患者508上执行计算机辅助手术程序)的其它器械。虽然操纵系统502在本文中被描绘和描述为包括四个操纵器臂512，但是将认识到，操纵系统502可以仅包括可服务于特定实现方式的单个操纵器臂512或任何其它数量的操纵器臂。
65.操纵器臂512和/或附接到操纵器臂512的手术器械可以包括一个或多个位移换能器、取向传感器和/或用于生成原始(即，未校正)运动学信息的位置传感器。手术系统500的一个或多个部件可以被配置成利用运动学信息来跟踪(例如，确定姿态)和/或控制手术器械，以及连接到器械和/或臂的任何东西。如本文所述，系统100可以利用运动学信息来跟踪手术系统500的部件(例如，操纵器臂512和/或附接到操纵器臂512的手术器械)。
66.用户控制系统504可以被配置成便于外科医生510-1对操纵器臂512和附接到操纵器臂512的手术器械进行控制。例如，外科医生510-1可以与用户控制系统504交互以远程地移动或操纵操纵器臂512和手术器械。为此，用户控制系统504可以向外科医生510-1提供由成像系统(例如，内窥镜)捕获的与患者508相关联的手术部位的影像(例如，高清晰度3d影像)。在某些示例中，用户控制系统504可以包括具有两个显示器的立体观察器，其中与患者508相关联的手术部位并且由立体成像系统生成的立体图像可以由外科医生510-1观看。外科医生510-1可以利用由用户控制系统504显示的影像来用附接到操纵器臂512的一个或多个手术器械执行一个或多个程序。
67.为了便于控制手术器械，用户控制系统504可以包括一组主控制器。这些主控制器可以由外科医生510-1操纵以控制手术器械的移动(例如，通过利用机器人和/或远程操作技术)。主控制器可以被配置成检测外科医生510-1的各种各样的手、手腕和手指移动。以这种方式，外科医生510-1可以利用一个或多个手术器械直观地执行程序。
68.辅助系统506可以包括被配置成进行手术系统500的处理操作的一个或多个计算装置。在此类配置中，包括在辅助系统506中的一个或多个计算装置可以控制和/或协调由手术系统500的各种其它部件(例如，操纵系统502和用户控制系统504)进行的操作。例如，包括在用户控制系统504中的计算装置可以通过包括在辅助系统506中的一个或多个计算装置来向操纵系统502传送指令。作为另一示例，辅助系统506可以接收并处理表示由附接到操纵系统502的一个或多个成像装置捕获的影像的图像数据。
69.在一些示例中，辅助系统506可以配置成将视觉内容呈现给可能不具有对在用户控制系统504处提供给外科医生510-1的图像的访问的手术团队成员510。为此，辅助系统506可以包括显示监视器514，该显示监视器514配置成显示一个或多个用户界面，诸如手术部位的图像、与患者508和/或手术程序相关联的信息和/或可服务于特定实现方式的任何其它视觉内容。例如，显示监视器514可以显示手术部位的图像，以及与图像同时显示的额外内容(例如，图形内容、上下文信息等)。在一些实施方式中，显示监视器514由触摸屏显示器实现，手术团队成员510可以与该触摸屏显示器交互(例如，通过触摸手势)以向手术系统500提供用户输入。
70.操纵系统502、用户控制系统504和辅助系统506可以以任何合适的方式彼此通信地耦连。例如，如图5所示，操纵系统502、用户控制系统504和辅助系统506可以通过控制线516通信地耦连，控制线516可以表示可以服务于特定实现方式的任何有线或无线通信链路。为此，操纵系统502、用户控制系统504和辅助系统506可以各自包括一个或多个有线或无线通信接口，诸如一个或多个局域网络接口、wi-fi网络接口、蜂窝接口等。
71.在某些示例中，诸如成像装置102的成像装置可以附接到手术系统500的部件和/或其中手术系统500被设置的手术设备的部件。例如，成像装置可以附接到操纵系统502的部件。
72.图6描绘了附接到操纵系统502的部件的成像装置102(成像装置102-1至102-4)的说明性配置600。如图所示，成像装置102-1可以附接到操纵系统502的定向平台(op)602，成像装置102-2可以附接到操纵系统502的操纵臂512-1，成像装置102-3可以附接到操纵系统502的操纵臂512-4，以及成像装置102-4可以附接到操纵系统502的基座604。附接到op 602的成像装置120-1可以被称为op成像装置，附接到操纵臂512-1的成像装置120-2可以被称为通用设置操纵器1(usm1)成像装置，附接到操纵臂512-4的成像装置120-3可以被称为通用设置操纵器4(usm4)成像装置，并且附接到基座604的成像装置120-4可以被称为基座成像装置即base成像装置。在操纵系统502被定位成靠近患者(例如，作为患者侧推车)的实现方式中，成像装置502在操纵系统502上的关键位置处的安置提供靠近患者的有利成像视点和在患者上执行的手术程序。
73.在某些实现方式中，操纵系统502(或在其它示例中的其它机器人系统)的部件可以具有允许部件的多个配置到达附接到部件的末端执行器(例如，连接到操纵器臂512的器械)的相同输出位置的冗余自由度。因此，处理系统106可以引导操纵系统502的部件移动，
而不影响附接到部件的末端执行器的位置。这可以允许在不改变附接到部件的末端执行器的位置的情况下重新定位待执行活动识别的部件。
74.成像装置102到操纵系统502的部件的说明性安置是示例性的。在操纵系统502上的任何合适数量的成像装置102、手术系统500的其它部件和/或手术设备处的其它部件的额外和/或可替代安置可以在其它实现方式中利用。成像装置102可以以任何合适的方式附接到操纵系统502的部件、手术系统500的其它部件和/或手术设备处的其它部件。
75.图7示出了多视图医疗活动识别系统的示例方法700。虽然图7示出了根据一个实施方式的示例操作，但是其它实施方式可以省略、添加、重新排序、组合和/或修改图7中所示的操作中的任何操作。图7中所示的操作中的一个或多个可以由活动识别系统(诸如系统100、其中包括的任何部件和/或其任何实现方式)来执行。
76.在操作702中，活动识别系统可以访问由多个传感器从多个视点捕获的医疗会话的场景的影像，该影像包括由多个传感器中的第一传感器从多个视点中的第一视点捕获的第一影像。操作702可以以本文描述的任何方式来执行。
77.在操作704中，活动识别系统可以在医疗会话期间并且基于第一影像来确定第一传感器的活动可见性度量值。操作704可以以本文描述的任何方式来执行。
78.在操作706中，活动识别系统可以基于活动可见性度量值来促进调整第一传感器的第一视点。操作706可以以本文描述的任何方式来执行。
79.图8示出了多视图医疗活动识别系统的示例方法800。虽然图8示出了根据一个实施方式的示例操作，但是其它实施方式可以省略、添加、重新排序、组合和/或修改图8中所示的操作中的任何操作。图8中所示的操作中的一个或多个可以由活动识别系统(诸如系统100、其中包括的任何部件和/或其任何实现方式)来执行。
80.在操作802中，活动识别系统可以访问由多个传感器从多个视点捕获的医疗会话的场景的影像，该影像包括由多个传感器中的第一传感器从多个视点中的第一视点捕获的第一影像。操作802可以以本文描述的任何方式来执行。
81.在操作804中，活动识别系统可以基于第一影像来确定场景的活动的第一分类。操作804可以以本文描述的任何方式来执行。
82.在操作806中，活动识别系统可以在医疗会话期间并且基于第一影像来确定第一传感器的活动可见性度量值。操作806可以以本文描述的任何方式来执行。
83.在操作808中，活动识别系统可以确定第一传感器的活动可见性度量值低于活动可见性度量阈值。操作808可以以本文描述的任何方式来执行。
84.在操作810中，活动识别系统可以降低用于基于场景的影像来确定场景的活动的总体分类的场景的活动的第一分类的权重。操作810可以以本文描述的任何方式来进行。
85.本文中所描述的多视图医疗活动识别原理、系统和方法可以用于各种应用中。作为示例，本文描述的一个或多个活动识别方面可以用于实时或追溯地进行手术工作流分析。作为另一示例，本文描述的一个或多个活动识别方面可以用于手术会话的自动转录(例如，出于文档编制、进一步规划和/或资源分配的目的)。作为另一示例，本文描述的活动识别方面中的一个或多个可以用于手术子任务的自动化。作为另一示例，本文描述的活动识别方面中的一个或多个可以用于手术系统和/或手术设备的计算机辅助设置(例如，设置机器人手术系统的一个或多个操作可以基于对手术场景的感知和机器人手术系统的自动移
动而被自动化)。本文描述的活动识别原理、系统和方法的应用的这些示例是示例性的。本文描述的活动识别原理、系统和方法可以针对其它合适的应用来实现。
86.在一些示例中，可以根据本文描述的原理来提供存储计算机可读指令的非暂时性计算机可读介质。指令在由计算装置的处理器执行时可以指导处理器和/或计算装置执行一个或多个操作，包括本文描述的一个或多个操作。可以利用各种已知的计算机可读介质中的任一种来存储和/或发送这样的指令。
87.如本文中所提及的非暂时性计算机可读介质可以包含任何非暂时性存储介质，所述非暂时性存储介质参与提供可由计算装置(例如，由计算装置的处理器)读取及/或执行的数据(例如，指令)。例如，非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。说明性非易失性存储介质包含但不限于只读存储器、闪速存储器、固态驱动器、磁性存储装置(例如，硬盘、软盘、磁带等)、铁电随机存取存储器(“ram”)及光盘(例如，压缩光盘、数字视频光盘、蓝光光盘等)。说明性易失性存储介质包括但不限于ram(例如，动态ram)。
88.图9示出了可以被具体地配置为执行本文描述的过程中的一个或多个的示例计算装置900。本文描述的系统、单元、计算装置和/或其它部件中的任一个可以实现或由计算装置900来实现。
89.如图9所示，计算装置900可以包括通信接口902、处理器904、存储装置906、以及经由通信基础设备910彼此通信地连接的输入/输出(“i/o”)模块908。虽然图9中示出了示例计算装置900，但是图9中示出的部件不旨在是限制性的。在其它实施方式中可以利用额外的或可替代的部件。图9中示出的计算装置900的部件现在将更详细地描述。
90.通信接口902可以被配置成与一个或多个计算装置通信。通信接口902的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接以及任何其它合适的接口。
91.处理器904通常表示能够处理数据和/或解释、执行和/或指导本文描述的指令、过程和/或操作中的一个或多个的执行的任何类型或形式的处理单元。处理器904可以通过执行存储在存储装置906中的计算机可执行指令912(例如，应用、软件、代码和/或其它可执行数据示例)来执行操作。
92.存储装置906可以包括一个或多个数据存储介质、装置或配置，并且可以采用任何类型、形式的数据存储介质和/或装置和其组合。例如，存储装置906可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。包括本文中所描述的数据的电子数据可以被临时地和/或永久地存储在存储装置906中。例如，表示被配置成指导处理器904执行本文描述的任何操作的计算机可执行指令912的数据可以被存储在存储装置906内。在一些示例中，数据可以被布置在存在于存储装置906内的一个或多个数据库中。
93.i/o模块908可以包括配置成接收用户输入并提供用户输出的一个或多个i/o模块。i/o模块908可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如，i/o模块908可以包括用于捕获用户输入的硬件和/或软件，包括但不限于键盘或小键盘、触摸屏部件(例如，触摸屏显示器)、接收器(例如，rf或红外接收器)、运动传感器和/或一个或多个输入按钮。
94.i/o模块908可以包括用于向用户呈现输出的一个或多个装置，包括但不限于图形
引擎、显示器(例如，显示屏)、一个或多个输出驱动器(例如，显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施方式中，i/o模块908被配置成向显示器提供图形数据以用于呈现给用户。图形数据可以表示一个或多个图形用户界面和/或可以服务于特定实现方式的任何其它图形内容。
95.在一些示例，本文描述的系统、模块和/或设备中的任一个可以由计算装置900的一个或多个部件实现或在计算装置900的一个或多个部件内实现。例如，存在于存储装置906内的一个或多个应用912可以被配置成指导处理器904的实现来执行与系统100的处理系统108相关联的一个或多个操作或功能。
96.如所提及的，本文描述的一个或多个操作可以在医疗会话期间例如，动态地、实时地和/或近实时地执行。如本文所用的，被描述为“实时”发生的操作将被理解为立即执行并且没有过度延迟，即使不可能存在绝对零延迟。
97.系统、装置和/或其部件中的任一个可以以任何合适的组合或子组合来实现。例如，系统、装置和/或其部件中的任一个可以被实现为被配置以执行本文中所描述的操作中的一个或多个的装置。
98.在本文的描述中，已经描述了各种说明性实施方式。然而，显而易见的是，可以对其进行各种修改和改变，并且可以实现额外实施方式，而不脱离如所附权利要求书中所阐述的本发明的范围。例如，本文描述的一个实施方式的某些特征可以与本文描述的另一实施方式的特征组合或替换。因此，说明书和附图应被认为是说明性的而不是限制性的。

技术特征：
1.一种系统，其包括：存储器，所述存储器存储指令；处理器，所述处理器通信地耦连到所述存储器并且被配置成执行所述指令以：访问由多个传感器从多个视点捕获的医疗会话的场景的影像，所述影像包括由所述多个传感器中的第一传感器从所述多个视点中的第一视点捕获的第一影像；在所述医疗会话期间并且基于所述第一影像来确定所述第一传感器的活动可见性度量值；以及基于所述活动可见性度量值促进调整所述第一传感器的所述第一视点。2.根据权利要求1所述的系统，其中所述促进调整所述第一传感器的所述第一视点包括向机器人系统提供输出以指示所述机器人系统改变所述第一传感器的姿态。3.根据权利要求1所述的系统，其中所述促进调整所述第一传感器的所述第一视点包括向用户提供输出以指示所述用户改变所述第一传感器的姿态。4.根据权利要求1所述的系统，其中：所述指令包括机器学习模块，所述机器学习模块基于标记有在训练影像中捕获的场景的活动的所述训练影像来训练；以及所述确定所述第一传感器的所述活动可见性度量值包括利用所述机器学习模块。5.根据权利要求1所述的系统，其中所述处理器进一步被配置成执行所述指令以：访问由所述多个传感器从另一多个视点捕获的所述医学会话的所述场景的额外影像，所述额外影像包括由所述第一传感器从与所述第一视点不同的第二视点捕获的第二影像；以及基于所述额外影像确定所述活动可见性度量的高于所述活动可见性度量值的额外值。6.根据权利要求1所述的系统，其中：所述场景的影像包括：由所述多个传感器中的第二传感器从所述多个视点中的第二视点捕获的第二影像，以及由所述多个传感器中的第三传感器从所述多个视点中的第三视点捕获的第三影像；以及所述处理器还被配置成执行所述指令以：确定所述第一传感器的所述活动可见性度量值低于活动可见性度量阈值，以及基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈值，利用生成模块以基于所述第二影像和所述第三影像来产生生成的影像。7.根据权利要求6所述的系统，其中所述生成的影像包括基于所述第一视点生成的影像，所述生成的影像具有比所述第一传感器的所述活动可见性度量值更高的生成的活动可见性度量值。8.根据权利要求6所述的系统，其中：所述生成的影像包括基于第四视点生成的影像，所述生成的影像具有比所述第一传感器的所述活动可见性度量值更高的生成的活动可见性度量值；提及所述促进调整所述第一传感器的所述第一视点包括提供输出，所述输出包括改变所述第一传感器的姿态以从所述第四视点捕获所述场景的额外影像的指令。
9.根据权利要求6所述的系统，其中：所述处理器还被配置成执行所述指令以：基于所述第二影像确定所述第二传感器的所述活动可见性度量值，基于所述第三影像确定所述第三传感器的所述活动可见性度量值；以及所述利用所述生成模块以基于所述第二影像和所述第三影像产生生成的影像进一步基于所述第二传感器和所述第三传感器的所述活动可见性度量值至少是所述活动可见性度量阈值。10.根据权利要求1所述的系统，其中：所述场景的影像包括由所述多个传感器中的第二传感器从所述多个视点中的第二视点捕获的第二影像；所述处理器还被配置成执行所述指令以基于所述第一影像和所述第二影像来确定所述多个传感器的总体活动可见性度量值；以及所述促进调整所述第一传感器的所述第一视点包括调整所述第一视点以改进所述总体活动可见性度量值。11.根据权利要求10所述的系统，其中所述促进调整所述第一视点导致所述第一传感器的更低的所述活动可见性度量值和所述多个传感器的更高的所述总体活动可见性度量值。12.根据权利要求1所述的系统，其中所述医疗会话的所述场景在患者体内。13.根据权利要求1所述的系统，其中所述活动可见性度量值表示所述场景的活动在所述第一影像中的可见程度的分级。14.一种系统，其包括：存储器，所述存储器存储指令；处理器，所述处理器通信地耦连到所述存储器并且被配置成执行所述指令以：访问由多个传感器从多个视点捕获的医疗会话的场景的影像，所述影像包括由所述多个传感器中的第一传感器从所述多个视点中的第一视点捕获的第一影像；基于所述第一影像确定所述场景的活动的第一分类；在所述医疗会话期间并且基于所述第一影像来确定所述第一传感器的活动可见性度量值；确定所述第一传感器的所述活动可见性度量值低于活动可见性度量阈值；以及基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈值，降低所述场景的所述活动的所述第一分类的权重，以基于所述场景的所述影像确定所述场景的所述活动的总体分类。15.根据权利要求14所述的系统，其中所述处理器进一步被配置成执行所述指令以基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈值而促进调整所述第一传感器的所述第一视点。16.一种方法，其包括：通过处理器访问由多个传感器从多个视点捕获的医疗会话的场景的影像，所述影像包括由所述多个传感器中的第一传感器从所述多个视点中的第一视点捕获的第一影像；在所述医疗会话期间并且基于所述第一影像通过所述处理器确定所述第一传感器的
活动可见性度量值；以及基于所述活动可见性度量值通过所述处理器促进调整所述第一传感器的所述第一视点。17.根据权利要求16所述的方法，其中所述促进调整所述第一传感器的所述第一视点包括向机器人系统提供输出以指示所述机器人系统改变所述第一传感器的姿态。18.根据权利要求16所述的方法，其中所述促进调整所述第一传感器的所述第一视点包括向用户提供输出以指示所述用户改变所述第一传感器的姿态。19.根据权利要求16所述的方法，其中所述确定所述第一传感器的所述活动可见性度量值包括利用机器学习模块，所述机器学习模块基于标记有在训练影像中捕获的场景的活动的所述训练影像来训练。20.根据权利要求16所述的方法，其还包括：通过所述处理器访问由所述多个传感器从另一多个视点捕获的所述医疗会话的所述场景的额外影像，所述额外影像包括由所述第一传感器从与所述第一视点不同的第二视点捕获的第二影像；以及基于所述额外影像通过所述处理器确定比所述活动可见性度量值更高的额外的活动可见性度量值。21.根据权利要求16所述的方法，其中：所述场景的影像包括：由所述多个传感器中的第二传感器从所述多个视点中的第二视点捕获的第二影像，以及由所述多个传感器中的第三传感器从所述多个视点的第三视点捕获的第三影像；以及所述方法还包括：通过所述处理器确定所述第一传感器的所述活动可见性度量值低于活动可见性度量阈值，以及基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈值通过所述处理器利用生成模块来基于所述第二影像和所述第三影像来产生生成的影像。22.根据权利要求21所述的方法，其中所述生成的影像包括基于所述第一视点生成的影像，所述生成的影像具有比所述第一传感器的所述活动可见性度量值更高的生成的活动可见性度量值。23.根据权利要求21所述的方法，其中：所述生成的影像包括基于第四视点生成的影像，所述生成的影像具有比所述第一传感器的所述活动可见性度量值更高的生成的活动可见性度量值；以及所述促进调整所述第一传感器的所述第一视点包括提供输出，所述输出包括改变所述第一传感器的姿态以从所述第四视点捕获所述场景的额外影像的指令。24.根据权利要求21所述的方法，其还包括：基于所述第二影像通过所述处理器确定所述第二传感器的活动可见性度量值；以及基于所述第三影像通过所述处理器确定所述第三传感器的活动可见性度量值，其中所述利用所述生成模块来基于所述第二影像和所述第三影像产生生成的影像进一步基于所述第二传感器和所述第三传感器的所述活动可见性度量值至少是所述活动可
见性度量阈值。25.根据权利要求16所述的方法，其中：所述场景的影像包括由所述多个传感器中的第二传感器从所述多个视点中的第二视点捕获的第二影像；所述方法进一步包括基于所述第一影像和所述第二影像通过所述处理器来确定所述多个传感器的总体活动可见性度量值；以及所述促进调整所述第一传感器的所述第一视点包括调整所述第一视点以改进所述总体活动可见性度量值。26.根据权利要求25所述的方法，其中所述促进调整所述第一视点导致所述第一传感器的更低的活动可见性度量值和所述多个传感器的更高的总体活动可见性度量值。27.根据权利要求16所述的方法，其中所述医疗会话的所述场景在患者体内。28.一种方法，其包括：通过处理器访问由多个传感器从多个视点捕获的医疗会话的场景的影像，所述影像包括由所述多个传感器中的第一传感器从所述多个视点中的第一视点捕获的第一影像；基于所述第一影像通过所述处理器确定所述场景的活动的第一分类；在所述医疗会话期间并且基于所述第一影像通过所述处理器确定所述第一传感器的活动可见性度量值；通过所述处理器确定所述第一传感器的所述活动可见性度量值低于活动可见性度量阈值；以及基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈值，通过所述处理器降低所述场景的所述活动的所述第一分类的权重，以用于基于所述场景的所述影像确定所述场景的所述活动的总体分类。29.根据权利要求28所述的方法，其还包括：基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈值，通过所述处理器促进调整所述第一传感器的所述第一视点。30.一种存储指令的非暂时性计算机可读介质，所述指令可通过处理器执行以：访问由多个传感器从多个视点捕获的医疗会话的场景的影像，所述影像包括由所述多个传感器中的第一传感器从所述多个视点中的第一视点捕获的第一影像；在所述医疗会话期间并且基于所述第一影像来确定所述第一传感器的活动可见性度量值；以及基于所述活动可见性度量值促进调整所述第一传感器的所述第一视点。31.一种存储指令的非暂时性计算机可读介质，所述指令可通过处理器执行以：访问由多个传感器从多个视点捕获的医疗会话的场景的影像，所述影像包括由所述多个传感器中的第一传感器从所述多个视点中的第一视点捕获的第一影像；基于所述第一影像确定所述场景的活动的第一分类；在所述医疗会话期间并且基于所述第一影像来确定所述第一传感器的活动可见性度量值；确定所述第一传感器的所述活动可见性度量值低于活动可见性度量阈值；以及基于所述确定所述第一传感器的所述活动可见性度量值低于所述活动可见性度量阈
值，降低所述场景的所述活动的所述第一分类的权重，以基于所述场景的所述影像确定所述场景的所述活动的总体分类。

技术总结
本文描述了多视图医疗活动识别系统和方法中的可见性度量。在某些说明性示例中，系统访问由多个传感器从多个视点捕获的医疗会话的场景的影像，该影像包括由多个传感器中的第一传感器从多个视点中的第一视点捕获的第一影像。该系统在医疗会话期间并且基于第一影像确定第一传感器的活动可见性度量值。该系统基于活动可见性度量值促进调整第一传感器的第一视点。一视点。一视点。


技术研发人员：O
受保护的技术使用者：直观外科手术操作公司
技术研发日：2021.11.12
技术公布日：2023/8/1