通过实时影像获得的病变判断系统的控制方法、装置及程序

1.本发明涉及一种通过实时影像获得的病变判断系统的控制方法、装置及程序，尤其涉及一种在上消化道内窥镜实际检查影像中，利用深度学习自动发现并判断病变，提供胃壁浸润深度信息的内窥镜检查判断辅助装置及方法。


背景技术：

2.韩国是世界上胃癌发病率最高的国家之一，而为诊断胃癌及作为其前驱病变的胃赘生物，广泛使用上消化道内窥镜检查。若内窥镜医生在检查过程中肉眼观察发现疑似病变，则通过利用内窥镜钳子的组织检查读取病理组织诊断包括胃癌在内的胃赘生物。另外，通过肉眼难以判断的病变，也为了确认病变不是癌或赘生物而进行组织检查。
3.然而，肉眼观察和组织检查一致的比率低(内窥镜医生的肉眼推测判断和实际判断不一致的情况)，据报道通过组织检查的初诊(只检查整个病变的一部分)和手术及内窥镜切除术后整个组织的最终病理诊断之间的差异率也达到20％～60％，这取决于医生的经验和技术。因此，低的初始判断率导致治疗方针的变化或预测病人预后方面的混乱。此外，若在内窥镜检查过程中没有发现并遗漏病变，会直接影响患者的预后，因此，据报道韩国消化道内窥镜医生的职业倦怠现象很严重。由于体力原因难以进行细致的检查或高度集中的检查而遗漏病变的可能性也持续被提起。即胃赘生物的发现及肉眼判断存在尚未得到满足的医疗需求。
4.除了判断，有必要预测病变浸润深度，以确定胃癌或胃赘生物的治疗方针。这主要通过医生的肉眼观察和内窥镜超声波(endoscopic ultrasound)等检查进行判断，而胃癌或胃赘生物只有在局限于黏膜内或黏膜下浸润深度小于500μm的情况下才成为内窥镜切除术的对象。
5.但肉眼观察的准确性根据内窥镜医生个人存在差异，据报道内窥镜超声波的黏膜下浸润的预测程度即使是最高水平的专家也只达到72-84％左右。因此，胃癌和胃赘生物的胃壁浸润深度的判断存在尚未得到满足的医疗需求，因为若内窥镜切除术后最终判断为黏膜下浸润深的癌的情况下，需要进行额外的胃切除术。
6.本发明的背景技术已公开于韩国注册专利公报第10-2168485号。


技术实现要素：

7.发明要解决的问题
8.本发明所要解决的技术课题在于提供一种通过实时影像获得的病变判断系统的控制方法、装置及程序。
9.本发明所要解决的课题不限于所述内容，而对于本领域技术人员，未提及的其他课题可通过下面的记载将变得更加明了。
10.解决问题的方法
11.为解决所述课题，根据本发明一方面的通过实时影像获得的病变判断系统的控制
方法包括：内窥镜装置获得胃内窥镜影像的步骤；所述内窥镜装置将获得的所述胃内窥镜影像传送至服务器的步骤；所述服务器将所述胃内窥镜影像输入至第一人工智能模型，以判断包含于所述胃内窥镜影像中的病变的步骤；所述服务器在判断所述胃内窥镜影像中有病变时，获得包含所述病变的图像传送至所述服务器的数据库的步骤；所述服务器将所述图像输入至第二人工智能模型，以判断包含于所述图像中的病变的种类的步骤；及在判断所述胃内窥镜影像中有病变时，显示装置显示用于在所述胃内窥镜影像内指示所述病变的位置的ui的步骤。
12.此时，判断所述病变的步骤包括：在利用所述内窥镜装置拍摄实时影像时，若从医生收到读取所述影像的命令，则所述服务器获得对输入所述影像读取命令的时刻起预设时间之前的影像的多个图像的步骤；所述服务器将所述多个图像输入至所述第二人工智能模型，以判断所述多个图像中是否包含病变及病变的种类的步骤；所述服务器在判断所述多个图像中包含病变时，判断所述实时影像中是否包含所述病变的步骤；及在包含所述病变时，所述显示装置显示用于在所述实时影像内指示所述病变的位置的ui的步骤。
13.此时，所述控制方法包括：在向所述第一人工智能模型输入所述内窥镜影像时，所述服务器判断所述影像是否为胃内窥镜影像的步骤；及在所述影像不是胃内窥镜影像时，所述显示装置显示用于输入新患者信息的ui的步骤。
14.此时，判断所述影像是否为胃内窥镜影像的步骤包括：所述服务器获得对应于拍摄所述内窥镜影像的内窥镜室的平均亮度的数据的步骤；及所述服务器基于所述数据判断所述内窥镜装置是否位于人体外部的步骤。
15.此时，判断包含于所述图像中的病变的种类的步骤包括：所述服务器判断是否因组织检查发生出血的步骤；及若判断发生所述出血，则不对发生所述出血的位置进行病变判断的步骤。
16.此时，所述控制方法包括：所述服务器将所述内窥镜影像分割成多个帧的步骤；及在所述多个帧中，在预定数量以上的连续的帧中判断出病变时，所述服务器将对应于所述连续的帧的病变判断为相同的病变的步骤。
17.此时，显示所述ui的步骤包括：显示用于输入患者信息的第一图标、用于查看包含判断的病变的图像的第二图标、用于查看检查结果图像的第三图标、用于改变设定值的第四图标及用于返回实时图像的第五图标的步骤；若输入对所述第一图标的使用者命令，则显示用于输入患者姓名、患者病历号、性别及出生年份的第一ui的步骤；若输入对所述第二图标的使用者命令，则显示用于显示包含病变的图像列表的第二ui的步骤；若输入对所述第三图标的使用者命令，则显示用于显示所述不同病变判断结果列表的第三ui的步骤；若通过所述第四图标输入使用者命令，则显示用于变更设定值的第四ui的步骤；及若通过所述第五图标输入使用者命令，则显示用于显示实时影像的第五ui的步骤；及在显示所述第五ui期间，若输入对所述第一图标、所述第二图标、所述第三图标及所述第四图标之一的第一使用者命令，则在第一层中显示对应于所述第一使用者命令的ui的步骤。
18.此时，判断包含于所述胃内窥镜影像中的病变的步骤包括：判断所述判断的病变是否为需要进行实时手术的病变的步骤；若所述判断的病变为需要进行实时手术的病变，则计算从所述内窥镜装置接收所述胃内窥镜装置的时间和判断包含于所述胃内窥镜影像中的病变的时间的差值的步骤；及若所述差值大于预设值，则在所述第五ui中显示对需要
手术的病变的信息及所述差值的步骤。
19.本发明的其他具体事项，将通过下面的详细说明及附图变得更加明了。
20.发明效果
21.根据如上所述的各种实施例，通过实时执行利用人工智能模型的病变判断，可提高胃内窥镜影像拍摄及手术的准确性。
22.本发明的效果不限于上述效果，而对于本领域技术人员，未提及的其他效果可通过下面的记载将变得更加明了。
附图说明
23.图1为根据本发明一实施例的系统图。
24.图2及图3为用于说明根据本发明一实施例的人工智能模型的预处理方法的示例图。
25.图4至图6为用于说明根据本发明一实施例的ui画面显示方法的示例图。
26.图7为根据本发明一实施例的流程图。
27.图8为根据本发明一实施例的装置的结构图。
具体实施方式
28.本发明的优点及特征和事先方法，将结合附图和将要详细描述的实施例变得明了。但是，本发明不受下述实施例的限制而可通过各种形式实现，本实施例的目的旨在更好地说明本发明，为本发明所属技术领域的技术人员理解提供帮助，而本发明只受权利要求书的限制。
29.用于本说明书的术语用于说明实施例，而非限制本发明。在本说明书中，在没有特别说明的情况下，单数也可以指复数。用于说明书的“包括(comprises)”及/或“包括(comprising)”不排除所涉及的构件的不排除一个以上的其他构件的存在或添加。在本说明书中，相同的附图标记指相同的构件，“及/或”包括所涉及的各构件及一个以上的所有组合。为便于说明用“第一”、“第二”等表示各种构件，但这些构件不受所述术语的限制。这些术语的目的只是区分一个构件和另一个构件。因此，在下面体积的第一构成构件，在本发明的技术思想之内，也可以是第二构成构件。
30.若没有其他的定义，用于本说明书的所有术语(技术及科学术语)所指的意思是本领域技术人员通常所理解的意思。另外，一般所使用的定义在词典中的术语，在没有明确的其他定义之外，不能过度夸大。
31.用于说明书的“部”或“模块”的术语是指软件、fpga或asic的硬件的要素，“部”或“模块”起到某种功能。但是，“部”或“模块”不限于软件或硬件。“部”或“模块”可配置为位于可寻址的存储媒介，也可配置为执行一个或以上的进程。因此，作为其一例，“部”或“模块”包括软件要素、面向对象的软件要素、类要素及任务要素等要素、进程、函数、属性、过程、子程序、程序编码的段、驱动、固件、微代码、电路、数据、数据库、数据结构、表格、阵列及变量。要素和“部”或“模块”中提供的功能可结合为更小的数量的要数及“部”或“模块”，或进一步分离为追加的要素和“部”或“模块”。
32.如图所示，空间上相对的术语“下(below)”、“下(beneath)”、“下部(lower)”、“上
(above)”、“上部(upper)”等用于容易描述图中各构件之间的相互关系。空间上相对的术语应理解为除了附图中所示的方向之外，还包括在使用或运行时构件的不同方向。例如，若翻转图示于附图中的构件，则表述为其他构件的“下(below)”或“下(beneath)”的构件，将位于其他构件之“上(above)”。因此，示例性的术语“下”可包括下和上的方向。构件也可以定向为其他方向，所以空间上相对的术语可以根据其定向来解释。
33.在本说明书中，计算机可以理解为包括至少一个处理器的任何种类的硬件设备，根据不同的实施例，还包括在该硬件设备上运行的软件配置。例如，计算机可以理解为包括但不限于智能手机、平板电脑、台式机、笔记本电脑以及在各装置中驱动的用户客户端和应用程序。
34.下面，结合附图对本发明的实施例进行详细说明。
35.虽然本说明书描述的各步骤都被描述为由计算机执行，但各步骤的主体不限于此，根据不同的实施例，各步骤的至少一部分可以由不同的设备执行。
36.图1为根据本发明一实施例的系统图。
37.如图1所示，通过实时影像获得的病变判断系统可包括服务器100、内窥镜装置200及显示装置300。
38.在根据本发明一实施例的系统中，作为用于服务器100、胃内窥镜装置200及显示装置300之间的信息共享的网络的一例，可包括3gpp(3rd generation partnership project)网络、lte(long term evolution)网络、5g网络、wimax(world interoperability for microwave access)网络、有线或无线互联网(internet)、lan(local area network)、wireless lan(wireless local area network)、wan(wide area network)、pan(personal area network)、蓝牙(bluetooth)网络、wifi网络、nfc(near field communication)网络、卫星广播网络、模拟广播网络、dmb(digital multimedia broadcasting)网络等，但非限制。
39.服务器100为用于从内窥镜装置200获取图像判断病变的构成。根据本发明一实施例的服务器100可包括图像获得部、数据生成部、预处理部、学习部及病变判断部。但是，服务器100的构成不限于所述公开的内容。例如，服务器100还可包括用于存储信息的数据库。
40.图像获得部可获得多个胃病变图像。图像获得部可从具备于内窥镜装置200的拍摄装置接收胃病变图像。图像获得部可获得通过用于胃内窥镜诊疗的内窥镜拍摄装置(数码相机)获得的胃病变图像。图像获得部可收集病理学上确认的胃病变的内窥镜白色光图像。另外，图像获得部可从多个医院的影像保管装置及数据库系统接收多个胃病变图像。多个医院的影像保管装置可以是保管在多个医院执行胃内窥镜检查时获得的胃病变图像的装置。
41.另外，图像获得部可获得改变检测对象的胃的第一区域的角度、方向及距离中的任一个拍摄的影像(图像)。图像获得部可获得jpeg形式的胃病变图像。胃病变图像可以是以1280x640像素的分辨率，应用35度角度的域的模式的图像。另外，图像获得部可获得取出对各胃病变图像的离散标志符信息的图像。图像获得部可获得病变位于中央，去除胃病变图像中黑色框架区域的图像。
42.与此相反，图像获得部在图像获得过程中获得跑焦、伪影、音域等质量低或低分辨率的图像时，可丢弃该图像。换言之，图像获得部在不适合用于深度算法的图像的情况下，
crossentropy用作参数。
52.作为另一例，如图3所示，根据本发明的人工智能模型可以是对黏膜受限病变(mucosa-confined lesion)及黏膜下浸润病变(submucosa-invaded lesion)的二级分类模型。
53.此时，人工智能模型可将a)augmentation:horizontal/vertical flip,rotate(-5
°
～+5
°
),horizontal/vertical shift(-10％～+10％),zoom(0.8～1.2)；b)batch size:2；c)learning rate:1.25e-4；d)epoch:200；e)dropout:0.4；f)learning rate scheduler with 0.97decay was used用作参数。
54.根据各种实施例，根据本发明的人工智能模型可以是晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、异型增生(dysplasia)及正常病变(normal category)的四级分类模型。
55.预处理部可包括放大用于增加胃病变图像的数据数的图像数据的放大部(未图示)。
56.根据本发明一实施例，在利用包括卷积神经网络的深度学习算法时，数据量越大越有利于获得好的性能，但胃内窥镜图像较之其他检查其检查数量相当少，在图像获得部检测出的胃病变图像数据收集量远不足用于卷积神经网络中。因此，放大部(未图示)可基于学习用数据集执行数据放大(augmentation)过程。放大部(未图示)可使用胃病变图像的旋转、翻转、裁切及增噪中的至少一个方法执行数据放大(augmentation)过程。
57.预处理部执行预处理过程以对应于预设的基准值。预设的基准值可以是使用者任意指定的值。另外，预设的基准值可以是根据获得的胃病变图像的平均值确定的值。经过预处理部的数据集可提供至学习部。
58.学习部可通过将经过预处理过程的数据集作为输入，将关于胃病变分类结果的项目作为输出的学习构建人工神经网络。
59.根据本发明一实施例，学习部可使用由卷积神经网络(convolutional neural networks)结构和全连接神经网络(fully-connected neural networks)结构两个部分构成的深度学习算法输出胃病变分类结果。全连接神经网络为在节点之间横向/纵向构成二维连接，在位于相同层的节点之间不存在连接关系，只在位于相邻层的节点之间存在连接关系为特征的神经网络。
60.学习部可通过将经过预处理过程的学习用数据集作为输入的卷积神经网络，将卷积神经网络的输出作为全连接神经网络的输入的学习构建训练模型。
61.根据本发明一实施例，卷积神经网络可输出分析胃病变图像的多个特定特征图案。此时，提取的特定特征图案可用于在全连接神经网络中进行最终分类。
62.卷积神经网络(convolutional neural networks)为主要用于语音识别或图像识别的神经网络的一种。可处理多维排列数据，因此特别适合于彩色图像等多维排列处理。因此，在图像识别领域中，使用深度学习的技术大部分以卷积神经网络作为基础。
63.卷积神经网络(cnn)将图像分为非单一数据的多个进行处理。这样，即使图像失真可也提取图像的部分特性，从而可获得正确的性能。
64.卷积神经网络的可由多个层构成。构成各层的因素可由卷积层、激活函数、max pooling层、dropout层构成。卷积层起到称为kernel的过滤器作用，使部分处理整个图像
(或生成的新特征图案)的操作提取与图像相同大小的新特征图案(feature pattern)。卷积层可修改为便于在特性图案中通过激活函数处理特征图案的值。max pooling层可对部分胃病变图像进行抽样(sampling)调整大小，从而减少图像的大小。卷积神经网络虽然经过卷积层及max pooling层减少特征图案(feature pattern)的大小，但可通过使用kernel提取多个特征图案(feature pattern)。dropout层可以是在训练卷积神经网络的权重值时，为有效的训练而故意不考虑部分权重值的方法。另外，dropout层在通过经过训练的模型进行实际测试时不使用。
65.从卷积神经网络提取的多个特征图案(feature pattern)可传递至作为下一个步骤的全连接神经网络以用于分类作业。卷积神经网络可调节层的个数。卷积神经网络的层的个数可根据用于模型训练的训练用数据的量进行调节，从而构建更稳定的模型。
66.另外，学习部可通过将经过预处理过程的学习用数据集作为卷积神经网络的输入，将卷积神经网络的输出及患者信息作为全连接神经网络的输入的学习构建诊断(训练)模型。与之不同，学习部可使经过预处理过程的图像数据优先输入至卷积神经网络，使经过卷积神经网络输出的结果输入至全连接神经网络。另外，学习部可使任意提取的特征(feature)不经过卷积神经网络而直接输入至全连接神经网络。
67.此时，患者信息可包括对象(检测对象)的性别、年龄、身高、体重、人种、国籍、吸烟量、饮酒量、家族史等各种信息。另外，患者信息可包括临床信息。临床信息是指进行判断的医生用于特定判断的所有数据。尤其是，包括由在诊疗过程中生成的性别、年龄构成的资料、特定治疗与否资料、薪资申请及处方资料等的电子义务记录资料。另外，临床信息可包括基因信息等生物学数据资料。生物学数据资料可包括具备心率数、心电图、运动量、氧饱和度、血压、体重、糖尿等数值数据的个人健康信息。
68.患者信息是在学习部中与卷积神经网络结构的结果一同输入至全连接神经网络的数据，通过将患者信息作为人工神经网络的输入，较之只用胃病变图像导出的结果，可进一步提高准确度。
69.其一例为，通过学习用数据集的临床信息学到癌症多存在于高龄人群之后，在与图像特征一起输入42岁或79岁的年龄时，在胃病变分类结果中难以区分癌症或良性病变时，高龄患者的结果可偏向于癌症的一面。
70.学习部可通过比较将训练数据用于深度学习算法结构(由卷积神经网络和全连接神经网络构成的结构)导出的结果和实际结果的误差，逐渐增加相当于误差的神经网络结构的权重值的反向传播(backpropagation)算法反馈结果进行学习。反向传播(backpropagation)算法可以是为减少结果的误差(实际值和结果值的差异)调节从各节点到下一个节点的权重值的算法。学习部可利用学习用数据集和验证用数据集学习神经网络并求得权重值媒介变量，从而导出最终判断模型。
71.病变判断部对新数据集经过预处理过程之后，通过人工神经网络执行胃病变判断。换言之，病变判断部可利用从所述说明的学习部导出的最终判断模型导出对新数据的判断。新数据可以是包含使用者希望判断的胃病变图像的数据。新数据集可以是将新胃病变图像与患者信息连接生成的数据集。新数据集可经过预处理部12的预处理过程预处理成为可用于深度学习算法的状态。之后，经过预处理的新数据集输入至学习部并基于学习参数判断胃病变图像。
72.根据本发明一实施例，病变判断部可将胃病变分为晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及肺肿瘤(non-neoplasm)中的至少一种，以执行所述胃病变判断分类。另外，病变判断部可分为癌和非癌。另外，病变判断部可分为赘生物和非赘生物两种范围区分胃病变判断。赘生物分类可包括agc、egc、hgd及lgd。非种类范围可包括胃炎、良性溃疡、畸形、息肉、肠化生或上皮性肿瘤等病变。
73.服务器100为分类及判断模糊的病变并减少因不必要的活体检查或内窥镜切除导致副作用，分析通过内窥镜装置200获得的图像并自动分类及判断模糊的病变，在赘生物(危险肿瘤)的情况下，进行内窥镜切除手术。
74.内窥镜装置200可以是在胃内窥镜检查时使用的装置。内窥镜装置200可包括操作部及主体部。内窥镜装置200可包括插入身体内的主体部及具备于主体部的后端的操作部。在主体部的前端可包括拍摄身体内部的拍摄部、向拍摄部位照射光的照明部、清洗身体内部以便于进行拍摄的水喷射部、吸入身体内的异物或空气等的抽吸部等，在主体部内部可具备各对应于所述多个单元(部)的通道。另外，插入部内可具备活检通道(biopsy channel)，内窥镜操作者可通过该活检通道插入外科手术刀采集身体内部的组织。具备于内窥镜装置200的拍摄身体内部的拍摄部(即摄像头)，可具备小型摄像头。拍摄装置可获得白色光胃内窥镜图像。
75.内窥镜装置200的拍摄部可通过网络向服务器100发送或接收获得的胃病变图像。服务器100可基于胃病变判断结果，生成控制活检单元的控制信号。活检单元可以是采集身体内部的组织的单元。可通过采集身体内部的组织判定该组织的阳性及阴性。另外，可通过采集身体内部的组织去除癌组织。例如，服务器100可包括获得胃内窥镜图像，采集身体内部的组织的内窥镜装置200。换言之，将从内窥镜装置200实时获得胃内窥镜图像作为通过学习构件的人工神经网络的输入，区分为关于胃病变判断结果的项目中的至少一种，从而可实现对胃病变的判断及预测。
76.根据本发明另一实施例，内窥镜装置200可以胶囊形式形成。例如，内窥镜装置200以胶囊形式形成并可插入检测对象的体内获得胃内窥镜图像。胶囊型内窥镜装置200可一并提供对位于检测对象的食道、胃、小肠及大肠汇总的那个位置的位置信息。换言之，胶囊型内窥镜装置200位于检测对象(患者)的体内，可通过网络将实时获得的影像(图像)提供至服务器100。此时，胶囊型内窥镜装置200不仅提供胃内窥镜图像，而且还提供获得胃内窥镜图像的位置信息，从而在服务器100的判断分类结果属于晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)中的至少一种时，换言之，在属于肺肿瘤危险性肿瘤时，能够使使用者(医生)掌握相应病变位置直接进行切除手术。
77.根据本发明一实施例，服务器100将在内窥镜装置200中实时获得的胃病变内窥镜图像作为通过学习形成的算法的输入执行胃病变判断，对于赘生物疑似病变，内窥镜装置200可通过内窥镜黏膜切除术或内窥镜黏膜下剥离术切除相应病变。
78.根据本发明一实施例，内窥镜装置200可利用操作部控制拍摄部。操作部为使目标病变的位置位于拍摄部的视野范围之内，可从使用者接收操作输入信号。操作部可基于从使用者接收的操作输入信号控制拍摄部的位置。另外，操作部在拍摄部的视野位于目标病
变的位置时，可获得用于捕获相应图像的操作输入信号，生成用于捕获相应胃病变图像的信号。
79.根据本发明另一实施例，内窥镜装置200可以是以胶囊形式形成的装置。胶囊内窥镜装置200插入对象(检测对象)的人体内部并可远程操作。从胶囊内窥镜装置200获得的胃病变图像，不仅可获得使用者希望捕获的区域的图像，还可将通过视频拍摄获得的所有影像的转换为图像获得。胶囊内窥镜装置200可包括拍摄部及操作部。拍摄部插入人体内部，并基于操作部的操作信号在人体内部得到控制。
80.显示装置300例如可包括液晶显示器(lcd)、发光二极管(led)显示器、有机发光二极管(oled)显示器或微机电系统(mems)显示器。显示装置300可向使用者显示从内窥镜装置200获得的胃内窥镜图像及服务器100判断出的胃病变判断信息。显示装置300可包括触摸屏，例如，可接收利用电子笔或使用者的身体的一部分的触摸、手势、近点或悬停输入。显示装置300可输出在内窥镜装置200获得的胃病变图像。另外，显示装置300可输出胃病变判断结果。
81.根据本发明另一实施例，内窥镜装置200可包括操作部、主体部、处理器、病变位置获得部及显示部。
82.此时，内窥镜装置200包括人工智能模型并可执行病变判断。具体而言，为防止由人工智能模型判断病变时产生的时间差妨碍胃内窥镜检查，有可能妨碍检察人员的与检测相关的算法可由内窥镜装置200执行，而其余与预处理和读取相关的算法可由服务器100执行。
83.操作部具备于所述主体部的后端并基于使用者的输入信息进行操作。操作部为被内窥镜操作者握持的部分，可操作插入检测对象的体内的主体部。另外，操作部可操作主体部收容的内窥镜手术时需要的多个单元装置的动作。操作部可包括旋转处理器。旋转处理器可包括负责生成控制信号的功能及提供旋转力的功能(例如，马达)的部分。操作部可包括用于操作拍摄部(未图示)的按钮。按钮为用于控制拍摄部(未图示)的位置的按钮，可以是供使用者变更上下左右、前进、后退等主体部的位置的按钮。
84.主体部为插入检测对象的体内的部分，可收容多个单元装置。多个单元装置可包括拍摄检测对象的体内的拍摄部(未图示)、向体内供应空气的空气供应单元、向体内供应水的水供应单元、向体内照射光的照明单元、采集或治疗体内的组织的一部分的活检(biopsy)单元及从体内吸入空气或异物的抽吸单元中的至少一种。活检单元可包括从活体采集部分组织的外科手术刀、针等各种医疗器械，外科手术刀、针等活检单元由内窥镜操作者通过活检通道插入体内并采集体内的细胞。
85.拍摄部(未图示)可收容具备对应于主体部的直径的大小的摄像头。拍摄部(未图示)具备于主体部的前端并拍摄胃病变图像，通过网络向病变判断部及显示部提供拍摄的胃病变图像。
86.处理器可基于从操作部提供得到的使用者的输入信息及服务器100的判断结果，生成控制主体部的动作的控制信号。处理器在从包含于操作部的按钮接收来自使用者的某个选择输入时，对应于相应按钮生成控制主体部的动作的控制信号。例如，处理器在使用者输入使主体部前进的按钮时，生成控制信号以使主体部以一定速度在对象体(患者)的体内前进。主体部可基于处理器的控制信号，在对象体(患者)的体内前进。
87.另外，处理器可生成控制拍摄部(未图示)的动作的控制信号。控制拍摄部(未图示)的动作的控制信号可以是位于病变区域的拍摄部(未图示)捕获胃病变图像的信号。换言之，在使用者通过操作部希望位于特定病变区域的拍摄部(未图示)获得图像时，可点击捕获获得按钮。处理器可基于从操作部得到的输入信息生成控制信号，以使拍摄部(未图示)在相应病变区域获得图像。处理器可生成使拍摄部(未图示)从正在拍摄的影像中获得特定胃病变图像的控制信号。
88.另外，处理器基于服务器100的判断结果生成控制信号，以控制采集对向体的最值的一部分的活检单元的动作。处理器在服务器100的判断结果属于晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及中的至少一种时，生成控制活检单元的动作的控制信号以实施切除术。活检单元可包括从活体采集部分组织的外科手术刀、针等各种医疗器械，外科手术刀、针等活检单元由内窥镜操作者通过活检通道插入体内并采集体内的细胞。另外，处理器基于从操作部提供得到的使用者输入信号生成控制信号，以控制活检单元的动作。采集、切除、去除体内的细胞的动作可以是使用者利用操作部执行的。
89.根据本发明一实施例，病变位置获得部可连接从拍摄部(未图示)提供得到的胃病变图像和位置信息生成胃病变信息。位置信息可以是主体部当前在体内所处的位置信息。换言之，在主体部位于对象体(患者)的胃的第一地点并从第一地点获得胃病变图像时，病变位置获得部可连接所述胃病变图像和位置信息生成胃病变信息。
90.病变位置获得部可将连接获得的胃病变图像和位置信息生成的胃病变信息提供给使用者(医生)。通过将病变判断部10的判断结果及病变位置获得部的胃病变信息通过显示部提供给使用者，在进行切除(去除)相应病变的手术时，防止在非该病变位置的地点进行切除术的情况的发生。
91.另外，处理器利用从病变位置获得部提供的位置信息，在活检单元不位于相应病变位置时，可生成控制所述活检单元的位置的控制信号。
92.在服务器100中生成控制活检单元的控制信号采集或去除体内的细胞，从而可完成更快速的组织检查。与此同时，在内窥镜判断过程中直接切除判断为癌症的细胞，从而可实现快速治疗。
93.下面，基于所述详细说明的内容简单介绍本发明的动作流程。
94.具体而言，如图7所示，在s110步骤中，内窥镜装置200可获得胃内窥镜影像。
95.在s120步骤中，内窥镜装置200可将获得的胃窥镜影像传送至服务器100。
96.在s130步骤中，服务器100可将胃内窥镜影像输入至第一人工智能模型，以判断包含于胃内窥镜影像中的病变。
97.作为一实施例，在利用内窥镜装置200正在拍摄实时影像时，若从医生收到读取影像的命令，则服务器100可获得对输入影像读取命令的时刻起预设时间之前的影像的多个图像。
98.具体而言，即使服务器100不判断为病变的情况下，若医生发现疑似图像，则服务器100可接收医生发出的影像读取命令。
99.此时，影像读取命令可以是语音命令。例如，若医生发出“读取影像”的语音，则内窥镜装置200可将该命令识别为影像读取命令，并向服务器100发送控制信号以读取影像。
作为另一例，当然影像读取命令可以是按下包含于内窥镜装置200的预设按钮的动作，或触摸显示装置300的一个特定ui的动作。
100.服务器100在接收到影像读取命令后，可获得对输入影像读取命令的时刻起预设时间之前的影像的多个图像帧，并对这些帧进行病变判断分析。
101.作为一实施例，服务器100可将多个图像输入至第三人工智能模型，以判断多个图像中是否包含病变及病变的种类。
102.此时，第一人工智能模型和第二人工智能模型可以是用于输出快速结果的轻量级的人工智能模型，而第三人工智能模型可以是用于得出准确结果的人工智能模型。即为实时协助内窥镜检查，可使用可以产生快速结果的第一人工智能模型和第二人工智能模型，而在有医生的影像读取命令时，可使用虽然精密分析消耗较长时间但能够得出准确结果的第三人工智能模型。
103.之后，在判断所述多个图像中包含病变时，服务器100可判断实时影像中是否包含病变。
104.在包含病变时，服务器100可显示用于在实时影像内指示病变的位置的ui。
105.在s140步骤中，服务器100在判断内窥镜影像中有病变时，获得包含病变的图像传送至服务器100的数据库。
106.作为一实施例，如将要后述的那样，存储在数据库中的包含病变的图像可以在通过第二图标显示的第二ui中查看。
107.在s150步骤中，服务器100可将图像输入至第二人工智能模型，以判断包含于图像中的病变的种类。
108.作为一实施例，第二人工智能模型可以使用应用yolo_v3及efficientnet的detection算法。第二人工智能模型可识别病变，从包含病变的图像中去除患者文本和光反射之后，读取病变类型并将结果在检查过程中实时显示于显示装置300。
109.作为一实施例，服务器100可判断组织检查是否导致出血。
110.具体而言，服务器100可包括用于检测出血的第四人工智能模型。在将影像图像输入至第一人工智能模型和第二人工智能模型之前的步骤中，服务器100可以将影像图像输入至第四人工智能模型。
111.若判断发生出血，则服务器100可不对发生出血的位置进行病变判断。
112.即若通过第四人工智能模型判断输入的影像图像中发生出血，则服务器100不将该影像图像输入至第一人工智能模型和第二人工智能模型，而只在通过第四人工智能模型判断输入的影像图像中未发生不出血时，才将该影像图像输入至第一人工智能模型和第二人工智能模型进行病变判断。
113.在s160步骤中，在判断内窥镜影像中有病变时，服务器100可显示用于在内窥镜影像内指示病变的位置的ui。此时，用于指示病变的位置的ui可通过显示装置300显示。
114.具体而言，如图4及图5所示，可显示用于输入患者信息的第一图标410、用于查看包含判定的病变的图像的第二图标420、用于查看检查结果图像的第三图标430、用于改变设定值的第四图标440及用于返回实时图像的第五图标450。
115.第一图标410是用于输入患者信息的图标。如图4所示，若输入对第一图标410的使用者命令，则显示装置100可显示用于输入患者姓名、患者病历号、性别及出生年份的第一
ui。
116.患者信息也可在内窥镜检查过程中进行修改。进一步地，当第一ui显示于显示装置300时，第一图标可以用不同于其他图标的颜色高亮显示，并且可以不通过第一图标输入用户命令。
117.另外，只输入第一ui中包含的多个输入窗中的一部分。换言之，即使没有输入所有多个输入窗的信息，也可以执行胃内窥镜检查。
118.此时，出生年份只能以“1988”或“88”等数字形式输入，而且出生年份只能输入当前时间点之前的年份。当然，根据各种实施例，出生年份只能输入从当前时间点开始的预设范围之前的年份。
119.另外，相对于当前时间，出生年份只能在预设的范围内输入。例如，若当前时间是2020年，根据预设的年份(例如200年)为准，不能输入1820年之前的年份。若输入超出范围的出生年份，则显示装置300可输出如“请确认你的出生年份”的警告消息。
120.另外，若虽然内窥镜检查正在进行或已经完成，但输入的患者信息不充分，则服务器100可以对所进行的内窥镜检查进行索引。此时，患者信息输入不充分可以指患者信息与其他内窥镜检查结果无法区分的情况。例如，若只输入患者的姓名或出生信息，但具有相同患者姓名或出生信息的患者的内窥镜检查已经或计划进行，则服务器100可以执行索引以区分相同的患者数据。例如，若患者信息不充分，则服务器100可以生成一个随机的病历号来添加到患者信息中。由服务器100生成的随机病历号可具有与正常记录的病历号不同的格式，或者可能以不同的颜色显示。
121.作为一实施例，若通过第一ui中显示的结束图标或取消图标输入使用者命令，显示装置300可以显示用于显示实时影像的第五ui。
122.第二图标用于查看存储于服务器100的数据库中的图像。
123.若输入对第二图标的使用者命令，则显示装置300可显示用于显示包含病变的图像列表的第二ui。
124.作为一实施例，第二图标可一同显示图像列表的数量，若图像列表超过预设数量(例如，99)，则只可将预设数量(例如，99)一同显示于第二图标中。
125.第三图标用于查看不同病变的检查结果。
126.若输入对第三图标的使用者命令，则如图6所示，显示装置300可显示用于显示不同病变判断结果列表的第三ui。
127.第四图标用于改变设定值。
128.若通过第四图标输入使用者命令，则显示用于变更设定值的第四ui。
129.第五图标用于返回实时图像。
130.若通过第五图标输入使用者命令，则显示装置300可显示用于显示实时影像的第五ui。
131.作为一实施例，在显示所述第五ui期间，若输入对第一图标、第二图标、第三图标及第四图标之一的第一使用者命令，则显示装置300可在第一层中显示对应于第一使用者命令的ui。
132.但即使在此情况下，服务器100和显示装置300也可以实时检测影像画面。为此，第一ui至第四ui可以在与第五ui不同的层中实现。
133.另外，如图5所示，在显示第五个ui期间，显示装置300可显示第六图标510、第七图标520、第八图标530、第九图标540和第十图标550。
134.若服务器100正在分析病变，则可生成第六图标510。当第六图标510显示在第五ui时，医生可确定存在疑似部位且服务器100正在读取该部位。
135.第七图标520在服务器100获得图像中的病变时，用于显示病变的位置和状态。第七图标可对应于病变的大小生成，并且可进一步根据病变的状态以不同的颜色显示。例如，绿色代表正常，黄色代表lgd，深黄色代表hgd，橙色代表egc，红色代表agc。
136.如上所述，第八图标530可与图像列表的数量显示相关。
137.第九图标540被配置为显示通过第一ui获得的患者信息。此时，患者信息可包括姓名、性别、年龄、病历信息，若没有输入患者信息，可显示为
“‑”
。
138.第十图标550被配置为显示内窥镜检查期间判定的病变数量。随着包含疑似病变的图像的数量增加，第十图标550中显示的数字的数量可以改变。
139.此时，在显示第五ui时，可不显示第五图标450。
140.另外，根据本发明的各种实施例，服务器100可判断所确定的病变是否为需要实时手术的病变。
141.具体而言，在进行内窥镜检查时，有必要在判断病变的同时进行手术。因此，当服务器100判断病变类型时，可一同判断所确定的病变是否为可手术的病变。
142.之后，若所述判定的病变为需要进行实时手术的病变，则服务器100可计算从内窥镜装置200接收内窥镜影像的时间和判断包含于内窥镜影像中的病变的时间的差值。
143.若差值大于预设值，则显示装置300可在第五ui中显示对需要手术的病变的信息就差值。
144.即当人工智能模型在判断内窥镜影像中的图像是否为病变期间，医生可能会略过一个已经确定的区域，因此服务器100可计算从内窥镜装置接收内窥镜影像的时间和判断包含于内窥镜影像中的病变的时间的差值并通知医生，从而使医生在内窥镜检查过程中实时对病变进行手术。
145.另外，根据本发明的各种实施例，当向第一人工智能模型输入内窥镜影像时，服务器100可判断图像是否为内窥镜影像。
146.之后，若图像不是内窥镜影像，则服务器100可显示用于输入新患者信息的ui。
147.或者，若该视频不是内窥镜检查视频，则服务器100可判定之前的内窥镜检查影像结束并已经开始新患者的内窥镜检查，从而与之前获得的内窥镜影像区分显示该影像。
148.通过如上所述的方法，服务器100即使没有输入患者信息，也可根据患者对内窥镜影像进行分类。
149.具体而言，服务器100可从内窥镜影像中提取食道部分的图像和患者口中的舌头图像，以获得对非肠胃部分的一个类。进一步地，服务器100可作为另一类获得拍摄肠胃内部的图像。服务器100可用两步骤区分人工智能算法学习获得的另两个类的每一个。
150.作为一实施例，即使服务器100收到图像的阅读请求，若阅读请求图像被判定为由上述两步骤区分人工智能算法确定的非肠胃部分，也可不执行病变判断过程。
151.作为另一实施例，服务器100可获得对应于拍摄内窥镜影像的内窥镜室的平均亮度的数据，并基于数据判断内窥镜装置200是否位于人体外部。具体而言，服务器100可根据
内窥镜装置200获得的图像的照度、饱和度和亮度信息来判断拍摄的图像是否位于人体外部。具体而言，服务器100可获得内窥镜室环境的平均亮度值，并比较获得的平均亮度值与通过内窥镜装置200获得的图像的亮度值，从而判断获得的图像是否位于人体外部。例如，若通过内窥镜装置200获得的图像包含于特定亮度范围，则服务器100将该图像判定为人体外部图像并关闭人工智能算法系统。
152.根据如上所述的本发明的各种实施例，服务器100即使没有输入患者姓名，在一个患者的内窥镜检查结束之后开始另一个患者的内窥镜检查时，也可自动区分和识别患者，将读取信息存储在存储装置中。
153.进一步地，服务器100可从内窥镜影像中自动识别和区分与胃相连的食道、口腔和身体外部部位，不对这些部位进行人工智能读取，从而将服务器100的资源集中在胃部病变的发现和判断。
154.另外，根据本发明的另一实施例，服务器100可将内窥镜影像分割成多个帧。
155.之后，当判断在多个帧中预定数量以上的连续的帧中有病变时，服务器100可将对应于连续的帧的病变判定为相同的病变。
156.具体而言，服务器100在包含于内窥镜影像的多个图像帧中读取对相同部位的病变时，则可将该病变判定为相同的病变。服务器100可将对与相同的病变对应的图像帧以最高的频率检测的病变类(例如，lgd)视为判定的病变。
157.另外，根据本发明的另一实施例，服务器100可判断在内窥镜检查过程中是否因组织检查发生出血。若发生了出血，服务器100可不将其判定为病变。具体而言，服务器100可将发生出血的多个图像作为学习数据加以学习，以将其与胃部病变的图像进行区分。
158.作为另一实施例，服务器100可在内窥镜检查期间检测并去除除可见病变以外的各种图像内noise。例如，若在内窥镜画面中检测到患者的文本，服务器100可删除检测到的患者文本。作为另一实施例，若检测到内窥镜仪器吹出的空气和胃里的液体在屏幕上造成的光反射，则服务器100可对光反射进行补偿并不进行识别。作为另一实施例，服务器100可预存与内窥镜装置200分开配置的组织检查仪器的数据，从而在拍摄到组织检查仪器时，从病变判断中排除该图像。作为另一实施例，服务器100可对内窥镜装置200拍摄的图像进行颜色矫正。
159.例如，服务器100可使用分割人工智能算法来识别和删除所有患者的文本，以便只读取输入的图像，或者通过数据化图像的平均亮度值来区分内窥镜装置200的光反射，若亮度值高于或低于特定值，则在请求读取图像时不读取该图像。进一步地，当如组织检查仪器等外部仪器被拍摄时，可基于yolo_v3的变形检测算法识别外部仪器，并且控制在请求读取图像时不读取该图像。
160.另外，如图5所示，服务器100可在被服务器100检测到一次的病变重新出现在病变时，在显示装置300上显示第七图标520以提醒医生注意，从而以防止医生在内窥镜检查期间从ai装置湖面移开目光或错过检测到的病变。进一步地，服务器100可在检测到病变时，同时产生计算机通知声音，并在显示装置300的ui上显示一图标，该图标包括为每个病变指定的颜色。
161.具体而言，当帧之间的rgb匹配度高于或低于特定值时，服务器100即使在当前帧中没有检测到病变，也可保留前一帧的病变位置。此时，病变的位置可实时显示为一个矩
形，如第七图标520所示。另外，当没有检测到病变时，可删除第七图标520。
162.另外，在根据本发明的人工智能模型中，分类为晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、异型增生(dysplasia)及正常病变(normal category)的四级的max overall accuracy为89.67％，此时，灵敏度(sensitivity)为98.62％，特异性(specificity)为85.28％；分类为晚期胃癌(advanced gastric cancer)、早期胃癌(early gastric cancer)、高度异型增生(high-grade dysplasia)、低度异型增生(low-grade dysplasia)及正常病变(normal category)的五级的max overall accuracy为77％，此时，灵敏度(sensitivity)为85.56％，特异性(specificity)为94.17％；分类为黏膜受限病变(mucosa-confined lesion)及黏膜下浸润病变(submucosa-invaded lesion)的二级的max overall accuracy为89.9％，此时，灵敏度(sensitivity)为93.13％，特异性(specificity)为89.08％。
163.图8为根据一实施例的装置的结构图。
164.处理器102可包括一个以上的核心(core，未图示)及图像土里不(未图示)及/或与其他要素收发信号的连接通道(例如，总线(bus)等)。
165.根据一实施例的处理器102执行存储于存储器104的一个以上的指令，以执行在图7中说明的方法。
166.例如，处理器102执行存储于存储器的一个以上的指令，以获取新学习用数据，利用学习的模型执行对所述获得的学习用数据的测试，根据所述测试结果，提取标记信息的准确度大于规定的第一基准值的第一学习用数据，从所述新学习用数据中删除所述提取的第一学习用数据，并使用删除所述提取的学习用数据的所述新学习用数据，重新学习所述学习的模型。
167.另外，处理器102还可包括用于暂时及/或永久保存在处理器102内部被处理的信号(或数据)的随机存取存储器(ram，random access memory，未图示)及只读存贮器(rom，read-only memory，未图示)。另外，处理器102可以包括图像处理部、随机存取存储器及只读存贮器中的至少一种的片上系统(soc，system on chip)的形式实现。
168.存储器104可存储用于处理器102的处理及控制的程序(一个以上的指令)。存储于存储器104的程序可根据功能分为多个模块。
169.本发明实施例的方法或算法的步骤可以硬件直接实现，或以通过硬件进行的软件模块实现，或通过所述方式的结合实现。软件模块可常驻于ram(random access memory)、rom(read only memory)、eprom(erasable programmable rom)、eeprom(electrically erasable programmable rom)、闪速存储器(flash memory)、硬盘、可拆卸磁盘、cd-rom或本发明所述技术领域中公知的任意形式的计算机可读记录媒介中。
170.本发明的要素可以程序(或应用程序)实现存储于媒介，以与作为硬件的计算机结合执行。本发明的要素可以软件的编程或软件要素执行，类似地，实施例包括以数据结构、进程、过程或其他编程结构的组合实现的各种算法，可通过c、c++、java、汇编程序(assembler)等编程或脚本语言实现。功能方面可以通过一个以上的处理器执行的算法实现。
171.所述实施例仅用以说明本发明而非限制，本领域的普通技术人员应当理解，可以对本发明进行修改、变形或者等同替换。而在不脱离本发明的精神和范围内，其均应涵盖在
本发明的权利要求范围当中。

技术特征：
1.一种通过实时影像获得的病变判断系统的控制方法，其特征在于，所述通过实时影像获得的病变判断系统的控制方法包括：内窥镜装置获得胃内窥镜影像的步骤；所述内窥镜装置将获得的所述胃内窥镜影像传送至服务器的步骤；所述服务器将所述胃内窥镜影像输入至第一人工智能模型，以判断包含于所述胃内窥镜影像中的病变的步骤；所述服务器在判断所述胃内窥镜影像中有病变时，获得包含所述病变的图像，并传送至所述服务器的数据库的步骤；所述服务器将所述图像输入至第二人工智能模型，以判断包含于所述图像中的病变的种类的步骤；及在判断所述胃内窥镜影像中有病变时，显示装置显示用于在所述胃内窥镜影像内指示所述病变的位置的ui的步骤。2.根据权利要求1所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，判断所述病变的步骤包括：在利用所述内窥镜装置拍摄实时影像时，若从医生收到读取所述影像的命令，则所述服务器获得关于从输入所述影像读取命令的时刻起至预设时间之前的影像的多个图像的步骤；所述服务器将所述多个图像输入至所述第二人工智能模型，以判断所述多个图像中是否包含病变及病变的种类的步骤；所述服务器在判断所述多个图像中包含病变时，判断所述实时影像中是否包含所述病变的步骤；及在包含所述病变时，所述显示装置显示用于在所述实时影像内指示所述病变的位置的ui的步骤。3.根据权利要求1所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，所述通过实时影像获得的病变判断系统的控制方法包括：在向所述第一人工智能模型输入所述内窥镜影像时，所述服务器判断所述影像是否为胃内窥镜影像的步骤；及在所述影像不是胃内窥镜影像时，所述显示装置显示用于输入新患者信息的ui的步骤。4.根据权利要求3所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，判断所述影像是否为胃内窥镜影像的步骤包括：所述服务器获得对应于拍摄所述内窥镜影像的内窥镜室的平均亮度的数据的步骤；及所述服务器基于所述数据判断所述内窥镜装置是否位于人体外部的步骤。5.根据权利要求1所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，判断包含于所述图像中的病变的种类的步骤包括：所述服务器判断是否因组织检查发生出血的步骤；及若判断发生所述出血，则不对发生所述出血的位置进行病变判断的步骤。6.根据权利要求1所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，所述控制方法包括：
所述服务器将所述内窥镜影像分割成多个帧的步骤；及在所述多个帧中，在预定数量以上的连续的帧中判断出病变时，所述服务器将对应于所述连续的帧的病变判断为相同的病变的步骤。7.根据权利要求1所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，显示所述ui的步骤包括：显示用于输入患者信息的第一图标、用于查看包含判断的病变的图像的第二图标、用于查看检查结果图像的第三图标、用于改变设定值的第四图标及用于返回实时图像的第五图标的步骤；若输入对所述第一图标的使用者命令，则显示用于输入患者姓名、患者病历号、性别及出生年份的第一ui的步骤；若输入对所述第二图标的使用者命令，则显示用于显示包含病变的图像列表的第二ui的步骤；若输入对所述第三图标的使用者命令，则显示用于显示所述不同病变判断结果列表的第三ui的步骤；若通过所述第四图标输入使用者命令，则显示用于变更设定值的第四ui的步骤；及若通过所述第五图标输入使用者命令，则显示用于显示实时影像的第五ui的步骤；及在显示所述第五ui期间，若输入对所述第一图标、所述第二图标、所述第三图标及所述第四图标之一的第一使用者命令，则在第一层中显示对应于所述第一使用者命令的ui的步骤。8.根据权利要求7所述的通过实时影像获得的病变判断系统的控制方法，其特征在于，判断包含于所述胃内窥镜影像中的病变的步骤包括：判断所述判断的病变是否为需要进行实时手术的病变的步骤；若所述判断的病变为需要进行实时手术的病变，则计算从所述内窥镜装置接收所述胃内窥镜影像的时间和判断包含于所述胃内窥镜影像中的病变的时间的差值的步骤；及若所述差值大于预设值，则在所述第五ui中显示对需要手术的病变的信息及所述差值的步骤。9.一种装置，其特征在于，所述装置包括：存储器，其用于存储一个以上的指令；及处理器，其用于执行存储于上述存储器的一个以上的指令，所述处理器通过执行所述一个以上的指令而执行权利要求1所述的方法。10.一种计算机程序，其特征在于，所述计算机程序存储于与作为硬件的计算机结合，可从计算机读取以执行权利要求1所述的方法的记录媒介中。

技术总结
提供一种通过实时影像获得的病变判断系统的控制方法。所述控制方法包括：内窥镜装置获得胃内窥镜影像的步骤；所述内窥镜装置将获得的所述胃内窥镜影像传送至服务器的步骤；所述服务器将所述胃内窥镜影像输入至第一人工智能模型，以判断包含于所述胃内窥镜影像中的病变的步骤；所述服务器在判断所述胃内窥镜影像中有病变时，获得包含所述病变的图像传送至所述服务器的数据库的步骤；所述服务器将所述图像输入至第二人工智能模型，以判断包含于所述图像中的病变的种类的步骤；及在判断所述胃内窥镜影像中有病变时，显示装置显示用于在所述胃内窥镜影像内指示所述病变的位置的UI的步骤。步骤。步骤。


技术研发人员：方昌锡 李在浚 赵凡柱
受保护的技术使用者：翰林大学产学合作团
技术研发日：2022.01.05
技术公布日：2023/9/14