一种内窥镜图像处理装置、方法和内窥镜系统与流程

1.本技术涉及医疗器械领域，尤其涉及一种内窥镜图像处理装置、方法和内窥镜系统。


背景技术：

2.内窥镜检测图像清晰直观，医生能够借助内窥镜获取病人相关组织、器官的图像信息，进而对病情诊断有着更好的把握。并且，由于内窥镜主要应用于临床的肠胃领域，需要较小尺寸的内窥镜系统，例如，超细径内窥镜系统中镜头一般在直径5mm以下，可以直接放入人体内部而且无需麻醉，此外，若该小尺寸内窥镜系统能保持较高的分辨率和帧率，那么在未来的内窥镜诊断上具有很好的发展前景。所以，超细径电子内窥镜系统在人体组织和器官上进行早期诊断方面具有重要的临床意义。但是由于内窥镜系统开发成本高且技术难度高，目前电子内窥镜系统的研发仍存在着内窥镜图像处理部分其体积大、使用范围窄等问题。


技术实现要素：

3.有鉴于此，为了解决现有技术存在的问题，本技术提供了一种内窥镜图像处理装置、方法和内窥镜系统。
4.第一方面，本技术提供一种内窥镜图像处理装置，包括：
5.数据采集板，用于通过数据接口接收来自摄像部件的串行信号，并将所述串行信号转换为初始图像信号；
6.电路板，集成有现场可编程门阵列芯片、物理层芯片、type-c母座；所述现场可编程门阵列芯片用于通过外设模块接口连接所述数据采集板，接收所述初始图像信号，并对所述初始图像信号进行预定处理，得到目标图像数据；
7.所述物理层芯片用于将所述目标图像数据通过与所述type-c母座连接的type-c数据线传输至上位机。
8.在可选的实施方式中，所述现场可编程门阵列芯片包括fifo存储器、转换模块和滤波模块；
9.所述fifo存储器用于对所述初始图像信号进行跨时钟域处理，得到图像数据；
10.所述转换模块用于将所述图像数据进行格式转换处理，并将格式转换后的图像数据输入至所述滤波模块进行滤波处理；
11.所述fifo存储器还用于按照预设规则存储滤波后的所述图像数据，得到目标图像数据。
12.在可选的实施方式中，所述数据采集板上设有电平转换模块；
13.所述电平转换模块与所述现场可编程门阵列芯片电连接，用于接收来自所述现场可编程门阵列芯片的串口数据信号，将所述串口数据信号进行电平转换处理，并将电平转换后的串口数据信号传输至所述摄像部件；其中，所述串口数据信号用于对所述摄像部件
的寄存器进行初始化配置。
14.在可选的实施方式中，所述电路板上还设有可编程输入输出接口；所述可编程输入输出接口与所述现场可编程门阵列芯片电连接；
15.所述现场可编程门阵列芯片还用于生成所述串口数据信号，并通过所述可编程输入输出接口将所述串口数据信号发送至串口数据信号线，经由所述串口数据信号线传输至所述电平转换模块。
16.在可选的实施方式中，所述电路板上还设有转换控制模块和type-c控制芯片；
17.所述转换控制模块与所述可编程输入输出接口电连接，用于输出所述串口数据信号；所述串口数据信号包括时钟信号和配置信号；
18.所述type-c控制芯片分别与所述物理层芯片和所述type-c母座电连接，用于控制所述物理层芯片与所述type-c母座之间的数据传输。
19.在可选的实施方式中，所述数据采集板还上还设有稳压控制芯片；
20.所述稳压控制芯片与所述数据接口电连接，用于将所述串行信号转换为初始图像信号。
21.在可选的实施方式中，所述电路板用于通过采集板接口与所述数据采集板上的第一电源接口电连接，为所述数据采集板供电；
22.所述数据采集板用于通过第二电源接口与所述摄像部件电连接，为所述摄像部件供电。
23.第二方面，本技术提供一种内窥镜系统，包括壳体、如前述的内窥镜图像处理装置和摄像部件；
24.所述内窥镜图像处理装置和所述摄像部件均设置于所述壳体内；
25.所述摄像部件包括摄像头模组和摄像头数据线，所述摄像头模组通过所述摄像头数据线向所述内窥镜图像处理装置发送串行信号。
26.第三方面，本技术提供一种内窥镜图像处理方法，应用于前述的内窥镜图像处理装置；所述方法包括：
27.数据采集板通过数据接口接收来自摄像部件的串行信号，并将所述串行信号转换为初始图像信号；
28.现场可编程门阵列芯片通过外设模块接口连接所述数据采集板，接收所述初始图像信号，并对所述初始图像信号进行预定处理，得到目标图像数据；
29.物理层芯片接收所述目标图像数据，并将所述目标图像数据通过与所述type-c母座连接的type-c数据线传输至上位机。
30.在可选的实施方式中，所述对所述初始图像信号进行预定处理，得到目标图像数据，包括：
31.对所述初始图像信号依次进行跨时钟域处理、格式转换处理、滤波处理后，经由fifo存储器按照预设规则进行存储，得到目标图像数据。
32.本技术实施例具有如下有益效果：
33.本技术实施例提供了一种内窥镜图像处理装置，该装置包括数据采集板，用于通过数据接口接收来自摄像部件的串行信号，并将串行信号转换为初始图像信号；电路板，集成有现场可编程门阵列芯片、物理层芯片、type-c母座；现场可编程门阵列芯片用于通过外
设模块接口连接数据采集板，接收初始图像信号，并对初始图像信号进行预定处理，得到目标图像数据；物理层芯片用于将目标图像数据通过与type-c母座连接的type-c数据线传输至上位机。本技术实施例简化了装置结构，缩小了装置体积，节约了开发成本；并且实现图像数据的稳定、可靠且高效传输，使得上位机可接收到图像清晰、噪声小的图像数据；并且，本技术实施例采用过采样的方式来获取摄像部件采集的图像数据，提高了信号传输过程中的抗干扰能力；此外，该处理装置可实现跨平台、跨系统应用，具有较好的可扩展性，可有效应用于多种实际场景中，具有较好的实用性。
附图说明
34.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对本技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
35.图1示出了本技术实施例中内窥镜图像处理装置的一种结构示意图；
36.图2示出了本技术实施例中第一可编程输入输出接口的结构示意图；
37.图3示出了本技术实施例中电平转换模块的结构示意图；
38.图4示出了本技术实施例中摄像部件连接器的结构示意图；
39.图5示出了本技术实施例中稳压控制芯片和转换控制模块及其相关电路的结构示意图；
40.图6示出了本技术实施例中外设模块接口的结构示意图；
41.图7示出了本技术实施例中内窥镜系统的结构示意图；
42.图8示出了本技术实施例中内窥镜图像处理方法的实施方式示意图。
具体实施方式
43.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。
44.通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
45.在下文中，可在本技术的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
46.此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
47.除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本技术的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含
义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本技术的各种实施例中被清楚地限定。
48.过采样：指以远远高于信号带宽两倍或其最高频率对其进行采样的过程。
49.本技术实施例提供了一种内窥镜图像处理装置100，通过该装置简化了结构，使得缩小了装置体积，节约了开发成本；且后续通过该装置实现type-c与usb数据格式的转换，可将图像数据通过usb接口上传至上位机400，从而有效实现了跨平台、跨系统应用，扩展了应用场景。
50.请参照图1，本实施例所提供的内窥镜图像处理装置100包括数据采集板110以及集成有现场可编程门阵列芯片121(即fpga芯片)、物理层芯片122(即phy芯片)和type-c母座123的电路板120。
51.在本实施例中，该数据采集板110连接摄像部件300，以获取摄像部件300所采集的图像数据，进而将图像数据传输至电路板120，经由电路板120上设置的现场可编程门阵列芯片121对图像数据进行处理后，再经物理层芯片122和type-c母座123传输至上位机400，上位机400用于接收并显示处理后的图像数据。
52.示范性地，本实施例中摄像部件300在采集图像数据时以高频的串行信号形式采集并传输至数据采集板110，从而实现图像数据的过采样。也即是，摄像部件300将采集的图像数据以串行信号形式传输至数据采集板110，数据采集板110用于通过数据接口接收来自摄像部件300的串行信号(即lvds低压差分信号)，而后再将串行信号转换为初始图像信号，将其输出至电路板120的现场可编程门阵列芯片121。
53.现场可编程门阵列芯片121用于通过外设模块接口(即pmod接口)连接数据采集板110，接收初始图像信号，并对初始图像信号进行预定处理，得到目标图像数据；物理层芯片122用于将目标图像数据通过与type-c母座123连接的type-c数据线传输至上位机400。
54.进一步地，现场可编程门阵列芯片121包括fifo存储器、转换模块和滤波模块；进而，现场可编程门阵列芯片121通过fifo存储器、转换模块和滤波模块依次对该初始图像信号进行预定处理，得到目标图像数据。具体地，fifo存储器用于对初始图像信号进行跨时钟域处理，得到图像数据；转换模块用于将图像数据进行格式转换处理，并将格式转换后的图像数据输入至滤波模块进行滤波处理；fifo存储器还用于按照预设规则存储滤波后的图像数据，得到目标图像数据。
55.需要注意的是，该数据采集板110具体将摄像部件300输出的lvds信号相应转换为现场可编程门阵列芯片121可处理的信号，并将其分别通过data_in、clk、oe、data_out四根信号线传输至现场可编程门阵列芯片121。进而，上述的初始图像信号即为通过data_in、clk、oe、data_out四根信号线传输至现场可编程门阵列芯片121的信号。
56.进一步地，数据采集板110上还设有稳压控制芯片u3和转换控制模块u4；稳压控制芯片u3和转换控制模块u4分别与外设模块接口电连接，均用于将所述串行信号转换为初始图像信号，并通过该外设模块接口将初始图像信号输出至现场可编程门阵列芯片121。也即是，稳压控制芯片u3和转换控制模块u4分别用于将串行信号转换为用于经data_in、clk、oe、data_out四根信号线传输的信号。
57.值得说明的是，在摄像部件300开始采集图像数据之前，现场可编程门阵列芯片121可对摄像部件300的寄存器进行初始化配置，其中，该初始化配置包括对图像数据输出
的分辨率和输出帧率进行配置，以使得该摄像部件300通过配置好的寄存器以相应的输出分辨率和输出帧率，向数据采集板110发送所采集的图像数据。
58.进一步地，现场可编程门阵列芯片121还用于生成串口数据信号，并将串口数据信号传输至数据采集板110，以通过数据采集板110将其传输至摄像部件300，其中，串口数据信号用于对摄像部件300的寄存器进行初始化配置，该串口数据信号包括时钟信号和配置信号。
59.此外，数据采集板110上还设有电平转换模块；电平转换模块与现场可编程门阵列芯片121电连接，用于接收来自现场可编程门阵列芯片121的串口数据信号，将串口数据信号进行电平转换处理，并将电平转换后的串口数据信号传输至摄像部件300。
60.在一实施方式中，电平转换模块包括电平转换芯片u2及其外围电路；电平转换芯片u2与外设模块接口电连接。
61.作为一种可选的实施方式，电路板120上还设有可编程输入输出接口(即fpga bank)。可编程输入输出接口与现场可编程门阵列芯片121电连接；现场可编程门阵列芯片121还用于生成串口数据信号，并通过可编程输入输出接口将串口数据信号发送至串口数据信号线，经由串口数据信号线传输至电平转换模块，以使得电平转换模块对串口数据信号进行相应处理。
62.可选的，电路板120上还设有type-c控制芯片，该type-c控制芯片分别与物理层芯片122和type-c母座123电连接，用于控制物理层芯片122与type-c母座123之间的数据传输。
63.在本实施例中，电路板120还用于通过采集板接口与数据采集板110上的第一电源接口电连接，为数据采集板110供电；数据采集板110用于通过第二电源接口与摄像部件300电连接，为摄像部件300供电。
64.需要注意的是，电路板120和数据采集板110上所设有的所有芯片或模块的数量可以为一个或多个，即电路板120和数据采集板110上可以设置多个同种芯片或同种模块，供以组合使用，其各个芯片或模块数量的具体设置根据实际需求进行设置，在此不做限定。
65.示例的，一并参照图2-图6，在现场可编程门阵列芯片121对摄像部件300的寄存器进行初始化配置时，现场可编程门阵列芯片121生成串口数据信号，该串口数据信号经由第一可编程输入输出接口u1(即fpga bank 3a)发送至串口数据信号线，该串口数据信号线将串口数据信号传输至外设模块接口，再经由外设模块接口j1传输至数据采集板110的电平转换模块。电平转换模块通过电平转换芯片u2及其外围电路的作用，将1.8v电压的串口数据信号转换为3.3v电压的串口数据信号，后续再将3.3v电压的串口数据信号发送至摄像部件300。
66.如图2所示，第一可编程输入输出接口u1相应的引脚用于输出相应的信号，如引脚gpior_n_i9、gpior_p_i9_pllin0、gpior_n_i4、gpior_p_i4、gpior_n_i3、gpior_p_i3、gpior_n_i2、gpior_p_i2、gpior_p_11_clk8_n、gpior_p_11_clk8_p、gpior_p_10_clk9_n、gpior_p_10_clk9_p，相应输出信号如gpior_n_i9、gpior_p_i9_pllin0、rx_data_n7_i7、rx_data_p7_i7、rx_data_n6_i7、rx_data_p6_i7、rx_data_n5_i7、rx_data_p5_i7、rx_data_n4_i7、rx_data_p4_i7、rx_clk_n_i7、rx_clk_p_i7；此外，引脚ref_res_3a通过第一电阻r1接地。
67.如图3所示，该电平转换芯片u2的外围电路包括第一电容c1、第二电容c2、第二电阻r2和第三电阻r3；其中，第一电容c1的一端分别连接第一电源端以及电平转换芯片u2的vcc接口(即vccb)，第一电容c1的另一端接地；第二电容c2的第一端分别连接第二电源端、电平转换芯片u2的vcc接口(即vcca)以及第二电阻r2的一端，第二电容c2的另一端接地；第二电阻r2与第三电阻r3串联，第三电阻r3的一端接地，第二电阻r2与第三电阻r3之间的中间节点连接电平转换芯片u2的使能引脚(即oe)。电平转换芯片u2的b1、b2、b3和b4接口分别连接第一外设模块接口j1相应的输入输出引脚(即io5、io6、io7、io8)；电平转换芯片u2的a1、a2、a3、a4接口分别连接相应信号线，以输出相应信号(如rx_data_p6_i7、rx_data_p7_i7、gpior_n_i9、rx_data_n7_i7)。
68.进一步地，摄像部件300将采集好的图像数据通过串行信号方式经由数据采集板110的数据接口传输至转换控制模块u4和稳压控制芯片u3。其中，如图4所示，该数据采集板110可通过摄像部件连接器j2来获取摄像部件300输出的串行信号(即naneye_lvds_n、naneye_lvds_p)，该串行信号由摄像部件连接器j2经变压器l1输出。
69.如图5所示，该串行信号分别经稳压控制芯片u3和转换控制模块u4及其相关电路转换为经data_in、clk、oe、data_out四根信号线传输的信号(即naneye_data_sg、naneye_cfg_data、naneye_cfg_clk、cfg_oe_n)。
70.其中，该稳压控制芯片u3具体包括一个放大器l2、第三电容c3、第四电容c4、第四电阻r4、第五电阻r5、第六电阻r6、第七电阻r7和第八电阻r8。放大器l2的第一输入端分别连接第四电阻r4和第五电阻r5的一端；第四电阻r4和第六电阻r6串联，且第四电阻r4和第六电阻r6的中间节点通过第三电容c3接地，第六电阻r6的一端连接第三电源端；第五电阻r5和第七电阻r7串联，且第五电阻r5和第七电阻r7的中间节点连接放大器l2的第二输入端，第七电阻r7的一端接地。放大器l2的第一电压端连接第四电源端并通过第四电容c4接地，放大器l2的第二电压端接地。第八电阻r8串联在放大器l2的第一输入端和输出端。
71.转换控制模块u4的使能引脚(即oe#)通过第九电阻r9连接第五电源端，且dir引脚(即dir1、dir2)均连接第五电源端。其引脚b1、b2用于输入串行信号，引脚a1、a2用于输出信号，引脚vcc(即vcca、vccb)通过并联的第五电容c5和第六电容c6分别连接第六电源端和地。
72.如图6所示，稳压控制芯片u3和转换控制模块u4输出的信号经第二外设模块接口j3输入至现场可编程门阵列芯片121。进而，现场可编程门阵列芯片121通过第二可编程输入输出接口(即fpga bank 3b)将经过fpga芯片进行一定处理后的图像数据输出至物理层芯片122；该物理层芯片122具体为usb3.0 phy芯片。其中，第二可编程输入输出接口的各个接口对应输出相应类型的信号。进而，该物理层芯片122通过type-c母座123连接type-c公头，经由与type-c公头连接的usb接口，将图像数据传输至上位机400，该上位机400用于显示该图像数据，从而实现图像数据的格式转换传输，实现跨平台、跨系统应用。此外，本实施例还可以通过type-c控制芯片连接type-c母座123，以使得物理层芯片122所输出的图像数据经type-c控制芯片处理后，再通过type-c母座123向上位机400传输。
73.本技术实施例通过内窥镜图像处理装置100来实现图像数据的稳定、可靠且高效传输，使得上位机400可接收到图像清晰、噪声小的图像数据；并且，本技术实施例采用过采样的方式来获取摄像部件300采集的图像数据，提高了信号传输过程中的抗干扰能力，使得
可简化结构中相应接口的算法；此外，该处理装置结构简单、体积较小，且功耗低，可实现跨平台、跨系统应用，具有较好的可扩展性，可有效应用于多种实际场景中，具有较好实用性。
74.进一步地，本技术实施例提供一种内窥镜系统。其中，如图7所示，该内窥镜系统包括壳体200、如前述的内窥镜图像处理装置100和摄像部件300；内窥镜图像处理装置100和摄像部件300均设置于壳体200内；摄像部件300包括摄像头模组和摄像头数据线，摄像头模组通过摄像头数据线向内窥镜图像处理装置100发送串行信号。
75.其中，该摄像头模组包括至少一个图像传感器；优选的，该图像传感器选用naneye微型cmos图像传感器，该naneye微型cmos图像传感器具有尺寸小、分辨率高的特点，适用于尺寸至关重要的应用。且该图像传感器能够通过长达3m的电缆驱动信号，这使其成为小直径内窥镜的适用组件，使其能够有效应用于实际医疗场景中，具有较好的实用性。
76.如图8所示，本技术提供一种内窥镜图像处理方法，应用于前述实施例的内窥镜图像处理装置100或内窥镜系统。下面对该方法进行详细说明。
77.s10，数据采集板110通过数据接口接收来自摄像部件300的串行信号，并将串行信号转换为初始图像信号。
78.s20，现场可编程门阵列芯片121通过外设模块接口连接数据采集板110，接收初始图像信号，并对初始图像信号进行预定处理，得到目标图像数据。
79.s30，物理层芯片122接收目标图像数据，并将目标图像数据通过与type-c母座123连接的type-c数据线传输至上位机400。
80.在一实施方式中，现场可编程门阵列芯片121预先对摄像部件300的寄存器进行初始化设置。示例的，现场可编程门阵列芯片121按照摄像部件300的需求，对摄像部件300的寄存器如reg0、reg1，分别写入固定的数值9503018，9569968；将这两个数值依次发送到串口数据信号线上，以输出至摄像部件300相应寄存器，从而实现寄存器的初始化配置，使得摄像部件300的寄存器以预定分辨率和预定输出帧率采集并输出图像数据。
81.在本实施例中，摄像部件300(即图像传感器)在初始化设置之后，传输图像数据，fpga接收以串行信号形式传输的图像数据。示例的，图像传感器输出图像数据的速度在25m，用200m的串行信号形式采集图像信号，用遵循数据格式的协议实现过采样解析出正确的图像数据10bit的原始图像数据(即raw10[9:0])；进而，本实施例通过采用过采样的方式来获取摄像部件300的图像数据，提高图像数据在传输过程中的抗干扰能力，并且在后续对该图像数据进行解调时可以减小噪声的影响；另外，过采样方法也可以增加数据传输的可靠性，在数据传输中降低位错率。
[0082]
在接收到200m的串行信号后，现场可编程门阵列芯片121对该串行信号进行200m到50m的垮时钟域处理。具体地，采用一个fifo存储器，将200m的数据10bit的raw10_a[9:0]需要转化成fpga内部50m的raw10_b[9:0]数据。由于200m的逻辑动态功耗20mw，而50m的逻辑动态功耗在5mw，进而该过程的跨时钟域处理可降低功耗。
[0083]
而后，根据预定算法及其相应数学公式，将raw10_b[9:0]中每一个奇数行和偶数行的前两个位置的数据进行rgb格式转换处理，其中，奇数行的第二个位置的数值大小就是红色分量，偶数行的第一个位置的数值大小就是蓝色分量，奇数行的第一个位置的数值大小加上偶数行第二个位置的数值大小的平均值就是绿色分量。该过程将红绿蓝分量提取出来，即完成了raw10转rgb888的算法。此过程中，将raw10编码的图像数据通过更复杂的算法
进行图像处理，以提供更好的图像质量，而rgb888编码的图像数据是常见的图像格式之一，可以在各种设备和平台上使用。也即是，将raw10编码的图像数据转换为rgb888编码的图像数据后，可以进一步提高图像质量，也可以提高图像的兼容性，使其能够在更多的设备和平台上使用。
[0084]
进一步地，再对上述过程得到的rgb888数据进行中值滤波处理，以有效地去除各种类型的噪声，包括高斯噪声、椒盐噪声等；且保留边缘信息。相比于其他滤波方法，中值滤波处理方式对于边缘信息的保留更为优秀，可以在去除噪点的同时，尽量保留原图像的细节和轮廓。并且，该方法简单、容易实现，计算速度较快，适用于实时图像处理等应用场景，且兼容性强，不需要过多的先验知识，对于不同类型的图像，都能够达到良好的去噪效果。
[0085]
具体地，用两个fifo存储器分别缓存第一行和第三行，即进入图像处理的3组数据流，该3组数据流分别是第n-1行、第n行和第n+1行的图像。控制输入数据流和两个fifo缓存器缓存的图像在同一个位置，寄存器对前后两个像素图像值进行缓存，这样便可实现中心像素点以及前后列、上下行之间数据的同步。然后把每个像素点一周八个点的均值计算，用以代替中心像素点，进而最终输出的点的信号就是滤波后的图像。
[0086]
需要注意的是，本实施例并不采用常规的坏点校正的算法对图像数据进行处理，一是因为图像传感器的稳定性较好，出现坏点和噪点的概率较小，二是中值滤波处理后，坏点就会被修复，从而无需处理坏点。
[0087]
进一步地，将滤波后的rgb888数据转换为yuv444数据形式。根据算法数学公式，如下述的数字rgb转为数字ycbcr计算公式，以将rgb888数据转换成yuv444数据。具体地：
[0088]
y＝16+0.257*r+0.504*g+0.098*b；
[0089]
u＝128-0.148*r-0.291*g+0.439*b；
[0090]
v＝128+0.439*r-0.368*g-0.071*b。
[0091]
而后，对yuv444数据进行色彩差值处理。这里需要说明的是，现有技术中大多数场景是直接对rgb888数据进行色彩处理，本实施例选用对yuv444数据进行色彩差值处理，是因为rgb转换yuv格式过程中本身就会有色域转换的偏差，通过直接对yuv格式的数据进行处理，其图像改善效果会更明显；且通过对u和v分量的插值计算，可以去除图像数据中的色彩噪点和瑕疵，从而提高图像的质量和清晰度；另外，yuv444格式的图像通常比rgb格式的图像更易于压缩，这是因为色彩差值处理降低了噪点和冗余信息，从而提高了压缩比。
[0092]
进一步地，将yuv444数据转换为yuv422数据。示例的，根据预设的数学公式：
[0093]
444：y0u0v0 y1u1v1 y2u2v2 y3u3v3；
[0094]
422：y0 u0 y1 v1 y2 u2 y3 v3；
[0095]
并采取下述算法：
[0096]
y0、u0、y1、v0；
[0097]
y2、u2、y3、v2；
[0098]
y4、u4、y5、v4；
[0099]
将yuv444数据转换成yuv422数据。
[0100]
其中，yuv444数据和yuv422数据都是数字视频编码格式，其中444表示每个像素颜色通道都有4:4:4的采样率，而422表示每个像素的亮度通道有4:2:2的采样率，色度通道则保持原样。进而，本实施例通过将yuv444数据转换为yuv422数据，第一可以减少数据量，由
于yuv422的色度通道采样率低于yuv444，因此转换后的编码所需的数据量更小，可以减少存储空间和传输带宽；第二是降低计算复杂度，在某些应用场景中，例如视频压缩和图像处理，降低采样率可以减少计算量，从而提高处理效率；第三是具有更好的兼容性，许多视频设备和应用程序只支持yuv422格式，因此将yuv444数据转换为yuv422数据，可以更好地满足设备和应用程序的要求。此外，物理层芯片122的开源驱动是默认支持yuv422格式的，通过将数据转换为yuv422格式的数据，可以将图像数据直接用电脑的相机打开，实现实时观看图像，从而避免用户还要在电脑上做专门的显示软件，方便系统快速迭代和开发。
[0101]
而后，将yuv422数据存入缓存。其中，本实施例采用可编程输入输出接口来存储该数据，该可编程输入输出接口选用ti60f100型号的接口；该接口其中集成了256mbit的hyperram存储芯片，hyperam存储芯片可以有效降低整体板卡的20％的功耗，而且不会额外扩大整个方案的面积，节省成本。
[0102]
进而，对yuv422数据进行色彩对比度增强处理。其中，由于机器视觉处理的一部分是内容有对光源的控制，进而通过对比度增强的算法，可以解决光照强度弱、光照不足导致的图像模糊不清的问题。本实施例通过采用直方图方式来提高图像数据的色彩对比度。具体地，统计原始图像数据中每个亮度级别的像素点数量，绘制出图像的直方图。计算出直方图的累积分布函数(cdf)，并将其归一化。对于每个像素，将其亮度值映射到新的亮度级别上，使得新亮度级别的cdf近似于均匀分布。根据映射函数，对原始图像数据中的每个像素进行重映射，得到增强后的图像。进一步地，根据vga协议按照逐行逐帧读取随机存储器内的数据，读取的位宽是8bit3014data[7:0]，分辨率是640*480@30hz。
[0103]
将8bit 3014data数据，按照1bit的行同步信号、1bit的场同步信号发送给物理层芯片122，该物理层芯片122可以选用cypress 3014芯片。进而，cypress 3014芯片将数据传递到type-c母座123上，经由type c母座与type-c公头连接，与通过与type-c公头连接的usb接口，将其数据传输至上位机400。通过在usb接口中烧写物理层芯片122的驱动程序，链接电脑，打开电脑摄像头，将其切换至fx3模式，即可直接观看图像传感器采集的图像数据。
[0104]
上述的内窥镜图像处理方法对应于上述实施例的内窥镜图像处理装置100或内窥镜系统；上述实施例中的任何可选项也适用于本实施例，这里不再详述。
[0105]
在本实施例中，通过数据采集板110、现场可编程门阵列芯片121和物理层芯片122实现将摄像部件300采集的图像数据传输至上位机400进行显示，且通过过采样方式来获取摄像部件300所采取的图像数据，提高了信号传输过程中的抗干扰能力，减小噪声影响，从而提高数据传输的可靠性，且图像数据经过现场可编程门阵列芯片121进行处理，使得上位机400接收到图像清晰的图像数据，提高了用户体验效果和满意度，具有较好实用性。
[0106]
本技术实施例还提供了一种内窥镜，该所述内窥镜包括存储器和至少一个处理器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施上述实施例的内窥镜图像处理方法。
[0107]
存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据计算机设备的使用所创建的数据(比如目标图像数据等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0108]
本技术实施例还提供了一种计算机存储介质，所述计算机存储介质存储有计算机
可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述实施例的内窥镜图像处理方法的步骤。
[0109]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0110]
另外，在本技术各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
[0111]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。

技术特征：
1.一种内窥镜图像处理装置，其特征在于，包括：数据采集板，用于通过数据接口接收来自摄像部件的串行信号，并将所述串行信号转换为初始图像信号；电路板，集成有现场可编程门阵列芯片、物理层芯片、type-c母座；所述现场可编程门阵列芯片用于通过外设模块接口连接所述数据采集板，接收所述初始图像信号，并对所述初始图像信号进行预定处理，得到目标图像数据；所述物理层芯片用于将所述目标图像数据通过与所述type-c母座连接的type-c数据线传输至上位机。2.根据权利要求1所述的内窥镜图像处理装置，其特征在于，所述现场可编程门阵列芯片包括fifo存储器、转换模块和滤波模块；所述fifo存储器用于对所述初始图像信号进行跨时钟域处理，得到图像数据；所述转换模块用于将所述图像数据进行格式转换处理，并将格式转换后的图像数据输入至所述滤波模块进行滤波处理；所述fifo存储器还用于按照预设规则存储滤波后的所述图像数据，得到目标图像数据。3.根据权利要求1所述的内窥镜图像处理装置，其特征在于，所述数据采集板上设有电平转换模块；所述电平转换模块与所述现场可编程门阵列芯片电连接，用于接收来自所述现场可编程门阵列芯片的串口数据信号，将所述串口数据信号进行电平转换处理，并将电平转换后的串口数据信号传输至所述摄像部件；其中，所述串口数据信号用于对所述摄像部件的寄存器进行初始化配置。4.根据权利要求3所述的内窥镜图像处理装置，其特征在于，所述电路板上还设有可编程输入输出接口；所述可编程输入输出接口与所述现场可编程门阵列芯片电连接；所述现场可编程门阵列芯片还用于生成所述串口数据信号，并通过所述可编程输入输出接口将所述串口数据信号发送至串口数据信号线，经由所述串口数据信号线传输至所述电平转换模块。5.根据权利要求1所述的内窥镜图像处理装置，其特征在于，所述数据采集板上还设有转换控制模块和稳压控制芯片；所述转换控制模块和稳压控制芯片均与所述外设模块接口电连接，用于将所述串行信号转换为初始图像信号，并通过所述外设模块接口将所述初始图像信号输出至所述现场可编程门阵列芯片。6.根据权利要求1所述的内窥镜图像处理装置，其特征在于，所述电路板上还设有type-c控制芯片；所述type-c控制芯片分别与所述物理层芯片和所述type-c母座电连接，用于控制所述物理层芯片与所述type-c母座之间的数据传输。7.根据权利要求1所述的内窥镜图像处理装置，其特征在于，所述电路板用于通过采集板接口与所述数据采集板上的第一电源接口电连接，为所述数据采集板供电；所述数据采集板用于通过第二电源接口与所述摄像部件电连接，为所述摄像部件供电。
8.一种内窥镜系统，其特征在于，包括壳体、如权利要求1-7中任一项所述的内窥镜图像处理装置和摄像部件；所述内窥镜图像处理装置和所述摄像部件均设置于所述壳体内；所述摄像部件包括摄像头模组和摄像头数据线，所述摄像头模组通过所述摄像头数据线向所述内窥镜图像处理装置发送串行信号。9.一种内窥镜图像处理方法，其特征在于，应用于权利要求1-7中任一项所述的内窥镜图像处理装置；所述方法包括：数据采集板通过数据接口接收来自摄像部件的串行信号，并将所述串行信号转换为初始图像信号；现场可编程门阵列芯片通过外设模块接口连接所述数据采集板，接收所述初始图像信号，并对所述初始图像信号进行预定处理，得到目标图像数据；物理层芯片接收所述目标图像数据，并将所述目标图像数据通过与所述type-c母座连接的type-c数据线传输至上位机。10.根据权利要求9所述的内窥镜图像处理方法，其特征在于，所述对所述初始图像信号进行预定处理，得到目标图像数据，包括：对所述初始图像信号依次进行跨时钟域处理、格式转换处理、滤波处理后，经由fifo存储器按照预设规则进行存储，得到目标图像数据。

技术总结
本申请涉及医疗器械领域，公开了一种内窥镜图像处理装置、方法和内窥镜系统。该装置包括数据采集板，用于通过数据接口接收来自摄像部件的串行信号，并将串行信号转换为初始图像信号；电路板，集成有现场可编程门阵列芯片、物理层芯片、Type-C母座；现场可编程门阵列芯片用于通过外设模块接口连接数据采集板，接收初始图像信号，并对初始图像信号进行预定处理，得到目标图像数据；物理层芯片用于将目标图像数据通过与Type-C母座连接的Type-C数据线传输至上位机。本申请实施例简化了装置结构，缩小了装置体积，节约了开发成本。节约了开发成本。节约了开发成本。


技术研发人员：赵衡 陈上楚 王三虎 陈丽
受保护的技术使用者：新晔电子（深圳）有限公司
技术研发日：2023.07.05
技术公布日：2023/8/24