一种集成视频信号输出的新型相机的制作方法

1.本实用新型属于机器视觉技术领域，尤其是涉及一种集成视频信号输出的新型相机。


背景技术：

2.在传统机器视觉系统的检测应用中，通常使用上位机产生视频信号，以驱动光源进行显示，典型的上位机即计算机系统，典型的光源如屏幕/投影仪，其具体应用方式如下：1)通过相位偏折法获取法向量等属性；典型的如对镜面物体的检测；2)直接拍摄特定的光源图案投射在被测物体表面的2d图像，以此作为判断算法的输入或者进行3d结构光重构。
3.系统获取一帧数据进行打光-拍照的反应回路，即计算机-光源-被测物体-相机-计算机，而由于计算机操作系统和软件硬件的限制，计算机处理数据、发出指令都需要较长时间，且时间是不能以us级别甚至ms级别固定的。这样，视频信号输出和图像传感器曝光拍摄之间存在较大的延迟，且该延迟无法反馈给程序命令，只能通过实际实验观察成像来判断是否延迟满足。这样导致下面应用的缺点：1.必须在视频数据变化时刻后等待一个较长的固定延时再触发相机，否则相机在屏幕完成指定图案的全部显示之前就开始曝光，只能得到错误的结果。通常，对于计算机系统，该等待延时大约在100ms～200ms。若要进行10张图像的拍摄，则将产生1s～2s的延时，大大降低了系统效率；2.必须在相机曝光完成后，等待图像传感器数据传输到内部存储器，然后传递给计算机，由计算机发送下一帧的视频数据变化指令和数据；对于计算机系统一般下一帧的视频数据要等待1-10ms这么长时间才可以发送，大大降低了系统效率；3.视频信号的输出需要用户在计算机端判断图像数据有效性后，再通过计算机进行设置，操作繁琐，降低了针对各个场景的适用性；4.判断是否延迟满足的方式并不可靠，直接拉长延迟时间直至无误或以图像数据数据作为判断，由于机器视觉系统所应用行业的复杂性仍然极易出现误判；5.实际应用场所中，典型场景下计算机距离光源较远，相机距离光源较近；意味着计算机到光源的线缆会较长，功耗大，且可能产生emc问题；绝大多数光源仍然会自行供驱动电，仅从计算机连接数据线，线缆繁琐；6.上位机涉及的流程繁琐，导致状态机复杂，增加了故障率。


技术实现要素：

4.为了克服现有技术的不足，本实用新型提供一种集成视频信号输出的新型相机，其直接在相机上集成视频信号输出功能，视频信号输出和图像传感器曝光拍摄直接不存在延迟，系统效率提高。
5.本实用新型解决其技术问题所采用的技术方案是：一种集成视频信号输出的新型相机，包括：
6.相机，集成总控单元、cmos摄像头、hdmi接口，及usb接口；
7.所述总控单元为fpga芯片，通过i2c低速总线和32位高速并行总线与所述usb接口连接，通过slvs高速总线和spi低速总线与cmos摄像头连接，通过lvds高速串行总线和i2c
低速总线与hdmi接口连接。
8.进一步的，所述hdmi接口连接hdmi屏幕，作为相机外部光源，实现总控单元和hdmi屏幕之间的视频数据和屏幕参数交互。
9.进一步的，所述usb接口连接上位机，实现总控单元和上位机之间的控制数据和图像数据交互。
10.进一步的，所述usb接口采用cyusb3014芯片。
11.进一步的，所述hdmi接口采用型号为tdp158的hdmi转接驱动器。
12.传统系统中，上位机分别控制相机曝光和光源触发输出的时间关系很难把握，需要使得在开始光源触发输出之后的一段较长时间之后才开始相机的曝光，流程复杂，时间周期很长，而本实用新型可以使得上位机仅需要接收操作者的触发命令然后通过usb3.0线缆传递给相机，稍后再等待相机通过usb3.0线缆传递回来图像数据即可，大大降低了对于上位机系统的实时性要求，也降低了开发难度。
13.其具体结构是：外部上位机通过外部的usb3.0线缆连接到相机设备的usb接口上，外部的屏幕通过hdmi线缆连接到相机设备的hdmi连接器上。
14.本实用新型的有益效果是：通过集成总控单元、cmos摄像头、hdmi接口，及usb接口，以及总控单元与摄像头、接口间的合理设定的总线连接方式，缩短了一帧内打光-拍照的反应回路，加快了拍摄速度，同时缩短数据处理时间，提高了系统效率，且通过hdmi接口连接hdmi显示器可调节、调整视频信号的输出，以实现最佳的拍摄效果。
附图说明
15.图1为本实用新型的硬件连接结构示意图。
16.图2为本实用新型中fpga芯片连接至cmos摄像头的电路结构示意图。
17.图3为本实用新型中fpga芯片部分接口电路图。
18.图4为本实用新型中fpga芯片和hdmi屏幕支架的连接电路图。
19.图5为本实用新型中fpga芯片和上位机之间的连接框图。
20.图6为本实用新型中fpga芯片和usb接口之间的连接电路图。
21.图7为现有技术中视频输出、相机曝光和相机数据反馈的流程示意图。
22.图8为本实用新型相机中视频输出、相机曝光和相机数据反馈的流程示意图。
具体实施方式
23.为了使本技术领域的人员更好的理解本实用新型方案，下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本实用新型的一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本实用新型保护的范围。
24.一种集成视频信号输出的新型相机，包括相机，该相机集成有总控单元、cmos摄像头、hdmi接口，及usb接口。
25.如图1所示，上述总控单元为fpga芯片，其通过i2c低速总线和32位高速并行总线与上述usb接口连接，通过slvs高速总线和spi低速总线与cmos摄像头连接，该cmos摄像头
通过lvds高速串行总线和i2c低速总线与hdmi接口连接。电路图如图2所示。
26.fpga芯片具体可以是arria10系列的fpga芯片实现图像数据的读取、运算和输出，实现与上位机的交互和hdmi屏幕的交互。
27.cmos摄像头具体可以是sony’s 4th gen cmos image sensor，pregius系列，拍摄图像数据并输出。其中，spi低速总线，进行低速数据传输，读取cmos摄像头的像素等参数，并设置cmos摄像头的曝光模式；具体输出的信号包含sck，mosi，miso，cs等；其中，slvs高速总线进行高速数据传输，输出cmos摄像头的图像数据；具体输出的信号包含8对差分数据信号d0～d7和1对差分时钟信号dck。当然在其他实施例中cmos摄像头也可以是别的型号，具体不作限制。
28.上面的两个总线都需要连接到fpga芯片的管脚上。设备内部fpga芯片部分的接口电路图3如下，可以看到低速数据传输的sck，mosi，miso，cs等信号连接到fpga芯片的general purpose io，而高速数据传输的d0～d7和dclk则连接到fpga芯片的transceiver收发器上，以此实现高速数据传输。
29.上述hdmi接口通过hdmi线缆连接hdmi屏幕，作为相机外部光源，实现总控单元和hdmi屏幕之间的视频数据和屏幕参数交互。具体的，在本实施例中，hdmi接口采用型号为tdp158的hdmi转接驱动器；hdmi屏幕型号为redmi rmmnt238nf。hdmi屏幕通过hdmi线缆插到相机设备的hdmi连接器上以实现两者的连接。fpga芯片使用i2c协议，经由芯片tdp158，读取hdmi屏幕参数，诸如分辨率等；完成后fpga芯片即可使用自带的lvds高速串行总线接口输出rgb视频数据，经由芯片tdp158，到hdmi屏幕上进行输出，具体设备内部电路则如图4所示。当然在其他实施例中，屏幕和fpga芯片也可以是其他型号，具体不作限制。
30.上述usb接口通过usb3.0线缆连接上位机，实现总控单元和上位机之间的控制数据和图像数据交互。具体的，在本实施例中，该usb接口采用cyusb3014芯片。具体的，相机设备与上位机之间接口使用usb3.0的通信方式，为此在设备内部集成了cypress公司的cyusb3014-bzxi芯片实现fpga芯片和上位机之间的控制数据和图像数据交互，连接框图见图5。可以看到cyusb3014将来自usb接口(此处为micro usb 3.0母座)的高速串行数据变为并行数据，即将usb30_dp/m,usb_30_sstxp/m,usb30_ssrxp/m三对高速差分线的串行数据变为usb30_dq[31:0]共32位数据线上的并行数据进行传输。三对高速差分线的两端分别是usb接口和cyusb3014芯片，各自有专用管脚。usb30_dq[31:0]共32位数据线一端是cyusb3014的设置后的gpio管脚，另一端到fpga芯片的general purpose io即可。图6为cyusb3014芯片和usb接口之间的连接。
[0031]
上位机为研华工控机ipc-610。上位机通过usb3.0线缆插到相机设备的usb3.0连接器上以实现两者的连接。当然在其他实施例中，usb接口和上位机也可以选用别的型号，具体不作限制。
[0032]
传统机器视觉系统中，通过一根通信线加一根控制线分别实现对于相机的控制和光源的控制，而本实用新型仅需要一根通信线将上位机与相机连接即可。典型的，使用usb通信线，传输usb3.0协议，以实现同时传输图像数据和控制命令的操作。具体光源的图像输出及控制则由相机控制直接实现。
[0033]
图像数据在光源上完整显示的时机被精确掌握以及实现最短时间内的视频输出显示和曝光拍摄都是通过本实用新型中的相机结构实现的。
[0034]
一次完整拍摄的过程包含视频数据的输出，相机的曝光和相机数据的反馈。
[0035]
传统的系统中，上位机通过显卡驱动屏幕光源，从上位机指令到显卡的时间是t0，从显卡到开始输出视频数据的延迟时间为t1；视频数据完整输出的时间为t2；然后上位机在t0+t1+t2时间之后才能trigger触发相机进行曝光拍摄；上位机的trigger指令到达相机处进行开始曝光的时间为t3，相机曝光拍摄的时间为t4，相机数据反馈给上位机的时间为t5+t6+t7+t8，这是因为相机得到的大量数据必须进行格式转换后，再通过一个复杂的接口才能传递给上位机，典型的比如usb接口和以太网接口；整个过程中，上位机进行指令处理的运算时间是t9，此处定为1ms，因为即便最强的计算机cpu在此系统中的指令处理花费的时间也必须在ms级别才能实现。所以电脑进行一次拍摄的总时间为t0+t1+t2+t3+t4+t5+t6+t7+t8+t9，如图7所示。
[0036]
而应用本实用新型的相机结构时，t0时间不需要，因为fpga芯片可直接进行视频数据的输出；t1时间不需要，因为显卡需要等待到屏幕固定的刷新时间点才可以发送视频数据，对于60/120/240hz的屏幕刷新率而言分别需要等待最长到的一帧时间为16.67/8.33/4.17ms，而fpga芯片可以于任意时刻直接发送视频数据到屏幕上；t3时间忽略不计，因为fpga芯片仅需要耗时几ns的一条指令即可实现，而上位机需要ms级别；t6+t7+t8时间不需要，因为fpga芯片可以直接进行相机的数据转换；指令处理的时间t9从1ms降到0.1us，此处为其重新命名为t91，这是因为fpga芯片的运行指令及其简单，以典型的100mhz的频率运行可在10个指令周期以内即可实现整个系统的全部功能。
[0037]
综上，应用本实用新型相机结构的一次拍摄总时间是t2+t4+t5+t91。
[0038]
相机的曝光必须在视频数据的完整输出后再进行，否则可能拍摄到的并非完整的图像。传统系统中，由于上位机并不知道何时视频数据在屏幕光源上进行了完整输出，所以只能等待t0+t1+t2+t3的时间，再加上一定时间余量发出trigger指令，这是因为t0、t1、t2、t3运行于计算机系统和显卡系统中都存在较大的时间弹性。而本实用新型中的相机结构因为发送视频数据和接收图像数据都由fpga芯片自身处理，t2、t4时间是固定的，所以fpga芯片可以精确掌握图像数据在屏幕光源上进行完整显示的时机和相机进行曝光拍摄的时机，如图8所示。
[0039]
上述具体实施方式用来解释说明本实用新型，而不是对本实用新型进行限制，在本实用新型的精神和权利要求的保护范围内，对本实用新型作出的任何修改和改变，都落入本实用新型的保护范围。

技术特征：
1.一种集成视频信号输出的新型相机，其特征在于，包括：相机，集成总控单元、cmos摄像头、hdmi接口，及usb接口；所述总控单元为fpga芯片，通过i2c低速总线和32位高速并行总线与所述usb接口连接，通过slvs高速总线和spi低速总线与cmos摄像头连接，通过lvds高速串行总线和i2c低速总线与hdmi接口连接。2.根据权利要求1所述的集成视频信号输出的新型相机，其特征在于：所述hdmi接口连接hdmi屏幕，作为相机外部光源，实现总控单元和hdmi屏幕之间的视频数据和屏幕参数交互。3.根据权利要求1所述的集成视频信号输出的新型相机，其特征在于：所述usb接口连接上位机，实现总控单元和上位机之间的控制数据和图像数据交互。4.根据权利要求3所述的集成视频信号输出的新型相机，其特征在于：所述usb接口采用cyusb3014芯片。5.根据权利要求1所述的集成视频信号输出的新型相机，其特征在于：所述hdmi接口采用型号为tdp158的hdmi转接驱动器。

技术总结
本实用新型公开了一种集成视频信号输出的新型相机，包括：相机，集成总控单元、CMOS摄像头、HDMI接口，及USB接口；总控单元为FPGA芯片，通过I2C低速总线和32位高速并行总线与所述USB接口连接，通过SLVS高速总线和SPI低速总线与CMOS摄像头连接，通过LVDS高速串行总线和I2C低速总线与HDMI接口连接。本实用新型通过集成集成总控单元、CMOS摄像头、HDMI接口，及USB接口，以及总控单元与摄像头、接口间的合理设定的总线连接方式，缩短了一帧内打光-拍照的反应回路，加快了拍摄速度，同时缩短数据处理时间，提高了系统效率，且通过HDMI接口连接HDMI显示器可调节、调整视频信号的输出，以实现最佳的拍摄效果。现最佳的拍摄效果。现最佳的拍摄效果。


技术研发人员：吴笛 段连路
受保护的技术使用者：上海盛相工业检测科技有限公司
技术研发日：2023.04.27
技术公布日：2023/9/16