单相机提取双视角表面信息的光学断层扫描系统

1.本发明涉及一种扫描技术，特别涉及一种单相机提取双视角表面信息的光学断层扫描系统。


背景技术：

2.随着光学和分子影像学的发展，光学分子成像已成为生物医学研究的重要工具。传统的光学平面成像的一个主要限制是由于活体组织的高度散射特性而缺乏深度信息。为了获得三维信息，已经提出了几种光学断层扫描成像方法来解决表面下的结构异常或分子变化，它们包括了扩散光学断层扫描(diffuse optical tomography,dot)和荧光分子断层扫描(fluorescent molecular tomography,fmt)，其中，dot主要解决测量血红蛋白浓度和氧化水平的组织固有光学特性(散射和吸收系数)，而fmt专注于可视化荧光探针的空间分布，可以反映细胞或器官水平上的细微分子变化。
3.光学断层扫描成像可以分为成像系统和重建算法两个部分。其中，光学层析成像系统根据照明光路设计，分为接触式(主要用光纤)和非接触式(主要用空间自由光),其中在非接触式系统之中，fmt和dot两种成像模式的系统又有着非常相似的硬件结构，它们都是由光源、振镜、载物台、滤波轮和采集设备组成，所以它们有着集成为一种多功能的成像系统的基础。在层析成像算法上，实验物体精准的结构信息放入重建算法不仅能够给重建结果带来非常大的提升，而且捕获的三维表面信息可以对物体的大小进行量化，能够快速、准确地获得实验品形体信息的结构变化，摆脱以前传统测量带来的误差。
4.现有的带有表面信息获取功能的荧光分子断层成像系统分为两类：一类是和其他模态进行联合成多模态系统，例如结合mri、ct等获得结构信息。这种方法带来的难题是需要进行两种模态之间的配准，使得在系统结构设计和算法设计的难度提升，并且导致造价成本提升，失去了一些光学层析成像本该有的优点；另一类则是使用单独的表面信息提取模块，例如结构光深度相机获得表面信息，这类的做法相对于多模态系统一定程度上简化了系统的复杂度，但是大部分带有单独表面提取模块的断层扫描系统通常只有单一视角，只能得到有限视角的表面信息。
5.在现有的获得多个视角表面信息的光学层析系统中，其方法主要是通过旋转被测物体或者增加探测器数量实现。其中，旋转被测物体以获得全视角的表面信息会导致生物体在测试时发生不可预料的移动误差。而增加探测器会导致成本的上升以及结构的复杂度上升。
6.现在非接触光学断层成像系统中，光学宏观成像与其他医学成像模态结合的多模态系统的表面信息获取装置设计复杂高且加大了系统成本，并为图像配准带来了新难题；带有表面信息获取功能的光学断层成像系统，例如使用线结构光获取三维信息时，需要进行标定以获取振镜相对于相机的位姿，标定完成以后成像元件不可移动，只能捕获一个视角的表面信息，得到有限角度的表面信息，导致重建的精度低。
7.带有获取多个视角的表面信息获取功能的光学断层成像系统，通过多个相机和投
影仪进行获取表面信息或者转动被测物体来获得全身的表面信息。前者的系统只能获得生物体侧面和上表面的表面信息，无法对下底面的底部表面信息进行捕捉，且成本上升，后者由于生物体的移动会给重建带来系统误差。


技术实现要素：

8.针对现在非接触光学断层成像系统存在问题，提出了一种单相机提取双视角表面信息的光学断层扫描系统，利用线结构光线扫描技术、直线滑动燕尾台和相机景深的特点，获得被测物体上表面和下表面双视角的表面几何结构，利用点扫描获取荧光分子断层扫描图像和扩散光学断层扫描图像，该系统集成度高，标定方法稳定，可获得生物的多维信息。
9.本发明的技术方案为：一种单相机提取双视角表面信息的光学断层扫描系统，包括光源模块、扫描模块、探测模块和控制模块，
10.所述光源模块包括激光器、耦合器、多模光纤和准直器，激光器发出激光通过耦合器耦合进多模光纤一端，再由光纤另一端输入到准直器进行准直后投射进入扫描模块的扫描振镜；
11.所述扫描模块包括扫描振镜、扫描场镜、光导航单元，扫描振镜将准直光束通过扫描场镜聚焦为1毫米以下大小的光点，再经过光导航单元对成像载物台上被测物体上、下表面进行点扫描或者线扫描；
12.所述探测模块包括成像载物台、滤波片、滤波轮和荧光相机，荧光相机置于用于搁置被测物体的成像载物台正上方，滤波轮置于荧光相机和成像载物台之间，所述滤波轮用于切换数据采集时所需的不同波长的滤波片；
13.所述控制模块包括电脑和usb控制线，电脑401通过usb数据线分别连接激光器、扫描振镜和荧光相机，传递指令以控制数据扫描采集，并在此电脑上进行fmt或dot以及和三维表面信息的重建。
14.优选的，所述光导航单元包括直线滑动燕尾台和两组反射镜组，
15.所述直线滑动燕尾台，用于两组反射镜组切换；
16.扫描模块反射式光路输出的光点通过第一组反射镜组反射至被测物体上表面，对成像载物台上被测物体上表面进行点扫描或者线扫描，荧光相机通过滤波片对被测物体上表面进行采集；扫描模块透射式光路输出的光点通过第二组反射镜组反射至被测物体下表面，对成像载物台上被测物体下表面进行线扫描，荧光相机通过滤波片对被测物体下表面进行采集。
17.优选的，所述荧光相机的视野分成两部分，视野两部分别收集被测物体上表面和下表面的表面信息。
18.优选的，所述滤波轮放置不同中心波长的带通滤波片，且置于荧光相机和待测物体之间，带通滤波片滤除非投射波长之外的光。
19.一种单相机提取双视角表面信息的光学断层扫描系统获取重建数据的方法，所述获取重建数据包括获取dot、fmt和表面信息，具体包括如下步骤：
20.1)表面信息提取标定获得相机的内参和外参、振镜的内参和外参以及振镜相对于相机的空间位置；
21.2)拍摄被测物体的明场白光图；
22.3)打开荧光相机和激光器，并设定激光的发光功率、荧光相机的曝光时间和滤波轮中带通滤波片的位置；
23.4)设定扫描模态为点扫描模式，并且设定此次采集是dot的数据采集还是fmt的重建数据采集；
24.5)设定对物体的扫描区域和扫描点数量并进行预扫描验证扫描区域和扫描点数量是否正确，如果不正确，则返回重新设置区域和点数，如正确，进入步骤6)；
25.6)正式开始采集fmt或者dot的重建数据；
26.7)切换扫描模式为线扫描，采集表面信息重建的数据；
27.8)拍摄环境光，采集完毕。
28.本发明的有益效果在于：本发明单相机提取双视角表面信息的光学断层扫描系统，集成实现了dot和fmt两种成像模式的成像系统；利用反射镜、直线滑动燕尾台和相机景深的特性，使用单个相机经济性的实现了上表面和下表面的双视角的表面信息提取，提出了精确的标定方法，使得提取的精度更加的准确；可以实现对生物体进行形体测量并生成形体监测数据库；该系统造价低廉、成像精度高、可获取多种生物体信息，有望实现产业化。
附图说明
29.图1为本发明单相机提取双视角表面信息的光学断层扫描系统结构示意图；
30.图2为本发明系统的断层扫描标定流程图；
31.图3为本发明系统的表面信息提取标定流程图；
32.图4为本发明系统的dot/fmt模态原始数据采集流程图；
33.图5为本发明系统的双表面获取原理图；
34.图6为本发明系统的仪器控制线路示意图。
具体实施方式
35.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
36.如图1所示单相机提取双视角表面信息的光学断层扫描系统示意图，包括光源模块、扫描模块、探测模块和控制模块。其中光源模块包括激光器101、耦合器102、多模光纤103和准直器104；扫描模块包括扫描振镜201、扫描场镜202、直线滑动燕尾台203(图1中为示意)、反射镜组(204、205、206、207、208)；探测模块包括成像载物台301、滤波片303、滤波轮304和荧光相机305。控制模块包括电脑401和usb数据线(402、403、404)。
37.所述的激光器101发出激光通过耦合器102耦合进多模光纤103一端，再由光纤103另一端输入到准直器104进行准直后，最后投射进入扫描模块的扫描振镜201。
38.所述的扫描振镜201将准直光束通过扫描场镜202聚焦成约为0.8毫米直径的光斑，并对成像载物台301上被测物体302进行点扫描或者线扫描。根据fmt重建数据的采集模式，扫描模块可分透射式fmt扫描和反射式fmt扫描，使用直线滑动燕尾台203可以对透射式和反射式fmt采集模式进行切换，实现透射式或反射式扫描模式获得荧光分子重建扫描数据和表面信息重建数据；其中扫描模块中反射式光路为光线投射到反射镜204至反射镜
205，再到成像载物台301上的被测物体302，透射式光路为光线从反射镜206至反射镜207，再到成像载物台301上的被测物体302。
39.所述荧光相机305置于成像载物台301正上方。荧光相机305是用于拍摄点扫描的断层重建数据以及线扫描的上表面的表面重建采集时的探测器，置于荧光相机305和成像载物台301之间的滤波轮304用于切换数据采集时所需的不同波长的滤波片303。
40.所述的透射式fmt重建数据的采集为：激发光经由扫描模块中的透射式光路对样品302下底面进行扫描，从而激发样品中的荧光，其荧光从样品上表面经滤波轮304和滤波片303，最后被荧光相机收集。
41.所述的透射式dot重建数据的采集为：光源经由扫描模块中的透射式光路对样品302下底面进行扫描，光子在样品中发生散射等运动，达到上表面的透射光经滤波轮304和滤波片303，最后被荧光相机收集。
42.所述的反射式fmt重建数据的采集为：激发光经由扫描模块中的反射式光路对样品302上表面进行扫描，从而激发样品中的荧光，其荧光从样品上表面经滤波轮304和滤波片303，最后被荧光相机收集。
43.所述的透射式dot重建数据的采集为：光源由扫描模块中的透射式光路对样品302下底面进行扫描，光子在样品中发生散射等运动，其荧光从样品上表面经滤波轮304和滤波片303，最后被荧光相机收集。
44.所述的荧光相机305用于线扫描的下表面的表面重建采集时，使用置于载物台下的反射镜208收集，由扫描模块中的透射式光路，将线结构光投射到载物台上的被测物体302的下表面，随后下表面线结构光由反射镜208反射至滤波轮304，然后经滤波片303，最后进入荧光相机305。
45.所述的总控电脑401使用usb数据线402、403、404来传递指令以控制整体数据采集，并在此电脑上进行fmt和三维表面信息的重建。
46.所述的荧光分子断层扫描成像标定主要目的是使扫描振镜201让光点投射到指定的位置，整体的荧光分子断层扫描成像标定流程图如图2所示，其流程为：
47.step1:将扫描振镜201的扫描模式设定为点扫描，在成像载物台301上放置好棋盘格标定板。
48.step2:开启激光器101向扫描振镜201输入坐标，使其对标定板投射激光进行扫描，并使用荧光相机305采集扫描的光点图片。
49.step3:提取光点图片中的光点中心像素坐标，估计出像素坐标c和发给扫描振镜201坐标g之间的转换矩阵tc2g。
50.step4:拍摄成像载物台301上的四个白色标定点的图片，并提取成像载物台301图片上白色标定点的像素坐标，计算成像载物台坐标系p和白色标定点的像素坐标c的转换矩阵tp2c。
51.step5:利用求出来的转换矩阵tc2g和tp2c来求得扫描振镜201输入坐标系g和成像载物台坐标系p之间的转换矩阵tp2g，以实现将激光投射到成像载物台301上任意固定位置。
52.step6:设定扫点区域进行扫描验证，如果成功则标定结束，未成功则重新标定。
53.所述的表面信息提取标定主要是获得相机的内参和外参、振镜的内参和外参以及
振镜相对于相机的空间位置，整体的表面信息提取标定流程如图3所示，其流程为：
54.step1：利用棋盘格标定荧光相机305，得到相机的内参；
55.step2：将扫描振镜201的扫描模式设定为点扫描，并放置好标定板。开启激光器101，向扫描振镜201输入坐标，让其对棋盘格标定板的棋盘格中心位置投射激光进行扫描，并利用荧光相机305采集扫描的光点图片。
56.step3：提取棋盘格标定板中每个棋盘格中心位置的激光光斑的像素坐标，并利用荧光相机305的内参将光点的像素坐标转换为相机坐标系下的三维坐标。利用激光点的三维坐标与发给振镜的坐标标定出扫描振镜201的内参，并利用pnp(perspective-n-point)算法计算出扫描振镜201相对于荧光相机305的空间位置。
57.step4：设定扫描点区域进行扫描验证，如果成功则标定结束，未成功则重新标定。
58.所述的获取重建数据流程包括获取dot、fmt和表面信息重建数据数据，整体重建数据的获取流程如图4所示，其流程为：
59.step1：拍摄被测仿体和生物体的明场白光图；
60.step2：打开荧光相机305和激光器101，并设定激光的发光功率、荧光相机的曝光时间和滤波轮304中带通滤波片303的位置。
61.step3：设定扫描模态为点扫描模式，并且设定此次采集是dot的数据采集还是fmt的重建数据采集。
62.step4：设定对物体的扫描区域和扫描点数量并进行预扫描验证扫描区域和扫描点数量是否正确。如果不正确，则返回重新设置区域和点数。
63.step5：正式开始采集fmt或者dot的重建数据。
64.step6：切换扫描模式为线扫描，采集表面信息重建的数据。
65.step7：拍摄环境光，采集完毕。
66.如图5所示，所述的双表面原始重建数据的获取原理为：荧光相机305的视野在501和503之间区域，人为的将整个视野通过502分成两部分。在501和502之间的视野部分，相机可直接拍摄收集被测物体302上表面的信息；在502和503之间的视野部分，相机通过反射镜208拍摄收集被208反射的样品302的下表面的表面信息。
67.所述的控制线路为：电脑作为控制层，其作用是总控开关；荧光相机305、滤波轮304、扫描振镜201和激光器101作为现场层设备。其控制示意图如图6所示。
68.一个实施例中，使用光束整形模块对激光大小进行调制：首先打开激光器101，利用接入的耦合器102将光束耦合进多模光纤103，光束通过多模光纤104后在接入准直器105将光源准直发射入扫描振镜201内，最后通过连接在扫描振镜201上的扫描场镜202将准直光源在场镜焦距处聚焦为0.8毫米直径的光斑。
69.一个实施例中，使用滑动燕尾台203对反射镜204进行移动以实现透射光路和反射光路的切换。当采集反射式的光学断层数据时，不需移动滑动燕尾台203，其光路为光束从扫描振镜201中发出，经反射镜204反射至反射镜205，最后投射至被测物体302上表面。当采集透射式的光学断层成像时，需要使用滑动燕尾台203将反射镜204移开，其光路为光束从扫描振镜201中发出，经反射镜206反射至反射镜207，最后投射至被测物体302下表面。
70.一个实施例中，使用标定板对光学断层成像系统的断层数据采集流程进行标定,其流程如图2所示，在标定过程中，此处标定板需为平整的方形白色纸片，厚度小于或接近
1mm。在标定过程中，首先确定采取反射式还是透射式，并根据透射式和反射式的不同进行切换不同的光路。
71.一个实施例中，使用标定板对光学断层成像系统的表面重建数据采集流程进行标定，此处的标定板需使用棋盘格标定板，其流程如图3所示。在标定过程中，首先确定采取反射式还是透射式，并根据透射式和反射式的不同进行不同光路切换，且在表面重建数据的采集流程的标定中，棋盘格标定板上的所有棋盘格要始终在相机的视野内。
72.一个实施例中，同时获取上下表面的原理如图5所示，在选择镜头时需要使用焦距为50mm的镜头，并将镜头光圈调至最小的光圈可获得较长的景深范围，使得不同成像距离都拥有较清晰的图像。
73.一个实施例中，在相机标定时，棋盘格要占满整个成像画面，在振镜的标定时，需要标定多组不同位姿的棋盘格标定板。
74.一个实施例中，放置反射镜208与水平面成30度夹角，调节相机对焦环，使得相机305能同时对样品302上表面和由反射镜208反射到相机视野的样品302下表面的成像都清晰。
75.一个实施例中，上表面的表面重建数据的线结构光投射光路为：激光从扫描振镜201射出经反射镜204至反射镜205，最后投射到被测物体302上表面；上表面的表面重建数据的光束收集光路为：投射到被测物体302上表面的线结构光经滤波轮304和滤波片303，最后进入荧光相机305。
76.一个实施例中，下表面的表面重建数据的线结构光投射光路为：激光从扫描振镜201射出经反射镜206至反射镜207，最后投射到被测物体302下表面；下表面的表面重建数据的光束收集光路为：投射到被测物体302下表面的线结构光经反射镜208反射进入滤波轮304，然后进入滤波片303，最后进入荧光相机305。
77.一个实施例中，在fmt数据获取的流程中，其流程如图4所示，激光在投射单一波长的激发光到被测物体上，被测物体内的荧光药剂被激发光激发，发射出比激发光波长更长的荧光。滤波轮304放置不同中心波长的带通滤波片303，且置于荧光相机305和成像目标302之间。滤波轮304和滤波片303的目的是滤除来自激光器101的激发光，让荧光通过并进入荧光相机305。
78.一个实施例中，设定激发光源波长为630nm，激发光经由扫描模块中的透射式光路对样品302下底面进行10
×
10的100个点的逐点扫描，从而激发样品中的680nm的荧光，其荧光从样品上表面经滤波轮304和608nm的滤波片303，最后被荧光相机收集。
79.一个实施例中，设定激发光源波长为630nm，激发光经由扫描模块中的反射式光路对样品302上底面进行10
×
10的00个点的逐点扫描，从而激发样品中的680nm的荧光，其荧光从样品上表面经滤波轮304和608nm的滤波片303，最后被荧光相机收集。一个实施例中，dot数据获取的流程为：其流程如图4所示，激光在投射单一波长的光到被测物体上，光强一部分被物体吸收，剩余部分被相机捕获。滤波轮304放置不同中心波长的带通滤波片303，且置于荧光相机305和成像目标302之间。滤波轮304和滤波片303的目的是滤除非投射波长之外的光，保持信号的质量。
80.一个实施例中，设定光源波长为660nm，激发光经由扫描模块中的透射式光路对样品302下底面进行10
×
10的逐点扫描，光子随后在样品中发生散射等运动，达到上表面的透
射光经滤波轮304和660nm的滤波片303，最后被荧光相机收集。
81.一个实施例中，设定光源波长为660nm，激发光经由扫描模块中的反射式光路对样品302上底面进行10
×
10的逐点扫描，光子随后在样品中发生散射等运动，由上表面反射的光经滤波轮304和660nm的滤波片303，最后被荧光相机收集。
82.一个实施例中，所述处理器为电脑作为控制层，荧光相机、滤波轮、扫描振镜和激光器作为现场层设备。具体为：电脑控制激光的开启与关闭，控制振镜的扫描模式(点扫描或者线扫描)、扫描的点数，滤波轮的内滤波片位置的转换以及相机的拍摄和图片的存储。所有通信接口均为usb数据线连接。控制示意图如图6所示。
83.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种单相机提取双视角表面信息的光学断层扫描系统，其特征在于，包括光源模块、扫描模块、探测模块和控制模块，所述光源模块包括激光器、耦合器、多模光纤和准直器，激光器发出激光通过耦合器耦合进多模光纤一端，再由光纤另一端输入到准直器进行准直后投射进入扫描模块的扫描振镜；所述扫描模块包括扫描振镜、扫描场镜、光导航单元，扫描振镜将准直光束通过扫描场镜聚焦为1毫米以下大小的光点，再经过光导航单元对成像载物台上被测物体上、下表面进行点扫描或者线扫描；所述探测模块包括成像载物台、滤波片、滤波轮和荧光相机，荧光相机置于用于搁置被测物体的成像载物台正上方，滤波轮置于荧光相机和成像载物台之间，所述滤波轮用于切换数据采集时所需的不同波长的滤波片；所述控制模块包括电脑和usb控制线，电脑401通过usb数据线分别连接激光器、扫描振镜和荧光相机，传递指令以控制数据扫描采集，并在此电脑上进行荧光分子断层扫描fmt或扩散光断层扫描dot以及和三维表面信息的重建。2.根据权利要求所述单相机提取双视角表面信息的光学断层扫描系统，其特征在于，所述光导航单元包括直线滑动燕尾台和两组反射镜组，所述直线滑动燕尾台，用于两组反射镜组切换；扫描模块反射式光路输出的光点通过第一组反射镜组反射至被测物体上表面，对成像载物台上被测物体上表面进行点扫描或者线扫描，荧光相机通过滤波片对被测物体上表面进行采集；扫描模块透射式光路输出的光点通过第二组反射镜组反射至被测物体下表面，对成像载物台上被测物体下表面进行线扫描，荧光相机通过滤波片对被测物体下表面进行采集。3.根据权利要求2所述单相机提取双视角表面信息的光学断层扫描系统，其特征在于，所述荧光相机的视野分成两部分，视野两部分别收集被测物体上表面和下表面的表面信息。4.根据权利要求1所述单相机提取双视角表面信息的光学断层扫描系统，其特征在于，所述滤波轮放置不同中心波长的带通滤波片，且置于荧光相机和待测物体之间，带通滤波片滤除非投射波长之外的光。5.一种单相机提取双视角表面信息的光学断层扫描系统获取重建数据的方法，其特征在于，所述获取重建数据包括获取dot、fmt和表面信息，具体包括如下步骤：1)表面信息提取标定获得相机的内参和外参、振镜的内参和外参以及振镜相对于相机的空间位置；2)拍摄被测物体的明场白光图；3)打开荧光相机和激光器，并设定激光的发光功率、荧光相机的曝光时间和滤波轮中带通滤波片的位置；4)设定扫描模态为点扫描模式，并且设定此次采集是dot的数据采集还是fmt的重建数据采集；5)设定对物体的扫描区域和扫描点数量并进行预扫描验证扫描区域和扫描点数量是否正确，如果不正确，则返回重新设置区域和点数，如正确，进入步骤6)；
6)正式开始采集fmt或者dot的重建数据；7)切换扫描模式为线扫描，采集表面信息重建的数据；8)拍摄环境光，采集完毕。

技术总结
本发明涉及一种单相机提取双视角表面信息的光学断层扫描系统。首先，利用线结构光扫描以及可调整的光路设计，获取被测物体上表面和下表面双视角的表面几何结构；其次，该系统也可使用点状光源扫描，获取荧光分子断层扫描图像和扩散光学断层扫描图像。该系统集成度高，标定方法稳定，可获得被测生物样品的表面形态信息、荧光分子三维分布以及光学参数分布。该系统具备造价低廉、成像精度高和多生物体参数整合的优势，在生物成像领域具备较好的产业化前景。产业化前景。产业化前景。


技术研发人员：任无畏 吴亚男 陈亮
受保护的技术使用者：上海科技大学
技术研发日：2023.04.26
技术公布日：2023/8/14