一种基于bayer图像的快速拼接方法及系统与流程

1.本发明涉及显微图像处理技术领域，更具体地，涉及一种基于bayer图像的快速拼接方法及系统。


背景技术：

2.显微光学成像技术是指透过样品或从样品反射回来的可见光，通过一个或多个透镜后，能够得到微小样品的放大图像的技术。所得图像用感光板或数字化图像探测器如ccd、cmos进行记录，并在计算机上进行显示和分析处理。随着数字显微镜技术的发展，现有技术可以使用样本玻片扫描的方式对样本玻片进行全面扫描以获得全切片数字显微图像，然而日益增长的玻片扫描需求，迫切的需要一种快速出图的扫描设备，而在影响扫描成像速度的要素中，细胞图像的拼接效率最为关键。因此如何找到超高速图像拼接方法来提升玻片扫描出图效率是亟待解决的问题。


技术实现要素：

3.本发明针对现有技术中存在的细胞图像的拼接效率低下的技术问题。
4.本发明提供了一种基于bayer图像的快速拼接方法，包括以下步骤：s1，计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；s2，根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；s3，基于bayer图的图像融合；s4，将融合后的bayer图贴到画布上去。
5.优选地，所述s1具体包括：s11，将当前输入bayer图像及各相邻细胞图像分别对应分割成四通道rggb图像；s12，分别计算当前输入bayer图像及各相邻细胞图像在同一个通道下的分割图像的相对位置关系；s13，将各通道下的相对位置关系进行合并，得到xy坐标系下，当前输入bayer图像及各相邻细胞图像之间的相对位置关系。
6.优选地，所述s12~s13具体包括：采用标准平方差来计算得到各通道下，当前输入bayer图像及各相邻细胞图像的最小值，各最小值分别对应xy坐标系下的候选匹配位置；将对应的候选匹配合成得到前输入bayer图像及相邻细胞图像之间的相对位置关系。
7.优选地，所述s2还包括对相对位置关系进行误差排除，具体包括：s21，构建误差消隐树v_stichs，其中v_stichs[i]表示第i个树节点，每个节点包含一个图像的x、y坐标位置；s22，计算第n个图像对应树节点与其相邻树节点之间的x和/或y坐标位置差值，若差值大于最大阈值，则说明第n个图像结构与某个方向相邻图像结构的位置偏差超出最大
阈值时，其中第n个图像对应消隐树v_stichs[n]；s23，将所述差值沿着所述某个方向扩散到全局垂直方向的图像中；其中，i和n均为自然数。
[0008]
优选地，所述s23具体包括：采用平均扩散方式，在扫描两行内将误差扩散完成；当当前行误差消除完毕后，则第二行接替第一行作为参考行参与到后续的误差扩散中去。
[0009]
优选地，所述s3的图像融合方式为羽化，具体包括：使用加权平均颜色值alpha因子来融合重叠像素，在中心像素处具有值1，然后在与边界像素线性下降时变为0；在rggb四个通道内单独融合，再将单独融合后的图像进行bayer图合并。
[0010]
优选地，所述s3具体包括：s31，设定待融合bayer图像b1、b2的图像宽和高；s32，将bayer图像分解成r、g1、g2、b四通道；s33，利用步骤s2计算出来的映射关系来作为融合输入位置；具体地，若b1的位置为pox_x1、pos_y1, b2的位置为pos_x2,pos_y2,则融合之前，需要做如下位置变换：p_x1 = pox_x1/2
×
2p_y1 = pox_y1/2
×
2p_x2 = pox_x2/2
×
2p_y2 = pox_y2/2
×
2s34，利用步骤s33计算出来的位置对四通道图像分别进行融合。
[0011]
本发明还提供了一种基于bayer图像的快速拼接系统，所述系统用于实现基于bayer图像的快速拼接方法，包括：相对位置关系计算模块，用于计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；映射关系计算模块，用于根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；图像融合模块，用于基于bayer图的图像融合；画布贴合模块，用于将融合后的bayer图贴到画布上去。
[0012]
本发明还提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现基于bayer图像的快速拼接方法的步骤。
[0013]
本发明还提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现基于bayer图像的快速拼接方法的步骤。
[0014]
有益效果：本发明提供的一种基于bayer图像的快速拼接方法及系统，其中方法包括：计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；基于bayer图的图像融合；将融合后的bayer图贴到画布上去。
[0015]
该方法只需要计算传统图像1/3的图像数据，在匹配阶段，不仅考虑了不同通道之
间的匹配关系，而且还通过超分辨思维采用线性插值的方式来提高匹配精度。同时在拼接融合阶段基于bayer图像的像素分布规则设计了融合算法，在提升拼接效率的同时解决了偏色和拼缝问题。充分考虑r、g1、g2、b通道的位置属性与bayer图转rgb图的特点，最终使得拼接后的细胞图像不仅不存在偏色问题，而且没有一点拼缝痕迹。
附图说明
[0016]
图1为本发明提供的一种基于bayer图像的快速拼接方法流程图；图2为本发明提供的一种可能的电子设备的硬件结构示意图；图3为本发明提供的一种可能的计算机可读存储介质的硬件结构示意图；图4为本发明提供的误差消隐树图；图5为本发明提供的画布贴图；图6为本发明提供的bayer转rgb图。
具体实施方式
[0017]
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
[0018]
结合图1、图4~图6，本发明提供的一种基于bayer图像的快速拼接方法，包括以下步骤：s1，计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系。计算当前输入bayer图像（图像分辨率为24482048）与上下左右四个方向的细胞图像的相对位置关系。
[0019]
具体地，计算bayer图像的相对位置关系，需要分别计算正上、正下、左、右四个方向的相对位置关系，接下来以计算当前图和正上图像的位置关系为例来说明其计算过程。设当前图为img_cur, 正上的图像为img_up,bayer格式为rggb。在计算之前需要先将bayer图像分割成四通道图r、g1、g2、b（当前图的四通道用r_cur、g1_cur、g2_cur、b_cur表示，正上图像用r_up、g1_up、g2_up、b_up），之后分别计算r_cur与r_up、g1_cur与g1_up、g2_cur与g2_up、b2_cur与b2_up的相对位置关系。考虑到在实际细胞扫描过程中，相邻细胞图像之间的距离极短，且可以通过机械设备调优的方式保障细胞玻片在平移过程中只存在水平和垂直方向的移动，根据水平和垂直方向运动的特点，在计算相对位置关系时可以通过标准平方差来计算，其计算方式为（1）、（2）、（3）、（4），计算得到的最小值s_r、s_g1、s_g2、s_b所对应的位置r_x,r_y、g1_x,g1_y、g2_x,g2_y、b_x,b_y为候选匹配位置。
[0020][0021]
在得到候选匹配位置后通过式（5）、（6）得到两者的相对位置关系。
[0022][0023]
根据上(1)~(6)可以类似的得到down、down、left、left、、right、right。
[0024]
s2，根据相对位置关系，计算当前输入bayer图像在画布中的映射关系。将得到的位置如何组合排列并如何解决累积误差则是这一部分的主要工作，当误差累计到一定程度的时候会出现在某一个局部错位非常明显的情况。本发明提出了一种误差累积扩散树的方法来进行误差扩散，具体做法是：首先构建一颗误差消隐树，它的结构图如图4所示。
[0025]
在图示中每一个方块代表一个图像结构，图像结构如下所示：typedef struct soft_stich_st{int x_id, y_id;int score[4];int dis_x[4];int dis_y[4];}stich_st;上图中的误差消隐树可以用v_stichs表示，其中v_stichs[i]表示第i个树节点。当某局部区域出现细胞错位时，通常是第n个图像结构与相邻图像结构的位置偏差超出了设置的最大阈值。假定出现局部误差较大的图像块为第n块，利用当前[n]的x_id、y_id推算出其正上、正下、左、右的相邻图像块,其对应图像块的编号设为：m1,m2,m3,m4，若正下方的误差超出了阈值，即第n个图像与正下方相邻图像m2之间误差用公式表示为：
[0026]
则由它计算所得值必然大于设定的阈值thr_dis,之后便需要将正下方的误差值扩散到全局垂直方向的图像中去，单幅图像的扩散量由式（7）、（8）计算所得，而扩散方式为平均扩散。
[0027]
avg_dis_up=(dis_down-thr_dis)/(line_num-[n].y_id)（7）avg_dis_down=(dis_down-thr_dis)/[n].y_id（8）上式中line_num的表示一行图像扫描帧数，最后为了平衡扫描速度需要在扫描两行内将误差扩散完成，即如图4中的虚线框所示，一旦当前行误差消除完毕后，第二行则接替第一行作为参考行参与到后续的误差扩散中去。这样可以尽可能消除位置误差，确保各图像的相对位置关系精确，便于后续的图像融合。
[0028]
s3，基于bayer图的图像融合。图像融合是在重叠区域中混合待融合图像像素颜色以避免出现接缝。最简单的使用形式是羽化，其使用加权平均颜色值来融合重叠像素，具体是使用alpha因子，又称为alpha通道，其在中心像素处具有值1，然后在与边界像素线性下降时变为0。基于bayer图像的融合需要四个通道单独融合，之后再将单独融合后的图像进行bayer图合并，不然会出现融合后的图像偏色问题，本发明使用的融合步骤为：第一步：设定待融合bayer图像b1、b2,其图像宽高分别为imgw、imgh;第二步：将bayer图像分解成r、g1、g2、b四通道。
[0029]
第三步：利用步骤s2计算出来的映射关系来作为融合输入位置。若b1的位置为pox_x1、pos_y1,b2的位置为pos_x2,pos_y2,则融合之前，需要做如下位置变换：p_x1=pox_x1/22p_y1=pox_y1/22p_x2=pox_x2/22p_y2=pox_y2/22第四步：利用第三步计算出来的位置对四通道图像分别进行融合，具体融合方式如式（9）-（12）所示：ref_i=(p_y1+imgh+p_y2)/2ref_j=(p_x1+imgw+p_x2)/2r1=sqrt((ref_i-i)(ref_i-i)+(ref_j-j)(ref_j-j))/line_blend（9）(i,j)=(i-p_y1,j-p_x1)r1+b2(i-p_x2,j-p_y2)(1-r1)(10)(i,j+1)=(i-p_y1,j-p_x1+1)r1+b2(i-p_x2,j-p_y2+1)(1-r1)(11)(i+1,j)=(i-p_y1+1,j-p_x1)r1+b2(i-p_x2+1,j-p_y2)(1-r1)(12)(13)其中line_blend为固定参数，由外部输入，通常设置为line_blend=imgw/10,对于非融合区域则是将原图贴到画布中去。
[0030]
s4，将融合后的bayer图贴到画布上去。将融合后的bayer图贴到画布上去。图5所示为将融合后的图像贴到画布上的情况，其中每个红色小框表示的是24482048的小图。从图6可以看出,相对于图5中的bayer图，转换成rgb图后，在拼缝处没有出现偏色问题以及拼
接痕迹。
[0031]
相对于传统的rgb像域上做拼接，本发明充分发挥bayer域数据量小，计算效率高的优势，本发明的有益效果可具体定义为：1.细胞图像拼接效率高，在配置为 i7-11370h @ 3.30ghz 的电脑上可以做到4ms/帧，其bayer图像的分辨率为24482048；2.细胞图像拼接效果好，本发明基于bayer图像的分布特点，设计了一种全新的bayer图像的匹配和融合方式，在匹配阶段，不仅考虑了不同通道之间的匹配关系，而且还通过超分辨思维采用线性插值的方式来提高匹配精度，同时在融合阶段，充分考虑r、g1、g2、b通道的位置属性与bayer图转rgb图的特点，最终使得拼接后的细胞图像不仅不存在偏色问题，而且没有一点拼缝痕迹。
[0032]
本发明实施例还提供了一种基于bayer图像的快速拼接系统，所述系统用于实现如前所述的基于bayer图像的快速拼接方法，包括：相对位置关系计算模块，用于计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；映射关系计算模块，用于根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；图像融合模块，用于基于bayer图的图像融合；画布贴合模块，用于将融合后的bayer图贴到画布上去。
[0033]
请参阅图2为本发明实施例提供的电子设备的实施例示意图。如图2所示，本发明实施例提了一种电子设备，包括存储器1310、处理器1320及存储在存储器1310上并可在处理器1320上运行的计算机程序1311，处理器1320执行计算机程序1311时实现以下步骤：s1，计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；s2，根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；s3，基于bayer图的图像融合；s4，将融合后的bayer图贴到画布上去。
[0034]
请参阅图3为本发明提供的一种计算机可读存储介质的实施例示意图。如图3所示，本实施例提供了一种计算机可读存储介质1400，其上存储有计算机程序1411，该计算机程序1411被处理器执行时实现如下步骤：s1，计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；s2，根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；s3，基于bayer图的图像融合；s4，将融合后的bayer图贴到画布上去。
[0035]
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
[0036]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
[0037]
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0038]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0039]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0040]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0041]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

技术特征：
1.一种基于bayer图像的快速拼接方法，其特征在于，包括以下步骤：s1，计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；s2，根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；s3，基于bayer图的图像融合；s4，将融合后的bayer图贴到画布上去。2.根据权利要求1所述的基于bayer图像的快速拼接方法，其特征在于，所述s1具体包括：s11，将当前输入bayer图像及各相邻细胞图像分别对应分割成四通道rggb图像；s12，分别计算当前输入bayer图像及各相邻细胞图像在同一个通道下的分割图像的相对位置关系；s13，将各通道下的相对位置关系进行合并，得到xy坐标系下，当前输入bayer图像及各相邻细胞图像之间的相对位置关系。3.根据权利要求2所述的基于bayer图像的快速拼接方法，其特征在于，所述s12~s13具体包括：采用标准平方差来计算得到各通道下，当前输入bayer图像及各相邻细胞图像的最小值，各最小值分别对应xy坐标系下的候选匹配位置；将对应的候选匹配合成得到前输入bayer图像及相邻细胞图像之间的相对位置关系。4.根据权利要求1所述的基于bayer图像的快速拼接方法，其特征在于，所述s2还包括对相对位置关系进行误差排除，具体包括：s21，构建误差消隐树v_stichs，其中v_stichs[i]表示第i个树节点，每个节点包含一个图像的x、y坐标位置；s22，计算第n个图像对应树节点与其相邻树节点之间的x和/或y坐标位置差值，若差值大于最大阈值，则说明第n个图像结构与某个方向相邻图像结构的位置偏差超出最大阈值时，其中第n个图像对应消隐树v_stichs[n]；s23，将所述差值沿着所述某个方向扩散到全局垂直方向的图像中；其中，i和n均为自然数。5.根据权利要求4所述的基于bayer图像的快速拼接方法，其特征在于，所述s23具体包括：采用平均扩散方式，在扫描两行内将误差扩散完成；当当前行误差消除完毕后，则第二行接替第一行作为参考行参与到后续的误差扩散中去。6.根据权利要求1所述的基于bayer图像的快速拼接方法，其特征在于，所述s3的图像融合方式为羽化，具体包括：使用加权平均颜色值alpha因子来融合重叠像素，在中心像素处具有值1，然后在与边界像素线性下降时变为0；在rggb四个通道内单独融合，再将单独融合后的图像进行bayer图合并。7.根据权利要求1所述的基于bayer图像的快速拼接方法，其特征在于，所述s3具体包括：s31，设定待融合bayer图像b1、b2的图像宽和高；
s32，将bayer图像分解成r、g1、g2、b四通道；s33，利用步骤s2计算出来的映射关系来作为融合输入位置；具体地，若b1的位置为pox_x1、pos_y1, b2的位置为pos_x2,pos_y2,则融合之前，需要做如下位置变换：p_x1 = pox_x1/2
×
2p_y1 = pox_y1/2
×
2p_x2 = pox_x2/2
×
2p_y2 = pox_y2/2
×
2s34，利用步骤s33计算出来的位置对四通道图像分别进行融合。8.一种基于bayer图像的快速拼接系统，其特征在于，所述系统用于实现如权利要求1-7任一项所述的基于bayer图像的快速拼接方法，包括：相对位置关系计算模块，用于计算当前输入bayer图像与不同方向位置上的相邻细胞图像的相对位置关系；映射关系计算模块，用于根据相对位置关系，计算当前输入bayer图像在画布中的映射关系；图像融合模块，用于基于bayer图的图像融合；画布贴合模块，用于将融合后的bayer图贴到画布上去。9.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求1-7任一项所述的基于bayer图像的快速拼接方法的步骤。10.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求1-7任一项所述的基于bayer图像的快速拼接方法的步骤。

技术总结
本发明属于显微图像处理技术领域，具体提供了一种基于bayer图像的快速拼接方法及系统，其中方法包括：计算当前输入图像与不同方向位置上的相邻细胞图像的相对位置关系；计算当前输入图像在画布中的映射关系；基于图像融合；将融合后的图贴到画布上去。该方法只需要计算传统图像1/3的图像数据，在匹配阶段，不仅考虑了不同通道之间的匹配关系，而且还通过超分辨思维采用线性插值的方式来提高匹配精度。同时在拼接融合阶段基于图像的像素分布规则设计了融合算法，在提升拼接效率的同时解决了偏色和拼缝问题。充分考虑R、G1、G2、B通道的位置属性与图转RGB图的特点，最终使得拼接后的细胞图像无偏色及拼缝痕迹问题。细胞图像无偏色及拼缝痕迹问题。细胞图像无偏色及拼缝痕迹问题。


技术研发人员：向北海 张海兵 张玉麟
受保护的技术使用者：湖南智星仁医疗科技有限公司
技术研发日：2023.05.12
技术公布日：2023/8/23