一种显微图像采集与处理系统及其纺织品纤维分类方法与流程

1.本发明涉及一种图像处理技术领域，尤其涉及一种显微图像采集与处理系统及其纺织品纤维分类方法。


背景技术：

2.在纺织行业中，纺织工艺品的准确分类是关乎到后续包装、整理以及染色等重要步骤，例如，面料种类为针织物的经编纺织工艺品和纬编纺织工艺品在染整工序中的染色步骤和熨烫步骤是完全不同的，面料种类为机织物的混纺纺织工艺品和交织纺织工艺品的一些重要的生产参数的设定也是不同的。因此，为了保证纺织工艺品的质量，就需要在纺织工艺品制成时对其进行定性分类。
3.随着中国经济由高速增长转向高质量发展，对纤维检测与识别也提出了更高的要求和更快的检测速度。传统的检测方法采用人工检测，这会消耗大量的人力和时间。传统的分类方式是利用图像识别技术中的灰度共生矩阵进行定性分类，也就是通过灰度共生矩阵的各种统计特性进行分类，本质上是对大量图像数据的统计指标的一种经验性总结，该方法的准确性较低。
4.随着计算机技术的发展，计算机图像处理的技术运用到了纤维检测中，获得了一定的成效；但是采集样本时会受到外部因素的影响，样本图像的分辨率，图像的预处理效果，特征值的选取、分类的模型都会最终决定分类识别的效果。目前对纤维分类识别的研究中，为了尽可能全面反映纤维的截面特征，需尽量多的提取指标并分析，从而实现对纤维的准确分类。
5.然而，提取纤维的众多特征是否能够对纤维的识别起到关键作用，需要进一步分析。特征提取过程中，许多特征不是独立的，特征的冗余会影响纤维分类的准确和速度，为了解决此类问题，采用特征选择这一有效办法。通过特征选择，从众多的待选特征中筛选出空间最优特征子集，优化了分类识别过程，这在信息庞杂的样本识别中至关重要。因此亟需一种显微图像采集与处理系统及其纺织品纤维分类方法。


技术实现要素：

6.本发明的目的在于克服上述不足，提供一种显微图像采集与处理系统及其纺织品纤维分类方法，针对纤维图像的特点提出了平均2dgabor双方向线特征、弯曲度、拟合曲率和分段弦长角度变化特征和最小外接矩形致密度特征；在特征选择方面通过融合最大信息数和m-pca(modified-principal component analysis)的方法，增强了抽取拥有复杂关系特征数据的有效性，进而提高了svm分类模型对纤维的分类精度。
7.本发明的目的是这样实现的：
8.一种显微图像采集与处理系统，它包括图像采集模块、fifo缓存器、ddr5控制模块、图像数据处理模块、显示器驱动模块、只读存储器、i2c接口、cmos图像传感器、高清多媒体接口和存储器，所述cmos图像传感器连接图像采集模块，图像采集模块连接fifo缓存器，
所述fifo缓存器连接ddr5控制模块，所述ddr5控制模块连接存储器，所述fifo缓存器连接图像数据处理模块，所述图像数据处理模块连接显示器驱动模块，所述显示器驱动模块连接高清多媒体接口，所述只读存储器连接i2c接口。
9.进一步地，所述图像采集模块可采用1/2.8英寸snoy cmos imx291超宽动态超低照度传感器相机，采用卷帘曝光模式。
10.一种显微图像采集与处理系统的纺织品纤维分类方法，包括以下内容：
11.s1、使用基于fpga的图像采集系统采集纺织品纤维样本图像；
12.s2、输入待识别的纤维彩色图像，对图像做预处理输出去噪后的灰度图，对预处理过的图像通过阈值分割得到二值图像；
13.s3、由于纤维图像内部具有丰富的线特征，使用2dgabor滤波器来提取纤维的线特征，先定义一组不同方向的2dgabor滤波器，将这些滤波器和纤维图像卷积后选取响应最大和次大的方向作为纤维的线特征；遍历纤维的线条，将所有线条得到的最大值和次大值分别进行平均计算，得到平均2dgabor双方向线特征；
14.s4、将纤维轮廓作为曲线对象进行检测分析，利用变长夹角构建分段拟合曲线；将曲线分为n段，计算分段弦长和总弦长，在此基础上构建弯曲度、拟合曲率和分段弦长角度变化3个特征；
15.s5、计算纤维的最小外接矩形和纤维面积，提取最小外接矩形致密度特征；
16.s6、提取步骤s3～s5中的特征向量，将特征数据通过融合最大信息数和m-pca方法进行降维处理；
17.s7、对降维后的特征向量使用注意力机制进行权重分配；计算纤维类别和特征值变量之间的相关系数，得到pearson相关系数；输入pearson相关系数到映射函数中，输出原特征值映射的优化权重，最终将权重结合原特征向量输出新的特征向量；
18.s8、将特征向量输入到决策树svm中训练。
19.进一步地，所述步骤s1还包括以下内容：首先采集系统通过i2c总线协议对摄像头进行初始化配置，摄像头对焦工作拍摄采集图像，然后，采集的图像数据通过fifo缓存器不断写入到ddr5 sdram中存储，再经过fifo缓存器读出图像数据，对读出的图像数据进行处理，最后在hdmi上显示采集图像；存储的图像可上传到主机中进行后续处理。
20.进一步地，所述步骤s2还包括以下内容：
21.ss21、输入从相机采集到的大小为72*72像素的待识别纤维彩色图像，对rgb图像灰度化，采用均值滤波器对纤维图像去噪，含噪图像为g(x，y)，设置中心点z为(x，y)，取c
×
c大小的正方形邻域窗口，得到去噪后的图像f(x，y)；构建拉普拉斯算子滤波模板为通过得到锐化后的图像，用拉普拉斯图像锐化增强纤维灰度图像的细节；以上操作为图像的预处理过程；
22.ss22、对预处理过的图像经过otsu单阈值分割法处理，选取最佳灰度级阈值，以此阈值将灰度图中的像素点归类为纤维目标区域和背景区域，纤维目标区域的像素点灰度值设为255，背景区域像素点灰度值设为0，以此得到二值图像。
23.进一步地，所述步骤s3还包括以下内容：
24.ss31、构建2dgabor滤波器，其定义如以下公式：
[0025][0026]
f是正弦函数的频率，θ控制调节滤波器的方向，q表示相位的偏移，r表示gabor滤波器形状的空间长宽比，不同的r取值为不同的尺度；
[0027]
ss32、设置2d gabor滤波器参数，取12个方向分别为0、30
°
、60
°
、90
°
、120
°
、180
°
、240
°
、300
°
、360
°
；设置中心频率分别为1/16、1/16.5、1/17、1/17.5、1/18；8个尺度分别设置为0.05、0.15、0.25、0.35、0.45、0.55、0.65、0.75；中心像素在不同方向的响应值mk的定义如以下公式：
[0028][0029]
f(x，y)表示当前像素点的灰度值：lk表示同一方向向上多点构成的线，gk是方向为k的2d gabor滤波器；在纤维图像中，背景灰度值低，纤维目标灰度值高，则将响应值较高的方向作为此像素点的线特征；其次，由于纤维图像内部线条具有相交点，纤维线条沿着交叉点有不同方向的延伸，在此基础上采用双方向表示像素的线特征，响应值选取最大值和次大值作为像素点的线方向；
[0030]
ss33、提取2dgabor双方向线特征，定义如以下公式：
[0031][0032]
v1,v2分别为最大响应值与次大响应值的方向k1,k2；
[0033]
ss34、步骤ss32中，需要对纤维内部线条的交叉点识别，从而决定是否删除此方向；具体操作如下：将图像细化，提取目标纤维的骨架，若为线条目标则为白色像素点，若为背景则为黑色；构建3
×
3模板遍历细化的纤维图像内部所有线条，判定在8邻域内像素点[p1，p2，p3，p4，p5，p6，p7，p8]的白色像素值之和是否大于2，若大于2则为交叉点，记录交叉点位置；扫描交叉点处的连通域，连通域是互相连通的白色像素点的集合，此连通域处的交叉线即双方向线；
[0034]
ss35、将所有线条得到的最大值和次大值分别进行平均计算，得到平均2dgabor双方向线特征，对应的维数共2*8*5＝80。
[0035]
进一步地，所述步骤s4还包括以下内容：
[0036]
ss41、对图像进行腐蚀及膨胀处理，设图像为像素矩阵a，腐蚀矩阵b为使b对a进行腐蚀操作，得到c矩阵；设置膨胀矩阵使d对c进行膨胀操作得矩阵e，膨胀和腐蚀都是对矩阵逐像素扫描进行卷积的运算；转换矩阵e为图像，使用逐行扫描的方法扫描图像，直到找到连续区域；从区域的起点开始，沿着它的轮廓对边界像素做标记；处理完这个轮廓后，就从上个位置继续扫描，直到发现新的区域，由此得到纤维轮廓；
[0037]
ss42、利用变长夹角拟合分段曲线；首先遍历曲线，记录起始点c和终点d，曲线记
为cd；设置初始角度θ，固定长度p；以c点开始遍历曲线cd，若ce1等于p，则记录点e1；
[0038]
ss43、搜索点e1至点d，记录点f1，且ce1与cf1的夹角大于θ；
[0039]
ss44、选取曲线ce1f1与直线cf1距离最远的点，记录为s1；
[0040]
ss45、以s1为起点遍历曲线s1d，重复步骤ss42～ss44，得到点s2，
…
，sn；
[0041]
ss46、曲线上的线段分别为cs1，s1s2，
…
，snd；
[0042]
ss47、在单位像素的轮廓线上采样得到标记点d(xi,yi)i＝0,1,2,
…
,n，轮廓线分为n段，则总弦长ln，分段弦长k分别为：
[0043][0044]
ss48、通过分段拟合曲线建立弯曲度特征w，弯曲度指的是分段拟合曲线弧长与总弦长的比，标记点d(xi，yi)i＝0，1，2，
…
，n，设弦长为f
x
，弧长为总弦长ln，则弯曲度w为以下公式：
[0045][0046]
ss49、通过分段拟合曲线建立拟合曲率nq特征，标记点d(xi，yi)处的曲率ki为以下公式：
[0047][0048]
拟合曲率nq为拟合线段上各曲率取绝对值之和，公式如下：
[0049][0050]
ss410、通过分段拟合曲线建立分段弦长角度变化τ特征，标记点d(xi，yi)为曲线上的像素点，d
i+n
和d
i-n
为轮廓线上与di点的距离为n个像素的点，由以下公式得到t
i+n
和t
i-n
向量；通过计算相邻两个分段向量之间的夹角，其中，在1条曲线上的n个像素点，一共计算了n-2n个向量间夹角，将这n-2n个夹角累加求均值，进而求出整个曲线上的分段弦长角度变化τ，公式如下：
[0051][0052]
进一步地，所述步骤s5还包括以下内容：
[0053]
ss51、首先对二值纤维图像腐蚀及膨胀处理后进行填充操作，得到目标的边界，对目标在180
°
范围内旋转，每次旋转角度增量为5
°
，每次旋转记录外接矩形边界点的最大值和最小值；旋转完成后，比较每次旋转后的外接矩形边界点参数，取外接矩形面积最小的四个点，得到纤维目标的最小外接矩形；
[0054]
ss52、计算目标纤维的最小外接矩形的周长，设为t，计算纤维目标的像素点数，像素点数即为纤维的面积a，最小外接矩形致密度u特征如下公式所示：
[0055][0056]
进一步地，所述步骤s6还包括以下内容：
[0057]
ss61、提取到的变量为x
i’(i＝1，2，
…
，m)，样本数为m，对x
i’进行标准化操作：利用下列公式计算最大信息数：
[0058][0059]
其中，b是样本数，这里取b＝m
0.6
，i(x1，x2)表示x1，x2之间的互信息；
[0060]
计算特征变量所有的最大信息数得到矩阵t，t矩阵如下公式所示：
[0061][0062]
ss62、令ty＝λy，得到t的特征值和对应的特征向量{(λ1，y1)，(λ2，y2)
…
(λ
t
，y
t
)，}，其中λ1》λ2》
…
》λ
t
》0，由特征向量组成t个新的特征向量y＝[y1，y2，
…yt
]，即主成分(y1，y2，
…yt
)；
[0063]
ss63、由主成分y1，y2，
…
，yj(j＝1，2，
…
，t)和特征值λ计算累计贡献率gj，计算公式如下公式所示：
[0064][0065]
若gj大于85％，选取主成分组[y1，y2，
…
yj]作为新的主成分矩阵p；
[0066]
ss64、为了增强选取的主成分和原始特征的相关程度，在计算累积贡献率之后引
入复相关系数；分别计算j到t-j的原始特征与主成分组的复相关系数，复相关系数为其中b为对应维数的参数向量；得到从j至t-j的复相关系数f并取其大于0.9的复相关系数，得到主成分个数为k；
[0067]
ss65、得到最终的主成分个数为j+k个，则主成分矩阵记为p
j+k
，x＝xi×
p
j+k
，用主成分矩阵p
j+k
对原始样本矩阵降维，降维后的矩阵x为72
×
m大小的矩阵，维数为72。
[0068]
进一步地，所述步骤s7还包括以下内容：
[0069]
ss71、输入图像的特征向量xi和对应的类别yj，计算person相关系数，公式如下：
[0070][0071]
cov表示协方差，σ是标准差。p
ij
表示特征向量相对于对应类别的重要性。
[0072]
ss72、通过如下公式得到特征向量xi对应的特征值权重，其中q
ij
的取值范围为(0，1)：
[0073][0074]
ss73、融合原特征向量和对应的特征值权重，可得到注意力机制下的特征向量，融合公式如下公式：
[0075]
nx
ij
＝(l+q
ij
)x
ij
。
[0076]
与现有技术相比，本发明的有益效果是：
[0077]
(1)针对纤维内部存在丰富的线条，引入2dgabor滤波器提取纤维的平均2dgabor双向线特征，与传统的gabor滤波器相比提取的特征更高效，识别度更高。
[0078]
(2)针对拟合纤维轮廓的问题，引入变长夹角分段拟合曲线，此方式可避免在曲率较大时出现多折线和角度信息丢失的缺点，更好的逼近曲线；并且在此基础上引入了弯曲度、分段拟合曲率和分段弦长角度变化3个特征值。
[0079]
(3)在纤维的形态方面，引入了新的纤维特征，即最小外接矩形致密度特征。
[0080]
(4)针对提取的纤维特征数据间可能存在非线性以及非函数的关系，融合最大信息数和m-pca的方法对特征数据降维处理，增强了抽取拥有复杂关系特征数据的有效性；其中，m-pca是为了增强选取的主成分和原始特征的相关程度，在计算累积贡献率之后引入复相关系数，从而提升主成分分析的准确性，进而提高了纤维分类精度。
[0081]
(5)引入注意力机制得到特征权重，使特征融合注意力机制后达到了特征增强的效果。
附图说明
[0082]
图1为本发明的采集系统的结构示意图。
[0083]
图2为本发明的基于fpga的图像采集系统的结构示意图。
[0084]
图3为本发明的分类方法的方法流程图。
[0085]
图4为本发明的变长夹角拟合分段曲线方法示意图。
[0086]
图5为本发明的最小外接矩形致密度特征图。
[0087]
其中：
[0088]
图像采集模块1、fifo缓存器2、ddr5控制模块3、图像数据处理模块4、显示器驱动模块5、只读存储器6、i2c接口7、cmos图像传感器8、高清多媒体接口9、存储器10。
具体实施方式
[0089]
为更好地理解本发明的技术方案，以下将结合相关图示作详细说明。应理解，以下具体实施例并非用以限制本发明的技术方案的具体实施态样，其仅为本发明技术方案可采用的实施态样。需先说明，本文关于各组件位置关系的表述，如a部件位于b部件上方，其系基于图示中各组件相对位置的表述，并非用以限制各组件的实际位置关系。
[0090]
实施例1：
[0091]
参见图1-图2，图1绘制了本发明的采集系统的结构示意图。如图所示，一种显微图像采集与处理系统，它包括图像采集模块1、fifo缓存器2、ddr5控制模块3、图像数据处理模块4、显示器驱动模块5、只读存储器6、i2c接口7、cmos图像传感器8、高清多媒体接口9和存储器10，所述cmos图像传感器8连接图像采集模块1，图像采集模块1连接fifo缓存器2，所述fifo缓存器2连接ddr5控制模块3，所述ddr5控制模块3连接存储器10，所述fifo缓存器2连接图像数据处理模块4，所述图像数据处理模块4连接显示器驱动模块5，所述显示器驱动模块5连接高清多媒体接口9，即hdmi，所述只读存储器6连接i2c接口7。
[0092]
所述图像采集模块1可采用1/2.8英寸snoy cmos imx291超宽动态超低照度传感器相机，采用卷帘曝光模式，相机的分辨率为1920*1080，通过i2c总线协议对摄像头进行初始化配置，摄像头对焦工作拍摄采集图像，然后，采集的图像数据通过fifo缓存器不断写入到ddr5 sdram存储器中存储，再经过fifo缓存器读出图像数据，对读出的图像数据进行处理，最后在hdmi上显示采集图像。
[0093]
存储的图像可上传到主机中进行后续处理。
[0094]
参见图3-图5，图3绘制了本发明的分类方法的方法流程图。如图所示，本发明的一种显微图像采集与处理系统的纺织品纤维分类方法，包括以下内容：
[0095]
s1、使用基于fpga(现场可编程门阵列)的图像采集系统采集纺织品纤维样本图像；
[0096]
ss11、采用上述一种显微图像采集与处理系统，使用光源照明待检测纤维，可增加拍摄环境的亮度；采集系统采用1/2.8英寸snoy cmos imx291超宽动态超低照度传感器相机，采用卷帘曝光模式，相机的分辨率为1920*1080；
[0097]
ss12、首先采集系统通过i2c总线协议对摄像头进行初始化配置，摄像头对焦工作拍摄采集图像，然后，采集的图像数据通过fifo缓存器不断写入到ddr5 sdram中存储，再经过fifo缓存器读出图像数据，对读出的图像数据进行处理，最后在hdmi上显示采集图像；存储的图像可上传到主机中进行后续处理。
[0098]
s2、输入待识别的纤维彩色图像，对图像做预处理输出去噪后的灰度图，然后对预处理过的图像通过阈值分割得到二值图像；
[0099]
ss21、输入从相机采集到的大小为72*72像素的待识别纤维彩色图像，对rgb图像灰度化，采用均值滤波器对纤维图像去噪，含噪图像为g(x，y)，设置中心点z为(x，y)，取c
×
c大小的正方形邻域窗口，得到去噪后的图像f(x，y)；构建拉普拉斯算子滤波模板为通过得到锐化后的图像，用拉普拉斯图像锐化增强纤维灰度图像的细节；以上操作为图像的预处理过程；
[0100]
ss22、对预处理过的图像经过otsu单阈值分割法处理，选取最佳灰度级阈值，以此阈值将灰度图中的像素点归类为纤维目标区域和背景区域，纤维目标区域的像素点灰度值设为255，背景区域像素点灰度值设为0，以此得到二值图像。
[0101]
s3、由于纤维图像内部具有丰富的线特征，使用2dgabor滤波器来提取纤维的线特征，先定义一组不同方向的2dgabor滤波器，将这些滤波器和纤维图像卷积后选取响应最大和次大的方向作为纤维的线特征；遍历纤维的线条，将所有线条得到的最大值和次大值分别进行平均计算，得到平均2dgabor双方向线特征；
[0102]
ss31、构建2dgabor滤波器，其定义如以下公式(1)：
[0103][0104]
f是正弦函数的频率，θ控制调节滤波器的方向，q表示相位的偏移，r表示gabor滤波器形状的空间长宽比，不同的r取值为不同的尺度；
[0105]
ss32、设置2d gabor滤波器参数，取12个方向分别为0、30
°
、60
°
、90
°
、120
°
、180
°
、240
°
、300
°
、360
°
；设置中心频率分别为1/16、1/16.5、1/17、1/17.5、1/18；8个尺度分别设置为0.05、0.15、0.25、0.35、0.45、0.55、0.65、0.75；中心像素在不同方向的响应值mk的定义如以下公式(2)：
[0106][0107]
f(x，y)表示当前像素点的灰度值：lk表示同一方向向上多点构成的线，gk是方向为k的2d gabor滤波器；在纤维图像中，背景灰度值低，纤维目标灰度值高，则将响应值较高的方向作为此像素点的线特征；其次，由于纤维图像内部线条具有相交点，纤维线条沿着交叉点有不同方向的延伸，在此基础上采用双方向表示像素的线特征，响应值选取最大值和次大值作为像素点的线方向；
[0108]
ss33、提取2dgabor双方向线特征，定义如以下公式(3)：
[0109][0110]
v1，v2分别为最大响应值与次大响应值的方向k1，k2；
[0111]
ss34、步骤ss32中，需要对纤维内部线条的交叉点识别，从而决定是否删除此方向；具体操作如下：将图像细化，提取目标纤维的骨架，若为线条目标则为白色像素点，若为背景则为黑色；构建3
×
3模板遍历细化的纤维图像内部所有线条，判定在8邻域内像素点[p1，p2，p3，p4，p5，p6，p7，p8]的白色像素值之和是否大于2，若大于2则为交叉点，记录交叉点位置；扫描交叉点处的连通域，连通域是互相连通的白色像素点的集合，此连通域处的交叉
线即双方向线；
[0112]
ss35、将所有线条得到的最大值和次大值分别进行平均计算，得到平均2dgabor双方向线特征，对应的维数共2*8*5＝80。
[0113]
s4、将纤维轮廓作为曲线对象进行检测分析，利用变长夹角构建分段拟合曲线；将曲线分为n段，计算分段弦长和总弦长，在此基础上构建弯曲度、拟合曲率和分段弦长角度变化3个特征；
[0114]
ss41、对图像进行腐蚀及膨胀处理，设图像为像素矩阵a，腐蚀矩阵b为使b对a进行腐蚀操作，得到c矩阵；设置膨胀矩阵使d对c进行膨胀操作得矩阵e，膨胀和腐蚀都是对矩阵逐像素扫描进行卷积的运算；转换矩阵e为图像，使用逐行扫描的方法扫描图像，直到找到连续区域；从区域的起点开始，沿着它的轮廓对边界像素做标记；处理完这个轮廓后，就从上个位置继续扫描，直到发现新的区域，由此得到纤维轮廓；
[0115]
ss42、利用变长夹角拟合分段曲线；参见图4，首先遍历曲线，记录起始点c和终点d，曲线记为cd；设置初始角度θ，固定长度p；以c点开始遍历曲线cd，若ce1等于p，则记录点e1；
[0116]
ss43、搜索点e1至点d，记录点f1，且ce1与cf1的夹角大于θ；
[0117]
ss44、选取曲线ce1f1与直线cf1距离最远的点，记录为s1；
[0118]
ss45、以s1为起点遍历曲线s1d，重复步骤ss42～ss44，得到点s2，
…
，sn；
[0119]
ss46、曲线上的线段分别为cs1，s1s2，
…
，snd；
[0120]
ss47、在单位像素的轮廓线上采样得到标记点d(xi，yi)i＝0，1，2，
…
，n，轮廓线分为n段，则总弦长ln，分段弦长k分别为以下公式(4)：
[0121][0122]
ss48、通过分段拟合曲线建立弯曲度特征w，弯曲度指的是分段拟合曲线弧长与总弦长的比，标记点d(xi，yi)i＝0,1,2,
…
,n，设弦长为f
x
，弧长为总弦长ln，则弯曲度w为以下公式(5)：
[0123][0124]
ss49、通过分段拟合曲线建立拟合曲率nq特征，标记点d(xi，yi)处的曲率ki为以下公式(6)：
[0125][0126]
拟合曲率nq为拟合线段上各曲率取绝对值之和，公式如下：
[0127][0128]
ss410、通过分段拟合曲线建立分段弦长角度变化τ特征，标记点d(xi，yi)为曲线上的像素点，d
i+n
和d
i-n
为轮廓线上与di点的距离为n个像素的点，由公式(8)得到t
i+n
和t
i-n
向量；通过计算相邻两个分段向量之间的夹角，其中，在1条曲线上的n个像素点，一共计算了n-2n个向量间夹角，将这n-2n个夹角累加求均值，进而求出整个曲线上的分段弦长角度变化τ，如下公式(8)：
[0129][0130]
s5、计算纤维的最小外接矩形和纤维面积，提取最小外接矩形致密度特征；
[0131]
ss51、首先对二值纤维图像腐蚀及膨胀处理后进行填充操作，得到目标的边界，对目标在180
°
范围内旋转，每次旋转角度增量为5
°
，每次旋转记录外接矩形边界点的最大值和最小值；旋转完成后，比较每次旋转后的外接矩形边界点参数，取外接矩形面积最小的四个点，得到纤维目标的最小外接矩形；
[0132]
ss52、计算目标纤维的最小外接矩形的周长，设为t，计算纤维目标的像素点数，像素点数即为纤维的面积a，最小外接矩形致密度u特征如下公式(9)所示：
[0133][0134]
s6、提取s3～s5中的特征向量，将特征数据通过融合最大信息数和m-pca(多线性主成分分析)方法进行降维处理；
[0135]
ss61、提取到的变量为x
i’(i＝1，2，
…
，m)，样本数为m，对x
i’进行标准化操作：利用下列公式(10)计算最大信息数：
[0136][0137]
其中，b是样本数，这里取b＝m
0.6
，i(x1，x2)表示x1，x2之间的互信息；
[0138]
计算特征变量所有的最大信息数得到矩阵t，t矩阵如下公式(11)所示：
[0139][0140]
ss62、令ty＝λy，得到t的特征值和对应的特征向量{(λ1，y1)，(λ2，y2)
…
(λ
t
，y
t
)，}，其中λ1》λ2》
…
》λ
t
》0，由特征向量组成t个新的特征向量y＝[y1，y2，
…yt
]，即主成分(y1，y2，
…yt
)；
[0141]
ss63、由主成分y1，y2，
…
，yj(j＝1，2，
…
，t)和特征值λ计算累计贡献率gj，计算公式如下公式(12)所示：
[0142][0143]
若gj大于85％，选取主成分组[y1，y2，
…
yj]作为新的主成分矩阵p；
[0144]
ss64、为了增强选取的主成分和原始特征的相关程度，在计算累积贡献率之后引入复相关系数；分别计算j到t-j的原始特征与主成分组的复相关系数，复相关系数
[0145]
得到从j至t-j的复相关系数f并取其大于0.9的复相关系数，得到主成分个数为k；
[0146]
ss65、得到最终的主成分个数为j+k个，则主成分矩阵记为p
j+k
，x＝xi×
p
j+k
，用主成分矩阵p
j+k
对原始样本矩阵降维，降维后的矩阵x为72
×
m大小的矩阵，维数为72。
[0147]
s7、对降维后的特征向量使用注意力机制进行权重分配，计算纤维类别和特征值变量之间的相关系数，得到pearson相关系数；输入pearson相关系数到映射函数中，输出原特征值映射的优化权重，最终将权重结合原特征向量输出新的特征向量；
[0148]
ss71、输入图像的特征向量xi和对应的类别yj，计算person相关系数，公式如下：
[0149][0150]
cov表示协方差，σ是标准差。p
ij
表示特征向量相对于对应类别的重要性。
[0151]
ss72、通过如下公式(14)得到特征向量xi对应的特征值权重，其中q
ij
的取值范围为(0，1)：
[0152][0153]
ss73、融合原特征向量和对应的特征值权重，可得到注意力机制下的特征向量，融合公式如下公式(15)：
[0154]
nx
ij
＝(l+q
ij
)x
ij (15)。
[0155]
s8、将特征向量输入到决策树svm中训练；
[0156]
ss81、制作纤维数据集，将纤维分为莫代尔棉、粘纤棉、亚麻棉，分别打上1、2、3的数字标签；在200幅纤维图像中选取70％作为训练集，30％作为测试集，将特征向量输入决策树svm分类模型训练；训练过程主要为：先将标签为1的纤维类别归为正类，其他为负类，在此基础上将标签为2的纤维归为正类，标签为3的归为负类，由此实现纤维的多分类功能；svm的惩罚参数c取1，考虑到样本数大于特征维数，采用效果较稳定的高斯核函数取0.05。
[0157]
以上仅是本发明的具体应用范例，对本发明的保护范围不构成任何限制。凡采用等同变换或者等效替换而形成的技术方案，均落在本发明权利保护范围之内。

技术特征：
1.一种显微图像采集与处理系统，其特征在于：它包括图像采集模块(1)、fifo缓存器(2)、ddr5控制模块(3)、图像数据处理模块(4)、显示器驱动模块(5)、只读存储器(6)、i2c接口(7)、cmos图像传感器(8)、高清多媒体接口(9)和存储器(10)，所述cmos图像传感器(8)连接图像采集模块(1)，图像采集模块(1)连接fifo缓存器(2)，所述fifo缓存器(2)连接ddr5控制模块(3)，所述ddr5控制模块(3)连接存储器(10)，所述fifo缓存器(2)连接图像数据处理模块(4)，所述图像数据处理模块(4)连接显示器驱动模块(5)，所述显示器驱动模块(5)连接高清多媒体接口(9)，所述只读存储器(6)连接i2c接口(7)。2.根据权利要求1所述的一种显微图像采集与处理系统，其特征在于：所述图像采集模块(1)可采用超宽动态超低照度传感器相机，采用卷帘曝光模式。3.一种权利要求1所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于，包括以下内容：s1、使用基于fpga的图像采集系统采集纺织品纤维样本图像；s2、输入待识别的纤维彩色图像，对图像做预处理输出去噪后的灰度图，对预处理过的图像通过阈值分割得到二值图像；s3、由于纤维图像内部具有丰富的线特征，使用2dgabor滤波器来提取纤维的线特征，先定义一组不同方向的2dgabor滤波器，将这些滤波器和纤维图像卷积后选取响应最大和次大的方向作为纤维的线特征；遍历纤维的线条，将所有线条得到的最大值和次大值分别进行平均计算，得到平均2dgabor双方向线特征；s4、将纤维轮廓作为曲线对象进行检测分析，利用变长夹角构建分段拟合曲线；将曲线分为n段，计算分段弦长和总弦长，在此基础上构建弯曲度、拟合曲率和分段弦长角度变化3个特征；s5、计算纤维的最小外接矩形和纤维面积，提取最小外接矩形致密度特征；s6、提取步骤s3～s5中的特征向量，将特征数据通过融合最大信息数和m-pca方法进行降维处理；s7、对降维后的特征向量使用注意力机制进行权重分配；计算纤维类别和特征值变量之间的相关系数，得到pearson相关系数；输入pearson相关系数到映射函数中，输出原特征值映射的优化权重，最终将权重结合原特征向量输出新的特征向量；s8、将特征向量输入到决策树svm中训练。4.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于：所述步骤s1还包括以下内容：首先采集系统通过i2c总线协议对摄像头进行初始化配置，摄像头对焦工作拍摄采集图像，然后，采集的图像数据通过fifo缓存器不断写入到ddr5 sdram中存储，再经过fifo缓存器读出图像数据，对读出的图像数据进行处理，最后在hdmi上显示采集图像；存储的图像可上传到主机中进行后续处理。5.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于：所述步骤s2还包括以下内容：ss21、输入从相机采集到的大小为72*72像素的待识别纤维彩色图像，对rgb图像灰度化，采用均值滤波器对纤维图像去噪，含噪图像为g(x，y)，设置中心点z为(x，y)，取c
×
c大小的正方形邻域窗口，得到去噪后的图像f(x，y)；构建拉普拉斯算子
▽2f(x，y)，滤波模板
为通过f(x，y)
‑▽2f(x，y)得到锐化后的图像，用拉普拉斯图像锐化增强纤维灰度图像的细节；以上操作为图像的预处理过程；ss22、对预处理过的图像经过otsu单阈值分割法处理，选取最佳灰度级阈值，以此阈值将灰度图中的像素点归类为纤维目标区域和背景区域，纤维目标区域的像素点灰度值设为255，背景区域像素点灰度值设为0，以此得到二值图像。6.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于：所述步骤s3还包括以下内容：ss31、构建2dgabor滤波器，其定义如以下公式：f是正弦函数的频率，θ控制调节滤波器的方向，q表示相位的偏移，r表示gabor滤波器形状的空间长宽比，不同的r取值为不同的尺度；ss32、设置2d gabor滤波器参数，取12个方向分别为0、30
°
、60
°
、90
°
、120
°
、180
°
、240
°
、300
°
、360
°
；设置中心频率分别为1/16、1/16.5、1/17、1/17.5、1/18；8个尺度分别设置为0.05、0.15、0.25、0.35、0.45、0.55、0.65、0.75；中心像素在不同方向的响应值m
k
的定义如以下公式：f(x，y)表示当前像素点的灰度值：l
k
表示同一方向向上多点构成的线，g
k
是方向为k的2d gabor滤波器；在纤维图像中，背景灰度值低，纤维目标灰度值高，则将响应值较高的方向作为此像素点的线特征；其次，由于纤维图像内部线条具有相交点，纤维线条沿着交叉点有不同方向的延伸，在此基础上采用双方向表示像素的线特征，响应值选取最大值和次大值作为像素点的线方向；ss33、提取2dgabor双方向线特征，定义如以下公式：v1,v2分别为最大响应值与次大响应值的方向k1,k2；ss34、步骤ss32中，需要对纤维内部线条的交叉点识别，从而决定是否删除此方向；具体操作如下：将图像细化，提取目标纤维的骨架，若为线条目标则为白色像素点，若为背景则为黑色；构建3
×
3模板遍历细化的纤维图像内部所有线条，判定在8邻域内像素点[p1，p2，p3，p4，p5，p6，p7，p8]的白色像素值之和是否大于2，若大于2则为交叉点，记录交叉点位置；扫描交叉点处的连通域，连通域是互相连通的白色像素点的集合，此连通域处的交叉线即双方向线；ss35、将所有线条得到的最大值和次大值分别进行平均计算，得到平均2dgabor双方向线特征，对应的维数共2*8*5＝80。7.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特
征在于：所述步骤s4还包括以下内容：ss41、对图像进行腐蚀及膨胀处理，设图像为像素矩阵a，腐蚀矩阵b为使b对a进行腐蚀操作，得到c矩阵；设置膨胀矩阵使d对c进行膨胀操作得矩阵e，膨胀和腐蚀都是对矩阵逐像素扫描进行卷积的运算；转换矩阵e为图像，使用逐行扫描的方法扫描图像，直到找到连续区域；从区域的起点开始，沿着它的轮廓对边界像素做标记；处理完这个轮廓后，就从上个位置继续扫描，直到发现新的区域，由此得到纤维轮廓；ss42、利用变长夹角拟合分段曲线；首先遍历曲线，记录起始点c和终点d，曲线记为cd；设置初始角度θ，固定长度p；以c点开始遍历曲线cd，若ce1等于p，则记录点e1；ss43、搜索点e1至点d，记录点f1，且ce1与cf1的夹角大于θ；ss44、选取曲线ce1f1与直线cf1距离最远的点，记录为s1；ss45、以s1为起点遍历曲线s1d，重复步骤ss42～ss44，得到点s2，
…
，s
n
；ss46、曲线上的线段分别为cs1，s1s2，
…
，s
n
d；ss47、在单位像素的轮廓线上采样得到标记点d(x
i
，y
i
)i＝0，1，2，
…
，n，轮廓线分为n段，则总弦长l
n
，分段弦长k分别为：ss48、通过分段拟合曲线建立弯曲度特征w，弯曲度指的是分段拟合曲线弧长与总弦长的比，标记点d(x
i
，y
i
)i＝0，1，2，
…
，n，设弦长为f
x
，弧长为总弦长l
n
，则弯曲度w为以下公式：ss49、通过分段拟合曲线建立拟合曲率nq特征，标记点d(x
i
，y
i
)处的曲率k
i
为以下公式：拟合曲率nq为拟合线段上各曲率取绝对值之和，公式如下：
ss410、通过分段拟合曲线建立分段弦长角度变化τ特征，标记点d(x
i
，y
i
)为曲线上的像素点，d
i+n
和d
i-n
为轮廓线上与d
i
点的距离为n个像素的点，由以下公式得到t
i+n
和t
i-n
向量；通过计算相邻两个分段向量之间的夹角，其中，在1条曲线上的n个像素点，一共计算了n-2n个向量间夹角，将这n-2n个夹角累加求均值，进而求出整个曲线上的分段弦长角度变化τ，公式如下：8.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于：所述步骤s5还包括以下内容：ss51、首先对二值纤维图像腐蚀及膨胀处理后进行填充操作，得到目标的边界，对目标在180
°
范围内旋转，每次旋转角度增量为5
°
，每次旋转记录外接矩形边界点的最大值和最小值；旋转完成后，比较每次旋转后的外接矩形边界点参数，取外接矩形面积最小的四个点，得到纤维目标的最小外接矩形；ss52、计算目标纤维的最小外接矩形的周长，设为t，计算纤维目标的像素点数，像素点数即为纤维的面积a，最小外接矩形致密度u特征如下公式所示：9.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于：所述步骤s6还包括以下内容：ss61、提取到的变量为x
i’(i＝1，2，
…
，m)，样本数为m，对x
i’进行标准化操作：利用下列公式计算最大信息数：其中，b是样本数，这里取b＝m
0.6
，i(x1，x2)表示x1，x2之间的互信息；计算特征变量所有的最大信息数得到矩阵t，t矩阵如下公式所示：
ss62、令ty＝λy，得到t的特征值和对应的特征向量{(λ1，y1)，(λ2，y2)
…
(λ
t
，y
t
)，}，其中λ1>λ2>
…
>λ
t
>0，由特征向量组成t个新的特征向量y＝[y1，y2，
…
y
t
]，即主成分(y1，y2，
…
y
t
)；ss63、由主成分y1，y2，
…
，y
j
(j＝1，2，
…
，t)和特征值λ计算累计贡献率g
j
，计算公式如下公式所示：若g
j
大于85％，选取主成分组[y1，y2，
…
y
j
]作为新的主成分矩阵p；ss64、为了增强选取的主成分和原始特征的相关程度，在计算累积贡献率之后引入复相关系数；分别计算j到t-j的原始特征与主成分组的复相关系数，复相关系数为其中b为对应维数的参数向量；得到从j至t-j的复相关系数f并取其大于0.9的复相关系数，得到主成分个数为k；ss65、得到最终的主成分个数为j+k个，则主成分矩阵记为p
j+k
，x＝x
i
×
p
j+k
，用主成分矩阵p
j+k
对原始样本矩阵降维，降维后的矩阵x为72
×
m大小的矩阵，维数为72。10.根据权利要求3所述的一种显微图像采集与处理系统的纺织品纤维分类方法，其特征在于：所述步骤s7还包括以下内容：ss71、输入图像的特征向量x
i
和对应的类别y
j
，计算person相关系数，公式如下：cov表示协方差，σ是标准差。p
ij
表示特征向量相对于对应类别的重要性。ss72、通过如下公式得到特征向量x
i
对应的特征值权重，其中q
ij
的取值范围为(0，1)：ss73、融合原特征向量和对应的特征值权重，可得到注意力机制下的特征向量，融合公式如下公式：nx
ij
＝(1+q
ij
)x
ij
。

技术总结
本发明涉及的一种显微图像采集与处理系统及其纺织品纤维分类方法，它包括图像采集模块、FIFO缓存器、DDR5控制模块、图像数据处理模块、显示器驱动模块、只读存储器、I2C接口、CMOS图像传感器、高清多媒体接口和存储器，所述CMOS图像传感器连接图像采集模块，图像采集模块连接FIFO缓存器，所述FIFO缓存器连接DDR5控制模块，所述DDR5控制模块连接存储器，所述FIFO缓存器连接图像数据处理模块，所述图像数据处理模块连接显示器驱动模块，所述显示器驱动模块连接高清多媒体接口，所述只读存储器连接I2C接口。本发明增强了抽取拥有复杂关系特征数据的有效性，进而提高了SVM分类模型对纤维的分类精度。维的分类精度。维的分类精度。


技术研发人员：刘艳 邱星伟 袁裕禄 钱蕾 刘佳 马国军 仲重光
受保护的技术使用者：江苏澄信检验检测认证股份有限公司
技术研发日：2023.07.26
技术公布日：2023/10/6