基于卷积自编码器和随机森林算法的污泥含水率检测方法与流程

1.本发明属于环境保护技术领域，涉及一种污泥含水率检测方法，特别是涉及一种基于卷积自编码器和随机森林算法的污泥含水率检测方法。


背景技术：

2.随着我国城镇污水处理规模的提升，市政污泥产量也相应逐年增加，污泥已经成为制约城市水环境治理保护工作的重大问题，污泥能否得到妥善处理处置逐渐引起了全社会的广泛关注。污泥处理处置中常见的技术工艺路线主要包括：厌氧消化、好氧堆肥、干化焚烧及土地利用等。国家颁布的一系列处理处置标准中都对污泥的含水率提出了规定，过高的含水率不利于后续处理处置工艺的运行，也不能满足污泥减量化处理处置的要求。
3.现有污泥含水率测量方法主要参考《城市污水处理厂污泥检验方法》(cj/t 211-2005),采用加热烘干的方法使得污泥中水分蒸发，对烘干前后的污泥进行称重，就可以计算污泥的含水率。但是，该方法操作较为繁琐复杂，需要采用加热烘干、称重对比等方法进行处理；同时也需要专业技术人员在配备了一定硬件条件的实验室内进行，且测量过程耗时较长，就导致检测效率低下且重复性工作导致劳动强度较大，不利于污泥含水率的快速检测。


技术实现要素：

4.鉴于以上所述现有技术的缺点，本技术的目的在于提供一种基于卷积自编码器和随机森林算法的污泥含水率检测方法，用于解决现有技术在污泥含水率检测技术实现的过程中，由于对污泥含水率检测需要采用加热烘干、称重对比等方法进行处理，同时对硬件条件限制较多，且测量时间过长，而导致检测效率低下且劳动强度较大等问题。
5.为实现上述目的及其他相关目的，第一方面，本技术提供一种基于卷积自编码器和随机森林算法的污泥含水率检测方法，包括以下步骤：获取污泥样品和污泥样品图像，检测污泥样品含水率，并构建污泥样品图像数据库；基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集；基于所述样本数据集，采用随机森林算法构建污泥含水率检测模型；基于所述污泥含水率检测模型对新所述污泥样品的含水率进行检测。
6.在第一方面的一种实现方式中，获取污泥样品和污泥样品图像，检测污泥样品含水率，并构建污泥样品图像数据库包括以下步骤：获取不同含水率的污泥样品图像，同时检测污泥样品的含水率；对所述污泥样品图像进行预处理，获取灰度图像数据，以构建待检测的污泥样品图像数据库。
7.在第一方面的一种实现方式中，对所述污泥样品图像进行预处理包括：格式转换、像素调整和灰度化处理。
8.在第一方面的一种实现方式中，所述灰度化处理的计算公式为：
[0009][0010]
其中，gray表示为灰度化处理后得到的污泥样品灰度图像的灰度值；r、g、b分别表示污泥样品图像的png格式中的三原色的色值。
[0011]
在第一方面的一种实现方式中，所述卷积自编码器包括编码器和解码器；基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集包括以下步骤：基于所述编码器对所述污泥样品图像数据库中的污泥样品图像进行编码处理，以获取所述污泥样品图像的特征编码数据；基于所述解码器对所述特征编码数据进行解码处理，以获取重构图像矩阵；基于所述重构图像矩阵，构建所述污泥样品图像的样本数据集。
[0012]
在第一方面的一种实现方式中，所述编码器包括若干个卷积层、批处理正则化层、池化层、平整化层和全连接层：所述卷积层之间通过所述批处理正则化层和激活函数相连接，用于提取图像特征；所述池化层与所述卷积层相连接，用于降低图像特征维度，以生成图像特征数据；所述平整化层用于扁平化处理所述图像特征数据；所述全连接层用于生成图像特征编码数据。
[0013]
在第一方面的一种实现方式中，所述解码器包括若干个卷积层、批处理正则化层、池化层、平整化层和全连接层；所述解码器与所述编码器内部架构相同，但连接顺序相反。
[0014]
在第一方面的一种实现方式中，将所述图像特征编码数据输入所述解码器中，生成与所述污泥样品图像数据库中的维度信息完全一致的重构图像矩阵，完成所述污泥样品图像的去噪过程。
[0015]
在第一方面的一种实现方式中，所述样本数据集包括训练数据集和测试数据集；所述训练数据集用于训练所述污泥含水率检测模型；所述测试数据集用于对所述污泥含水率检测模型进行性能评估。
[0016]
在第一方面的一种实现方式中，所述基于卷积自编码器和随机森林算法的污泥含水率检测方法还包括：基于所述污泥含水率检测模型，与污泥样品图像预处理、污泥样品图像特征提取和降噪模型进行统一封装，得到封装后的模型；将新的所述污泥样品图像输入所述封装后的模型，以获取新污泥样品含水率的预测值。
[0017]
第二方面，本技术提供一种基于卷积自编码器和随机森林算法的污泥含水率检测系统，包括：获取模块，用于获取污泥样品图像，并构建污泥样品图像数据库；特征提取模块，用于基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集；预测模块，用于基于所述样本数据集，采用随机森林算法构建污泥含水率检测模型；检测模块，用于基于所述污泥含水率检测模型对新的所述污泥样品的含水率进行检测。
[0018]
最后一方面，本技术提供一种基于卷积自编码器和随机森林算法的污泥含水率检测装置，包括：处理器及存储器。所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于卷积自编码器和随机森林算法的污泥含水率检测装置执行所述基于卷积自编码器和随机森林算法的污泥含水率检测方法。
[0019]
如上所述，本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法，具有以下有益效果：
[0020]
(1)本技术提供了一种基于卷积自编码器和随机森林算法的污泥含水率检测方法，相比于传统污泥含水率检测技术，本发明能够实现对待检测样本的快速分析，避免了传统方法对于实验室硬件条件和专业检测人员能力的依赖，可以灵活部署，能够低成本、高效率的检测污泥含水率。
[0021]
(2)本技术充分考虑到不同拍照设备和拍摄条件对于待检测样品图像的影响，提出了一种基于灰度化的预处理方法，通过对污泥样品的图像进行格式转换、像素调整和灰度化处理，降低了图像清晰度、亮度、饱和度等因素对于与污泥含水率相关特征的影响。
[0022]
(3)本技术采用卷积自编码器进一步提取了污泥样品图像中的关键特征信息，相比直接采用灰度图像矩阵进行模型训练和预测，采用卷积自编码器生成的重构图像矩阵，能够减少模型训练过程中图像中噪声信号的影响，进一步提高模型的训练速度和准确率。
[0023]
(4)本技术利用随机森林回归算法训练模型，通过平均决策树，能够降低过拟合的风险性；此外训练得到的模型非常稳定，数据集中出现了少量异常点不会对模型产生过多影响，而且卷积自编码器生成的重构图像矩阵能够降低数据集中样本内的噪声信号，有助于降低随机森林训练过程中因噪声信号而过拟合的风险。
附图说明
[0024]
图1显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法于一实施例中的流程示意图。
[0025]
图2显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法于一实施例中的应用场景示意图。
[0026]
图3a显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的s11的流程示意图。
[0027]
图3b显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的不同含水率污泥样品原始图像。
[0028]
图3c显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的污泥样品原始图像预处理后的灰度图像。
[0029]
图4显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的s12的流程示意图。
[0030]
图5显示为本发明的基于卷积自编码器构建的污泥图像特征提取和降噪模型的结构示意图。
[0031]
图6显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的污泥样品重构图像。
[0032]
图7显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的基于随机森林算法的污泥含水率检测模型结构示意图。
[0033]
图8显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测系统于一实施例中的原理结构示意图。
[0034]
图9显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测装置于
一实施例中的原理结构示意图。
[0035]
元件标号说明
[0036]
81获取模块
[0037]
82特征提取模块
[0038]
83预测模块
[0039]
84检测模块
[0040]
91处理器
[0041]
92存储器
[0042]
s11～s14步骤
具体实施方式
[0043]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0044]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0045]
下面将结合本技术实施例中的附图，对本技术实施例中所提供的基于卷积自编码器和随机森林算法的污泥含水率检测方法进行详细描述。
[0046]
请参阅图1和图2，分别显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法于一实施例中的流程示意图和本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法于一实施例中的应用场景示意图。如图1和图2所示，本实施例提供一种基于卷积自编码器和随机森林算法的污泥含水率检测方法。
[0047]
所述基于卷积自编码器和随机森林算法的污泥含水率检测方法具体包括以下步骤：
[0048]
s11，获取污泥样品和污泥样品图像，检测污泥样品含水率，并构建污泥样品图像数据库。请参阅图3a，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的s11的流程示意图。如图3a所示，所述s11包含以下步骤：
[0049]
s111，检测污泥样品的含水率，同时获取不同含水率的污泥样品图像。
[0050]
请参阅图3b，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的不同含水率污泥样品原始图像。
[0051]
本实施例中，采用加热称重法对污泥样品的含水率进行检测；即：通过对污泥样品进行加热，测定加热过程中损失的水分重量，来计算出污泥含水率。同时，通过便携式拍照设备，如：手机摄像头等，对污泥样品进行拍摄污泥样品图像。
[0052]
具体地，在污水或者污泥处理厂采集不同含水率的污泥样品，并对收集到的样品进行拍照，获取污泥样品图像。随后将污泥样品送到厂内实验室检测污泥含水率，并根据污
泥含水率检测结果对污泥样品图像进行标注，获取污泥样品的含水率从48％到75％不等。其中，含水率为48％的污泥干化程度较高，含水率为75％的污泥为离心机或带式脱水机中新产出的脱水污泥。
[0053]
需要注意的是，在拍摄污泥样品图像时，需要在待检测或取样的污泥表面0.5m-1m处，采用便携式拍照设备(如：手机摄像头、数码相机等设备)对污泥样品进行拍照，拍照前应检查污泥是否经过长期堆放使得表面水分蒸发，导致表面含水率低于实际含水率。对于干化设备或者脱水设备中新产出的污泥，可直接进行采样和拍照获取样品和图像，而对于长期堆放或陈化的污泥，则需要移除表层1cm-2cm的较为干燥的污泥，再对内部进行取样和拍照，最后得到污泥样品图像。
[0054]
s112，对所述污泥样品图像进行预处理，获取灰度图像数据，以构建待检测的污泥样品图像数据库。请参阅图3c，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的污泥样品原始图像预处理后的灰度图像。
[0055]
为了增强模型的准确性和降低过拟合风险，需要对污泥样品图像进行预处理。
[0056]
本实施例中，对污泥样品图像进行预处理包括：格式转换、像素调整和灰度化处理。即：将原始污泥样品图像矩阵数据转换成png格式的图像，并将图像像素调整为800*600，再采用灰度化算法将污泥样品图像转为灰度图像。
[0057]
具体地，对污泥样品图像进行格式转换，是由于不同设备获取的污泥样品图像的格式可能存在较大差异。因此，需要对不同格式的污泥样品图像进行格式转换，统一转化为png格式。
[0058]
对污泥样品图像进行格式转换，主要是考虑到图像数据库数量较大的原因。所以，可采用python中pil图像处理库中相关工具进行批量化处理，调整图像格式为png，将图像像素调整为800*600。
[0059]
然后，采用灰度计算公式对污泥样品图像进行灰度化处理。其中，灰度化处理的计算公式为：
[0060][0061]
其中，gray表示为灰度化处理后得到的污泥样品灰度图像的灰度值；r、g、b分别表示污泥样品图像的png格式中的三原色的色值。
[0062]
最后，根据获得的污泥样品灰度图像，构建污泥样品图像数据库。
[0063]
s12，基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集。请参阅图4，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的s12的流程示意图。如图4所示，所述s12包含以下步骤：
[0064]
s121，基于所述编码器对所述污泥样品图像数据库进行数据处理，以提取所述污泥样品图像的图像特征。请参阅图5，显示为本发明的基于卷积自编码器构建的污泥图像特征提取和降噪模型的结构示意图。如图5所示，本实施例中，所述卷积自编码器包括：编码器和解码器。
[0065]
基于卷积自编码器和所述污泥样品图像数据库获取所述污泥样品图像的样本数
据集包括以下步骤：所述编码器包括：若干个卷积层、批处理正则化层、池化层、平整化层和全连接层。所述卷积层之间通过所述批处理正则化层和激活函数相连接，用于提取图像特征；所述池化层与所述卷积层相连接，用于降低图像特征维度，以生成图像特征数据；所述平整化层用于扁平化处理所述图像特征数据；所述全连接层用于生成图像特征编码数据。
[0066]
具体地，进一步通过卷积自编码器提取灰度图像中的重要特征和降低拍照过程中可能引入的光照差距和斑影等噪声信号对于模型的影响。因此，基于pytorch构建卷积自编码器，包含有编码器和解码器。
[0067]
编码器对步骤s11中生成的污泥样品灰度图像数据进行处理。其中，编码器中包含有3个卷积层conv，3个批处理正则化层batchnorm、3个池化层pooling、1个平整化层flatten和1个全连接层fc。
[0068]
在编码器中，污泥样品灰度图像的灰度值构成的矩阵，逐次通过3个卷积层conv、池化层pooling和批处理正则化层batch_norm构成的特征提取层，能够更好的提取翻译污泥含水率相关的特征，如：颗粒度，流态，质地等等。然后，生成的特征图像数据经过平整化层flatten和全连接层fc，生成图像特征编码数据。其中，卷积层conv1到conv3主要用于提取灰度图像中的指定特征，能够更好的将反映污泥含水率的图像特征提取出来。每个卷积层之间通过批处理正则化层和relu激活函数相连接。批处理正则化层batchnorm1到batchnorm3可以有效提升卷积自编码器内的神经网络结构在训练时的稳定性，并增强卷积层conv1到conv3对含水率相关特征的提取能力。
[0069]
本实施例中，在编码器的每个卷积层后，均使用了池化层，降低了输入维度和过拟合的风险。在池化层pooling3后生成的特征图像数据，再经过平整化层flatten扁平化处理，最后再经过一个全连接层fc生成图像特征编码数据。
[0070]
s122，基于所述解码器对所述特征编码数据进行扁平化处理，以获取重构图像矩阵。
[0071]
本实施例中的解码器具有与编码器相同的架构，但是连接顺序相反。解码器的输入为编码器最终生成的图像特征编码数据，然后解码器根据输入生成一个与图像数据库中的原始的灰度图像矩阵维度信息完全一致的重构图像矩阵。该重构图像数据相比原始的灰度图像矩阵，噪声信息被去除，保留了关键特征。
[0072]
具体地，在解码器中，根据编码器生成的编码，按照与编码器相反的流程，重新产生于灰度图像尺寸完全一致的重构图像。即：将图像特征编码数据输入解码器中，生成与污泥样品图像数据库中的维度信息完全一致的重构图像矩阵，完成污泥样品图像的特征提取和去噪。该过程是通过基于卷积自编码器训练得到的污泥图像特征提取和降噪模型来实现的。
[0073]
其中，对于污泥图像特征提取和降噪模型，其训练过程中，采用原始的灰度图像矩阵与重构图像矩阵的均方误差(mse)作为损失函数，优化过程采用了adam优化器。
[0074]
s123，基于所述重构图像矩阵，构建所述污泥样品图像的样本数据集。请参阅图6，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的污泥样品重构图像。
[0075]
本实施例中，污泥图像特征提取和降噪模型将原始污泥样品图像数据库处理生成重构图像数据库，将该数据库中各重构图像矩阵与对应污泥样品的含水率数值组合，就构
成一个样本。污泥样品图像数据库可通过该模型转变为样本数据集，样本数据集包括：训练数据集和测试数据集。
[0076]
s13，基于所述样本数据集获取污泥含水率检测模型。请参阅图7，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测方法中的基于随机森林算法的污泥含水率检测模型结构示意图。
[0077]
本实施例中，采用随机森林回归算法，基于样本数据集搭建污泥含水率检测模型。其中，样本数据集包括：训练数据集和测试数据集；训练数据集用于训练污泥含水率检测模型；测试数据集用于对污泥含水率检测模型进行性能评估。
[0078]
具体地，由于生成的重构图像结合污泥含水率标签，可以构成样本数据集。采用随机森林回归算法，基于样本数据集，就可以训练得到污泥含水率检测模型。为了验证模型在处理新样本时的性能，在模型训练前，将样本数据集按照7：3的比例划分为训练数据集和测试数据集，训练数据集用于模型的训练，测试数据集用于检验模型在新数据上的准确率。为保证训练效果，训练数据集中样本的数量保证在100以上。随机森林算法中决策树的数量设置与训练数据集中样本数量相关，当训练数据集中样本数量在100-200左右时，决策树的数量为100，而当训练数据集中样本数量在200以上时，决策树的数量可设置为样本数量的50％，但最多不宜超过250，避免模型训练时间过长。最后得到污泥样品含水率检测模型。
[0079]
例如：请继续参阅图7。将重构图像输入至不同的决策树。当输入决策树1时，能够得到一个预测值；当输入决策树2时，能够得到另一个预测值。依次类推，最终可以得到若干个不同的预测值。然后，再将得到的若干预测值进行数值处理(如：求均值或中位数等不同的处理方法，此方法并不局限于某一种或几种的组合)，最终能够得到一个接近于真实值的含水率数据。
[0080]
s14，基于所述污泥含水率检测模型对新的污泥含水率进行检测。
[0081]
基于污泥含水率检测模型，与污泥样品图像预处理、污泥样品图像特征提取和降噪模型进行统一封装，得到封装后的模型；将新的污泥样品图像输入封装后的模型，以获取新污泥样品含水率的预测值。
[0082]
具体地，在污泥含水率检测模型训练完成后，可以与预处理模型，特征提取和降噪模型，和污泥含水率预测模型共同封装，灵活部署在移动端或者网页端。在使用时，获取新的污泥样品并对其拍照，得到的图像输入到封装后的模型中，就可以得到对当前污泥样品含水率的预测值。
[0083]
需注意的是，工作人员基于python的pil图像处理库开发图像预处理模型，基于pytorch库构建卷积自编码器来生成特征提取与降噪模型，基于scikit-learn库构建污泥含水率预测模型。
[0084]
本技术提供的基于卷积自编码器和随机森林算法的污泥含水率检测方法，具有检测速度快、检测精度高、可在移动端灵活部署等特点，对使用人员的专业及经验要求低，无需相关实验仪器，相比传统实验方法，能够对污泥样品含水率进行快速评估。
[0085]
本技术实施例所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本技术的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本技术的保护范围内。
[0086]
本实施例另外还提供一种计算机可读存储介质，其上存储有计算机程序，该程序
被处理器执行时实现如图1所述基于卷积自编码器和随机森林算法的污泥含水率检测方法。
[0087]
在任何可能的技术细节结合层面，本技术可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本技术的各个方面的计算机可读程序指令。
[0088]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0089]
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本技术操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本技术的各个方面。
[0090]
本技术实施例还提供一种基于卷积自编码器和随机森林算法的污泥含水率检测系统，所述基于卷积自编码器和随机森林算法的污泥含水率检测系统可以实现本技术所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，但本技术所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法的实现装置包括但不限于本实施例列举的基于卷积自编码器和随机森林算法的污泥含水率检测系统的结构，凡是根据本技术的原理所做的现有技术的结构变形和替换，都包括在本技术的保护范围内。
[0091]
以下将结合图示对本实施例所提供的基于卷积自编码器和随机森林算法的污泥
含水率检测系统进行详细描述。
[0092]
本实施例提供一种基于卷积自编码器和随机森林算法的污泥含水率检测系统，包括：
[0093]
请参阅图8，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测系统于一实施例中的原理结构示意图。如图8所示，所述基于卷积自编码器和随机森林算法的污泥含水率检测系统包括：获取模块81、模型搭建模块82和检测模块83。
[0094]
所述获取模块81用于获取污泥样品及其图像，检测污泥样品含水率，并构建污泥样品图像数据库。
[0095]
检测污泥样品的含水率，同时获取不同含水率的污泥样品图像。
[0096]
本实施例中，采用加热称重法对污泥样品的含水率进行检测；即：通过对污泥样品进行加热，测定加热过程中损失的水分重量，来计算出污泥含水率。同时，通过便携式拍照设备，如：手机摄像头等，获取污泥样品图像。
[0097]
具体地，在污水或者污泥处理厂采集不同含水率的污泥样品，并对收集到的样品进行拍照，获取污泥样品图像。随后将污泥样品送到厂内实验室检测污泥含水率，并根据污泥含水率检测结果对污泥样品图像进行标注，获取污泥样品的含水率从48％到75％不等。其中，含水率为48％的污泥干化程度较高，含水率为75％的污泥为离心机或带式脱水机中新产出的脱水污泥。对于干化设备或者脱水设备中新产出的污泥，可直接进行采样和拍照获取样品和图像，而对于长期堆放或陈化的污泥，则需要移除表层1cm-2cm的较为干燥的污泥，再对内部进行取样和拍照，最后得到污泥样品图像。
[0098]
同时，为了增强模型的准确性和降低过拟合风险，对污泥样品图像进行预处理，获取灰度图像数据，以构建待检测的污泥样品图像数据库。
[0099]
本实施例中，对污泥样品图像进行预处理包括：格式转换、像素调整和灰度化处理。即：将原始污泥样品图像矩阵数据转换成png格式的图像，并将图像像素调整为800*600，再采用灰度化算法将污泥样品图像转为灰度图像。
[0100]
具体地，对污泥样品图像进行格式转换，是由于不同设备获取的污泥样品图像的格式可能存在较大差异。因此，需要对不同格式的污泥样品图像进行格式转换，统一转化为png格式。
[0101]
对污泥样品图像进行格式转换，主要是考虑到图像数据库数量较大的原因。所以，可采用python中pil图像处理库中相关工具进行批量化处理，调整图像格式为png，将图像像素调整为800*600。
[0102]
然后，通过灰度化计算公式计算出污泥样品图像的png格式中的三原色的色值。
[0103]
最后，根据获得的污泥样品灰度图像，构建污泥样品图像数据库。
[0104]
所述特征提取模块82与所述获取模块81相连，用于基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集。
[0105]
首先，基于卷积自编码器和所述污泥样品图像数据库获取污泥样品图像的样本数据集，得到污泥样品图像特征提取和降噪模型。
[0106]
本实施例中，卷积自编码器包括：编码器和解码器。基于编码器对污泥样品图像数据库进行数据处理，以提取污泥样品图像的图像特征；对图像特征进行扁平化处理，以生成
图像特征编码数据。
[0107]
编码器包括：若干个卷积层、批处理正则化层、池化层、平整化层和全连接层。卷积层之间通过批处理正则化层和激活函数相连接，用于提取图像特征；池化层与卷积层相连接，用于降低图像特征维度，以生成图像特征数据；平整化层用于扁平化处理图像特征数据；全连接层用于生成图像特征编码数据。
[0108]
具体地，进一步通过卷积自编码器提取灰度图像中的重要特征和降低拍照过程中可能引入的光照差距和斑影等噪声信号对于模型的影响。因此，基于pytorch构建卷积自编码器。
[0109]
编码器对步骤s11中生成的污泥样品灰度图像数据进行处理。其中，编码器中包含有3个卷积层conv，3个批处理正则化层batchnorm、3个池化层pooling、1个平整化层flatten和1个全连接层fc。
[0110]
在编码器中，污泥样品灰度图像的灰度值构成的矩阵，逐次通过3个卷积层conv、池化层pooling和批处理正则化层batch_norm构成的特征提取层，能够更好的提取翻译污泥含水率相关的特征，如：颗粒度，流态，质地等等。然后，生成的特征图像数据经过平整化层flatten和全连接层fc，生成图像特征编码数据。其中，卷积层conv1到conv3主要用于提取灰度图像中的指定特征，能够更好的将反映污泥含水率的图像特征提取出来。每个卷积层之间通过批处理正则化层和relu激活函数相连接。批处理正则化层batchnorm1到batchnorm3可以有效提升卷积自编码器内的神经网络结构在训练时的稳定性，并增强卷积层conv1到conv3对含水率相关特征的提取能力。在编码器的每个卷积层后，均使用了池化层，降低了输入维度和过拟合的风险。在池化层pooling3后生成的特征图像数据，再经过平整化层flatten扁平化处理，最后再经过一个全连接层fc生成图像特征编码数据。
[0111]
基于解码器对图像特征编码数据进行扁平化处理，以获取重构图像矩阵。
[0112]
本实施例中的解码器具有与编码器相同的架构，但是连接顺序相反。解码器的输入为编码器最终生成的图像特征编码数据，然后解码器根据输入生成一个与图像数据库中的原始的灰度图像矩阵维度信息完全一致的重构图像矩阵。该重构图像数据相比原始的灰度图像矩阵，噪声信息被去除，保留了关键特征。
[0113]
具体地，在解码器中，根据编码器生成的编码，按照与编码器相反的流程，重新产生于灰度图像尺寸完全一致的重构图像。即：将图像特征编码数据输入解码器中，生成与污泥样品图像数据库中的维度信息完全一致的重构图像矩阵，完成污泥样品图像的特征提取和去噪。该过程是通过基于卷积自编码器训练得到的污泥图像特征提取和降噪模型来实现的。
[0114]
其中，对于污泥图像特征提取和降噪模型，其训练过程中，采用原始的灰度图像矩阵与重构图像矩阵的均方误差(mse)作为损失函数，优化过程采用了adam优化器。
[0115]
基于重构图像矩阵，构建污泥样品图像的样本数据集。
[0116]
本实施例中，污泥图像特征提取和降噪模型将原始污泥样品图像数据库处理生成重构图像数据库，将该数据库中各重构图像矩阵与对应污泥样品的含水率数值组合，就构成一个样本。污泥样品图像数据库可通过该模型转变为样本数据集，样本数据集包括：训练数据集和测试数据集。
[0117]
预测模块83，用于基于样本数据集获取污泥含水率检测模型。
[0118]
本实施例中，采用随机森林回归算法，基于样本数据集搭建污泥含水率检测模型。其中，样本数据集包括：训练数据集和测试数据集；训练数据集用于训练污泥含水率检测模型；测试数据集用于对污泥含水率检测模型进行性能评估。
[0119]
具体地，由于生成的重构图像结合污泥含水率标签，可以构成样本数据集。采用随机森林回归算法，基于样本数据集，就可以训练得到污泥含水率检测模型。为了验证模型在处理新样本时的性能，在模型训练前，将样本数据集按照7：3的比例划分为训练数据集和测试数据集，训练数据集用于模型的训练，测试数据集用于检验模型在新数据上的准确率。为保证训练效果，训练数据集中样本的数量保证在100以上。随机森林算法中决策树的数量设置与训练数据集中样本数量相关，当训练数据集中样本数量在100-200左右时，决策树的数量为100，而当训练数据集中样本数量在200以上时，决策树的数量可设置为样本数量的50％，但最多不宜超过250，避免模型训练时间过长。最后得到污泥样品含水率检测模型。
[0120]
检测模块84用于基于所述污泥含水率检测模型对新的污泥样品的含水率进行检测。
[0121]
基于污泥含水率检测模型，与污泥样品图像预处理、污泥样品图像特征提取和降噪模型进行统一封装，得到封装后的模型；将新的污泥样品图像输入封装后的模型，以获取新污泥样品含水率的预测值。
[0122]
具体地，在污泥含水率检测模型训练完成后，可以与预处理模型，特征提取和降噪模型，和污泥含水率预测模型共同封装，灵活部署在移动端或者网页端。在使用时，获取新的污泥样品并对其拍照，得到的图像输入到封装后的模型中，就可以得到对当前污泥样品含水率的预测值。
[0123]
需注意的是，工作人员基于python的pil图像处理库开发图像预处理模型，基于pytorch库构建卷积自编码器来生成特征提取与降噪模型，基于scikit-learn库构建污泥含水率预测模型。
[0124]
基于卷积自编码器和随机森林算法的污泥含水率检测模型搭建基于卷积自编码器和随机森林算法的污泥含水率检测系统，能够实现在污泥含水率检测系统中，提高污泥含水率的检测速度和检测精度；同时，能够在移动端灵活部署，对使用人员的专业及经验要求低，无需相关实验仪器，能够快速对污泥样品含水率进行快速评估。
[0125]
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0126]
以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多
个微处理器(digital signal processor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
[0127]
请参阅图9，显示为本发明的基于卷积自编码器和随机森林算法的污泥含水率检测装置于一实施例中的原理结构示意图。如图9所示，本实施例提供一种基于卷积自编码器和随机森林算法的污泥含水率检测装置，所述基于卷积自编码器和随机森林算法的污泥含水率检测装置包括：处理器91、存储器92；所述存储器92用于存储计算机程序；所述处理器91与所述存储器92相连，用于执行所述存储器92存储的计算机程序，以使所述基于卷积自编码器和随机森林算法的污泥含水率检测装置执行如上所述基于卷积自编码器和随机森林算法的污泥含水率检测方法的各个步骤。
[0128]
优选地，存储器可能包含随机存取存储器(randomaccess memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
[0129]
上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0130]
综上所述，本技术提供的基于卷积自编码器和随机森林算法的污泥含水率检测方法具有以下有益效果：
[0131]
本技术提供的基于卷积自编码器和随机森林算法的污泥含水率检测方法，能够实现对待检测样本的快速分析，避免了传统方法对于实验室硬件条件和专业检测人员能力的依赖，可以灵活部署，能够低成本、高效率的检测污泥含水率；在充分考虑到不同拍照设备和拍摄条件对于待检测样品图像的影响的同时，也减少模型训练过程中图像中噪声信号的影响，进一步提高模型的训练速度和准确率；更是进一步地降低了模型过拟合的风险性。基于卷积自编码器和随机森林算法的污泥含水率检测模型结构简单，且具有检测速度快、检测精度高、可在移动端灵活部署等特点，对使用人员的专业及经验要求低，无需相关实验仪器，能够对污泥样品含水率进行快速评估。
[0132]
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

技术特征：
1.一种基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，包括以下步骤：获取污泥样品和污泥样品图像，检测污泥样品含水率，并构建污泥样品图像数据库；基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集；基于所述样本数据集，采用随机森林算法构建污泥含水率检测模型；基于所述污泥含水率检测模型对新所述污泥样品的含水率进行检测。2.根据权利要求1所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，获取污泥样品和污泥样品图像，检测污泥样品含水率，并构建污泥样品图像数据库包括以下步骤：获取不同含水率的污泥样品图像，同时检测污泥样品的含水率；对所述污泥样品图像进行预处理，获取灰度图像数据，以构建待检测的污泥样品图像数据库。3.根据权利要求2所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，对所述污泥样品图像进行预处理包括：格式转换、像素调整和灰度化处理。4.根据权利要求3所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，所述灰度化处理的计算公式为：其中，gray表示为灰度化处理后得到的污泥样品灰度图像的灰度值；r、g、b分别表示污泥样品图像的png格式中的三原色的色值。5.根据权利要求1所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，所述卷积自编码器包括编码器和解码器；基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集包括以下步骤：基于所述编码器对所述污泥样品图像数据库中的污泥样品图像进行编码处理，以获取所述污泥样品图像的特征编码数据；基于所述解码器对所述特征编码数据进行解码处理，以获取重构图像矩阵；基于所述重构图像矩阵，构建所述污泥样品图像的样本数据集。6.根据权利要求5所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，所述编码器包括若干个卷积层、批处理正则化层、池化层、平整化层和全连接层；所述卷积层之间通过所述批处理正则化层和激活函数相连接，用于提取图像特征；所述池化层与所述卷积层相连接，用于降低图像特征维度，以生成图像特征数据；所述平整化层用于扁平化处理所述图像特征数据；所述全连接层用于生成图像特征编码数据。7.根据权利要求5所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，所述解码器包括若干个卷积层、批处理正则化层、池化层、平整化层和全连接
层；所述解码器与所述编码器内部架构相同，但连接顺序相反。8.根据权利要求5所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，将所述图像特征编码数据输入所述解码器中，生成与所述污泥样品图像数据库中的维度信息完全一致的重构图像矩阵，完成所述污泥样品图像的去噪过程。9.根据权利要求1所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，所述样本数据集包括训练数据集和测试数据集；所述训练数据集用于训练所述污泥含水率检测模型；所述测试数据集用于对所述污泥含水率检测模型进行性能评估。10.根据权利要求1所述的基于卷积自编码器和随机森林算法的污泥含水率检测方法，其特征在于，所述方法还包括：基于所述污泥含水率检测模型，与污泥样品图像预处理、污泥样品图像特征提取和降噪模型进行统一封装，得到封装后的模型；将新的所述污泥样品图像输入所述封装后的模型，以获取新污泥样品含水率的预测值。11.一种基于卷积自编码器和随机森林算法的污泥含水率检测系统，其特征在于，包括：获取模块，用于获取污泥样品及其图像，检测污泥样品含水率，并构建污泥样品图像数据库；特征提取模块，用于基于卷积自编码器对所述污泥样品图像数据库中的污泥样品图像进行特征提取和降噪处理，以获取所述污泥样品图像的样本数据集；预测模块，用于基于所述样本数据集，采用随机森林算法构建污泥含水率检测模型；检测模块，用于基于所述污泥含水率检测模型对新所述污泥样品的含水率进行检测。12.一种基于卷积自编码器和随机森林算法的污泥含水率检测装置，其特征在于，包括：处理器及存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述基于卷积自编码器和随机森林算法的污泥含水率检测装置执行权利要求1至10中任一项所述基于卷积自编码器和随机森林算法的污泥含水率检测方法。

技术总结
本申请提供一种基于卷积自编码器和随机森林算法的污泥含水率检测方法，包括：获取污泥样品及其图像，检测污泥样品含水率，并构建污泥样品图像数据库；基于卷积自编码器对所述污泥样品图像数据库中的图像进行特征提取和降噪处理，获取所述污泥样品图像的样本数据集；基于所述样本数据集，采用随机森林算法构建污泥含水率检测模型；基于所述污泥含水率检测模型对新污泥样品的含水率进行检测。本申请基于卷积自编码器和随机森林算法构建了污水含水率检测方法，使其具有检测速度快、精度高、可在移动端灵活部署等特点；且对使用人员的专业及经验要求低，相比传统实验方法，能够对污泥样品含水率进行快速评估。泥样品含水率进行快速评估。泥样品含水率进行快速评估。


技术研发人员：杨航 吴文庆 方宁 梅晓洁 郭亚丽
受保护的技术使用者：中国长江三峡集团有限公司
技术研发日：2023.07.03
技术公布日：2023/9/20