一种基于短波高光谱相机的垃圾热值预测系统及方法

1.本发明涉及垃圾焚烧发电技术领域，特别是涉及一种基于短波高光谱相机的垃圾热值预测系统及方法。


背景技术：

2.随着人民生活水平的提高，国民生产及生活产生了大量的有机固废，引发环境污染问题。垃圾焚烧发电是当前解决此类问题的一种方法。在焚烧发电过程中，操作人员无法提前知晓垃圾的热值，需要根据燃烧情况不断手动调节操作参数，以稳定燃烧情况。然而，垃圾成分复杂，需要进行费时的理化实验进行热值测量。因此，如能提前快速知晓定量垃圾的热值，可提前对操作人员进行预判或实现垃圾焚烧的自动化控制。
3.人工智能和光电技术的快速发展，为基于高光谱图像识别的应用提供了广泛的可能性。短波高光谱相机拥有不同光谱下物质成像的能力，其输出的高光谱图像能够使计算机快速分辨多种物质的材质差异，已经广泛用于遥感领域实现地物识别。但是，目前没有将短波高光谱相机应用于垃圾热值测量的先例，且垃圾堆积的大小也影响着定量垃圾的总热值。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供一种基于短波高光谱相机的垃圾热值预测系统及方法，为垃圾焚烧发电装置提供燃烧智能化控制手段，并提高垃圾焚烧发电装置运行品质，改善操作人员的工作条件。
5.本发明的目的是这样实现的：
6.一种基于短波高光谱相机的垃圾热值预测系统，包括：
7.rgb-d深度相机，用于采集垃圾堆垛深度图像信息；
8.短波高光谱相机，用于采集垃圾高光谱图像信息；
9.相应的相机移动机械和控制机构，用于移动相机控制相机距离垃圾堆放处的距离和位置；
10.机器视觉计算机，所述机器视觉计算机接收并储存垃圾高光谱图像和堆垛深度图像信息，机器视觉计算机内置有图像算法处理模块、三维稠密重建体积计算模块和热值预测算法模块；
11.所述图像算法处理模块通过垃圾高光谱图像算得垃圾类别；所述三维稠密重建体积计算模块通过垃圾堆垛深度图像信息进行垃圾三维场景重建，并算得对应的垃圾体积；所述热值预测算法模块通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。
12.优选地，所述图像算法处理模块基于主成分分析和深度学习算法识别垃圾类别。
13.优选地，所述三维稠密重建体积计算模块采用bundlefusion算法重建稠密的三维垃圾图。
14.优选地，所述rgb-d深度相机的侧方装有与rgb-d深度相机匹配的线性光源。
15.优选地，所述短波高光谱相机由覆盖900-1700nm波段或400-2500nm波段的短波相机与光栅滤光组件或液晶调谐滤波器组成。
16.优选地，所述短波高光谱相机配有400-2500nm波段的光源。
17.一种基于短波高光谱相机的垃圾热值预测方法，包括以下步骤：
18.s1、垃圾图像拍摄
19.s1.1、由所述rgb-d深度相机拍摄堆放垃圾整体的三维图像和表面可见光图像，必要时移动rgb-d深度相机完成堆放垃圾整体的拍摄；
20.s1.2、由所述的短波高光谱相机拍摄垃圾局部的高光谱图像，并通过移动高光谱相机完成堆放垃圾整体的拍摄；
21.s1.3、必要时，通过图像进行拼接，完成堆放垃圾整体图像的获取。
22.s2、垃圾分类预测建模
23.s2.1、将短波高光谱相机采集的图像进行预处理(包括减少噪点及锐化等)，再进行图像上的垃圾种类标记，并制作数据集，数据集划分为训练集、验证集和测试集；
24.s2.2、将制作的数据集进行降维，对单个像素进行分块处理并对边缘像素进行填零扩充，将数据格式处理为张量格式，通过转置将数据转换成深度神经网络所需数据结构；
25.s2.3、将步骤s1.2得到数据的三维信息输入深度神经网络进行训练，得到预测模型；
26.s2.4、通过测试集验证预测模型性能，最终得到机器学习分类预测模型；
27.s3、三维稠密重建体积计算
28.s3.1、将所述rgb-d深度相机采集到的彩色图像进行图像灰度化和滤波去噪；
29.s3.2、将灰度图像结合图像深度信息得到稀疏的三维垃圾点云图；
30.s3.3、将彩色图像信息和深度信息通过三维重建计算，得到稠密的三维场景点云图；
31.s3.4、将稠密的三维场景点云图进行角点检测得到垃圾的边缘像素信息；
32.s3.5、通过垃圾的边缘像素信息计算出三维重建垃圾的表面积；
33.s3.6、将三维重建垃圾的表面积与稠密的三维场景点云图的平均深度结合积分计算，得到该场景中的垃圾的体积；
34.s4、热值预测
35.通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。
36.s4.1、对高光谱图像进行深度学习分类，由得到的垃圾类别可以推测出相应垃圾类别的热值；
37.s4.2、统计高光谱图像中各垃圾类别的图像像素占整幅画面的比例；
38.s4.3、依据各垃圾类别的热值和s3.2中的比例，计算整幅高光谱图像画面中所有垃圾的热值；
39.s4.4、将该高光谱图像与rgb-d三维图像表面进行匹配，找到高光谱相机拍摄到的位置，并记录位置和该处所有垃圾的热值；
40.s4.5、将所有拍摄到的高光谱图像重复s4.1-s4.4过程，完成rgb-d三维图像表面
的垃圾热值预测，并通过堆放垃圾的总体热值。
41.由于采用了上述技术方案，本发明具有如下有益效果：
42.1、本发明通过rgb-d深度相机、短波高光谱相机采集垃圾短波多光谱信息图像、彩色深度图像，将多特征信息进行结合分析，可获得较高的生活垃圾识别和热值预测精度，使机器设备实现智能化应用与工业；
43.2、采用多维特征融合方式，能够较为准确的检测出生活垃圾的类别，提高生活垃圾识别的准确率，短波高光谱相机的引入解决了普通相机难以识别垃圾材质和成分的问题；
44.3、采用rgb-d深度相机，构建稠密生活垃圾三维点云图；可较精确地计算生活垃圾体积。
附图说明
45.图1为本发明基于短波高光谱相机的垃圾热值机器学习预测系统结构示意图；
46.图2为本发明基于短波高光谱相机的垃圾热值机器学习预测系统垃圾类别识别流程示意图；
47.图3为本发明基于短波高光谱相机的垃圾热值机器学习预测系统三维稠密重建体积计算流程示意图；
48.图4为本发明基于短波高光谱相机的垃圾热值机器学习预测系统热值估计算法流程示意图。
49.附图标记
50.附图中，1-短波高光谱相机；2-rgb-d深度相机；3-光源；4-机器视觉计算机；5-相机和光源支撑移动设备；6-垃圾料坑。
具体实施方式
51.通过图1所示，本发明基于红外高光谱相机的垃圾热值机器学习预测系统，包括短波高光谱相机、rgb-d深度相机、光源、机器视觉计算机、附属的相机和光源支撑移动设备(包括相机支撑移动设备、光源支撑移动设备，也可以通过同一设备完成相机支撑移动、光源支撑移动)，其中，机器视觉计算机具有图像处理模块、三维稠密重建体积计算模块和热值预测算法模块通过主成分分析算法、深度学习算法和bundlefusion算法得出物料的热值。
52.垃圾料坑6用于放置生活垃圾，短波高光谱相机1、rgb-d深度相机2、光源3、机器视觉计算机4、相机和光源支撑移动设备5可以通过购买获得；相机和光源支撑移动设备5可按需求在横向或纵向方向移动，可以采用三坐标机械手。
53.rgb-d深度相机3的拍摄方向为竖直向下，用于采集生活垃圾的颜色信息和深度信息(即三维图像)。所述rgb-d深度相机的侧方装有与rgb-d深度相机匹配的线性光源，线性光源的照射范围包括rgb-d深度相机在垃圾料坑6(或垃圾输放置器)上的拍摄范围，通过线性光源发出的均匀光保证彩色相机(rgb-d深度相机)的图像特征信息采集的稳定性。
54.短波高光谱相机1获取生活垃圾的光谱信息，其正下方设置有与该高光谱相机配合的光源，该光源可以产生400-2500nm波段范围的光线。这样，可通过漫反射保证物料反射
光谱采集的稳定性。所述短波高光谱相机由900-1700nm波段或400-2500nm波段的短波质心相机与滤光片阵列(lctf可调谐液晶滤波器或光栅滤光组件)组成。
55.短波质心相机和lctf可调谐液晶滤波器采用3d打印材料固定，rgb-d深度相机、线性光源采用常规结构固定连接。短波质心相机、lctf可调谐液晶滤波器和rgb-d深度相机分别于工控机通讯连接，通讯连接结构为导线连接。
56.采用短波质心相机和lctf可调谐液晶滤波器获取单个垃圾的红外图像数据和特征光谱波段，并保存原始数据。
57.将所有的垃圾混合并采用短波质心相机和lctf可调谐液晶滤波器获取红外图像数据和对应的光谱波段数据。
58.将获取的数据信息进行pca降维，对单个像素进行patch并对边缘像素进行padding0扩充，将数据格式处理为keras格式，通过transpose将数据转换成pytorch结构。
59.将采集的数据三维信息输入神经网络进行训练网络结构如下：3层三维卷积分别是8个7*3*3的卷积核、16个5*3*3的卷积核，32个3*5*5的卷积核；其次输入一层二维卷积层采用64个3*3的卷积核，使用flatten将数据打平，通过2个比例为0.3的dropout层；再采用logs_softmax损失函数进行32个节点的分类数输出；得到训练后参数权重。
60.采用rgb-d深度相机获取混合在垃圾料坑里面的所有垃圾的彩色信息图像和深度信息图像。
61.对彩色信息图像进行灰度化和图像滤波的预处理。
62.根据预测模型得到的分类结果并绘制分类结果图。
63.将预处理后的图像数据融合图像深度信息采用bundlefusion算法重构垃圾料坑中的所有垃圾的三维建模图。
64.对重构出来的三维场景图进行角点检测获取生活垃圾的边缘像素信息。
65.通过边缘像素信息计算当前场景中生活垃圾的表面积。
66.将采集的图像深度信息进行平均值计算，从而采集垃圾的深度值结合表面积得到体积值。
67.将短波高光谱相机和rgb-d深度相机采集的图像信息进行图像配准。
68.待上述完成后按照如图4所示，将图2计算得到的体积乘以图3所得到分类结果映射得到所有分类物质的热值，从而估计所有生活垃圾的热值。各分类物质的热值可提前通过实验进行测试获取，为单一品种垃圾的热值实验值。
69.根据深度信息和彩色信息重建稠密的三维重建生活垃圾信息计算其体积，结合短波高光谱相机和rgb-d深度相机所得到的分类识别结果和生活垃圾体积融合对应物质的热值数据得到相应的生活垃圾的热值预测模型，使得现有的控制系统可估算需热值的生活垃圾体积并指挥抓斗作业，有助于提高焚烧池中热量的稳定并改善操作工人员的操作条件。
70.本发明中，计算机通过预先训练的深度神经网络模型实现垃圾(有机固废)图像的分类识别，通过图像处理算法计算图像中各种垃圾(废弃物)所占的比例和固废总体体积，并由热值实验值预测图像视场内的有机固废总热值。本发明通过短波高光谱相机和机器学习方法对有机固废进行热值预测，实现自动化有机固废堆放的监测和管理，并在有机固废堆放图像上可视化显示热值高低差异，辅助操作人员对固废焚烧发电进料依据热值进行有效投放，提升发电装置运行品质。
71.最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。

技术特征：
1.一种基于短波高光谱相机的垃圾热值预测系统，其特征在于，包括：rgb-d深度相机，用于采集垃圾堆垛深度图像信息；短波高光谱相机，用于采集垃圾高光谱图像信息；机器视觉计算机，所述机器视觉计算机接收并储存垃圾高光谱图像和堆垛深度图像信息，机器视觉计算机内置有图像算法处理模块、三维稠密重建体积计算模块和热值预测算法模块；所述图像算法处理模块通过垃圾高光谱图像预测垃圾类别；所述三维稠密重建体积计算模块通过垃圾堆垛深度图像信息进行垃圾三维场景重建，并算得对应的垃圾体积；所述热值预测算法模块通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。2.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述图像算法处理模块基于主成分分析和深度学习算法识别垃圾类别。3.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述三维稠密重建体积计算模块采用bundlefusion算法重建稠密的三维垃圾形状图。4.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述rgb-d深度相机的侧方装有与rgb-d深度相机匹配的线性光源。5.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述短波高光谱相机由覆盖900-1700nm波段或400-2500nm波段的相机、光栅滤光组件/液晶调谐滤波器组成。6.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：所述短波高光谱相机配有400-2500nm波段的光源。7.根据权利要求1所述的一种基于短波高光谱相机的垃圾热值预测系统，其特征在于：还包括相机支撑移动设备，相机支撑移动设备用于移动相机，以控制相机距离垃圾堆放处的距离和位置。8.一种基于短波高光谱相机的垃圾热值预测方法，其特征在于，包括权利要求1所述的垃圾热值预测系统，预测方包括以下步骤：s1、垃圾图像拍摄s1.1、由所述rgb-d深度相机拍摄堆放垃圾整体的三维图像和表面可见光图像，s1.2、由所述的短波高光谱相机拍摄垃圾局部的高光谱图像，并通过移动高光谱相机完成堆放垃圾整体的拍摄；s2、垃圾分类预测建模s2.1、将短波高光谱相机采集的图像进行预处理(包括减少噪点及锐化等)，再进行图像上的垃圾种类标记，并制作数据集，数据集划分为训练集、验证集和测试集；s2.2、将制作的数据集进行降维，对单个像素进行分块处理并对边缘像素进行填零扩充，将数据格式处理为张量格式，通过转置将数据转换成深度神经网络所需数据结构；s2.3、将步骤s1.2得到数据的三维信息输入深度神经网络进行训练，得到预测模型；s2.4、通过测试集验证预测模型性能，最终得到机器学习分类预测模型；s3、三维稠密重建体积计算s3.1、将所述rgb-d深度相机采集到的彩色图像进行图像灰度化和滤波去噪；
s3.2、将灰度图像结合图像深度信息得到稀疏的三维垃圾点云图；s3.3、将彩色图像信息和深度信息通过三维重建计算，得到稠密的三维场景点云图；s3.4、将稠密的三维场景点云图进行角点检测得到垃圾的边缘像素信息；s3.5、通过垃圾的边缘像素信息计算出三维重建垃圾的表面积；s3.6、将三维重建垃圾的表面积与稠密的三维场景点云图的平均深度结合积分计算，得到该场景中的垃圾的体积；s4、热值预测通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息，s4.1、对高光谱图像进行深度学习分类，由得到的垃圾类别可以推测出相应垃圾类别的热值；s4.2、统计高光谱图像中各垃圾类别的图像像素占整幅画面的比例；s4.3、依据各垃圾类别的热值和s3.2中的比例，计算整幅高光谱图像画面中所有垃圾的热值；s4.4、将该高光谱图像与rgb-d三维图像表面进行匹配，找到高光谱相机拍摄到的位置，并记录位置和该处所有垃圾的热值；s4.5、将所有拍摄到的高光谱图像重复s4.1-s4.4过程，完成rgb-d三维图像表面的垃圾热值预测，并通过堆放垃圾的总体热值。9.根据权利要求8所述的一种基于短波高光谱相机的垃圾热值预测方法，其特征在于：还包括步骤s1.1、通过移动rgb-d深度相机完成堆放垃圾整体的拍摄。10.根据权利要求8所述的一种基于短波高光谱相机的垃圾热值预测方法，其特征在于：还包括步骤s1.3、通过图像进行拼接，完成堆放垃圾整体图像的获取。

技术总结
本发明公开了一种基于短波高光谱相机的垃圾热值预测系统及方法，为垃圾焚烧发电装置提供燃烧智能化控制手段。包括：RGB-D深度相机，采集垃圾堆垛深度图像信息；短波高光谱相机，采集垃圾高光谱图像信息；机器视觉计算机，机器视觉计算机接收并储存垃圾高光谱图像和堆垛深度图像信息，机器视觉计算机内置有图像算法处理模块、三维稠密重建体积计算模块和热值预测算法模块，图像算法处理模块通过垃圾高光谱图像算得垃圾类别；三维稠密重建体积计算模块通过垃圾堆垛深度图像信息进行垃圾三维场景重建，并算得对应的垃圾体积；热值预测算法模块通过垃圾类别、对应的垃圾体积、对应的单位体积垃圾热值实验值，算得垃圾的总热值预测信息。测信息。测信息。


技术研发人员：雷钦平 司景忠 吴崇禄 刘昌凤 吕天星 程玺宁 周雄 粟杨 向毅 季炫宇 吴锦洲 向秋芳 林顺洪 柏继松 杨宇 徐明 杨鲁
受保护的技术使用者：重庆科技学院
技术研发日：2023.05.22
技术公布日：2023/8/16