一种基于鱼眼图像的天空视野因子度量方法

1.本发明属于气象领域，具体的说是涉及一种基于鱼眼图像的天空视野因子度量方法。


背景技术：

2.在气象领域，气象局通过分析热谱图、使用路面传感器和数据预测等技术可以更好的结合当前天气情况，反馈未来天气信息。道路天气通过天空覆盖度，路面温度或者太阳辐射率等等方面来支撑城市天气预测，逐渐成为气象研究的重要板块。在气象部门的推广下，先进的道路天气预测系统为现有的气象预测技术提供了有力支撑。近几年得益于深度学习的发展，气象领域也引入人工智能和机器学习算法来帮助提高天气预测的精度。据当前信息表明，利用机器学习可以更好地解读和分析大量历史数据以及全球实时气象数据，从而提高未来预测的精度和可靠性。但是当前技术局限于气象数据分析与处理方面，仍然没有方法在构建热谱图上展示良好的应用效果。
3.在气象分析中，热谱图是辅助气象分析常用的、直观的工具。反映天空占比情况的天空视野因子，作为构建热谱图至关重要的一环而备受关注。天空视野因子取决于树木和建筑群覆盖率，这些因素通过遮阴路面来减少进入路面的太阳辐射。因此，太阳辐射输入不仅会随着季节变化而变化，而且还会随着天气条件、树木覆盖率、地形和建筑物而变化，最终影响了热谱图的形成。
4.在目前的城市气象研究中，已有研究使用热成像仪辅助热谱图的构建,但是还未采用天空视野因子辅助构建热谱图。为了准确构建热谱图，如何准确获得天空视野因子就成为了需要进一步探讨的问题。


技术实现要素：

5.为了解决上述技术问题，本发明提供了一种基于鱼眼图像的天空视野因子度量方法，该天空视野因子度量方法构建鱼眼图像天空区域分割模型处理鱼眼图像，通过颜色分析等进一步计算鱼眼图像中天空像素点总数，求其在鱼眼镜头有效成像区域内的占比，获得天空视野因子。分析天空视野因子与城市热谱图之间的关系，可以帮助构建更符合城市情况的热谱图。
6.为了达到上述目的，本发明是通过以下技术方案实现的：
7.本发明是一种基于鱼眼图像的天空视野因子度量方法，该方法包括两个阶段：一是鱼眼图像天空区域分割模型构建阶段。通过制作数据集、选取语义分割模型并训练等步骤，得到本发明所需的鱼眼图像天空区域分割模型；二是鱼眼图像天空视野因子计算阶段。通过计算直接天空区域和间接天空区域的天空像素点总数，求其在鱼眼镜头有效成像区域内的占比，获得天空视野因子。具体为：
8.模型构建阶段：
9.(1)根据特定时间间隔阈值提取天空鱼眼图像，并从中剔除未拍摄到天空的图像，
形成原始鱼眼图像数据集image。
10.(2)利用图像标注工具对数据集image中的每张图像进行标注。标注部分包括直接天空区域和间接天空区域。其中，仅包含天空像素的区域称为直接天空区域，包含天空像素的其余区域则称为为间接天空区域，例如包含若干天空像素的树荫覆盖区域等。将标注后的数据集制作成pascalvoc格式，从而成功构造模型训练样本数据集sky。
11.(2a)利用图像标注工具标注出图像p中的直接天空区域和间接天空区域。
12.(2b)将直接天空区域的rgb值设置为(r0,g0,b0)，将各类间接天空区域依次设置为不同的rgb值，例如将树荫覆盖间接天空区域的rgb值设置为(ri,gi,bi)；图像p中除直接天空区域和间接天空区域以外的区域的rgb值全部置零。
13.(3)将训练样本数据集sky输入语义分割模型进行训练，构建鱼眼图像天空区域分割模型。
14.天空视野因子计算阶段：
15.(1)对于待计算天空视野因子的输入图像，使用鱼眼图像天空区域分割模型对该图像进行区域分割，识别其中的直接天空区域和间接天空区域；并计算直接天空区域中的天空像素点的数量。
16.(1a)将图像输入鱼眼图像天空区域分割模型，模型将输入图像分割为直接天空区域和若干类间接天空区域。将直接天空区域的天空像素点设置rgb值为(r0,g0,b0)，将各类间接天空区域依次设置为不同的rgb值，例如将第i类间接天空区域的rgb值设置为(ri,g
i,bi
)；输入图像中除分割出的直接天空区域和间接天空区域以外的rgb值全部置零，得到分割后的图像。
17.(1b)对分割后的图像进行像素点遍历，读取每个像素点的rgb值，统计rgb值为(r0,g0,b0)的天空像素点总数，即为直接天空区域的像素点总数。
18.(2)对各个间接天空区域依次添加掩膜，进行颜色阈值分析，然后计算所有间接天空区域中的天空像素点的数量。
19.(2a)读出(1b)得到的已分割图像的像素点信息，每个像素点的信息构成集合{(x,y),(r,g,b)}。其中，(x,y)表示该像素点的坐标位置，(r,g,b)表示该像素点的rgb值。将rgb值不为(r0,g0,b0)且rgb值相同的像素点归为一类间接天空区域，例如包含若干天空像素的树荫覆盖区域等。
20.(2b)在输入图像上，依次针对各类间接天空区域添加掩膜。读取第i类间接天空区域的像素点信息集合{(x,y),(ri,gi,bi)}。在输入图像中，保持像素点坐标在间接天空区域{(x,y)}内的像素点rgb值不变，其余坐标的rgb值全部置零。
21.(2c)利用鱼眼图像天空区域分割模型进行区域分割后得到的图像，计算输入图像的天空像素取值范围。读取表示已分割图像每个像素点的信息的集合{(x,y),(r,g,b)}，记录rgb值为(r0,g0,b0)的天空像素点的坐标集合{(x,y)}。在输入图像中读取坐标集合{(x,y)}的天空像素点，得到该点集内rgb值的范围rgb
sky
。
22.(2d)统计所有间接天空区域中的天空像素点总数。依次读取每类间接天空区域添加了对应掩膜的图像，统计该图像像素点的信息集合{(x,y),(r,g,b)}中，rgb值在rgb
sky
范围的像素点个数并相加，得到所有间接天空区域中的天空像素点总数。
23.(3)计算直接天空区域和间接天空区域中包含的天空像素点总数量与鱼眼图像中
镜头有效成像区域的像素点数量的比值，该比值即为到输入图像的天空视野因子。
24.本发明的有益效果是：本发明提出的基于鱼眼图像的天空视野因子度量方法，通过计算鱼眼镜头有效成效区域中天空部分的占比，提供更有力的数据辅助气象研究人员构建相关热谱图。天空视野因子在生活中的各个领域将会有广泛应用，主要包括以下几个方面：
25.(1)设计优化：通过计算不同路段的天空视野因子，构建城市住宅热谱图，可以帮助设计师优化建筑和城市环境的布局和设计，以提高建筑和城市的宜居性和舒适度。
26.(2)能源利用：太阳能和风能是可再生能源，计算天空视野因子，构建能源分布热谱图，可以帮助确定建筑和设备的最佳布置，以最大限度地利用可再生能源。
27.(3)城市规划：在城市规划中，计算天空视野因子，构建城市热谱图，可以协助合理规划绿地、公园和城市绿化等设施，提高城市的人居环境。
28.(4)灾害避免：夏冬两季常出现城市道路路面温度过高或过低的问题，通过计算天空视野因子，构建城市道路热谱图，能有效的对交通事故、气温灾害等做出提前预警和及时处理。
29.综上所述，计算天空视野因子对于设计优化、能源利用、城市规划和灾害避免等领域都有着重要的应用价值，并可以为这些领域的相关决策提供科学依据。
附图说明
30.图1是本发明直接天空区域与间接天空区域样例图。
31.图2是本发明鱼眼图像天空区域分割模型分割效果图。
32.图3是本发明计算天空视野因子流程图。
33.图4是本发明树荫覆盖间接天空区域添加掩膜结果图。
34.图5是本发明提取树荫覆盖间接天空区域中的天空像素点。
35.图6是本发明最终天空区域分割效果图。
36.图7是本发明基于鱼眼图像的天空视野因子度量方法的整体流程图。
具体实施方式
37.以下将以图式揭露本发明的实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本发明。也就是说，在本发明的部分实施方式中，这些实务上的细节是非必要的。此外，为简化图式起见，一些习知惯用的结构与组件在图式中将以简单的示意的方式绘示之。
38.如图7所示，本发明是一种基于鱼眼图像的天空视野因子度量方法，该方法包括两个阶段，一是鱼眼图像天空区域分割模型构建阶段，二是鱼眼图像天空视野因子计算阶段。具体的：
39.模型构建阶段包括如下步骤：
40.s1-1.根据4～5s这一间隔阈值提取天空鱼眼图像，并从中剔除未拍摄到天空的图像，形成原始鱼眼图像数据集image。
41.s1-2.利用图像标注工具如labelme对数据集image中的每张图像进行标注。标注部分包括直接天空区域和间接天空区域。其中，仅包含天空像素的区域称为直接天空区域，
包含天空像素的其余区域则称为为间接天空区域，例如包含若干天空像素的树荫覆盖区域等。将标注后的数据集制作成pascalvoc格式，从而成功构造模型训练样本数据集sky，具体为：
42.s1-2-1.利用图像标注工具标注出图像p中的直接天空区域和间接天空区域。
43.s1-2-2.将直接天空区域的rgb值设置为(r0,g0,b0)，将各类间接天空区域依次设置为不同的rgb值，例如将树荫覆盖间接天空区域的rgb值设置为(r1,g
1,
b1)；图像p中除直接天空区域和树荫覆盖间接天空区域以外的区域的rgb值全部置零。
44.s1-3.将训练样本数据集sky输入语义分割模型例如deeplabv3+、ccnet和unet等，本实施例选择deeplabv3+进行训练，构建鱼眼图像天空区域分割模型。
45.在天空视野因子计算阶段：
46.s2-1.对于待计算天空视野因子的输入图像，使用鱼眼图像天空区域分割模型对该图像进行区域分割，识别其中的直接天空区域和树荫覆盖间接天空区域；并计算直接天空区域中的天空像素点的数量。
47.s2-1-1.将图像输入鱼眼图像天空区域分割模型，模型将输入图像分割为直接天空区域和树荫覆盖间接天空区域。将直接天空区域的天空像素点设置rgb值为(r0,g0,b0)，将树荫覆盖间接天空区域的rgb值设置为(r1,g
1,
b1)；输入图像中除分割出的直接天空区域和树荫覆盖间接天空区域以外的rgb值全部置零，得到分割后的图像。
48.s2-1-2.对分割后的图像进行像素点遍历，读取每个像素点的rgb值，统计rgb值为(r0,g0,b0)的天空像素点总数，即为直接天空区域的像素点总数。
49.s2-2.对树荫覆盖间接天空区域依次添加掩膜，进行颜色阈值分析，然后计算树荫覆盖间接天空区域中的天空像素点的数量。
50.s2-2-1.读出s2-1-1得到的已分割图像的像素点信息，每个像素点的信息构成集合{(x,y),(r,g,b)}。其中，(x,y)表示该像素点的坐标位置，(r,g,b)表示该像素点的rgb值。将rgb值为(r1,g
1,
b1)的像素点归为树荫覆盖间接天空区域。
51.s2-2-2.在输入图像上，针对树荫覆盖间接天空区域添加掩膜。读取树荫覆盖间接天空区域的像素点信息集合{(x,y),(r1,g
1,
b1)}。在输入图像中，保持像素点坐标在间接天空区域{(x,y)}内的像素点rgb值不变，其余坐标的rgb值全部置零。
52.s2-2-3.利用鱼眼图像天空区域分割模型进行区域分割后得到的图像，计算输入图像的天空像素取值范围。读取表示已分割图像每个像素点的信息的集合{(x,y),(r,g,b)}，记录rgb值为(r0,g0,b0)的天空像素点的坐标集合{(x,y)}。在输入图像中读取坐标集合{(x,y)}的天空像素点，得到该点集内rgb值的范围rgb
sky
。
53.s2-2-4.统计间接天空区域中的天空像素点总数。读取树荫覆盖间接天空区域添加了掩膜的图像，统计该图像像素点的信息集合{(x,y),(r1,g
1,
b1)}中，rgb值在rgb
sky
范围的像素点个数并相加，得到树荫覆盖间接天空区域中的天空像素点总数。
54.s2-3.计算直接天空区域和树荫覆盖间接天空区域中包含的天空像素点总数量与鱼眼图像中镜头有效成像区域的像素点数量的比值，该比值即为到输入图像的天空视野因子。
55.本发明提出的基于鱼眼图像的天空视野因子度量方法，通过计算鱼眼镜头有效成效区域中天空部分的占比，提供更有力的数据辅助气象研究人员构建相关热谱图。天空视
野因子在生活中的各个领域将会有广泛应用。
56.以上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所作的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

技术特征：
1.一种基于鱼眼图像的天空视野因子度量方法，其特征在于：所述天空视野因子度量方法包括如下两个阶段：阶段1、鱼眼图像天空区域分割模型构建阶段：首先形成原始鱼眼图像数据集，然后构造模型训练样本数据集，最后构建鱼眼图像天空区域分割模型；阶段2、鱼眼图像天空视野因子计算阶段：首先，使用鱼眼图像天空区域分割模型对输入图像进行天空区域分割，然后，提取直接和间接天空区域中的像素点，最后，计算天空像素点总数量以及在鱼眼镜头有效成像区域中像素点总数的占比，得到输入图像的天空视野因子。2.根据权利要求1所述的一种基于鱼眼图像的天空视野因子度量方法，其特征在于：所述鱼眼图像天空区域分割模型构建阶段具体包括如下步骤：步骤1-1.根据特定时间间隔阈值提取天空鱼眼图像，并从中剔除未拍摄到天空的图像，形成原始鱼眼图像数据集image；步骤1-2.利用图像标注工具对步骤1中形成的原始鱼眼图像数据集image中的每张图像进行标注，将标注后的数据集制作成pascalvoc格式，构造模型训练样本数据集sky，其中标注部分包括直接天空区域和间接天空区域，直接天空区域为仅包含天空像素的区域，所述间接天空区域为包含天空像素的其余区域；步骤1-3.将训练样本数据集sky输入语义分割模型进行训练，构建鱼眼图像天空区域分割模型。3.根据权利要求2所述的一种基于鱼眼图像的天空视野因子度量方法，其特征在于：步骤1-2中，使用图像标注工具对数据集image中的每张图像进行标注，将标注后的数据集制构造出训练样本数据集sky，对于image中的每一张样本图像p，执行如下步骤：步骤1-2-1.利用图像标注工具标注出图像p中的直接天空区域和间接天空区域；步骤1-2-2.将直接天空区域的rgb值设置为(r0,g0,b0)，将各类间接天空区域依次设置为不同的rgb值，将第i类间接天空区域的rgb值设置为(r
i
,g
i
,b
i
)，图像p中除直接天空区域和间接天空区域以外的区域的rgb值全部置零。4.根据权利要求1所述的一种基于鱼眼图像的天空视野因子度量方法，其特征在于：所述鱼眼图像天空视野因子计算阶段具体包括如下步骤：步骤2-1.对于待计算天空视野因子的输入图像，使用鱼眼图像天空区域分割模型对该图像进行区域分割，识别其中的直接天空区域和间接天空区域，并计算直接天空区域中的天空像素点的数量；步骤2-2.对各个间接天空区域依次添加掩膜，进行颜色阈值分析，然后计算所有间接天空区域中的天空像素点的数量；步骤2-3.计算直接天空区域和间接天空区域中包含的天空像素点总数量与鱼眼图像中镜头有效成像区域的像素点数量的比值，该比值即为到输入图像的天空视野因子。5.根据权利要求4所述的一种基于鱼眼图像的天空视野因子度量方法，其特征在于：步骤2-1中，对于待计算天空视野因子的输入图像，使用鱼眼图像天空区域分割模型对该图像进行区域分割，识别其中的直接天空区域和间接天空区域，计算直接天空区域中的天空像素点的数量，具体包括如下步骤：步骤2-1-1.将图像输入鱼眼图像天空区域分割模型，模型将输入图像分割为直接天空
区域和若干类间接天空区域，将直接天空区域的天空像素点设置rgb值为(r0,g0,b0)，将各类间接天空区域依次设置为不同的rgb值，将第i类间接天空区域的rgb值设置为(r
i
,g
i,
b
i
)，输入图像中除分割出的直接天空区域和间接天空区域以外的rgb值全部置零，得到分割后的图像；步骤2-1-2.对分割后的图像进行像素点遍历，读取每个像素点的rgb值，统计rgb值为(r0,g0,b0)的天空像素点总数，即为直接天空区域的像素点总数。6.根据权利要求5所述的一种基于鱼眼图像的天空视野因子度量方法，其特征在于：步骤2-2中，在输入图像上针对各个间接天空区域依次添加掩膜，进行颜色阈值分析，具体包括如下步骤：步骤2-2-1.读出步骤2-1-1得到的已分割图像的像素点信息，每个像素点的信息构成集合{(x,y),(r,g,b)}，其中，(x,y)表示该像素点的坐标位置，(r,g,b)表示该像素点的rgb值，将rgb值不为(r0,g0,b0)且rgb值相同的像素点归为一类间接天空区域；步骤2-2-2.在输入图像上，依次针对各类间接天空区域添加掩膜，读取第i类间接天空区域的像素点信息集合{(x,y),(r
i
,g
i
,b
i
)}，在输入图像中，保持像素点坐标在间接天空区域{(x,y)}内的像素点rgb值不变，其余坐标的rgb值全部置零；步骤2-2-3.利用鱼眼图像天空区域分割模型进行区域分割后得到的图像，计算输入图像的天空像素取值范围，读取表示已分割图像每个像素点的信息的集合{(x,y),(r,g,b)}，记录rgb值为(r0,g0,b0)的天空像素点的坐标集合{(x,y)}，在输入图像中读取坐标集合{(x,y)}的天空像素点，得到该点集内rgb值的范围rgb
sky
；步骤2-2-4.统计所有间接天空区域中的天空像素点总数，依次读取每类间接天空区域添加了对应掩膜的图像，统计该图像像素点的信息集合{(x,y),(r,g,b)}中，rgb值在rgb
sky
范围的像素点个数并相加，得到所有间接天空区域中的天空像素点总数。

技术总结
本发明属于气象领域，公开了一种基于鱼眼图像的天空视野因子度量方法，包括两个阶段，一是模型构建阶段，二是鱼眼图像天空视野因子计算阶段，在模型构建阶段，首先形成原始鱼眼图像数据集，然后构造模型训练样本数据集，构建鱼眼图像天空区域分割模型，在天空视野因子计算阶段，首先对输入图像进行天空区域分割，识别直接天空区域和间接天空区域，对间接天空区域添加掩膜，进行颜色阈值分析，提取间接天空区域中的天空像素点，计算两个天空区域中包含的天空像素点总数量以及鱼眼图像中镜头成像有效像素点数量，得到输入图像的天空视野因子。本发明通过计算鱼眼镜头有效成像区域中天空部分的占比，提供更有力的数据辅助气象研究人员构建热谱图。人员构建热谱图。人员构建热谱图。


技术研发人员：阳锦华 戴华 万书言 周林义 陈润桓 杨庚
受保护的技术使用者：南京邮电大学
技术研发日：2023.05.22
技术公布日：2023/8/16