一种开源太阳辐照度数据动态采集方法、系统及存储介质

1.本发明属于太阳辐照度数据计算与处理技术领域，特别涉及该领域中的一种太阳辐照度数据动态采集方法、系统及存储介质。


背景技术：

2.根据国家能源局核算数据，2021年我国光伏发电量仅占全社会用电量的3.9％，占可再生能源发电量的13.1％，光伏发电有待进一步开发。对太阳能资源的评估和预测离不开历史太阳辐照度数据的支撑，通过历史太阳辐照度数值能够较为准确的评估一个地区的太阳能发电潜力，也能用于预测未来的太阳辐照度，对于光伏发电大规模开发应用有着重要意义。然而历史太阳辐照度数据来源复杂，获取不易，质量不一，用于太阳能资源评估或预测前需经过复杂的前期流程。
3.历史太阳辐照度数据分为两种，一种通过地面观测得到，一种由卫星衍生再分析得到。前者的数据为点观测值，时间精度为1分钟、10分钟、1小时不等，例如baseline surface radiation network(基线地表辐射网络)、the bureau of meteorology(澳大利亚气象局)、the national renewable energy laboratory(美国国家可再生能源实验室)、the national oceanic atmospheric administration(美国国家海洋大气管理局)、the south african universities radiation network(南非大学辐射网络)等机构运行的观测网络。后者的数据为网格形式，空间分辨率诸如0.5
°×
0.625
°
(纬度
×
经度)，时间分辨率为0.5小时到1小时不等，例如merra-2，cams-rad，sarah-2，sarah-e，ceres-syn1deg，solcast，era5，ecmwf等。
4.随着全球范围内科学家、科研组织和各国相关部门的共同努力，越来越多的地面遥感观测站以及地球同步气象卫星投入使用，每时每刻都有着海量的新生遥感数据供研究者使用。但是并非所有的遥感数据源数据都可轻易获得，有的并没有对外开放，有的需要注册申请，有的需要自行编写程序下载。dazhi yang开发了一个r包用于采集五个地点太阳辐射观测网络的数据，并在此基础上对r包进行了升级，加入了对bsrn数据的检索。jamie bright等开发了一个python包用于下载、提取和使用网格再分析数据库merra-2。xixi sun开发了一个python包用于下载、提取和使用himawari-8/9卫星数据。但对于大范围太阳辐照度数据采集的研究目前仍然稀少，造成太阳辐照度数据门槛较高。


技术实现要素：

5.本发明针对现有技术的不足，提出一种开源太阳辐照度数据动态采集方法、系统及存储介质，为未来的太阳能资源评估、预测，光伏发电大规模开发应用等领域的研究提供数据支持和应用支撑。
6.为了解决上述技术问题，本发明的技术方案为：
7.一种开源太阳辐照度数据动态采集方法，包括如下步骤：
8.s1、开源数据的筛选和采集条件的分析
9.所述开源数据的筛选方法：对全球多个太阳辐照度数据进行筛选，选出可用于太阳辐照度预测及太阳能资源评估的数据源，获取所选数据的元信息，根据元信息将运行时间久、可靠性强、时空分辨率高的数据作为开源太阳辐照数据动态采集对象；
10.所述开源数据的采集条件分析：依次分析获取开源太阳辐照度数据源网站数据地址的规律，从待采集数据的形式、是否需要登陆账户以及密码、是否需要以ftp方式关联、是否需要变换数据格式等方面进行统计分析。根据以上分析，将开源数据网站采集条件分为一般和特殊两类，分别制定开源太阳辐照度数据源数据的采集规则；
11.s2、数据采集
12.s2-1、设定一般开源数据源网站采集规则，并进行数据采集；
13.具体的，所述一般开源数据源网站采集规则为：根据数据地址的统一资源定位符、数据生成时间、时间间隔，站点，生成用户指定站点、时间、时间间隔的统一资源定位符，通过所述统一资源定位符定位到数据的位置，执行数据采集任务。
14.s2-2、设定特殊开源数据源网站采集规则，并进行数据采集；
15.具体的，所述特殊开源数据源网站采集规则为：通过输入账号与密码登录特殊网站的ftp服务器，通过服务器接口执行数据采集任务。
16.s2-3、采集所述数据的清洗和入库。
17.作为优选，所述元信息包括种类、采集设备、采集频率、采集时间和维护频率。
18.作为优选，所述步骤s2-1中，根据一般开源数据源网站采集规则进行数据采集的方法为：
19.s2-1-1、创建一个新任务，选择一般数据源x，选择数据源x下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间；
20.s2-1-2、通过数据源x的名字得到数据源统一资源定位符的一般格式，将选择的站点映射成站点编号，将数据的产生时间标准化，最后将资源定位符的一般格式、站点编号、标准化时间关联形成数据的具体统一资源定位符，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；
21.s2-1-3、执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。
22.作为优选，所述步骤s2-2中，根据特殊开源数据源网站采集规则进行数据采集的方法为：
23.s2-2-1、创建一个新任务，选择特殊开源数据源y，输入该数据源网站的登录账户和密码，登陆该网站的ftp服务器；
24.s2-2-2、通过数据源y的名字得到数据源路径前缀的一般格式，将数据的产生时间标准化，将路径前缀的一般格式、站点名称、标准化时间关联形成数据的具体采集路径，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；
25.s2-2-3、执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的dat.gz格式进行转换，统一以csv的方式进行导出。
26.作为优选，所述步骤s2-3中，数据的清洗和入库的方法为：
27.s2-3-1、读取csv文件中的太阳总辐照度g、太阳直接辐照度b、采集时间t、地点经度lon、纬度lat，将采集时间t转化为世界调整时间；
28.s2-3-2、设置g和b的物理上下限，计算地外太阳辐照度作为上限，
29.s2-3-3、缺失值处理；
30.s2-3-4、过滤太阳天顶角θ≥85
°
时间段内记录的g和b，将对应的g和b标记为缺失值，θ通过t和经纬度计算得到；
31.s2-3-5、将经过清洗的数据直接导入mysql数据库。
32.本发明还提供了一种开源太阳辐照度数据动态采集系统，包括后端主服务程序、采集规则配置前端和数据存储集群，
33.所述采集规则配置前端，用于进行数据采集规则的配置，并将配置好的采集规则发送到后端主服务程序；
34.后端主服务程序，用于根据采集规则配置前端发送的配置好的采集规则进行数据采集，并对采集的数据进行清洗，最后导入数据存储集群。
35.作为优选，所述后端主服务程序、采集规则配置前端和数据存储集群均部署在云服务器上。
36.作为优选，将开源太阳辐照度数据动态采集系统在太阳辐照度数据应用系统中进行应用集成，部署在云服务器上的太阳辐照度数据应用系统与开源太阳辐照度数据动态采集系统进行连接，开源太阳辐照度数据动态采集系统定期更新开源太阳辐照度数据以及历史太阳辐照度数据，太阳辐照度数据应用系统根据导出数据开展应用。
37.本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
38.本发明具有以下的特点和有益效果：
39.本发明所公开的方法，根据各数据源数据的展现方式、采集技术、采集时间、采集频率等信息，筛选出运行时间久、可靠性强、质量高的数据源作为开源太阳辐照度数据动态采集的对象。依次对选定的开源辐照度数据网站进行分析，完成对各个网站数据采集策略的定制。按照指向数据地址的统一资源定位符的生成规律，通过已有数据来逆向生成对应数据采集规则的数据地址，也就是统一资源定位符来完成数据的采集。同时针对需要使用账号密码登录ftp服务器的网站，采用特殊规则进行处理。针对不同数据源网站的数据是异构且质量不高的问题，对所下载的数据进行质量控制，包括但不限于数据特征的选择、数据类型的转换、噪声、异常数据和缺失值的处理。
40.本发明所公开的方法，利用开源太阳辐照度数据动态采集系统为研究者和相关光伏企业提供便捷的数据访问，降低数据壁垒，为太阳能资源评估和预测提供了数据支撑和应用保障，进而提升光伏发电大规模开发应用的可行性，助力我国能源结构改革。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
42.图1是本发明实施例1所公开方法的流程示意图；
43.图2是本发明实施例1所公开方法的技术路线图；
44.图3是本发明实施例1所公开方法中配置一般数据源1采集任务示意图；
45.图4是本发明实施例1所公开方法中配置一般数据源2采集任务示意图；
46.图5是本发明实施例1所公开方法中配置一般数据源3采集任务示意图；
47.图6是本发明实施例1所公开方法中配置一般数据源4采集任务示意图；
48.图7是本发明实施例1所公开方法中配置特殊数据源5采集任务示意图；
49.图8是本发明实施例1所公开方法中辐照度数据采集系统与太阳辐射系统集成应用的系统架构示意图。
具体实施方式
50.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
51.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
52.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
53.本发明公开了一种开源太阳辐照度数据动态采集方法，图1，2分别给出了本发明的系统结构和方法流程。下面结合实施例1，对本发明进行详细说明，具体包括如下步骤：
54.步骤1，开源数据的筛选和采集条件的分析：
55.步骤11，开展开源太阳辐照度数据的调研与分析，对全球多个太阳辐照度数据源进行调研和筛选，选出可用于太阳辐照度预测以及太阳能资源评估的数据源，分析其数据的种类、采集设备、采集频率、采集时间，维护频率等数据元信息，将运行时间久、可靠性强、时空分辨率高的数据作为开源太阳辐照度数据动态采集的对象；
56.步骤12，研究开源太阳辐照度数据的采集特征，依次分析通过调研的开源太阳辐照度数据源网站，重点从待采集数据的形式、是否需要登录账户以及密码、是否需要以ftp方式关联，是否需要变换数据格式等方面进行统计分析，通过分析待采集数据的形式，决定是否要对原始数据进行筛选；通过分析开源太阳辐照度数据源网站的统一资源定位符，找出该资源定位符与数据之间的规律；通过分析是否需要登录账户以及密码，决定是否要注册账户；通过分析是否需要以ftp方式关联，决定是否登录对方的ftp服务器来采集数据；通过分析数据的具体格式，决定是否需要改变数据格式来实现格式的统一；根据以上分析，将开源数据网站采集条件分为一般和特殊两类，分别制定开源太阳辐照度数据源数据的采集
规则；
57.步骤2，数据采集方法的设计：
58.步骤21，自定义一般开源数据源网站采集规则，根据数据地址的统一资源定位符、数据生成时间、时间间隔，站点等信息，总结统一资源定位符的生成规律，生成用户指定站点、时间、时间间隔等元信息的数据的统一资源定位符，通过该统一资源定位符定位到数据的位置，执行数据采集任务；
59.本实施例中，给出第一个一般开源数据源网站案例：如图3所示，采集一般开源数据源网站1(网址：https://reg.bom.gov.au/climate/reg/oneminsolar/，名称：bom)数据的步骤为：
60.创建一个新任务，选择数据源1，选择数据源1下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间；
61.通过数据源1的名字得到数据源统一资源定位符的一般格式，将选择的站点映射成站点编号，将数据的产生时间标准化，最后将资源定位符的一般格式、站点编号、标准化时间关联形成数据的具体统一资源定位符，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务。
62.数据源1数据的统一资源定位符的一般格式为：https://reg.bom.gov.au/cgi-bin/climate/oneminsolar/getfile.cgi？stn_num＝016001&year＝2013&month＝01，其中016001为站点编号，与站点一一对应，2013为年份，01为月份，(站点编号，年份，月份)唯一标识一份数据。
63.执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。
64.本实施例中，给出第二个一般开源数据源网站案例：如图4所示，采集一般开源数据源网站2(网址：https://gml.noaa.gov/aftp/data/radiation/solrad/，名称：noaa solrad)数据的步骤为：
65.创建一个新任务，选择数据源2，选择数据源2下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间；
66.通过数据源2的名字得到数据源统一资源定位符的一般格式，将数据的产生时间标准化，最后将资源定位符的一般格式、站点名称、标准化时间关联形成数据的具体统一资源定位符，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务。
67.数据源2数据的统一资源定位符的一般格式为：https://gml.noaa.gov/aftp/data/radiation/solrad/abq/2023/abq23001.da t。其中abq为站点名，2023为年份。abq23001.dat中abq代表站点名，23代表2023年，001代表23年第一天，dat代表数据文件格式。
68.执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。
69.本实施例中，给出第三个一般开源数据源网站案例：如图5所示，采集一般开源数据源网站3(网址：https://sauran.ac.za/，名称：sauran)数据的步骤为：
70.创建一个新任务，选择数据源3，选择数据源3下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间；
71.通过数据源3的名字得到数据源统一资源定位符的一般格式，将数据的产生时间标准化，设置数据的时间间隔为每分钟，最后将资源定位符的一般格式、站点名称、时间间隔、标准化时间关联形成数据的具体统一资源定位符，最后通过循环的方式生成开始时间以及结束时间内的所有数据采集任务。
72.数据源3数据的统一资源定位符的一般格式为：https://sauran.ac.za/api/datadownload/kzh/day/2021-5-27/2021-7-28。其中kzh为站点名，2021-5-27为数据起始时间，2021-7-28为数据结束时间。
73.执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。
74.本实施例中，给出第四个一般开源数据源网站案例：如图6所示，采集一般开源数据源网站4(网址：http://solardat.uoregon.edu/selectarchivalupdatedformat.html，名称：uoregon)数据的步骤为：
75.创建一个新任务，选择数据源4，选择数据源4下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间。
76.通过数据源4的名字得到数据源统一资源定位符的一般格式，将数据的产生时间标准化.由于该网站的数据历史过于悠久，数据格式发生了一些变化，所以需要对以前的数据和现在的数据制定不同的策略。最后将资源定位符的一般格式、站点名称、标准化时间以及新策略关联形成数据的具体统一资源定位符，最后通过循环的方式生成开始时间以及结束时间内的所有数据采集任务。
77.数据源4数据的统一资源定位符的一般格式为：http://solardat.uoregon.edu/download/archiveupdatedformat/sio_updated/sio_2002_comprehensiveformat/sio_05_2002-12.csv。其中sio为站点名，2002为年份，05为采样间隔，表示5分钟采样一次，12为月份。不同时间的数据可能会有不同的采样间隔，有些数据的采样间隔为01，表示1分钟采样一次。由于该数据源存在时间久，所以早期有些数据的统一资源定位符的一般格式为：“http://solardat.uoregon.edu/download/archiveupdatedformat/dim_updated/step4_dim_2002/dim_05_2002-10.csv”。另外有些数据采样时间间隔过大，无法满足太阳能预测需求，不进行采集。
78.执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。
79.步骤22，自定义特殊开源数据源网站采集规则，通过输入账号与密码登录特殊网站的ftp服务器，通过服务器接口执行数据采集任务；
80.本实施例中，给出第一个特殊开源数据源网站案例：如图7所示，采集特殊开源数据源网站(网址：https://bsrn.awi.de/project/background/，名称：bsrn)数据的步骤为：
81.创建一个新任务，选择特殊开源数据源网站对应的数据源5，输入该数据源网站的登录账户和密码，登陆该网站的ftp服务器；
82.通过该数据源y(数据源5)的名字得到数据源路径前缀的一般格式，将数据的产生时间标准化，将路径前缀的一般格式、站点名称、标准化时间关联形成数据的具体采集路径，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；
83.数据源5数据地址的一般格式为：abs/2019-01/2019-10，其中abs代表站点名，
2019-01代表数据开始时间，2019-10代表数据结束时间。
84.执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的dat.gz格式进行转换，统一以csv的方式进行导出。
85.步骤23，数据清洗与入库，通过数据质量控制方法，筛除质量差的数据，填充缺失数据，实现数据清洗，将通过清洗的数据定期导入mysql数据库；
86.在步骤23中，数据清洗与入库的步骤为：
87.读取csv文件中的太阳总辐照度g、太阳直接辐照度b、采集时间t、地点经度lon、纬度lat，将采集时间t转化为世界调整时间；
88.设置g和b的物理上下限，计算地外太阳辐照度e
ext
作为上限，具体的，地外太阳辐照度e
ext
计算公式如下：
[0089][0090]
其中d是采集时间t所代表的一年中的第d天，0作为物理下限；
[0091]
缺失值处理，对连续10个及以上的缺失值不予处理，对9个及以下的缺失值采用newton插值法补全；
[0092]
过滤太阳天顶角θ≥85
°
时间段内记录的g和b，将对应的g和b标记为缺失值，θ通过t和经纬度计算得到；
[0093]
将经过清洗的数据直接导入mysql数据库，用于后续导出数据开展应用。
[0094]
本实施例还提供了一种开源太阳辐照度数据动态采集系统，包括后端主服务程序、采集规则配置前端和数据存储集群，
[0095]
所述采集规则配置前端，用于进行数据采集规则的配置，并将配置好的采集规则发送到后端主服务程序；
[0096]
后端主服务程序，用于根据采集规则配置前端发送的配置好的采集规则进行数据采集，并对采集的数据进行清洗，最后导入数据存储集群。
[0097]
可以理解的，整个系统部署在云服务器之上，另外，在太阳辐照度数据应用系统中进行应用集成，部署在云服务器上的太阳辐照度数据应用系统与开源太阳辐照度数据动态采集系统进行连接，开源太阳辐照度数据动态采集系统定期更新开源太阳辐照度数据以及历史太阳辐照度数据，太阳辐照度数据应用系统根据导出数据开展应用。
[0098]
本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。
[0099]
其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic)，或适合于存储指令和/或数据的任何类型的媒介或设备。
[0100]
需要说明的是，在本技术所提供的实施例中，应该理解到，所揭露的系统，可通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论
的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0101]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0102]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0103]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0104]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(read-only memory，rom)、随机存取器(random access memory，ram)、磁盘或光盘等。
[0105]
以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式包括部件进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。

技术特征：
1.一种开源太阳辐照度数据动态采集方法，其特征在于，包括如下步骤：s1、开源数据的筛选和采集条件的分析所述开源数据的筛选方法：对全球多个太阳辐照度数据进行筛选，选出可用于太阳辐照度预测及太阳能资源评估的数据源，获取所选数据的元信息，根据元信息将运行时间久、可靠性强、时空分辨率高的数据作为开源太阳辐照数据动态采集对象；所述开源数据的采集条件分析：依次分析获取开源太阳辐照度数据源网站数据地址的规律，从待采集数据的形式、是否需要登陆账户以及密码、是否需要以ftp方式关联、是否需要变换数据格式等方面进行统计分析；根据以上分析，将开源数据网站采集条件分为一般和特殊两类，分别制定开源太阳辐照度数据源数据的采集规则；s2、数据采集s2-1、设定一般开源数据源网站采集规则，并进行数据采集；s2-2、设定特殊开源数据源网站采集规则，并进行数据采集；s2-3、采集所述数据的清洗和入库。2.根据权利要求1所述的一种开源太阳辐照度数据动态采集方法，其特征在于，所述元信息包括种类、采集设备、采集频率、采集时间和维护频率。3.根据权利要求1所述的一种开源太阳辐照度数据动态采集方法，其特征在于，所述一般开源数据源网站采集规则为：根据数据地址的统一资源定位符、数据生成时间、时间间隔，站点，生成用户指定站点、时间、时间间隔的统一资源定位符，通过所述统一资源定位符定位到数据的位置，执行数据采集任务。4.根据权利要求1所述的一种开源太阳辐照度数据动态采集方法，其特征在于，所述特殊开源数据源网站采集规则为：通过输入账号与密码登录特殊网站的ftp服务器，通过服务器接口执行数据采集任务。5.根据权利要求3所述的一种开源太阳辐照度数据动态采集方法，其特征在于，所述步骤s2-1中，根据一般开源数据源网站采集规则进行数据采集的方法为：s2-1-1、创建一个新任务，选择一般数据源x，选择数据源x下的某个站点，以年月日的形式给出需采集数据的开始时间与结束时间；s2-1-2、通过数据源x的名字得到数据源统一资源定位符的一般格式，将选择的站点映射成站点编号，将数据的产生时间标准化，最后将资源定位符的一般格式、站点编号、标准化时间关联形成数据的具体统一资源定位符，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；s2-1-3、执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的zip格式或dat格式进行转换，统一以csv的方式进行导出。6.根据权利要求4所述一种开源太阳辐照度数据动态采集方法、系统及存储介质，其特征在于，所述步骤s2-2中，根据特殊开源数据源网站采集规则进行数据采集的方法为：s2-2-1、创建一个新任务，选择特殊开源数据源y，输入该数据源网站的登录账户和密码，登陆该网站的ftp服务器；s2-2-2、通过数据源y的名字得到数据源路径前缀的一般格式，将数据的产生时间标准化，将路径前缀的一般格式、站点名称、标准化时间关联形成数据的具体采集路径，通过循环的方式生成开始时间以及结束时间内的所有数据采集任务；
s2-2-3、执行数据采集任务并导出数据，运行配置好的采集任务，待数据采集完毕，将数据原本的dat.gz格式进行转换，统一以csv的方式进行导出。7.根据权利要求5或6所述一种开源太阳辐照度数据动态采集方法、系统及存储介质，其特征在于，所述步骤s2-3中，数据的清洗和入库的方法为：s2-3-1、读取csv文件中的太阳总辐照度g、太阳直接辐照度b、采集时间t、地点经度lon、纬度lat，将采集时间t转化为世界调整时间；s2-3-2、设置g和b的物理上下限，计算地外太阳辐照度并将其作为上限，s2-3-3、缺失值处理；s2-3-4、过滤太阳天顶角θ≥85
°
时间段内记录的g和b，将对应的g和b标记为缺失值；s2-3-5、将经过清洗的数据直接导入mysql数据库。8.一种开源太阳辐照度数据动态采集系统，其特征在于，包括后端主服务程序、采集规则配置前端和数据存储集群，所述采集规则配置前端，用于进行数据采集规则的配置，并将配置好的采集规则发送到后端主服务程序；后端主服务程序，用于根据采集规则配置前端发送的配置好的采集规则进行数据采集，并对采集的数据进行清洗，最后导入数据存储集群。9.根据权利要求8所述的一种开源太阳辐照度数据动态采集系统，其特征在于，所述后端主服务程序、采集规则配置前端和数据存储集群均部署在云服务器上。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述方法的步骤。

技术总结
本发明公开了一种太阳辐照度数据动态采集方法，包括如下步骤：S1、开源数据的筛选和采集条件的分析；S2、数据采集：S2-1、设定一般开源数据源网站采集规则，并进行数据采集；S2-2、设定特殊开源数据源网站采集规则，并进行数据采集；S2-3、采集所述数据的清洗和入库。该方法为未来的太阳能资源评估、预测，光伏发电大规模开发应用等领域的研究提供数据支持和应用支撑。支撑。支撑。


技术研发人员：孙茜茜 章斌 殷昱煜 李玉 李尤慧子 梁婷婷
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.07.04
技术公布日：2023/10/6