一种时延动态补偿方法、装置、设备、介质及系统与流程

1.本发明涉及通信网络技术领域，尤其涉及一种时延动态补偿方法、装置、设备、介质及系统。


背景技术：

2.现有技术中，对于非对称性时延补偿的方式主要是采用探针、仪表或者5g基站内置等方式测量固定的双向延迟差，然后进行时延补偿，但这种方式不能自动进行补偿，如果不能进行自动补偿，则存在如下缺点：
3.1)当应用环境发生变化后，如网络olp倒换带来的光纤路径发生倒换，这个双向延迟差值就会发生变化，影响网络的同步精度和业务质量，这时就需要人工重新去获取双向延迟差值，并重新进行补偿；
4.2)每次测量后按照测量值进行一次性补偿，而当修正数值较大时，可能引起时钟精度瞬间的跳变而影响业务；
5.3)不能够实时检测时延非对称性值。


技术实现要素：

6.本发明所要解决的技术问题是针对现有技术的上述不足，提供一种基于强化学习模型的时延动态补偿方法、装置、设备、介质及系统，能够对时延进行自动补偿。
7.第一方面，本发明提供一种时延动态补偿方法，该方法应用于同步网传输设备，该方法包括如下步骤：
8.步骤k1：将第一时间同步信号发送给同步网探针设备；
9.步骤k2：接收同步网探针设备返回的第一时间同步信号偏差；
10.其中：
11.所述第一时间同步信号偏差是同步网探针设备对第一时间同步信号进行测量与偏差分析得到的，所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
12.步骤k3：根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号；
13.步骤k4：将第二时间同步信号发送给同步网探针设备，从而完成时延动态补偿。
14.进一步地，所述步骤k3中，根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号，具体包括步骤：
15.步骤k31：将第一时间同步信号偏差与预设阈值进行比较：
16.当第一时间同步信号偏差大于预设阈值，进入步骤k32；当第一时间同步信号偏差小于或等于预设阈值，不对第一时间同步信号进行时延补偿，将第一时间同步信号修改为第二时间同步信号；
17.步骤k32：获取第一时间同步信号对应的环境状态s
t
，并将第一时间同步信号对应的环境状态s
t
作为强化学习模型的输入；所述环境状态包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差；
18.步骤k33：根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号；所述在强化学习模型中输出动作补偿包括在强化学习模型中输出补偿方向和输出补偿值步长，所述补偿方向包括正向补偿、负向补偿和零补偿，所述补偿值步长为预设值；
19.步骤k34：对第二时间同步信号进行测量及偏差分析，得到第二时间同步信号偏差，并将第二时间同步信号偏差与预设阈值进行比较：
20.当第二时间同步信号偏差大于预设阈值，重复步骤k32至步骤k33，直至第二时间同步信号偏差小于或等于预设阈值，并将第一时间同步信号修改为第二时间同步信号。
21.进一步地，所述强化学习模型是基于第一时间同步信号偏差得到的价值网络和策略网络，
22.所述步骤k33中，根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号，具体包括：
23.将第一时间同步信号对应的环境状态s
t
输入价值网络，所述价值网络根据环境状态得到时延补偿的各个可能动作值，各个可能动作值包括正向补偿动作、负向补偿动作和零补偿动作，正向补偿动作的概率、负向补偿动作的概率和零补偿动作的概率三者之和为1；所述环境状态s
t
包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差；
24.策略网络根据各个可能动作值的最大概率值选择时延补偿；
25.同步网传输设备接收动作后，环境状态改变为环境状态s
t+1
，并向探针设备返回奖励值r
t
；
26.其中：
27.当环境状态s
t+1
时的te时钟性能上下峰值的绝对值最大值，比上一时刻的环境状态s
t
时的te时钟性能上下峰值的绝对值最大值更小或相等时，
28.或，
29.环境状态s
t+1
的mtie比环境状态s
t
的mtie更小时；
30.或，
31.环境状态s
t+1
的tdev比环境状态s
t
的tdev更小时；
32.或，
33.环境状态s
t+1
的mtie比itu-t g.811/g.812标准规定值更小时，
34.或，
35.环境状态s
t+1
的tdev比itu-t g.811/g.812标准规定值更小时，
36.或，
37.环境状态s
t+1
的频偏比环境状态s
t
的频偏更接近于0时，
38.则奖励值r
t
为加分奖励值；
39.否则奖励值r
t
为减分奖励值。
40.进一步地，所述步骤k32中，获取第一时间同步信号对应的环境状态s
t
为经过时间范围阈值x后，获取的第一时间同步信号对应的环境状态；
41.所述步骤k33中，根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号，包括如下步骤：
42.确定一个时间范围阈值x及确定性能阈值y；其中：时间范围阈值x表示连续x个t时间，性能阈值y为时间误差te的阈值范围；
43.对于每个t时间范围内的数据，计算te的平均值μ和标准差σ；
44.判断te的数值是否分布在(μ-3σ,μ+3σ)的范围内：
45.如果连续x个t时间范围内的te平均值都小于y，并且te的数值分布在(μ-3σ,μ+3σ)的范围内，则在强化学习模型中输出动作补偿为零补偿，确定第二时间同步信号与第一时间同步信号相同，则将第一时间同步信号替换为第二时间同步信号；如果有任何一个t时间范围内的数据的te平均值大于y或者te的数值分布不在(μ-3σ,μ+3σ)的范围内，则确定第二时间同步信号为第一时间同步信号进行正向补偿或负向补偿得到的。
46.第二方面，本发明提供一种时延动态补偿方法，该方法应用于同步网探针设备，该方法包括如下步骤：
47.步骤s1：接收同步网传输设备传送的第一时间同步信号；
48.步骤s2：对第一时间同步信号进行测量与偏差分析得到第一时间同步信号偏差，并将第一时间同步信号偏差发送给同步网传输设备；
49.其中：
50.所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
51.步骤s3：接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；所述第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。
52.第三方面，本发明提供一种时延动态补偿装置，该装置应用于同步网探针设备，该装置包括：
53.第一接收单元，用于接收同步网传输设备传送的第一时间同步信号；
54.测量分析单元，与所述第一接收单元连接，用于对第一时间同步信号进行测量与偏差分析得到第一时间同步信号偏差，并将第一时间同步信号偏差发送给同步网传输设备；所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
55.第一接收单元，还用于接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；
56.所述第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。
57.第四方面，本发明提供一种时延动态补偿装置，该装置应用于同步网传输设备，该装置包括：
58.第一发送单元，用于将第一时间同步信号发送给同步网探针设备；
59.第二接收单元，与所述第一发送单元连接，用于接收同步网探针设备返回的第一
时间同步信号偏差；所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
60.补偿单元，与所述第二接收单元连接，用于根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号；
61.第二发送单元，与所述补偿单元连接，用于将第二时间同步信号发送给同步网探针设备，从而完成时延动态补偿。
62.第五方面，本发明提供一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据上述的时延动态补偿方法。
63.第六方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，所述处理器执行根据上述的时延动态补偿方法。
64.第七方面，本发明提供一种时延动态补偿系统，该系统包括同步网探针设备及同步网传输设备，
65.所述同步网传输设备传送第一时间同步信号给所述同步网探针设备；
66.所述同步网探针设备发送第一时间同步信号偏差给同步网传输设备；
67.所述同步网探针设备接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；所述第二时间同步信号是所述同步网传输设备根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。
68.其中：
69.所述第一时间同步信号偏差为同步网探针设备对第一时间同步信号进行测量与偏差分析得到的，所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间。
70.本发明的有益效果：
71.1.本发明基于强化学习模型进行时延动态补偿，从而能够实时检测时延非对称性值并自动进行补偿。
72.2.本发明在网络环境发生变化时，也能实时检测时延非对称性值并自动进行补偿，大大简化了时延测量和非对称性补偿的工作量，也无需人工干预。
73.3.当设备失锁处于保持状态期间，本发明能够在保持状态期间通过持续的动态补偿将设备同步精度偏差校正回正常范围内。
74.4.本发明基于强化学习模型进行时延动态补偿，从而能够逐步渐进的方式来实施时延补偿，避免突然的大数值补偿引起精度瞬间的跳变而影响业务，实现了网络运维的自动化和智能化。
75.5.本发明通过对时间范围和性能阈值的设置，能够有效地保证时延补偿的稳定性，从而避免突然的波动对通信系统造成的影响。
附图说明
76.图1为本发明实施例中的同步网传输设备采用强化学习实现动态时延补偿示意
图；
77.图2为本发明实施例中的1588v2拓扑示意图；
78.图3为本发明实施例中的强化学习模型中的策略网络示意图；
79.图4为本发明实施例中的5g基站设备采用强化学习实现动态时延补偿示意图；
80.图5为本发明实施例中的时延动态补偿流程示意图；
81.图6为本发明实施例中的时延动态补偿装置示意图；
82.图7为本发明实施例中的另一时延动态补偿装置示意图。
83.其中，附图标记：10、第一接收单元，20、测量分析单元，30、第一发送单元，40、第二接收单元，50、补偿单元，60、第二发送单元。
具体实施方式
84.为使本领域技术人员更好地理解本发明的技术方案，下面将结合附图对本发明实施方式作进一步地详细描述。
85.可以理解的是，此处描述的具体实施例和附图仅仅用于解释本发明，而非对本发明的限定。
86.可以理解的是，在不冲突的情况下，本发明中的各实施例及实施例中的各特征可相互组合。
87.可以理解的是，为便于描述，本发明的附图中仅示出了与本发明相关的部分，而与本发明无关的部分未在附图中示出。
88.可以理解的是，本发明的实施例中所涉及的每个单元、模块可仅对应一个实体结构，也可由多个实体结构组成，或者，多个单元、模块也可集成为一个实体结构。
89.可以理解的是，在不冲突的情况下，本发明的流程图和框图中所标注的功能、步骤可按照不同于附图中所标注的顺序发生。
90.可以理解的是，本发明的流程图和框图中，示出了按照本发明各实施例的系统、装置、设备、方法的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可代表一个单元、模块、程序段、代码，其包含用于实现规定的功能的可执行指令。而且，框图和流程图中的每个方框或方框的组合，可用实现规定的功能的基于硬件的系统实现，也可用硬件与计算机指令的组合来实现。
91.可以理解的是，本发明实施例中所涉及的单元、模块可通过软件的方式实现，也可通过硬件的方式来实现，例如单元、模块可位于处理器中。
92.实施例1：
93.如图1、图4及图5所示，本实施例提供一种时延动态补偿方法，该方法应用于同步网传输设备，
94.该方法包括如下步骤k1至步骤k4：
95.步骤k1：将第一时间同步信号发送给同步网探针设备。
96.时延动态补偿(dynamic delay compensation)是一种用于同步网络中的时延测量和校正的技术。在同步网络中，由于网络传输的时延不可避免，会导致数据包在传输过程中出现一定的延迟。为了保证网络中各个节点之间的时钟同步，需要对这些时延进行测量和补偿。时延动态补偿的基本原理是通过测量网络中数据包的到达时间差来估计时延，并
根据估计的时延值对时钟进行校正。具体的实现方式可以是在网络中的节点上记录数据包的发送和接收时间戳，然后计算出数据包在传输过程中的时延，根据测量结果，能够调整本地时钟的频率或相位，以实现对时延的补偿。
97.在进行时延动态补偿时，需先将第一时间同步信号发送给同步网探针设备，第一时间同步信号是一个精确的时间标记或者是一个周期性的同步信号，通过将同步信号发送给同步网探针设备，能够确保探针设备能够获取到最准确的同步参考时间。同步网探针设备通常会与同步网传输设备进行通信，并通过测量延迟来确定网络中的时延，同步网探针设备能够检测到在数据传输过程中引入的各种时延，例如传输延迟、处理延迟和传播延迟等。通过收集和分析这些时延信息，能够计算出网络中不同节点之间的时延差异，并进行动态补偿，并通过不断地实时监测和实时调整时延补偿策略，从而确保整个同步网络始终保持高精度和稳定的同步状态。
98.步骤k2：接收同步网探针设备返回的第一时间同步信号偏差。
99.具体地，第一时间同步信号偏差是同步网探针设备对第一时间同步信号进行测量与偏差分析得到的，第一时间同步信号偏差为第一理论时间和第一实际时间的差值，第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
100.步骤k3：根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号；强化学习模型是基于第一时间同步信号偏差得到的价值网络和策略网络。
101.具体地，步骤k3中，根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号，具体包括步骤：
102.步骤k31：将第一时间同步信号偏差与预设阈值进行比较：
103.当第一时间同步信号偏差大于预设阈值，进入步骤k32；当第一时间同步信号偏差小于或等于预设阈值，不对第一时间同步信号进行时延补偿，将第一时间同步信号替换为第二时间同步信号；
104.步骤k32：获取第一时间同步信号对应的环境状态s
t
，并将第一时间同步信号对应的环境状态s
t
作为强化学习模型的输入；环境状态包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差；
105.步骤k33：根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号；在强化学习模型中输出动作补偿包括在强化学习模型中输出补偿方向和输出补偿值步长，补偿方向包括正向补偿、负向补偿和零补偿，补偿值步长为预设值；
106.在一种实施方式中，强化学习模型是基于第一时间同步信号偏差得到的价值网络和策略网络。
107.在步骤k33中，根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号，具体包括：
108.将第一时间同步信号对应的环境状态s
t
输入价值网络，价值网络根据环境状态得到时延补偿的各个可能动作值，各个可能动作值包括正向补偿动作、负向补偿动作和零补偿动作，正向补偿动作的概率、负向补偿动作的概率和零补偿动作的概率三者之和为1；环
境状态s
t
包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差；
109.策略网络根据各个可能动作值的最大概率值选择时延补偿；
110.同步网传输设备接收动作后，环境状态改变为环境状态s
t+1
，并向探针设备返回奖励值r
t
；
111.其中：
112.当环境状态s
t+1
时的te时钟性能上下峰值的绝对值最大值，比上一时刻的环境状态s
t
时的te时钟性能上下峰值的绝对值最大值更小或相等时，
113.或，
114.环境状态s
t+1
的mtie比环境状态s
t
的mtie更小时；
115.或，
116.环境状态s
t+1
的tdev比环境状态s
t
的tdev更小时；
117.或，
118.环境状态s
t+1
的mtie比itu-t g.811/g.812标准规定值更小时，
119.或，
120.环境状态s
t+1
的tdev比itu-t g.811/g.812标准规定值更小时，
121.或，
122.环境状态s
t+1
的频偏比环境状态s
t
的频偏更接近于0时，
123.则奖励值r
t
为加分奖励值；
124.否则奖励值r
t
为减分奖励值。
125.在一种实施方式中，在步骤k32中，获取第一时间同步信号对应的环境状态s
t
为经过时间范围阈值x后，获取的第一时间同步信号对应的环境状态；
126.步骤k33中，根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号，包括如下步骤：
127.确定一个时间范围阈值x及确定性能阈值y；其中：时间范围阈值x表示连续x个t时间，性能阈值y为时间误差te的阈值范围；
128.对于每个t时间范围内的数据，计算te的平均值μ和标准差σ；
129.判断te的数值是否分布在(μ-3σ,μ+3σ)的范围内：
130.如果连续x个t时间范围内的te平均值都小于y，并且te的数值分布在(μ-3σ,μ+3σ)的范围内，则在强化学习模型中输出动作补偿为零补偿，确定第二时间同步信号与第一时间同步信号相同，则将第一时间同步信号替换为第二时间同步信号；如果有任何一个t时间范围内的数据的te平均值大于y或者te的数值分布不在(μ-3σ,μ+3σ)的范围内，则确定第二时间同步信号为第一时间同步信号进行正向补偿或负向补偿得到的。
131.步骤k34：对第二时间同步信号进行测量及偏差分析，得到第二时间同步信号偏差，并将第二时间同步信号偏差与预设阈值进行比较：
132.当第二时间同步信号偏差大于预设阈值，重复步骤k32至步骤k33，直至第二时间同步信号偏差小于或等于预设阈值，并将第一时间同步信号替换为第二时间同步信号。
133.步骤k4：将第二时间同步信号发送给同步网探针设备，从而完成时延动态补偿。
134.其中：
135.第一时间同步信号偏差是同步网探针设备对第一时间同步信号进行测量与偏差
分析得到的，第一时间同步信号偏差为第一理论时间和第一实际时间的差值，第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；依次类推，第n时间同步信号偏差是同步网探针设备对第n时间同步信号进行测量与偏差分析得到的，第n时间同步信号偏差为第n理论时间和第n实际时间的差值，第n理论时间为第n时间同步信号到达同步网探针设备的理论时间，第n实际时间为第n时间同步信号到达同步网探针设备的实际时间；n为大于1的自然数。
136.实施例2：
137.如图1、图3及图4所示，本实施例提供一种时延动态补偿方法，该方法应用于同步网探针设备，该方法包括如下步骤：
138.步骤s1：接收同步网传输设备传送的第一时间同步信号；
139.步骤s2：对第一时间同步信号进行测量与偏差分析得到第一时间同步信号偏差，并将第一时间同步信号偏差发送给同步网传输设备；
140.具体地，第一时间同步信号偏差为第一理论时间和第一实际时间的差值，第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
141.步骤s3：接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。
142.实施例3：
143.如图6所示，本实施例提供一种时延动态补偿装置，该装置与实施例1的方法相对应，该装置应用于同步网探针设备，该装置包括：
144.第一接收单元10，用于接收同步网传输设备传送的第一时间同步信号；
145.测量分析单元20，与第一接收单元10连接，用于对第一时间同步信号进行测量与偏差分析得到第一时间同步信号偏差，并将第一时间同步信号偏差发送给同步网传输设备；第一时间同步信号偏差为第一理论时间和第一实际时间的差值，第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
146.第一接收单元10，还用于接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；
147.其中：第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。
148.其中，时延补偿是以第一时间同步信号对应的环境状态s
t
，并将第一时间同步信号对应的环境状态s
t
作为强化学习模型的输入，在强化学习模型中输出动作补偿；环境状态包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差。
149.实施例4：
150.如图7所示，本实施例提供一种时延动态补偿装置，应用于同步网传输设备，该装置包括：
151.第一发送单元30，用于将第一时间同步信号发送给同步网探针设备；
152.第二接收单元40，与第一发送单元30连接，用于接收同步网探针设备返回的第一
时间同步信号偏差；第一时间同步信号偏差为第一理论时间和第一实际时间的差值，第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；
153.补偿单元50，与第二接收单元40连接，用于根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号；
154.第二发送单元60，与补偿单元50连接，用于将第二时间同步信号发送给同步网探针设备，从而完成时延动态补偿。
155.实施例5：
156.如图1所示，本方案采用机器学习中的强化学习技术，在同步网探针设备、同步网传输设备或5g基站设备中新增相关决策功能模块，实现了一种动态的时延补偿机制。对于同步网传输设备的时延补偿的具体过程如下：
157.对于同步网传输设备，由于自身没有参考信号，所以需要外接具备卫星天线的同步网探针设备来进行同步网时钟时间性能的测量。
158.当开局初始状态时：
159.1)同步网传输设备的时钟性能状态作为环境，输出时钟和时间信号给同步网探针设备。
160.2)同步网探针设备相当于强化学习中的智能体agent，基于自身的卫星信号作为参考，对同步网传输设备的时钟和时间信号进行性能测量，得到环境状态s。s包含tie、te等特征。
161.3)在探针设备上新增状态分析功能，对于环境状态s，除去离群点，按照3σ原则，计算te数值分布在(μ-3σ,μ+3σ)中的数据的平均值和上下峰值的绝对值最大值。计算mtie、tdev、频偏。
162.4)在每个时间戳t上面，探针设备对同步网传输设备的输出动作a
t
为补偿方向，包括正向补偿、负向补偿和不补偿。每次补偿值步长可设置，例如1ns。
163.5)同步网传输设备收到t时刻的动作后，在同步网传输设备的输入端口上进行相应的时延补偿。
164.6)同步网传输设备接收动作后状态改变为s
t+1
，并返回奖励值r
t
。
165.7)同步网传输设备向探针设备返回的奖励值r
t
。当s
t+1
时的te时钟性能上下峰值的绝对值最大值，比上一时刻s
t
时的te上下峰值的绝对值最大值更小或相等时，或者s
t+1
比s
t
时的mtie、tdev比itu-t g.811/g.812标准规定值更小时，或者s
t+1
比s
t
时的频偏更接近于0时，奖励值r
t
为加分奖励值，否则奖励值r
t
为减分奖励值。
166.最关键的环节是动作决策的策略。这里创建一个神经网络，用环境状态s作为输入，包含了四个特征，分别为：te、mtie、tdev、频偏，即长度为4的向量。将执行的动作a作为输出。估计每个动作的概率，根据估计的概率随机地选择一个动作。动作的概率分布为π
θ
(a|s)，其中θ为策略函数π的参数，可以利用神经网络来参数化π
θ
函数。如图3所示。所有动作的概率之和为1，即∑
a∈a
πθ(a|s)＝1，其中a为所有动作的集合。π
θ
网络代表了智能体的策略，称为策略网络，如图3所示。
167.神经网络包括输入层、中间多个全连接隐藏层和输出层。输出节点为3，代表了3个动作的概率分布。采用梯度下降算法来优化网络，优化目标是使加分奖励值出现概率变大，
减分奖励值出现概率变小。在交互时，选择概率最大的动作a
t
＝argmaxaπθ(a|st)作为决策结果，作用于时延补偿环境中。
168.在补偿后的稳定期间，正常情况下时钟的性能只是微小变化，无需实时每秒都进行动态补偿，为此可以设置一个时间范围阈值x和一个性能阈值y，当连续x个t时间范围内，te数值分布在(μ-3σ,μ+3σ)中的数据的平均值都小于y时，则不进行动态补偿，否则开始重新运行动态补偿。
169.具体地，1588v2拓扑示意图如图2所示，同步网的末端传输设备输出时钟和时间信号给5g基站设备，以满足5g业务的高精度同步需求。同时也可以输出时钟和时间信号给同步网探针设备，以进行信号精度的监测测量。输出时钟信号包括但不限于同步以太synce、2mbit/s、2mhz、10mhz信号等，输出时间信号包括但不限于1pps、1pps+tod、ptp信号等。
170.同步网探针设备、以及支持测量功能的5g基站设备可以基于北斗/gps卫星参考信号对末端设备的输出信号进行测量，包括测量时间间隔偏差tie(time interval error)和时间偏差te(time error)，以及基于tie计算最大时间间隔误差mtie(maximum time interval error)、时间偏差tdev(time deviation)、频偏等。
171.如图4所示，本实施例中，对于5g基站设备的时延补偿具体如下：
172.对于5g设备，由于5g设备自身具备安装卫星天线的条件，即自身具备使用卫星信号作为参考来测量输入信号性能的能力，因此，5g基站设备自身可以集成环境和智能体。如图4所示。运行步骤与上述相同。
173.举例说明，当本身5g基站时钟/时间输入信号的te偏差范围为100～160ns。当x设置为10，性能阈值设置y设置为10ns时。由于平均值130ns超出了阈值，因此运行动态补偿机制。神经网络经过强化学习，第一次会输出一个动作，若动作为补偿1ns，则补偿后状态变为101～161ns，比起上一次最大值由160变为161，绝对值更大，则进行减分奖励值。若动作为补偿-1ns，则补偿后状态变为99～159ns，则进行加分奖励值。以此循环，最终实现动态补偿到补偿-130ns，达到信号偏差范围为-30ns～30ns。这时达到稳态，只进行监控不进行补偿。当网络结构突然变化例如发生割接、故障等情况，信号偏差超出阈值时，则再次进行动态补偿，从而解决动态时延补偿的问题。
174.实施例5是与实施例1至4都是对应的。
175.实施例6：
176.基于相同的技术构思，本实施例提供一种电子设备，该电子设备包括存储器和处理器，该存储器中存储有计算机程序，当该处理器运行所述存储器存储的计算机程序时，所述处理器执行根据实施例1所述的时延动态补偿方法。
177.实施例7：
178.基于相同的技术构思，本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，所述处理器执行根据实施例1所述的时延动态补偿方法。
179.实施例8：
180.本实施例提供一种时延动态补偿系统，该系统包括同步网探针设备及同步网传输设备，
181.该同步网传输设备传送第一时间同步信号给该同步网探针设备；
182.该同步网探针设备发送第一时间同步信号偏差给同步网传输设备；
183.该同步网探针设备接收同步网传输设备传送的第二时间同步信号；该第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。
184.其中：
185.该第一时间同步信号偏差为同步网探针设备对第一时间同步信号进行测量与偏差分析得到的，该第一时间同步信号偏差为第一理论时间和第一实际时间的差值，该第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，该第一实际时间为第一时间同步信号到达同步网探针设备的实际时间。
186.可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。

技术特征：
1.一种时延动态补偿方法，应用于同步网传输设备，其特征在于，所述方法包括如下步骤：步骤k1：将第一时间同步信号发送给同步网探针设备；步骤k2：接收同步网探针设备返回的第一时间同步信号偏差；其中：所述第一时间同步信号偏差是同步网探针设备对第一时间同步信号进行测量与偏差分析得到的，所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；步骤k3：根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号；步骤k4：将第二时间同步信号发送给同步网探针设备，从而完成时延动态补偿。2.根据权利要求1所述的时延动态补偿方法，其特征在于，所述步骤k3中，根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号，具体包括步骤：步骤k31：将第一时间同步信号偏差与预设阈值进行比较：当第一时间同步信号偏差大于预设阈值，进入步骤k32；当第一时间同步信号偏差小于或等于预设阈值，不对第一时间同步信号进行时延补偿，将第一时间同步信号替换为第二时间同步信号；步骤k32：获取第一时间同步信号对应的环境状态s
t
，并将第一时间同步信号对应的环境状态s
t
作为强化学习模型的输入；所述环境状态包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差；步骤k33：根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号；所述在强化学习模型中输出动作补偿包括在强化学习模型中输出补偿方向和输出补偿值步长，所述补偿方向包括正向补偿、负向补偿和零补偿，所述补偿值步长为预设值；步骤k34：对第二时间同步信号进行测量及偏差分析，得到第二时间同步信号偏差，并将第二时间同步信号偏差与预设阈值进行比较：当第二时间同步信号偏差大于预设阈值，重复步骤k32至步骤k33，直至第二时间同步信号偏差小于或等于预设阈值，并将第一时间同步信号替换为第二时间同步信号。3.根据权利要求2所述的时延动态补偿方法，其特征在于，所述强化学习模型是基于第一时间同步信号偏差得到的价值网络和策略网络，所述步骤k33中，根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号，具体包括：将第一时间同步信号对应的环境状态s
t
输入价值网络，所述价值网络根据环境状态得到时延补偿的各个可能动作值，各个可能动作值包括正向补偿动作、负向补偿动作和零补偿动作，正向补偿动作的概率、负向补偿动作的概率和零补偿动作的概率三者之和为1；所述环境状态s
t
包括时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差；策略网络根据各个可能动作值的最大概率值选择时延补偿；
同步网传输设备接收动作后，环境状态改变为环境状态s
t+1
，并向探针设备返回奖励值r
t
；其中：当环境状态s
t+1
时的te时钟性能上下峰值的绝对值最大值，比上一时刻的环境状态s
t
时的te时钟性能上下峰值的绝对值最大值更小或相等时，或，环境状态s
t+1
的mtie比环境状态s
t
的mtie更小时；或，环境状态s
t+1
的tdev比环境状态s
t
的tdev更小时；或，环境状态s
t+1
的mtie比itu-t g.811/g.812标准规定值更小时，或，环境状态s
t+1
的tdev比itu-t g.811/g.812标准规定值更小时，或，环境状态s
t+1
的频偏比环境状态s
t
的频偏更接近于0时，则奖励值r
t
为加分奖励值；否则奖励值r
t
为减分奖励值。4.根据权利要求2所述的时延动态补偿方法，其特征在于，所述步骤k32中，获取第一时间同步信号对应的环境状态s
t
为经过时间范围阈值x后，获取的第一时间同步信号对应的环境状态；所述步骤k33中，根据时间误差te、最大时间间隔误差mtie、时间偏差tdev及频率偏差，在强化学习模型中输出动作补偿，得到第二时间同步信号，包括如下步骤：确定一个时间范围阈值x及确定性能阈值y；其中：时间范围阈值x表示连续x个t时间，性能阈值y为时间误差te的阈值范围；对于每个t时间范围内的数据，计算te的平均值μ和标准差σ；判断te的数值是否分布在(μ-3σ,μ+3σ)的范围内：如果连续x个t时间范围内的te平均值都小于y，并且te的数值分布在(μ-3σ,μ+3σ)的范围内，则在强化学习模型中输出动作补偿为零补偿，确定第二时间同步信号与第一时间同步信号相同，则将第一时间同步信号替换为第二时间同步信号；如果有任何一个t时间范围内的数据的te平均值大于y或者te的数值分布不在(μ-3σ,μ+3σ)的范围内，则确定第二时间同步信号为第一时间同步信号进行正向补偿或负向补偿得到的。5.一种时延动态补偿方法，应用于同步网探针设备，其特征在于，所述方法包括如下步骤：步骤s1：接收同步网传输设备传送的第一时间同步信号；步骤s2：对第一时间同步信号进行测量与偏差分析得到第一时间同步信号偏差，并将第一时间同步信号偏差发送给同步网传输设备；其中：所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同
步信号到达同步网探针设备的实际时间；步骤s3：接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；所述第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。6.一种时延动态补偿装置，应用于同步网探针设备，其特征在于，所述装置包括：第一接收单元，用于接收同步网传输设备传送的第一时间同步信号；测量分析单元，与所述第一接收单元连接，用于对第一时间同步信号进行测量与偏差分析得到第一时间同步信号偏差，并将第一时间同步信号偏差发送给同步网传输设备；所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；第一接收单元，还用于接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；所述第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。7.一种时延动态补偿装置，应用于同步网传输设备，其特征在于，所述装置包括：第一发送单元，用于将第一时间同步信号发送给同步网探针设备；第二接收单元，与所述第一发送单元连接，用于接收同步网探针设备返回的第一时间同步信号偏差；所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间；补偿单元，与所述第二接收单元连接，用于根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿，得到第二时间同步信号；第二发送单元，与所述补偿单元连接，用于将第二时间同步信号发送给同步网探针设备，从而完成时延动态补偿。8.一种电子设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行根据权利要求1至4任一项或权利要求5所述的时延动态补偿方法。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，所述处理器执行根据权利要求1至4任一项或权利要求5所述的时延动态补偿方法。10.一种时延动态补偿系统，其特征在于，包括同步网探针设备及同步网传输设备，所述同步网传输设备传送第一时间同步信号给所述同步网探针设备；所述同步网探针设备发送第一时间同步信号偏差给同步网传输设备；所述同步网探针设备接收同步网传输设备传送的第二时间同步信号，从而完成时延动态补偿；所述第二时间同步信号是所述同步网传输设备根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的；其中：所述第一时间同步信号偏差为同步网探针设备对第一时间同步信号进行测量与偏差
分析得到的，所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值，所述第一理论时间为第一时间同步信号到达同步网探针设备的理论时间，所述第一实际时间为第一时间同步信号到达同步网探针设备的实际时间。

技术总结
本发明公开了一种时延动态补偿方法、装置、设备、介质及系统，该方法应用于同步网传输设备时，包括步骤：将第一时间同步信号发送给同步网探针设备；接收同步网探针设备返回的第一时间同步信号偏差；所述第一时间同步信号偏差是同步网探针设备对第一时间同步信号进行测量与偏差分析得到的，所述第一时间同步信号偏差为第一理论时间和第一实际时间的差值；将第二时间同步信号发送给同步网传输设备；所述第二时间同步信号是根据第一时间同步信号偏差和强化学习模型对第一时间同步信号进行补偿得到的。该时延动态补偿方法是基于强化学习模型实现的，能够实时检测时延非对称性值并自动进行补偿。动进行补偿。动进行补偿。


技术研发人员：赵良 张贺 魏步征 董姗 屈文秀 满祥锟 林琳
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：2023.07.03
技术公布日：2023/9/7