一种基于PCIe透传的虚拟集群时间同步测量方法与流程

一种基于pcie透传的虚拟集群时间同步测量方法
技术领域
1.本发明属于虚拟化和网络时间同步技术领域，具体涉及一种基于pcie透传的虚拟集群时间同步测量方法，适用于虚拟机间时间同步精度的实时监测测量。


背景技术：

2.随着云计算和虚拟化技术的不断发展，虚拟化平台被越来越多的应用到各行各业之中，虚拟集群时钟同步变得尤为重要。对于采用了同一网络域内统一时间同步系统的虚拟集群，如何通过某些技术实现虚拟集群间时间同步状态的实时在线监测也变得十分重要。
3.由于虚拟化技术对底层硬件的抽象隔离，使得虚拟集群无法通过共享使用时钟卡等配套硬件设备实现高精度时间同步，因此虚拟集群通常使用ntp等软件完成时间统一。而软件时间同步存在时钟漂移、时钟同步精度低及同步稳定性差等问题。在指控、测控应用场景下，虚拟系统节点间时间稳定同步直接关系到指控、测控系统的安全稳定运行。因此对系统虚拟节点进行监测，减少因对时误差引起的事件顺序记录错乱。如何对虚拟集群节点进行时间同步测量，存在以下问题：
4.1、由于网络同步协议均建立在网络链路延迟对称的假设前提上，而实际中网络链路延迟不对称对协议计算主从时钟偏移量的影响是无法消除的，协议软件计算值无法作为评估虚拟集群间时钟误差的有效依据。
5.2、网络同步协议软件对操作系统内核时钟进行同步，操作系统内核时钟无法做到硬件时钟卡般向外精确输出时钟信号，致使无法应用示波器对虚拟集群时间同步精度精确测量。
6.基于上述问题，如何针对虚拟集群提供一种测量误差可控的时间同步精度测量方法对指控、测控等高精度稳定时间同步需求应用系统而言至关重要。


技术实现要素：

7.针对现有存在的技术问题，本发明提供了一种基于pcie(peripheral component interconnect express，一种高速串行计算机扩展总线标准)透传的虚拟集群时间同步测量方法。借助pcie透传技术，虚拟集群与底层时钟卡绑定以获取第三方标准时间，间接准确地实现虚拟集群间时间同步测量。
8.为了实现上述目的，本发明通过如下技术方案来实现：
9.一种基于pcie透传的虚拟集群时间同步测量方法，包括如下步骤：
10.步骤1、绑定底层物理时钟卡
11.在被测试的两个虚拟节点通过pcie透传技术绑定底层物理时钟卡，时钟卡与时间服务器链接完成硬件时间同步，使得虚拟节点能获取统一第三时钟信号源；
12.步骤2、在虚拟节点1和虚拟节点2上运行测量程序，实现以约定同一系统内核时间访问读取底层时钟卡硬件时钟时间，
13.首先通过设置定时器确定中断信号产生的时间t及产生的时间间隔t，当测量程序收到第n个中断信号后，读取当前时刻系统内核时间tn，并通过时钟卡驱动接口，虚拟节点1和虚拟节点2第n次读取底层时钟卡硬件时钟时间观测值分别记录为
14.步骤3、虚拟节点间时间同步误差测量
15.依据步骤2中所记录的系统内核时间tn，实时计算定时器中断偏移误差：t
n-t-nt；
16.实时读取硬件时钟时间，并将定时器中断偏移误差t
n-t-nt从硬件时钟时间中减去，用以完成硬件时钟时间的部分误差校正；
17.最后，通过将虚拟节点1和虚拟节点2上同系统时间读取的经校正的时钟卡物理时间作差，以此完成虚拟节点间时间同步误差测量：
18.即
19.进一步的，选取两个kvm虚拟机，通过设置内核配置项完成ptp时钟卡pcie透传绑定。
20.进一步的，本发明的测量方法能够拓展至多个虚拟节点。
21.进一步的，本发明的测量方法使用的时钟卡不受限，满足任务需求即可。
22.本方法利用pcie透传技术，为虚拟集群提供统一第三方时间源，通过读取底层硬件时钟卡时间间接实现对虚拟集群间内核时钟差进行精确测量，使得在虚拟集群上对时钟误差进行精确监测成为可能。
附图说明
23.图1为虚拟节点访问底层硬件时钟卡获取硬件标准时间；
24.图2为测量程序流程图；
25.图3为测量方法主要误差示意图。
具体实施方式
26.为使本发明所实现的技术手段、创作特征、达成目的与实效易于了解明白，下面结合附图对本发明进行进一步的解释和说明。
27.本发明的实现流程如图2所示，一种基于pcie透传的虚拟集群时间同步测量方法，包括如下步骤：
28.步骤1、如图1所示，被测试虚拟节点通过pcie透传技术绑定底层物理时钟卡，时钟卡与时间服务器链接完成硬件时间同步，以此使得虚拟节点能获取统一第三时钟信号源。虚拟节点安装时钟卡驱动，是为了保证在虚拟节点内能通过驱动接口访问获取底层时钟卡物理时钟时间信息。虚拟节点通过时间同步软件完成系统内核时钟同步。在本具体实例中，选取了两个kvm(一种内建于linux内核的开源虚拟化技术)虚拟机，通过设置相关内核配置项完成ptp时钟卡pcie透传绑定。需要注意的是，此处仅介绍两个虚拟节点下的测量流程，所提测量方法可进一步拓展至多个虚拟节点。其所使用的时钟卡不受限，但应注意的是，虚拟节点软件时间同步一般精度在毫秒甚至于微妙量级，为使得虚拟节点间获取统一第三方时间尺度，保证测量方法精度，时钟卡间的硬件时钟同步误差应尽可能小。在本具体实例中，选择了ptp时钟卡，其同步误差在通畅网络条件能达到纳秒量级，而irig-b码时钟卡同
步精度一般在微妙量级。
29.步骤2、在虚拟节点1和虚拟节点2上运行测量程序，首先通过设置定时器确定中断信号产生时间t及产生间隔t，当测量程序收到第n个中断信号后，读取当前时刻系统内核时间tn，并通过时钟卡驱动接口，虚拟节点1和虚拟节点2第n次读取底层时钟卡硬件时钟时间观测值分别记录为
30.步骤3、依据步骤2中所记录的系统内核时间tn，可实时计算定时器中断偏移误差，即t
n-t-nt。将此误差实时在所读取硬件时钟时间中减去以完成此部分误差校正。最后，通过将虚拟节点1和虚拟节点2上同系统时间读取的经校正的时钟卡物理时间作差，以此完成虚拟节点间时间同步误差测量。即
31.图3给出了本发明主要的测量误差来源，主要由三部分组成，即：
32.δ
total
＝δ
ptp_card
+δ
pci_cross
+δ
timer
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
33.如上式所示，δ
ptp_card
表示不同主机上所使用的硬件ptp时钟卡之间的同步误差。硬件时钟卡同步误差测量结果可知，此部分误差在纳秒量级，对于整体测量误差可直接忽略。
34.δ
timer
为测量程序实现过程之中引入的定时器误差。在本具体实例里，系统定时器产生软中断信号存在时延误差。该误差可通过实时测量进行校正。
35.如图3所示，δ
pci_cross
为虚拟集群使用pcie透传技术后，虚拟节点访问底层时钟卡硬件所需要的时间开销。此部分时间开销是此测量方法主要误差来源，且此部分误差可直接进行测量估计。
36.在本发明实例中，所述虚拟机访问底层硬件时钟卡时延分布测量测试结果为类高斯分布，通过计算其概率函数，得到测量方法理论精度。
37.即，分别为虚拟节点1和虚拟节点2访问底层时钟卡时延随机变量。假设有则有
[0038][0039]
而又有，
[0040][0041]
由公式(3)可知，其最终测量误差为结合假设以及所推导的公式(2)，可以得到该测量方法b％的测量数据其误差不超过a us。
[0042]
在本具体实例里，依据3σ准则，该测量方法99.74％的测量数据其误差不超过而虚拟机访问底层硬件时钟卡时延为数微秒，本具体实例保证了时间同步测量精度在10us之内，可以用于虚拟集群间100us左右同步误差的测量。
[0043]
以上内容描述了本发明的基本原理和主要思想。本行业的技术人员应该了解，本发明不受上述具体实例的限制。

技术特征：
1.一种基于pcie透传的虚拟集群时间同步测量方法，其特征在于，包括如下步骤：步骤1、绑定底层物理时钟卡在被测试的两个虚拟节点通过pcie透传技术绑定底层物理时钟卡，时钟卡与时间服务器链接完成硬件时间同步，使得虚拟节点能获取统一第三时钟信号源；步骤2、在虚拟节点1和虚拟节点2上运行测量程序，实现以约定同一系统内核时间访问读取底层时钟卡硬件时钟时间，首先通过设置定时器确定中断信号产生的时间t及产生的时间间隔t，当测量程序收到第n个中断信号后，读取当前时刻系统内核时间t
n
，并通过时钟卡驱动接口，虚拟节点1和虚拟节点2第n次读取底层时钟卡硬件时钟时间观测值分别记录为步骤3、虚拟节点间时间同步误差测量依据步骤2中所记录的系统内核时间t
n
，实时计算定时器中断偏移误差：t
n-t-nt；实时读取硬件时钟时间，并将定时器中断偏移误差t
n-t-nt从硬件时钟时间中减去，用以完成硬件时钟时间的部分误差校正；最后，通过将虚拟节点1和虚拟节点2上同系统时间读取的经校正的时钟卡物理时间作差，以此完成虚拟节点之间的时间同步误差测量：即2.根据权利要求1所述的一种基于pcie透传的虚拟集群时间同步测量方法，其特征在于，所述步骤1中选取两个kvm虚拟机，通过设置内核配置项完成ptp时钟卡pcie透传绑定。3.根据权利要求1所述的一种基于pcie透传的虚拟集群时间同步测量方法，其特征在于，所述测量方法能够拓展至多个虚拟节点。4.根据权利要求1-3任一所述的一种基于pcie透传的虚拟集群时间同步测量方法，其特征在于，所述测量方法使用的时钟卡不受限，满足任务需求即可。

技术总结
本发明公开了一种基于PCIe透传的虚拟集群时间同步方法，属于虚拟化和网络时间同步技术领域。首先基于PCIe透传技术，完成虚拟集群节点与底层时钟卡绑定以获取底层物理时钟时间；然后通过定时器产生软中断信号，完成虚拟节点以同一约定时间读取底层物理时钟卡时钟信息，同时对定时器时延进行测量，并实时对读取时钟卡时间进行校正；最后通过计算两个时钟卡物理时间值可得到虚拟集群节点间时钟误差。本发明利用硬件高精度时钟卡硬件，借助虚拟机PCIe透传技术，可准确实现虚拟集群间系统时间同步测量。同步测量。同步测量。


技术研发人员：胡凯凡 倪明 周仁杰 蔡万增 曾红锦
受保护的技术使用者：中国人民解放军63660部队
技术研发日：2023.04.11
技术公布日：2023/7/22