1.1 论文基本信息

论文题目：结合计算机视觉和桥梁影响面的桥梁动态称重技术

论文作者：简旭东，夏烨*，孙守旺，孙利民

图1 论文首页截图

论文链接：https://onlinelibrary.wiley.com/doi/abs/10.1002/stc.3066

https://engrxiv.org/preprint/view/2041/

微信推送链接：https://mp.weixin.qq.com/s/IdqAdtH6ejebbMAyKbSLyg

引用格式：Jian, X, Xia, Y, Sun, S, Sun, L. Integrating bridge influence surface and computer vision for bridge weigh-in-motion in complicated traffic scenarios. Struct Control Health Monit. 2022; 29( 11):e3066. doi:10.1002/stc.3066

1.2 摘要

包括车辆变速变道以及多个车辆同时在桥上出现等情形在内的复杂交通情况下，车重识别精度显著下降是既有桥梁动态称重（Bridge Weigh-In-Motion，简称B-WIM）技术在工程应用中所面临的主要问题之一。为了解决这一问题，本研究提出了一种结合基于深度学习的计算机视觉技术和桥梁影响面理论的B-WIM技术框架。该技术框架使用时间同步的桥梁应变信号和桥上交通监控视频作为B-WIM的数据源。计算机视觉技术被用于从交通监控视频中检测、定位与追踪桥上车辆，以减小因桥上多车并存和车辆变速造成的车重识别误差。桥梁影响面理论被用于考虑车辆的横桥向加载效应，以减小由车辆变道引起的车重识别误差。大量模型试验的结果表明，该技术框架能够在复杂交通情况下准确地识别桥上车辆的时空分布和总重。

2 研究背景

桥梁是交通基础设施的重要组成部分。准确可靠地采集包含车辆总重、车辆轴重、车辆轴数、车辆类型等在内的桥上交通信息，能够为桥梁运营管理、桥梁状态评估以及桥梁规范改进提供数据支持，意义重大。桥梁动态称重技术以桥梁结构为“秤”，从车致桥梁响应中识别出桥上车辆的总重与轴重。与静态称重和动态称重等车重识别技术相比，桥梁动态称重技术具有耐久性好、安装便捷、成本低、隐蔽性好等优势，近年来得到了广泛的关注。但众多相关研究表明该技术仍然存在一些局限性，不能充分满足工程实践的需求。多篇文献综述指出，现有的桥梁动态称重技术在桥上同时存在多个车辆，以及桥上车辆变道变速行驶时，其车重识别精度将显著下降。这一方面是因为仅通过桥梁结构的车致响应难以准确地获取车辆轴数、车辆速度、车辆轨迹以及车辆类型等交通信息，而这些信息对于准确且稳定地识别车辆重量而言是必要的。另一方面是因为绝大部分桥梁动态称重研究使用的是桥梁影响线而不是影响面，无法从理论上考虑车辆对桥梁结构的横向加载效应。有鉴于这两个原因，本研究首先引入了基于深度学习的计算机视觉技术从交通监控视频中检测、定位与追踪桥上车辆，从而以低成本、高精度的方式获取桥梁动态称重所必需的桥上车辆的车轴和位置信息。然后，本研究使用了桥梁影响面理论以考虑车辆的横桥向加载效应。结合计算机视觉技术与桥梁影响面理论，本研究提出了一种能够适用于复杂交通情况的新型桥梁动态称重技术框架（如图2所示），并且开展了模型试验对该技术框架进行了验证。

图2 结合计算机视觉与桥梁影响面的桥梁动态称重技术框架示意图

3 方法理论

3.1 目标检测

计算机视觉是一种模仿人类视觉，使用计算机对电子图像和视频进行自动化处理的技术。计算机视觉技术的基础性任务包括图像分类，目标检测，和语义解读。本研究所涉及到的桥上车辆与车轴检测可归属为计算机视觉的目标检测任务。目前，进行计算机视觉目标检测的主流方法是基于深度学习的。这一类方法能够直接从训练图片集中自动学习被检测目标的特征，这极大地方便了该类方法的实际应用，并且显著提升了目标检测的精度、稳定性和速度。本研究采用了目前接受度较高的开源深度学习目标检测模型YOLO V4从交通监控视频中检测车辆和车轴。与其他的深度学习目标检测模型相比，YOLO V4具有训练设备要求低，目标检测精度高且速度快的优势。应用YOLO V4的主要步骤包括模型训练与模型使用两部分，如图3所示。

图3YOLO V4目标检测模型应用步骤示意图

3.2 目标定位

YOLO V4模型直接输出的目标检测结果是被检测目标在图片坐标系中的像素位置坐标，而桥梁动态称重技术需要获知车轴在桥面坐标系中的空间位置坐标。因此有必要使用计算机视觉领域内的坐标转换方法实现被检测车轴的像素坐标到空间坐标之间的转换。为了从数学上描述这一坐标转换过程，如图4所示。本研究建立了三个坐标系，它们分别是图像坐标系，相机坐标系（该坐标系中相机所在的位置即坐标系原点），以及世界坐标系。这三个坐标系之间通过针孔视觉模型产生关联。

图4 坐标转换示意图

基于上图所建立的坐标系，可以使用直接线性变换法（Direct Linear Transformation，简称DLC）实现交通监控视频中被检测车辆和车轴的像素坐标(u, v)与其对应的桥面坐标(X_w, Y_w)之间的转换。应用直接线性变换法时，只需要已知视频画面中至少4个点的像素坐标和桥面坐标，即可计算出坐标转换所需要的参数，实现像素坐标与桥面坐标之间的转换。这一坐标转换过程不需要任何关于相机的位置或者焦距等参数的先验知识，因此在实际应用中非常便捷。

3.3 应变处理

大部分桥梁动态称重方法直接使用桥梁的车致应变进行车重识别。这一做法会造成识别误差，因为实测桥梁车致应变不仅包含车致静应变，还包括车致动应变以及温度、混凝土收缩徐变等环境因素造成的应变。然而，这些桥梁动态称重方法是基于桥梁影响线理论的，该理论是一个静力学概念，无法考虑桥梁振动和环境因素的影响。为了减少这部分误差，有必要对实测桥梁应变进行处理，从中提取出桥梁车致静应变，然后只用车致静应变进行桥梁动态称重。本研究使用一种名为局部加权回归（Locally Weighted Regression，简称LOWESS）的方法直接在时域上滤除实测桥梁应变中的环境应变和车致动应变，最后只保留车致静应变。图5以某混凝土连续梁桥的实测应变为例，展示了本研究所使用的车致静应变提取流程。

图5 车致静应变提取流程图

3.4 影响面识别

既有研究表明使用桥梁影响线进行桥梁动态称重无法应对复杂交通情况，因为复杂交通情况下车辆变道行驶会改变其在桥面上的横向位置，而桥梁影响线从理论上无法体现桥梁结构在横向上的力学性质。然而，目前使用桥梁影响面的桥梁动态称重研究和实践很少，这主要是因为缺乏合适的技术手段直接观测桥上车辆的横桥向位置。如前文所述，本研究所使用的计算机视觉技术能够方便且准确地获取桥上车辆的连续轨迹，该轨迹同时包含车辆的纵桥向和横桥向位置信息。基于上述原因，本研究使用三维桥梁影响面而不是二维桥梁影响线进行桥梁动态称重。在使用桥梁影响面进行车重识别之前，首先需要识别桥梁影响面。本研究首先使用经典的矩阵法，通过安排已知轴重的车辆在桥上行驶，进行多个不同横桥向位置处的桥梁影响线识别。然后，对这些识别出来的影响线进行横桥向三次插值，即可得到桥梁影响面。图6展示了使用上述方法对某真实桥梁结构的应变影响面进行识别的结果。该算例中首先识别了桥梁左侧、中间和右侧三个不同横向位置处的影响线，然后在这三根影响线之间进行横桥向插值以识别出影响面。

图6 桥梁影响面识别示意图

3.5 车重识别

基于通过上述方法所获得的桥梁影响面，桥上所有车轴的位置坐标，以及车致桥梁静应变，能够得到由不同应变传感器和不同应变离散采样时刻的影响面加载方程所组成的超定矩阵方程组。使用最小二乘法求解该超定矩阵方程组，即可识别出桥上所有车轴的静轴力。求解出所有静轴力后，可以很方便地计算出桥上所有车辆的轴重与总重。

4 模型试验

4.1 试验设置

为了测试上述桥梁动态称重技术框架，本研究开展了模型试验。模型试验中所使用的桥梁模型参照上海市绕城高速公路某混凝土连续大箱梁桥进行设计，模型缩尺比为1/20，由有机玻璃制成。该模型的具体尺寸和构造如图7所示。

图7 试验桥梁模型示意图

模型试验选用遥控卡车进行桥上车辆荷载的模拟。如图8所示，该三轴卡车模型的外观与真实卡车十分相似，这是为了方便使用基于深度学习的计算机视觉技术对卡车进行检测。使用遥控器可以控制卡车模型前进、后退、转弯，最高车速为30 cm/s。卡车的总重为2.64 kg，试验中可以通过在卡车货箱内放置两块重量为1.46 kg 的配重块改变卡车的重量。

图8 试验车辆模型示意图

模型试验现场如图9所示。从图中可以看出，桥梁模型的桥面上覆盖了一层深色砂纸，用于模拟路面不平度。砂纸上还粘贴了车道分隔线，便于模拟各种复杂交通情况。现场使用了两个摄像头，其中摄像头1 的作用是识别车辆车轴，摄像头2 的作用是追踪车辆并对其进行定位。两个摄像头的帧率均为25 FPS。摄像头所记录的视频与应变计所记录的应变信号在时间上尽可能同步，以便融合两种数据进行后续分析。

图9 试验现场图片

4.2 试验结果

4.2.1 车辆与车轴定位结果

为了量化评估车辆和车轴定位的精度，本试验首先开展了三个标定工况。工况中尽可能地控制车辆的左侧车轮沿着车道分隔线直线行驶，使得车辆的真实轨迹有据可查。图10展示了其中某一个标定工况中通过计算机视觉技术识别出的车辆中心轨迹，通过对比轨迹在桥面坐标系中的坐标与已知的车道分隔线坐标，即可得到车辆和车轴定位的误差。三个标定工况中所识别出来的车辆中心轨迹的平均横桥向坐标分别为6.45 cm，26.21 cm 和46.95 cm，方差分别为0.08 cm，0.41 cm 和0.07 cm。考虑到从左往右三根车道分隔线的横桥向坐标分别为0 cm，20 cm 和40 cm，车辆模型的半宽为6 cm，而桥面的尺寸为300×55 cm，可以认为本试验中计算机视觉技术非常准确地识别出了车辆的位置，该定位精度完全能够满足桥梁动态称重的要求。需要指出的是，车辆之间的相互遮挡以及光照条件的变化是使用计算视觉技术对车辆和车轴进行定位时所面临的一大挑战。为了解决这一问题，本研究采用了两种措施，具体细节详见所发表的论文。

图10 影响面标定工况与车辆行驶轨迹识别结果

4.2.2 桥梁应变影响面识别结果

上图10所示的试验工况中，车辆模型分别在桥面的最左侧、中间和最右侧行驶，因此这三个工况的试验数据亦能够被用于识别该模型桥梁的应变影响面。图11展示了应变影响面的识别结果，所识别出的三个影响面分别对应上图7中A、B、C三个应变计所在的位置处的应变测点。可以看出所识别出的影响面与通过结构力学概念分析能够得到的影响面形状吻合得较好，说明本研究成功识别出了桥梁结构的应变影响面。

图11 模型试验桥梁应变影响面识别结果

4.2.3 车辆总重与轴重识别结果

本研究提出计算机视觉辅助的桥梁动态称重技术框架的主要目的是为了解决复杂交通情况问题。因此，模型试验中的车重识别部分模拟了如图所示的六种不同交通工况。这六种工况分别为单车直行、单车变道、双车直行、双车变道、四车直行以及四车变道。每个工况中车辆模型的速度也不是恒定的，在20 cm/s 之30 cm/s 之间波动。考虑到工程实践中桥上车辆的重量各不相同，本试验还通过给车辆模型增加配重的方式模拟了三种不同的车重情况。随后，本研究一共开展了74 次车重识别试验，共计识别了116 个车次的车辆总重与226个车轴和轴组的轴重。其中车辆总重的识别结果如图12所示。图中每一个黑点代表一个车次的总重识别结果。黑点距离代表0%识别误差的蓝色基准线的距离越远，识别误差越大。为了进一步观察车重识别结果的精度，图中还绘制出了两条绿色虚线和两条红色虚线，分别代表5% 和10% 的识别误差。在所识别的116 个车次的车辆总重中，有75 个车次的识别误差小于5%，有103 个车次的识别误差小于10%。车辆总重识别的相对误差的统计数据如表1所示。

表 1 模型试验车辆总重识别结果

图12 车辆总重识别结果

车辆轴重的识别结果如图13所示。图中每一个黑点代表一个车轴/轴组的总重识别结果。黑点距离代表0%识别误差的蓝色基准线的距离越远，识别误差越大。为了进一步观察轴重识别结果的精度，图中还绘制出了两条绿色虚线和两条红色虚线，分别代表5% 和10%的识别误差。在所识别的232个车轴/轴组重中，有57个车轴/轴组的识别误差小于5%，有108个车轴/轴组的识别误差小于10%。轴重识别的相对误差的统计数据如表2所示。

表 2 模型试验车辆轴重识别结果

图13 车辆轴重识别结果

从上文所展示的车辆总重与轴重识别结果可以看出，本研究所提出的计算机视觉辅助的桥梁动态称重技术即使是在复杂交通情况下也能准确地识别出桥上车辆的总重。但是轴重识别的精度仍然有待提高。还可以发现随着交通情况越来越复杂，所识别车辆总重和轴重的误差均越来越大。这是因为求解桥梁动态称重的超定矩阵方程组在数学上是一个病态问题。方程组中的待求解未知数（静轴力）越多，求解结果越容易受到观测误差的扰动，求解误差越大。病态问题的准确求解不属于本文的研究范畴，此处不再详细介绍。

5 结论

本研究提出了一种结合计算机视觉技术和桥梁影响面理论的桥梁动态称重技术，开展了模型试验对该技术进行了验证，得到以下结论：

1. 基于深度学习的计算机视觉技术能够以较低的成本准确稳定地识别出桥上车辆的类型和车轴位置，使用桥梁影响面能够从理论上考虑桥上车辆的横桥向加载效应。将识别出的车轴时空轨迹，桥梁影响面，以及车致桥梁静应变数据相融合，能够解决既有桥梁动态称重技术在复杂交通情况下精度显著下降的问题。

2. 除对桥上车辆进行称重以外，本章所提出的新型桥梁动态称重技术框架还可用于识别桥上车辆的数量、类型、轴数、实时位置、运动轨迹、行驶速度等多粒度交通信息以及桥梁结构的影响面等结构状态参数。而且本技术框架所需要的传感器可以在不干扰桥上交通的情况下快速拆装，适合短期内对桥上交通信息以及桥梁结构状态进行识别。综合上述因素，本章所提出的桥梁动态称重技术框架具有较好的工程价值。特别是对于已经安装有包括摄像头和应变传感器在内的桥梁健康监测系统的桥梁，使用本研究成果有望在无增量费用的情况下扩展既有桥梁健康监测系统的功能。

3. 本节研究的车重识别精度仍有进一步提升的空间。此外，本技术的长期称重效果亦有待进一步的实桥试验验证。