|
高速摄影机辅助运动训练
Professor Yuh-Renn Wu's Laboratory
Graduate Institute of Photonics and Optoelectronics, National Taiwan University
台湾大学光电所 吴育任教授
利用多台同步高速摄影机拍摄投手动作,进行生物力学分析关节活动与肌肉发力状况预防受伤、分析与训练。此技术也用于拍摄投球轨迹,分析球路、球速与转速以增进球质。
在台湾,棒球是最受欢迎的体育竞技之一,许多球员都是从国小时期开始接触棒球并成长为职棒选手。然而若长期不当操练,选手容易造成不可逆的伤害,尤其许多高中投手因为手臂伤势被迫调整投球姿势,最后在毕业后已严重受伤被迫放弃成为职棒选手。有鉴于此,台大、台湾体大组成团队,开发高速摄影机肢体辨识并整合物理治疗与生物力学分析开发了辅助训练系统,希望可以低成本方式普及伤害预防与运动科学。在团队的分析与调整下,时年已24岁的陈柏安成功在两个月内将球速从时速133公里提升到时速143公里,并被味全球团收为自培选手(人间福报,2024-09-10)。团队中由吴育任教授所主导的子计划专注于开发无标记式肢体3D重建与球路重建,采集运动数据以供专业教练与防护人员分析。
传统上采集关节活动数据需要在关节处皮肤上贴上反光标记并在周围架设多台红外线摄影机追踪标记的轨迹,然而在剧烈运动时标记可能会脱落且活动范围越大需要越多台红外线摄影机。本团队采用长焦高速摄影机拍摄肢体动作后使用肢体辨识AI模型(例如YOLO),可以将摄影机架设在棒球场的观众席上拍摄投手且不影响比赛进行。多台摄影机从不同角度拍摄选手动作得到关节点的二维坐标,两两组合透过三角测量(Triangulation)还原出三维坐标(图一),并从组合中选出三维位置投影至相机二维坐标误差最小的组合。然而模型经常混淆相似的关节,尤其是该关节被遮挡时尤为容易发生,且不可避免的模型判定位置会抖动。本团队开发了超采样去除噪声算法(图二),先将原始数据点透过有限脉冲响应(Finite Impulse Response, FIR)将数据速率提高后找出局部极值并从中选出正确的轨迹,排除可疑之数据点后再透过低通滤波器得到平滑稳定的轨迹。此方法对于短时间的连续抖动十分有效,也大大的改善了三维重建精度。后续透过将高质量之三维坐标输入逆运动学计算人体关节活动与肌肉发力可以得到精准的骨架运动轨迹并投影至影片上,供教练或是运动防护员分析(图三)。
|

|

|
|
图一、三角测量示意图。影像中的对应点分别反投影为空间中的两条射线。当这两点满足极线几何约束时,两条射线位于同一平面上,并于三维空间中交会于一点,此点即为重建之三维位置。
|
图二、超采样去除噪声效果。原始资料点(蓝点)之采样率为270Hz。橘线为原始资料点超采样128倍。绿线为排除可疑数据点后经过低通滤波所得最后输出轨迹。
|
|

|
|
图三、最终之骨架运动轨迹投影于影片。透过分析投球动力链,调整肌群发力时机和避免代偿,可以有效提高球速与避免伤害。
|
球路重建方面,棒球投球时球的转速(Revolutions Per Minute, RPM)与球速是影响球路表现的关键物理量。高转速的球因马格努斯效应(Magnus Effect)产生较大的气动偏移力,是造成曲球、滑球等变化球路的主因。传统量测方式仰赖雷达测速仪或专用旋转传感器,设备昂贵且不易普及。本研究针对棒球场景自行训练YOLO目标侦测模型,自动追踪高速影片中的球体位置并裁切出每帧对应的球体影像(图四),做为后续分析的基础。
转速量测基于一个核心假设:球旋转一圈后,球表面纹路(缝线)会回到初始状态,连续帧之间的影像差异因此达到局部最小值。系统透过分析连续帧之间的影像相似度,并以超采样大幅提升时间分辨率,从而精确估计旋转周期并换算为每分钟转数(图五)。球的旋转轴决定了球路偏移的方向,是教练分析投球质量的重要依据。本研究将球体表面映像至单位球面,对均匀分布于候选方向的转轴逐一计算球面旋转后的像素预测误差,搜寻使误差最小的转轴方向并进一步精确化,最终还原出投球时的旋转轴,与使用都普勒回波测量求转速的商用系统相比,我们成功用低成本的方式达到非常高度相关的结果(图六)。球速量测需要将像素坐标还原为真实世界的三维位置,因此须依赖相机标定所得的内参矩阵。本研究以相机焦距与球体已知半径估计球在镜头前的深度,还原球的真实三维位置,进而计算出每帧之间的位移与时间间隔,最终输出球速(km/h)。最后结合球速、转速与出手点,计算马格努斯力、重力与空气阻力可以预测球的完整轨迹。与需要在本垒板前放置仪器的商用系统相比有接近的结果(图七),且摄影机可以架设在不干扰投打之观众席,价格也相对亲民。
|

|

|
|
图四、球体裁切影像示意。YOLO侦测球体位置后裁切出对应的球体影像。
|
图五、转速周期侦测结果。蓝线为经超采样处理后的像素差异正规化均方误差(Normalized MSE)曲线。当两帧画面相差17、34与56帧时画面的像素差异为局部最小。绿点为候选周期,红点为最终选定之旋转周期。
|
|

|

|
|
图六、与商用系统测得转速比较。可以看到与使用雷达侦测之系统高度相关。
|
图七、与商用系统测得进垒点比较。在考虑不同效应后,系统所预测的进垒点已经十分接近商用系统所测得之进垒点。
|
Reference:
[图一] R. Hartley and A. Zisserman,“3D Reconstruction of Cameras and Structure,” in Multiple View Geometry in Computer Vision, Cambridge: Cambridge University Press, 2004, pp. 262–278.
Sidewall Optical Leakage and Scaling Limits in Sub-20 µm AlGaInP Micro-Resonant Cavity LEDs
Professor Chao-Hsin Wu
Graduate Institute of Photonics and Optoelectronics, National Taiwan University
台湾大学光电所 吴肇欣教授
We are delighted to present some of the latest developments that have been made by us in the field of advanced AR displays and VLC systems. Our research explores the optical properties of the AlGaInP micro-RCLEDs with dimensions below 20 µm and operating at 620 nm. [1]
|

|
|
Fig. 1. (a) Cross-section schematic of the fabricated AlGaInP-based micro-RCLED. (b) TEM image of the RCLED epitaxy showing the DBR and cavity layers. (c) Photoluminescence (PL) of the MQWs and reflectance patterns for the detuning designs. (d) Optical microscope image of the micro-RCLED array under 20 mA bias current.
|
Through our experiments, we showed that micro-RCLEDs with 13×20 µm2 have strong spectral narrowing (FWHM < 10 nm) and excellent current-dependent wavelength stability. The reason why we observed unexpected high divergence in the far-field measurements turned out to be sidewall emission, which was proved by using hybrid optical model involving transfer matrix method combined with geometric optics. Indeed, as mesa size is smaller than the optical recycling length, the emitted light from lateral cavity modes cannot be absorbed any longer.
This demonstrates an inherent scaling compromise between vertical confinement of the cavity and directional emission of the beam. The essential requirement to overcome this problem is thus to implement appropriate sidewall emission control schemes for micro-RCLEDs of high-resolution applications. Our simulation results show that by using a sidewall mirror made of gold (Au), we can mitigate lateral escape and redirect photons forward, leading to a remarkable enhancement of light coupling into a ±20° acceptance cone AR waveguide, increasing the coupling efficiency (η20°) from 8.4% to 20.0%.
|

|
|
Fig. 2. (a) Measured and simulated far-field emission patterns of the micro-RCLED, highlighting the significant sidewall-emitting contribution. (b) Simulated far-field radiation patterns comparing the baseline micro-RCLED without a sidewall reflector and the modified architecture featuring an Au sidewall reflector, increasing the coupling efficiency (η20°) into the AR waveguide acceptance cone from 8.4% to 20.0%.[1]
|
Reference:
[1] N. Prechatavanich, M.-J. Wu, C.-W. Huang, C.-K. Yee, T. Sutheebanjerd, Y.-T. Tseng, Z.-A. Lin, Y.-H. Chen, K.-H. Lin, C.-C. Wu, and C.-H. Wu, "Sidewall Optical Leakage and Scaling Limits in Sub-20 µm AlGaInP Micro-Resonant Cavity LEDs," 2026.
|