牛舍摄像头与奶牛数字孪生示意
海外技术|单帧24.5毫秒、40帧每秒:轻量化AI把奶牛行为监测搬上边缘设备
发布时间 : 2026-11-06

在规模化奶牛场,给每一头牛“记账”一直是件难事:牛群密集、互相遮挡、光照多变。发表在《Artificial Intelligence in Agriculture》上的一项研究给出了一套能在边缘设备上实时运行的轻量化方案——在Jetson Nano上处理单帧仅需24.5毫秒,折合超过40帧/秒,精度几乎与体积大得多的模型持平。论文由Diao Z.等人完成。

一、难点不在检测,而在“认住同一头牛”

多目标跟踪的常规做法是先检测、再关联。研究团队在ByteTrack基础上引入高斯插值(Gaussian Interpolation,GSI)来修补轨迹断点,形成GSI-Byte组合,并与三种主流方案做了对比:YOLOv5s+DeepSORT、改进型YOLOv7-tiny+StrongSORT、改进型YOLOv7+ByteTrack。结果显示,GSI-Byte平均拟合时间最快,为19.19毫秒,同时多目标跟踪准确率MOTA最高,达75.3%。

插值强度由参数τ控制。τ取4.0时高斯核过窄,几乎滤不掉噪声;τ取12时轨迹最平滑,但真实运动变化被过度削弱,还带来轻微时滞,行为边界随之模糊。团队在该数据集上认定τ=10是最佳折中。

二、边缘部署:FP16量化后单帧24.5毫秒

研究人员把训练好的PyTorch权重转为ONNX,再用TensorRT做算子融合与FP16量化。在480像素输入下,轻量化模型单帧处理24.5毫秒,超过40帧/秒;作为基线的YOLOv10s在同样分辨率下需要59.0毫秒,精度只略高——mAP@50为87.9%对87.6%。把输入尺寸降到480以下,mAP与MOTA都明显下滑,原因是纹理与姿态线索变得模糊。

三、仍然存在的三个短板

论文也如实列出了局限:行为标签空间只覆盖基础行为,缺少行走、跛行等与健康直接相关的类别;数据集未包含极端天气与夜间低照度红外场景;GSI部分对超参数敏感,插值间隔与τ目前都是固定值。此外身份保持仍会失败——一头牛长时间躲在钢柱后被重新赋予新编号,被邻牛部分遮挡时也会出现同样问题。团队认为,遮挡感知的关联算法是下一步主攻方向。

四、下一步是多模态融合

研究者提出将音频、温湿度传感器与牛体体温数据纳入融合,目标是形成可用于商业奶牛场的可部署监测方案。对国内牧场而言,这条路径的启示在于:行为识别真正落地的门槛,不在实验室里的精度小数点,而在“便宜到能一栋舍装一套、稳定到能连续跑一年”。

来源:Scienmag(2026-11-04)/Artificial Intelligence in Agriculture,DOI:10.1016/j.aiia.2026.11.003|原文链接:https://bioengineer.org/lightweight-ai-tracks-every-cow-in-the-herd-in-real-time/