一筐大模型揉一起做篮球识别！多模型融合实现精准球员追踪与识别 2025-11-04 0 浏览 0 点赞 长文 给大家看这个识别效果，投篮位置，是否进球，球衣编号，球在哪里(甚至裁判手里拿的另外一个球都能捕捉到)，篮筐，运动员都能识别。 ## 使用的模型组合 ### F-DETR（检测球员） 这是个类 DETR 的实时目标检测器。微调后用来检测球员、球衣号码、裁判、篮球，甚至投篮类型。 ### SAM2（跟踪球员） 用于分割与跟踪。它在球员被遮挡后重新识别，并在身体接触中保持目标 ID 稳定。 ### SigLIP + UMAP + K-means（无监督球队聚类） 结合视觉-语言嵌入与无监督聚类，通过统一的颜色和纹理将球员自动分组，无需人工标注。 ### SmolVLM2（识别球员号码） 这个比较猛，今年2月份发布的，有 256M、500M、2.2B 三个版本。一般用在 OCR 场景，是个 VLM，经过 NBA 球衣裁剪图像微调后，识别队服和编号准确率从 56% 提升至 86%。 ### ResNet-32（号码分类） 一种经典 CNN，经过微调用于球衣号码分类，测试准确率达到 93%，优于微调后的 SmolVLM2。 ## 识别能力 该系统能够精准识别： - 投篮位置 - 是否进球 - 球衣编号 - 球的位置（甚至裁判手里拿的另外一个球都能捕捉到） - 篮筐 - 运动员 原文写的非常棒，作为学习资料足够了。 Roboflow Blog - 篮球球员识别 原文详细教程 #AI #SAM2 #VLM #多模型融合 #目标检测 #计算机视觉