联汇科技OmAgent开源智能体核心模型OmDet-Turbo被收录进入Transformers

近日,国内企业联汇科技OmAgent开源智能体核心模型OmDet-Turbo模型凭借在技术领域的算法创新和卓越性能,正式收录进入Transformers。OmDet-Turbo模型开源项目自在GitHub发布以来,迅速获得了业界的广泛认可与好评,目前在已在GitHub获得了超1500 star。

Transformers库是由Hugging Face公司维护的开源项目,它提供了丰富的预训练模型和工具,被全球数百万开发者用于自然语言处理和其他机器学习任务。本次OmDet-Turbo模型凭借其高效的目标检测能力和出色的算法优化与在实际应用中的高效、稳定,获得Transformers官方青睐。

随着正式收录进Transformers,这一先进目标检测技术将为全球的研究人员和开发提供更加强大和便捷的开放技术,为深度学习和计算机视觉任务领域的技术创新与进步提供了强大的算法支持。

了解OmDet-Turbo

OmDet-Turbo 是一种实时的 transformer-based 开放词表目标检测大模型,结合了强大的 OVD 能力和快速的推理速度。该模型通过引入高效融合头(Efficient Fusion Head, EFH)模块,显著降低了特征编码和多模态融合的计算复杂性,同时保持了良好的泛化能力和检测精度。

具体来说,EFH 使用高效的语言感知编码器(ELA-Encoder)和解码器(ELA-Decoder)来替代传统的重型编码器和 ROIAlign 模块,从而实现更高效的视觉-语言融合。OmDet-Turbo 在 COCO 和 LVIS 数据集上的零样本检测性能接近当前最先进的监督模型,并在 ODinW 和 OVDEval 数据集上创下了新的性能基准,分别达到了 30.1 和 26.86 的 AP 分数。此外,OmDet-Turbo-Base 在 A100 GPU 上的推理速度可以达到 100.2 FPS,展示了其在实际应用中的卓越性能,解决了OVD模型在实际应用中的推理速度慢的痛点。OmDet-Turbo 通过创新的架构设计和高效的计算方法,成为实时目标检测任务中的一个强力选择。

OmDet-Turbo开源项目将在未来开源更多、更强的模型,敬请关注联汇GitHub项目,获取最新动态和资源。github开源仓库搜索OmDet即可体验。