【汽车供应商网】4月11日,毫末智行联合上海大学可拓展计算与系统实验室在 AAAI2025 上正式发布最新论文《Quality over Quantity : Boosting Date Efficiency Throng Ensembled Multimodal Date Curation》。针对因网络爬取的数据集的非结构化和异构性所带来的如何有效整理高质量数据集的挑战,该论文提出了一种先进的基于学习的整理方法——多模态算子集成的数据整理方法 EcoDatum ( Ensemble Curation Of Data Through Multimodal Operators )。当前,随着大规模网络数据持续涌现,图文对( Image-Text Pair )已成为训练视觉语言模型( VLM )的主力燃料。CLIP ( OpenAI在2021年提出多模态预训练模型)最初依赖约4亿 Image-Text Pair 数据,随后开放社区又推出 LAION‑5B 等50亿量级数据集,为多模态研究奠定了基础。然而,这些原始数据往往具有夹杂噪声和重复的问题,如果不经过精细筛选,模型性能会被稀释甚至被误导。 EcoDatum 正是在这一背景下提出的弱监督自动化筛选框架,战略性地整合了各种单模态和多模态数据整理算子,并利用自动化优化技术对每个数据点进行有效评分。EcoDatum 显著提高了数据整理的质量和效率,超越了现有的最先进( SOTA )技术,在 DataComp 排行榜上排名第1,其在38个多样化的评估数据集上的平均性能得分为0.182。结果比 DataComp 过滤赛道的基线方法提高了28%,充分证明 EcoDatum 筛选出高质量数据的“少而精”路线显著优于“量大但粗”的传统路线。
AAAI 是人工智能领域历史最悠久的旗舰会议之一,被 CCF 评为 A 类,被CORE 评为 A* ;在 Google Scholar H5‑Index 的 AI 会议中位列第 4,仅次于 NeurIPS、ICLR、ICML 。大会采用两阶段严格评审,近年录用率长期维持在约 20 %。2025年, AAAI 会议在费城举办,包含主会、竞赛与研讨会等丰富活动。在本届 AAAI 2025中,本论文从全球12,957份投稿中脱颖而出,接收率为23.54%,被主委会正式接收,代表了 AAAI 对该成果的极高评价,凸显这一成果的学术与工程价值。

近两年,自动驾驶研究者积极将 Image-Text Pair VLM 模型融入车辆感知与认知决策链。例如, DriveVLM 等模型通过语言解释车载摄像头画面并给出层级规划,让车辆用自然语言描述长尾场景,提升可解释性与安全性。 VLM 模型正在覆盖包括感知、导航和决策全链路,零样本长尾场景理解、语言引导导航等能力,从而成为研究热点。
Image-Text Pair 数据也由此在自动驾驶产业中兴起。高质量的 Image-Text Pair 数据成为让车辆既“看得懂”又“说得清”的根基燃料。而 EcoDatum 自动化筛选方法则为行业输出了可复制、可扩展的优质 Image-Text Pair 数据的高效通道,从而加速了 VLM 模型在自动驾驶等安全敏感场景的落地。具体来讲,面向自动驾驶 VLM 模型的训练,EcoDatum 可以提供以下有效助力。该论文将十余种图像与文本质量算子(包括模糊图像过滤、图像标题具体性、Image-Text 语义一致性等)设计成“标签函数”,通过搜索算法自动学习最优权重组合,彻底摆脱大量手工阈值。对自动驾驶而言,这意味着可以把在道路上采集的原始行车画面与描述语句快速筛成高质量 Image-Text Pair 数据,为 DriveVLM 这类驾驶语言模型提供洁净、可迁移的数据源。EcoDatum 在去重时先依据质量分数排序,再剔除低质副本,并实时监控类别与场景分布,避免数据偏斜。这一方法对自动驾驶场景尤为关键,例如既可以压缩夜间反光、雨天模糊等低质冗余,又保留了稀有长尾场景,使模型对极端路况的鲁棒性显著提升。通过弱监督权重搜索,EcoDatum 可以自动抑制噪声算子、强化高质量算子。研究显示,单一算子平均只能带来个位数提升,而集成后的算子在下游38项评测中获得两位数增益。对于自动驾驶 VLM ,这种“多角度质量衡量+自动权重调整”的方案,可在不同城市、不同摄像头配置之间自适应迁移,大幅减少人工调参的成本。EcoDatum 仅用3.5M精选 Image-Text Pair 训练的CLIP类模型,在ImageNet、COCO-Caption 等多领域基准,在 Datacomp 规则下全面超越现有 SOTA ,验证了“高质量、小体量”数据的价值。放到自动驾驶场景,同样规模的精选行车图文对即可驱动 DriveVLM‑ 类模型获得更优场景理解与语言解释能力,为安全决策和乘客交互带来直接收益。现在,EcoDatum 的完整代码已在GitHub开源(访问链接查看原文 https://github.com/haomo-ai/EcoDatum),将方便自动驾驶与机器人领域研究者直接复现并定制适配的行车或移动平台数据。
综上所述, EcoDatum 把弱监督集成、质量引导去重与自动权重搜索巧妙结合,提供了一套面向自动驾驶 Drive VLM 的高效多模态数据筛选范式。凭借 DataComp 冠军和 AAAI2025 顶会正式发布的认可, EcoDatum 为“高质量、小体量”数据驱动模型性能的方向奠定了坚实基础,也为自动驾驶和其他机器人场景的安全落地贡献了可操作的工具链。
