NVIDIA Kumo Tabular 为表格预测确立新的精度-效率前沿

📌 One-Sentence Summary

NVIDIA 发布 Kumo Tabular，这是一款面向表格数据的开源基础模型，通过上下文学习实现零样本分类与回归，在多项基准测试中达到最先进的精度与效率。

📝 Summary

NVIDIA Kumo Tabular 是一系列开源权重基础模型（参数量从 28M 到 215M），专为无需训练、调优或特征工程的表格预测任务设计。该模型采用 Transformer 架构，结合专门的列注意力、行注意力和上下文注意力机制，将带标签的行视为上下文，在单次前向传播中预测新行的标签。Kumo Tabular 完全基于通过结构因果模型（SCM）生成的数百万个多样化人工表格进行预训练，能够原生处理现实世界数据中的杂乱缺陷。目前，它在 TabArena、BeyondArena、TALENT 和 ScoringBench 基准测试中排名第一，为表格机器学习确立了精度与推理效率的新帕累托前沿。

💡 Main Points

从梯度提升树转向表格基础模型

与传统 GBT 需要针对每个任务进行训练和特征工程不同，Kumo Tabular 利用上下文学习在不更新权重的情况下解决表格任务，模仿了 LLM 的工作流程。

针对表格结构的专用架构

该模型采用三阶段注意力机制：列注意力用于理解值分布，行注意力用于捕捉特征交互，上下文注意力用于关联查询行与带标签的上下文行。

基于结构因果模型（SCM）的合成数据预训练

模型在由过程采样器生成的数百万个人工表格上进行训练，这些采样器模拟因果图、缺失值和重尾分布，使其能够泛化到杂乱的现实世界数据。

卓越的精度-效率权衡

Kumo Tabular 在四个主要基准测试（TabArena、BeyondArena、TALENT、ScoringBench）上的表现优于现有的表格基础模型和调优后的 GBT，同时保持了显著更快的推理速度。

💬 Key Quotes

给定一个包含带标签行的表格，它能在单次前向传播中预测新行的标签，无需训练、无需调优、无需特征工程，适用于分类和回归任务。

一个在数百万张表格上预训练的模型可以将带标签的表格作为其上下文读取，并直接预测新行的标签。

Kumo Tabular 在精度-效率帕累托前沿上确立了新的最先进水平。

📊 Article Meta

AI Screening： 88

Source： Hugging Face - Blog

Author： Jingang Qu, Valter Hudovernik, Martin Jurkovic, Cedric Lorenz, Akihiro Nitta, DG, Federico Lopez, Ramona Bendias, Gilberto Titericz Jr, Aleksandar S. Sokolovski, Isabel Hulseman, Jure Leskovec, Matthias Fey

Category： 人工智能

Language： 英文

Read Time： 7 min

Word Count： 1534

Tags：

AI 与智能应用 , 模型发布 , 机器学习 , 模型训练与推理 , NVIDIA