贝叶斯影响函数（BIF）：突破 Hessian 瓶颈的数据归因新方法 arXiv 2025-10-23 0 浏览 0 点赞 长文 训练数据如何影响模型行为？实际上问题远比直观想象得复杂。传统的影响函数（IF）作为简化数据到行为映射的线性工具，在理论上假设存在唯一全局极小点（而神经网络从未满足这一条件），并且在实际中依赖 Hessian 矩阵，导致大模型时内存需求激增。 **传统影响函数的局限性：** - 理论上假设存在唯一全局极小点（神经网络从未满足这一条件） - 实际中依赖 Hessian 矩阵，导致大模型时内存需求激增 - 无法准确描述复杂的数据到行为映射关系 **贝叶斯影响函数（BIF）的创新：** 为了解决这些局限，作者提出了贝叶斯影响函数（BIF）： 1. **考察分布而非单点**：考察的是低损失解的分布，而非单一极小点 2. **避免 Hessian 求逆**：避免了 Hessian 矩阵求逆，转而计算该分布的协方差 **技术突破：** 尽管计算全贝叶斯后验似乎更复杂，但在本文中，作者引入了： - 适用于单个模型检查点的局部 BIF - 可扩展的随机梯度 MCMC 估计器 从而突破了 Hessian 的瓶颈，不仅可支持数十亿参数规模，还能免费获得细粒度的每个标记影响评估。 **实验结果：** 实验结果表明，在标准的重训练基准（使用 Linear Datamodeling Score）上，BIF 与领先的 IF 近似方法具有竞争力，尤其在小数据集场景中表现突出。 但同时，BIF 在数据集扩展性、SGMCMC 超参数的调控等方面仍存在改进空间。 这项研究为大规模模型的数据归因问题提供了新的解决思路，对于理解和优化模型训练过程具有重要意义。 论文原文 Bayesian Influence Functions for Hessian-Free Data Attribution #AI #MCMC #数据归因 #机器学习 #模型训练 #深度学习 #神经网络 #贝叶斯