【新智元导读】2025年ACL盛会于维也纳落下帷幕！今年会议规模空前，投稿量超过8000篇，其中超半数作者来自中国。4篇最佳论文中，出自中国团队之手的同样占到50%——分别是北大与DeepSeek合作、梁文锋署名的NSA论文，以及北大杨耀东团队揭示模型存在「抗改造」基因的论文。
2025年7月30日，奥地利维也纳，万众瞩目ACL 2025终于颁奖了！
本届ACL总投稿数量创下历史新高，达到了8360篇论文！（去年只有4407篇）
其中，主会录用率为20.3%，共有1699篇论文；Findings录用率为16.7%，共有1392篇论文。
值得一提的是，论文里的中国作者已经占据了半壁江山，比例超过51%。
其中，第一作者有高达51.3%来自大陆，排在第二的美国仅为14%。
本次ACL共有4篇最佳论文，2篇最佳社会影响力论文，3篇最佳资源论文，3篇最佳主题论文，26篇杰出论文，以及TACL最佳论文，最佳Demo，时间检验奖等若干奖项。
备受期待的DeepSeek与北京大学合作、梁文锋署名的论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》获得最佳论文奖！
团队成员在颁奖典礼上，成为全场关注焦点！
第一作者袁境阳，左起第三；导师张铭，左起第五
论文发表的原生稀疏注意力（Native Sparse Attention，NSA）模型，获Meta 4.5分的高分。
该技术颠覆传统注意力机制，实现算力效率飞跃，被誉为长文本处理的革命性突破。
值得注意的是，今天闭幕式的颁奖典礼上，最佳论文会有约5分钟演讲时间。
新智元带你亲临现场，听听第一作者袁境阳最新的分享。
全网首发袁境阳Talk
演讲主题是《现代GPU上的注意力机制注定将走向稀疏化》。
现代GPU的「内存容量」越来越大，能容纳很大的模型；但「内存带宽」并没有相应提升。「稀疏注意力」机制，只关注最关键的部分，减少不必要的计算。
未来，注定是「稀疏」（Sparsity）的！NSA为下一代长上下文语言模型提供了高效的基石。
接下来，让我们一起看看，其他影响深远的论文都来自哪些团队。
4篇最佳论文
4篇最佳论文中，DeepSeek和北大合作，且梁文锋署名的文章，以及北大杨耀东团队摘得了其中的两篇。
最佳论文1：A Theory of Response Sampling in LLMs: Part Descriptive and Part Prescriptive
作者：Sarath Sivaprasad, Pramod Kaushik, Sahar Abdelnabi, Mario Fritz
机构：CISPA亥姆霍兹信息安全中心，TCS研究院，微软
论文地址：https://arxiv.org/pdf/2402.11005
这篇论文的核心论点是，LLM在做决策和生成内容时，其行为模式与人类非常相似：它不仅仅是反映统计上最常见的情况，还会系统性地偏向一个「理想化」的版本。
研究者将这种决策启发式分解为两个部分：
描述性规范 (Descriptive Norm): 指一个概念在现实世界中统计上最常见、最普遍的状态。这反映了「是什么」。
规定性规范 (Prescriptive Norm): 指一个概念中被认为是理想、可取或有价值的状态。这反映了「应该是什么」。
论文通过实验证明，LLM的输出结果并不仅仅是基于数据中的平均或最常见情况（描述性），而是会朝着它所学习到的「理想」状态（规定性）发生持续且可预测的偏移。
这种现象并不仅限于某个特定领域，而是在公共卫生、经济趋势等多个真实世界领域中都普遍存在。
该研究指出了这种机制带来的潜在风险：
决策偏见: 当LLM被用于自主决策时，这种向「理想」的偏移会导致其做出有偏见的判断。
伦理问题: LLM内化的「理想标准」不一定与人类的价值观或伦理标准相符，这在自动决策场景下会引发严重的伦理关切。
最佳论文2：Fairness through Difference Awareness: Measuring Desired Group Discrimination in LLMs
作者：Angelina Wang, Michelle Phan, Daniel E. Ho, Sanmi Koyejo
机构：斯坦福大学
论文地址：https://arxiv.org/pdf/2502.01926
这篇论文的核心论点是：当前主流的AI公平性研究走入了一个误区，即追求「无视差异」的公平，认为任何对不同群体的区别对待都是有害的偏见。
作者认为，这种方法是错误的，因为在很多现实情境下，识别并根据群体的真实差异采取不同行动，不仅是必要的，而且是更高级的公平。
为了阐述这个观点，论文提出了几个关键概念和贡献：
什么是「差异无意识」（Difference Unawareness）？
作者通过几个生动的例子（如AI生成种族多元的纳粹、错误地认为男女参军体能标准相同）指出，现在的AI为了避免「偏见」，被训练得无法识别和承认群体间真实存在的、有意义的差异。
这种「一刀切」的平等策略，忽略了历史、法律、生理和社会背景，反而可能导致新的问题，甚至掩盖了真正的不公。
差异意识 (DiffAware) 和情境意识 (CtxtAware)
差异意识 (DiffAware)：作者提出的新概念，指的是模型能够在适当的时候识别并区别对待不同群体的能力。例如，模型应该知道美国征兵法律对男性和女性有不同规定。
情境意识 (CtxtAware)：这是对「差异意识」的补充和约束。模型不仅要知道可以区别对待，更关键的是要知道什么时候应该区别对待，什么时候不应该。例如，在讨论法律时区别男女是合适的（差异意识），但在招聘程序员时不应因性别而区别对待（有害偏见）。一个好的模型需要具备这种情境判断力。
新的评估框架：三种任务类型
作者认为，要正确评估AI的公平性，必须区分评估任务的性质。他们将其分为三类：
描述性 (Descriptive)：基于客观事实的提问。
规范性 (Normative)：基于价值判断或「世界应该怎样」的提问。
关联性 (Correlation)：基于统计关联，但问题模糊，不清楚是想测试事实还是价值观。
总而言之，这篇论文呼吁AI公平性研究从简单的「一视同仁」走向更成熟的「情境化区别对待」，并为此提供了一套理论框架和评估工具。
最佳论文3：Language Models Resist Alignment: Evidence From Data Compression
作者：Jiaming Ji, Kaile Wang, Tianyi Qiu, Boyuan Chen, Jiayi Zhou, Changye Li, Hantao Lou, Juntao Dai, Yunhuai Liu, Yaodong Yang
机构：北京大学人工智能研究院
从预训练到后训练再到强化学习，团队发现大模型存在类似「胡克定律」的弹性——模型在被对齐的过程中，始终存在一种「抗拒」力量。
换句话说，对齐并不是单向塑形，而是一个持续博弈的过程。
这篇论文主要探讨了为什么LLM的「安全对齐」效果很脆弱且容易被逆转。
LLM存在一种名为 「弹性」（elasticity） 的特性。这个特性包含两个方面：
抵抗性（Resistance）：模型倾向于维持其在海量数据预训练阶段学到的原始行为和知识分布，抗拒对齐训练带来的改变。
反弹性（Rebound）：一个模型被对齐得越「好」（即越安全），当它被进一步微调时（即使是用无害数据），它「反弹」回预训练状态的速度就越快。
首次提出并定义了LLM的「弹性」现象，指出对齐训练可能只是「表面功夫」，很容易被后续的微调所「抹除」。
通过在不同类型和规模的模型上进行实验，证实了「弹性」现象的普遍存在。研究还发现，模型规模越大、预训练数据越多，这种弹性就越强。
这篇论文揭示了LLM内部存在一种抗拒对齐的机制，认为要实现真正稳固、深入的对齐，就必须解决模型的这种内在「弹性」问题。
最佳论文4：Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
作者：Jingyang Yuan, Huazuo Gao, Damai Dai, Junyu Luo, Liang Zhao, Zhengyan Zhang, Zhenda Xie, Y. X. Wei, Lean Wang, Zhiping Xiao, Yuqing Wang, Chong Ruan, Ming Zhang, Wenfeng Liang, Wangding Zeng
机构：北京大学，DeepSeek，华盛顿大学
论文地址：https://arxiv.org/pdf/2502.11089
论文所提出的稀疏注意力NSA模型的算法，从一般任务到严苛的长下文任务，特别是在推理和代码任务都有非常卓越的表现，将长文本处理速度提高了最多11倍，而性能超过了全注意力模型。
NSA是一个专为硬件优化的系统，打破了性能与成本之间的权衡取舍，推动高效大型语言模型的下一个前沿领域。
NSA把AI行业的焦点从「模型规模竞赛」拉向「算力效率竞赛」，堪称 2025年上半年最具杠杆效应的底层技术突破之一。
3篇最佳主题论文
今年的特别主题为「NLP模型的泛化」，而下面这3篇论文正是在这一关键领域做出了杰出的贡献。
论文1：MaCP: Minimal yet Mighty Adaptation via Hierarchical Cosine Projection
作者：Yixian Shen, Qi Bi, Jia-Hong Huang, Hongyi Zhu, Andy D. Pimentel, Anuj Pathania
机构：阿姆斯特丹大学
论文地址：https://arxiv.org/abs/2505.23870
MaCP提出了一种轻量级微调方法，该方法在离散余弦变换（DCT）域中运用分层余弦投影技术，只需极少的额外参数与内存开销即可适配大型基础模型。通过将低秩权重更新投影至DCT空间，并在多个频谱层级上选择性地仅保留最关键的频率分量，MaCP在各种不同的任务上均取得了业界顶尖的适配性能。
论文2：Meta-rater: A Multi-dimensional Data Selection Method for Pre-training Language Models
作者：Xinlin Zhuang, Jiahui Peng, Ren Ma, Yinfan Wang, Tianyi Bai, Xingjian Wei, Jiantao Qiu, Chi Zhang, Ying Qian, Conghui He
机构：上海人工智能实验室，华东师范大学
论文地址：https://arxiv.org/abs/2504.14194
Meta-rater提出了一种用于筛选管理大规模预训练数据的综合性框架。该框架从四个互补的质量维度——专业水平、可读性、推理能力和数据纯净度——对每个数据样本进行评估。通过一个代理模型回归，该方法能够学习这四个维度的最优权重组合，并据此筛选出能够显著提升训练效率和下游任务性能的高价值数据子集。
论文3：SubLIME: Subset Selection via Rank Correlation Prediction for Data-Efficient LLM Evaluation
作者：Gayathri Saranathan, Cong Xu, Mahammad Parwez Alam, Tarun Kumar, Martin Foltin, Soon Yee Wong, Suparna Bhattacharya
机构：惠普实验室
论文地址：https://aclanthology.org/2025.acl-long.1477.pdf
SubLIME通过选取能够保持完整基准排名的小型代表性子集，解决了对大语言模型进行穷举式基准评估所带来的计算瓶颈。该方法在十个不同的基准测试中，可将评估成本降低80%–99%，同时保持高度的排名保真度。
3篇最佳资源论文
获得最佳资源奖的论文，为自然语言处理（NLP）学界提供了极为宝贵的数据集、工具与基准。
论文1：Are Rules Meant to be Broken? Understanding Multilingual Moral Reasoning as a Computational Pipeline with UniMoral
论文地址：https://arxiv.org/abs/2502.14083
UniMoral是一个统一的多语言数据集，目的是完整记录人类道德推理的全流程——从情景感知到结果推演，内容横跨六种语言。UniMoral融合了具有心理学基础的伦理困境与源自社交媒体的真实案例，并为每个实例详细标注了行动选择、伦理原则、关键影响因素、行为结果，以及标注者自身的道德与文化背景画像。通过对三个大语言模型在四项核心任务上进行实时基准评测，本研究揭示了这些模型在处理道德情境与文化差异时，所表现出的细致优势与具体短板。
论文2：BRIGHTER: BRIdging the Gap in Human-Annotated Textual Emotion Recognition Datasets for 28 Languages
论文地址：https://arxiv.org/abs/2502.11926
BRIGHTER是一个多语言情感语料库，包含近十万条经过情感标注的文本实例，内容横跨28种语言和多个领域。该语料库重点关注资源匮乏的语言，通过提供附带强度评分的高质量、多标签情感标注，来弥合不同语言在情感识别研究领域的发展差距。
论文3：Palm: A Culturally Inclusive and Linguistically Diverse Dataset for Arabic LLMs
论文地址：https://arxiv.org/abs/2503.00151
Palm是一个耗时一年、由社区共建的数据集，目标是对大语言模型在阿拉伯语任务上的表现进行基准评测，其范围覆盖全部22个阿拉伯联盟国家。该数据集包含现代标准阿拉伯语（MSA）和方言阿拉伯语（DA）两种形式的「指令-响应」数据对，内容横跨20个多样化主题。
2篇最佳社会影响力论文
论文1：AfriMed-QA: A Pan-African, Multi-Specialty, Medical Question-Answering Benchmark Dataset
论文地址：https://arxiv.org/abs/2411.15640
AfriMed-QA是首个专注于非洲医疗背景的大规模英语问-答数据集。该数据集汇集了约15,000个问题，源自16个国家的60多所医学院，内容覆盖32个医学专业。这一资源可用于评测及微调大语言模型处理具有地域多样性临床知识的能力，减少对西方中心基准的依赖，从而填补了该领域的一项关键空白。
论文2：The AI Gap: How Socioeconomic Status Affects Language Technology Interactions
论文地址：https://arxiv.org/abs/2505.12158
社会经济地位（SES）不仅塑造着人际沟通的方式，也同样影响着个人与大语言模型等数字工具的互动模式。以往的研究多依赖于代理指标或合成数据，导致真实的用户使用模式未能得到充分探究。为此，本研究对1,000名来自不同社会经济地位背景的参与者进行了调查，并分析了他们与大语言模型交互时使用的6,482条真实提示词，进而揭示其在使用频率、语言风格和所涉主题上存在的系统性差异。
1篇最佳Demo
获得最佳Demo奖的论文，展现了自然语言处理（NLP）领域非凡的创新成果和丰富的实际应用。
论文：OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens
作者：Jiacheng Liu, Taylor Blanton, Yanai Elazar, Sewon Min, YenSung Chen, Arnavi Chheda-Kothary, Huy Tran, Byron Bischoff, Eric Marsh, Michael Schmitz, Cassidy Trier, Aaron Sarnat, Jenna James, Jon Borchardt, Bailey Kuehl, Evie Cheng, Karen Farley, Sruthi Sreeram, Taira Anderson, David Albright, Carissa Schoenick, Luca Soldaini, Dirk Groeneveld, Rock Yuren Pang, Pang Wei Koh, Noah A. Smith, Sophie Lebrecht, Yejin Choi, Hannaneh Hajishirzi, Ali Farhadi, Jesse Dodge
机构：艾伦人工智能研究所，华盛顿大学，加州大学伯克利分校，斯坦福大学
论文地址：https://arxiv.org/abs/2504.07096
OLMoTrace是首个能将大语言模型输出实时追溯至其完整、高达数万亿Token训练语料库的系统。该系统能够识别并高亮显示模型生成的文本片段与训练数据文档之间的逐字匹配部分，其核心是一个扩展的infini-gram索引，可在数秒内返回结果。
26篇杰出论文
47篇领域主席奖
下面这些由资深领域主席精选的论文，汇集了各个赛道中最具影响力、最激动人心的研究成果。
时间检验奖
获得25年时间检验奖的论文，为语义角色标注及其后续研究奠定了基础。
题目：Automatic Labeling of Semantic Roles（ACL 2000）
作者：Daniel Gildea & Daniel Jurafsky
机构：加州大学伯克利分校，科罗拉多大学博尔德分校
论文地址：https://aclanthology.org/P00-1065.pdf
获得10年时间检验奖的论文，是神经机器翻译与注意力机制领域的一座里程碑。作者是圈内极负盛名的Christopher D. Manning团队。
题目：Effective Approaches to Attention-based Neural Machine Translation（EMNLP 2015）
作者：Thang Luong，Hieu Pham，Christopher D. Manning
机构：斯坦福大学
论文地址：https://aclanthology.org/D15-1166.pdf
TACL最佳论文
获得TACL最佳论文奖和时间检验奖的论文，为计算语言学领域做出了卓越贡献，影响深远。
参考资料：
https://2025.aclweb.org/
转载自微信公众号《新智元》
33
2025-07-31
