0
点赞
0
评论
0
转载
我要入驻

论文聚焦|CIKM’26 × 2|突破单一静态聚合边界——多粒度动态协同信息聚合的联邦推荐系统

收录于合集: # 快讯

日前,实验室博士生韩明哲作为第一作者的两篇论文“Dynamic Feature-Embedding Communication via Codebook Distillation for Federated Recommendation”和“FedHUR: Learning Hierarchical Utility-Guided Client Relations for Personalized Federated Recommendation”被The 35th ACM International Conference on Information and Knowledge Management(CIKM 2026)录用,两篇论文均入选 Oral Presentation。

 

两项工作延续了实验室近年来在推荐系统隐私保护方向的系列研究。实验室在SIGIR 2025上发表的前期工作FedCIA突破传统参数聚合范式,提出聚合用户协同信息的全新联邦推荐聚合范式。在此基础上,本次的两项工作发现:从协同信息粒度的视角出发,联邦推荐还可以进一步探索两个全新维度——聚合何种协同信息(What)和怎么聚合协同信息(How)。围绕这一发现,我们提出RQFedRec和FedHUR,前者在物品协同信息上进一步考虑基于Codebook的类别协同信息,该方法从客户端上传信息的视角出发,解决聚合什么(What)的问题,后者在用户关系上进一步考虑用户群体间多层级协同关系,该方法从客户端聚合信息的视角出发,解决怎么聚合(How)的问题。两项工作共同推动联邦推荐从单一静态的协同信息聚合走向多粒度动态协同信息聚合的联邦推荐系统范式。

 

会议简介

图片

The ACM International Conference on Information and Knowledge Management(CIKM)是信息检索、知识管理、数据挖掘与数据库等领域具有重要国际影响力的学术会议,由国际计算机学会(ACM)主办,是中国计算机学会(CCF)推荐的B类国际学术会议。CIKM 2026是该会议第35届会议,将于2026年11月7日至11日在意大利罗马举行,其中主会期为11月9日至11日。

 

论文简介

 

前期工作

现有联邦推荐系统通常遵循一个统一的范式。每个客户端利用本地用户数据训练推荐模型,并将物品Embedding等模型参数上传至中央服务器进行聚合,聚合后的参数再被分发至各客户端,用于下一轮训练。这种方法能够在用户数据不离开本地的情况下共享不同客户端学习到的信息,因此被广泛应用于联邦推荐系统。

 

然而,直接聚合模型参数也存在明显限制:不同客户端学习到的参数分布可能并不一致,简单的参数平均容易造成信息抵消;同时,统一的全局参数空间也可能削弱不同用户模型原本具有的个性化特征。

 

实验室前期工作 FedCIA:Federated Collaborative Information Aggregation for Privacy-Preserving Recommendation 对这一传统范式进行了重新探索。

 

图1 参数聚合与协同信息聚合

 

我们认为,这些问题的根本原因在于传统联邦学习聚合方法对模型参数本身的过度依赖。推荐模型真正需要跨用户共享的,并不一定是某一个具体的Embedding参数,而是这些参数所表达的物品之间的协同信息。基于这一思想,FedCIA提出了协同信息聚合(Collaborative Information Aggregation)范式。客户端不再直接上传物品Embedding,而是利用模型参数构造物品之间的协同关系,在服务器聚合全局协同信息,并利用聚合结果指导各客户端本地模型的更新。通过这种方式,不同客户端无需被强行映射到同一个参数空间,而可以在保持自身个性化表示的同时,共享不同用户共同学习到的协同知识。

 

FedCIA由此将联邦推荐中的核心问题从:“如何聚合模型参数?”进一步转变为:“如何聚合协同信息?”虽然FedCIA突破了参数聚合的限制,但进一步观察可以发现,这种方式将聚合信息这一操作限制在单一静态粒度下,在聚合什么(What)?和怎么聚合(How)?两个方面仍然有考虑不充分的地方,需要进一步细致探索。

 

1 RQFedRec:聚合什么?从物品级协同到类别级协同

论文链接:https://arxiv.org/abs/2601.18570

 

现有的联邦推荐通常采用基于物品ID的信息共享方式。每个物品拥有一个独立的表示,并以逐个物品作为跨客户端知识共享的基本单元。这种物品级协同存在三个明显问题。

 

首先,随着物品数量不断增加,需要上传和聚合的物品参数也随之增长,带来较高的通信开销。其次,由于每个物品被独立建模,一个物品获得的协同知识难以进一步传播到其他相关物品。例如,对“红色衬衫”和“粉色裤子”的更新,并不能自然迁移到具有相关特征的“粉色衬衫”,从而限制了跨物品知识的泛化能力。最后,联邦推荐中的每个客户端通常只拥有稀疏且存在偏差的局部交互。特别是对于交互较少的长尾物品,容易受到偶然点击等噪声行为影响,使物品级共享信息缺乏足够的稳定性。这些问题共同反映出一个更加基础的限制:将每个具体物品作为独立协同单元,使联邦推荐中的知识共享始终被限制在物品粒度。

 

为了解决这一问题,RQFedRec利用残差量化(Residual Quantization)将物品表示为多个共享特征的组合,并通过Codebook建立可被不同物品共同使用的特征空间。

图2 RQFedRec基本框架

 

例如,现有方法可能分别维护三个表示:

 

物品 A、物品 B、物品 C

 

而RQFedRec进一步将这些物品表示为:

 

物品 A = 特征① + 特征④ + 特征⑦

物品 B = 特征① + 特征③ + 特征⑦

物品 C = 特征② + 特征④ + 特征⑧

 

因此,不同物品可以通过共享的潜在特征建立联系,联邦推荐中的协同单元也由具体的物品级信息进一步提升为具有更强共享性的类别级信息。这种粒度变化使多个物品能够共享相同特征,一方面避免通信规模随物品数量持续增长,显著降低联邦训练中的通信开销;另一方面,一个物品上学习到的知识可以通过共享特征进一步迁移到其他相关物品,从而增强跨物品泛化能力。同时,共享特征由多个相关物品共同学习,不再完全依赖某一个物品有限且可能存在噪声的局部交互,因此能够减少偶然反馈对单一物品表示的影响,形成更加稳定、可靠的协同信息。

 

表1 RQFedRec实验结果

 

实验结果表明,RQFedRec在多个公开推荐数据集上取得了优异的推荐性能,并能够显著降低通信成本。相关实验进一步验证了,相比单独共享每一个具体物品的信息,类别级协同能够形成更加稳定且具有迁移能力的跨客户端知识。

 

2 FedHUR:如何聚合?从单层协同到层次化协同

 

论文链接:https://arxiv.org/abs/2609.11632

 

现有联邦推荐通常根据客户端之间的相似性构建协同关系,并利用这一关系选择其他客户端的信息进行个性化聚合。然而,这种方式存在两个重要问题。

 

首先,现有方法通常只为两个客户端建立一个固定的协同关系,忽略了用户兴趣本身具有明显的层次结构。例如,两名用户可能都喜欢“电影”,在粗粒度兴趣上具有较强关联;但随着兴趣进一步细化到电影类型、作品或风格,两人的偏好可能逐渐产生差异。因此,同一对用户之间的协同关系并不一定适用于所有兴趣粒度,使用单一关系进行聚合容易忽略不同层次下用户协同关系的变化。

 

其次,现有方法通常利用模型相似度等指标判断哪些客户端值得参与聚合,但用户相似并不意味着其信息一定能够改善当前用户的推荐结果。两个模型即使具有较高相似性,其信息在聚合后也可能无法带来实际性能提升。因此,相比“谁与我更相似”,联邦推荐更需要回答的是:“谁的信息真正对我有帮助?”

 

针对上述问题,FedHUR提出了一种基于聚合效用的层次化客户端关系学习方法。FedHUR首先根据物品表示构建从粗粒度到细粒度的层次化物品空间,从不同层次描述用户兴趣。在每一个兴趣粒度下,FedHUR不再简单利用客户端之间的模型相似度建立关系,而是通过聚合效用直接衡量其他客户端的信息是否能够提升当前客户端的推荐性能,并据此学习该层次下的客户端协同关系。

 

图3 FedHUR基本框架

 

因此,同一对客户端可以在不同兴趣粒度下具有不同的协同强度:当两名用户在粗粒度兴趣上具有共同偏好时,可以充分共享相关信息;而当其细粒度兴趣逐渐产生差异时,则可以减少不必要的信息聚合。最终,FedHUR使每个客户端能够在不同兴趣粒度上选择真正具有价值的协同用户,从而更加充分地利用跨客户端知识,同时保留自身的个性化偏好。

 

表2 FedHUR实验结果

 

实验结果表明,FedHUR在多个公开推荐数据集上取得了优异的个性化推荐性能。进一步分析发现,不同兴趣粒度下具有较高聚合价值的客户端确实存在明显差异,同时,相比仅依赖相似性建立用户关系,基于聚合效用学习得到的协同关系能够更加准确地识别真正有助于本地推荐的客户端。

 

未来展望:联邦协同信息聚合还可以走向哪里?

 

从FedCIA到RQFedRec和FedHUR,我们逐步将联邦推荐中的研究重点从参数聚合推进到协同信息聚合,并进一步从固定粒度的协同信息拓展到多粒度协同信息聚合。但联邦场景下的协同信息聚合仍然存在需要进一步探索的问题。

 

虽然协同信息聚合在隐私保护的前提下将推荐系统中的关键信息进行了共享,但这些信息都是用户无关的物品相关性。事实上,推荐系统的构造同样需要用户的建模,若能在协同信息聚合的时将用户信息也纳入考虑,可以得到更完善的全局信息。因此,研究隐私保护前提下的用户-物品协同关系聚合会是未来最为关键的研究内容。实验室未来也将持续关注和开展联邦推荐的相关研究,欢迎感兴趣的老师和同学共同交流合作。

 

如果您对本文内容感兴趣,可与通讯作者联系: zhangpeng_@fudan.edu.cn

 

实验室相关论文

 

[1] Dongsheng Li, Chao Chen, Qin Lv, Li Shang, Yingying Zhao, Tun Lu, Ning Gu. An Algorithm for Efficient Privacy-preserving Item-based Collaborative Filtering. FGCS 2016. (Google Scholar 统计引用次数:144)

[2] Mingzhe Han, Dongsheng Li, Jiafeng Xia, Jiahao Liu, Hansu Gu, Peng Zhang, Ning Gu, Tun Lu. FedCIA: Federated Collaborative Information Aggregation for Privacy-Preserving Recommendation. SIGIR 2025

 

 

如果您对我们实验室的相关工作感兴趣,欢迎访问我们的网站:

协同信息与系统实验室(CISL)

实验室网站主页

https://cscw.fudan.edu.cn/

实验室Github主页

https://github.com/FudanCISL

学者网机构号是学者网提供的学术"公众号"平台,为学者团队、学术机构、企业等提供官方媒体账号服务,支持发布动态、活动、通知与招生招聘信息等内容,支持多人协作维护,助力机构链接学界资源、扩大学术影响力。

返回顶部