日前，实验室博士生刘家豪作为第一作者的论文Filtering Discomforting Recommendations with Large Language Models被The ACM Web Conference 2025 会议录用。
个性化算法可能会无意中将用户暴露于令人不适的推荐内容中，从而可能引发负面后果。不适感的主观性及算法的黑箱特性使得有效识别和过滤此类内容颇具挑战。为解决这一问题，我们首先开展了一项形成性研究，以了解用户在过滤不适推荐内容方面的实践与期望。随后，我们设计了一款基于大语言模型的工具 DiscomfortFilter。该工具可为用户构建可编辑的偏好画像，并通过对话帮助用户表达过滤需求，从而在画像中屏蔽不适的偏好。基于编辑后的画像，DiscomfortFilter以即插即用的方式实现不适推荐过滤，同时保持灵活性与透明度。构建的偏好画像能提升大语言模型的推理能力并简化用户对齐，使一个38 亿参数的开源大语言模型在离线代理任务中可与顶尖商业模型媲美。为期一周、包含 24 名参与者的用户研究验证了DiscomfortFilter的有效性，同时表明该工具通过调控内容暴露，有效减少了平台推荐结果中的不适内容。最后，我们讨论了当前面临的挑战，强调其与更广泛研究领域的关联性，评估对各利益相关方的影响，并展望未来的研究方向。
会议简介
The ACM Web Conference (WWW) 是一年一度的国际会议，探讨万维网的未来发展方向，是中国计算机学会推荐的交叉/新兴/综合领域的 A 类国际学术会议。该会议旨在为全球提供一个顶级论坛，以讨论和辩论 Web 的演进、相关技术的标准化，以及这些技术对社会和文化的影响。大会汇聚了研究人员、开发者、用户和商业机构——所有对 Web 及其潜力充满热情的人士。今年，该会议计划于 2025 年 4 月 28 日至 5 月 2 日在澳大利亚悉尼召开。本届WWW会议共收到2062篇有效投稿，其中409篇论文被接收，录用率19.8%。
论文简介
用大语言模型过滤令人不适的推荐内容
论文链接：https://arxiv.org/abs/2410.05411
代码仓库：https://github.com/Hsyy04/PersonaBuddy
个性化算法通过分析用户偏好来提供定制化内容，从而支持用户决策，在各类网络平台上已成为不可或缺的工具。尽管这些算法旨在提升用户体验，但它们可能无意间向用户推荐令人不适的内容。例如，如果用户搜索与健康相关的敏感话题，算法可能会推荐相关的健康产品，这可能被用户视为对隐私的侵犯，从而引发不适。同样，当用户处于情绪低落的状态（如刚经历分手），缺乏情境感知能力的算法可能会推荐唤起痛苦回忆的内容，从而加剧用户的情绪困扰。这些推荐不仅可能无法吸引用户，甚至可能带来焦虑、不安或痛苦等负面情绪后果。不适感的感知极具主观性，也就是说，一个用户认为有趣的内容，可能会让另一个用户感到不适。这种主观性凸显了对不适内容识别方法的迫切需求，即方法需要更加细致入微，并能更好地贴合个体用户的体验。
在本文中，我们旨在设计一款帮助用户过滤不适推荐内容的工具。这一任务面临两个关键挑战：(1) 用户对不适内容的感知高度主观；(2) 推荐此类内容的算法通常是黑箱系统。如图 1 所示，我们将问题形式化如下：黑箱个性化算法根据推测的用户偏好画像（通常隐含在嵌入表示中）向用户推荐内容，我们的目标是识别并过滤用户主观认为不适的内容。由于算法系统的不透明性，用户的偏好画像既难以理解也无法编辑，使用户难以影响算法的决策。
图1 问题定义
形成性研究
为指导设计过程，我们首先开展了一项形成性研究，以深入了解当前现状及用户的需求与期待。通过半结构化访谈，我们识别了导致不适推荐的几个关键因素，包括：(1) 用户行为的偏离。用户的搜索和点击行为可能受到好奇心驱动或点击诱导（如标题党）的影响，导致推荐算法误判其长期兴趣，从而构建出偏差的用户偏好模型。例如，一位参与者提到：“出于好奇，我曾经搜索过成人用品，现在这些内容一直出现在我的推荐里，太尴尬了。”(2) 算法建模偏差。个性化算法难以全面捕捉用户的细微兴趣和实际使用情境，可能导致推荐内容在不合适的时间出现。例如，有参与者表示：“晚上刷到恐怖内容太吓人了，虽然我白天会看。”(3) 不同利益相关方的冲突。平台通常会优先推荐能够提高用户参与度的内容，即使这些内容可能引发不适。有多名参与者提到，他们察觉到平台在个性化推荐中的商业目标可能与用户的舒适体验存在冲突。
在此基础上，我们进一步分析了当前反馈机制（即“不感兴趣”按钮）的局限性，主要体现在以下三个方面：(1) 个性化程度不足。由于反馈选项过于模糊，用户难以准确表达具体的过滤原因，可能导致本可以接受的内容被误删。(2) 缺乏灵活性。用户可能只是暂时希望隐藏某类内容，但使用反馈后，这些内容可能会被永久性移除。(3) 透明度缺失。用户无法确定平台是否真正采纳了自己的反馈，导致对反馈机制的有效性缺乏信任。
基于上述发现，我们通过参与式设计讨论，总结并提出了四个关键设计目标，以指导工具的开发：(1) 支持对话式配置。多数参与者表示，他们更倾向于使用自然语言表达过滤需求，因为这样“不会受到预设选项的限制”，并且“可以更准确、更个性化地表达”。此外，多名参与者希望能够通过与工具对话的方式配置过滤规则，因为这种方式“更加自然”。(2) 提供偏好解释。当输入方式从预设选项转向开放式对话时，部分参与者表示，他们在主动表达过滤需求时会感到困难。然而，所有参与者都认同，如果能够理解平台推荐所反映的偏好以及自身的行为模式，就更容易精准表达过滤需求。例如，一位参与者提到：“如果我能先查看自己的偏好，再对不准确的部分进行有针对性的反馈，那就太好了。”(3) 提供反馈渠道。所有参与者均希望工具具备透明性，并允许用户对过滤结果提出异议。能够查看被过滤内容及其原因，有助于“增强对工具的信任”，而支持用户调整过滤规则则可以“优化过滤需求”。(4) 以即插即用的方式运行。即插即用模式意味着该工具可以独立于特定的个性化算法运行，并直接影响算法的输出。支持该模式的关键因素包括：参与者意识到他们的过滤需求是动态变化的，因为“不同情境下，不适内容的标准也会变化”；多名参与者强调，该工具应由用户自主掌控，使其能够“跨平台使用”；参与者更关注个性化推荐所带来的不适，而非算法的具体工作机制。
系统设计
鉴于大语言模型（LLM）在自然语言理解、推理和生成方面的能力，我们认为 LLM 为实现这些设计目标提供了有前景的解决方案。为此，我们设计了一款基于 LLM 的工具 DiscomfortFilter，专门用于帮助用户过滤不适推荐内容。图 2 展示了 DiscomfortFilter 的工作流程：(1) DiscomfortFilter 根据用户的个性化感知识别算法推荐的内容，整合用户的成对偏好，并对其进行排序，以构建可理解且可编辑的个性化偏好画像；(2) 通过引导式对话，DiscomfortFilter 帮助用户表达个性化的过滤需求，并在画像中屏蔽不适的偏好；(3) 基于编辑后的偏好画像，DiscomfortFilter 以即插即用的方式过滤不适推荐，确保用户所见内容不再包含令人不适的元素。此外，DiscomfortFilter 还向用户提供过滤日志（步骤 3），帮助用户进一步完善过滤需求，类似于步骤 2。总体而言，DiscomfortFilter 使用户能够主动影响个性化算法的决策，增强对算法的掌控力。
图2 DiscomfortFilter的工作流程
图 3 展示了在引入DiscomfortFilter之前，个性化算法向用户呈现内容的流程。这些算法会分析用户行为，以推荐内容，其中可能包含让用户感到不适的内容。最终，系统将个性化推荐的内容直接呈现在用户设备上，供用户被动消费。
图3 引入DiscomfortFilter前个性化算法向用户呈现内容的流程
图 4 的上半部分展示了在引入 DiscomfortFilter 之后，个性化算法如何向用户呈现内容。通过在原有的推荐流程中集成内容过滤模块（Content Filter Module），DiscomfortFilter 能够移除不适内容，确保最终呈现给用户的仅为非不适内容。不适内容的识别依据用户自定义的过滤规则，使用户能够对内容推荐过程进行控制。过滤规则以自然语言形式存在，对 DiscomfortFilter 的运行至关重要。图 4 的下半部分展示了用户如何配置这些规则。用户可以直接管理这些规则（绿色箭头），或者使用过滤需求发现模块（Filtering Needs Discovery Module）通过对话方式进行规则配置（蓝色箭头）。该对话代理采用两种策略来帮助用户识别过滤需求：第一种策略基于偏好画像构建模块（Preference Profile Construction Module）构建的偏好画像，第二种策略基于内容过滤模块（Content Filter Module）的过滤记录。候选规则生成模块（Candidate Rule Generation Module）通过对话分析用户的过滤需求，并将其转换为管理过滤规则的操作，用户随后可以编辑和确认这些规则。
图4 DiscomfortFilter的细节设计
各模块具体的细节请参考原文，这里，我们仅介绍偏好画像构建模块。该模块通过分析用户按时间顺序对推荐内容的点击行为来构建用户偏好画像。该过程与传统的个性化算法研究有三个关键区别：(1) 它仅基于单个用户的行为建模偏好，而不是所有用户的行为；(2) 它通过捕捉用户点击的内容以及用户选择忽略的推荐项，提供更全面的隐式反馈；(3) 它必须实时执行，能够即时响应用户的点击。该过程的关键在于，将用户对推荐内容的点击行为总结为由特征组成的偏好画像，并在一段时间内保持该画像的更新。如图 5 所示，我们提出了一种基于 LLM 的多智能体流水线来完成这一过程。我们采用了成对排序学习（pairwise rank learning）的一般假设——当两个内容同时展示时，被点击的内容对用户更具吸引力。对于每个被点击的内容（记为 pos，表示正样本），该模块会随机抽取一个同时出现但未被点击的内容作为负样本（记为 neg），然后构造一个有序对 。需要注意的是，pos 和 neg 均为未经处理的原始内容。随后，该有序对会进入流水线进行处理。
图5 偏好画像构建模块
处理流程：（1）感知代理（Perceive Agent）从用户的角度识别 pos 和 neg，并基于当前的偏好画像分析用户为何点击 pos 而忽略 neg。不同用户对同一内容的关注点不同，因此，结合用户的偏好画像，感知代理能够准确识别对用户最重要的特征。（2）摘要代理（Summary Agent）从感知代理的分析中提取用户选择 pos 而非 neg 的原因，并归纳出 m 个 pos feature 和 n 个 neg feature。然后，通过笛卡尔积构造 m×n 个有序对 ，表示在每个特征对中，用户更倾向于 pos feature 而非 neg feature。这些有序对描述了特征之间的偏好排序关系，是用户偏好建模的基础。（3）反思代理（Reflect Agent）维护一个有向图，其中边的方向从 neg feature 指向 pos feature，边的权重表示每个对的出现频率。当收到摘要代理传递的特征对时，它首先合并相似的特征节点，然后将它们整合进图中。在合并过程中，首先基于语义相似性识别候选特征，随后利用 LLM 生成最终的合并结果。这个有向图将每次用户点击产生的独立有序对进行整合，从而通过全面的结构信息建模用户偏好。（4）通过 PageRank 算法对特征节点进行排序，以得到全面的偏好排名。排名较高的特征通常更符合用户兴趣，而排名较低的特征则可能不那么相关。
该模块具有三个特性：（1）偏好画像是基于特征构建的（而非原始内容）。（2）通过个性化的内容感知来提取特征。（3）采用 PageRank 算法对特征进行全局排序。这种偏好画像能够优化 LLM 的推理过程，并显著降低 LLM 对齐用户偏好的难度。最终，构建的偏好画像会被存储，并发送至过滤需求发现模块，以增强对话代理的个性化能力，并向用户提供清晰的解释。
评估
我们在离线代理任务中验证了构建的偏好画像的有效性。结果如图 6 所示，构造的偏好画像能够增强 LLM 的推理能力，显著降低用户对齐的难度，使一个 38 亿参数的开源LLM在离线任务中可与顶级商业模型媲美。
图6 线下代理实验结果
此外，我们还在知乎上开展了一项为期一周的用户研究，共有 24 名参与者。研究结果表明，我们的设计目标能够有效帮助用户表达过滤需求，并成功过滤不适推荐内容，而 DiscomfortFilter 在这些方面表现良好。我们进一步分析了 DiscomfortFilter 如何通过影响不适内容的曝光来改变平台推荐结果。假设 DiscomfortFilter 使用过滤规则处理 N 个内容，其中 n 个内容被识别为令人不适，我们定义 n/N 为该规则的过滤负担。在为期七天的用户研究中，我们计算了所有在五天以上仍然有效的过滤规则的每日平均过滤负担。从配置这些规则的当天起，日均过滤负担的趋势如图 7 所示。随着时间的推移，过滤负担稳步下降，这表明平台逐渐减少了推荐令人不适的内容。这一下降可以归因于 DiscomfortFilter 的引入，它减少了用户接触令人不适的推荐，从而导致用户与此类内容的互动减少。因此，平台的推荐系统能够动态调整以适应用户不断变化的偏好，进一步降低推荐令人不适内容的可能性。需要强调的是，从用户的角度来看，令人不适的推荐会立即消失，因为它们被完全过滤掉了。
图7 平均过滤负担变化
讨论
① 使用LLM过滤令人不适推荐的挑战
我们的评估发现，在利用大语言模型（LLMs）过滤令人不适的推荐内容时，存在两个主要挑战：（1）LLMs 的错误关联。尽管经过精心设计，LLMs 有时仍会将本不令人不适的推荐误判为包含令人不适的元素，从而导致意外的排除。LLMs 的联想能力虽然提升了创造力，但在为用户做决策时需要更加谨慎的控制。（2）感知对齐不足。尽管我们在偏好画像构建模块上下了很大功夫，LLMs 仍难以充分理解用户的主观体验，从而削弱了偏好解释的有效性。让 LLMs 从“看到用户所见”过渡到“感知用户所感”之间，仍存在显著差距。
② 与推荐系统研究的相关性
近期的推荐系统研究日益重视用户体验。推荐遗忘（recommendation unlearning）是一种使模型遗忘特定用户兴趣的过程，有助于提升透明性与可控性。上下文感知推荐通过更准确地建模上下文因素来提升用户满意度。减偏推荐则通过强化多样性与公平性来应对信息茧房的问题。我们的研究强调了推荐系统设计中的“以人为本”理念，进一步扩展了以往以算法设计为主的研究方向。当前的大多数推荐遗忘技术只能实现近似遗忘，而将其与 DiscomfortFilter 相结合后，可以实现精确的兴趣遗忘。传统的上下文感知推荐通常只依赖被动收集的数据（如时空信息），而与 DiscomfortFilter 结合后，更能满足用户的个性化需求。近期研究还表明，用户所感知的多样性并不能仅通过提供多样化推荐来实现，而是依赖于用户的主动探索。尽管我们尚无法确定本研究对信息茧房的具体影响，但我们相信，在适当的引导下，DiscomfortFilter 有助于提升用户对推荐内容的理解，从而主动跳出信息茧房。
③ 对平台的潜在影响
尽管 DiscomfortFilter 并不直接修改平台的推荐算法，但它会影响用户所接触到的内容。这种影响可能会改变用户行为，进而间接影响平台的数据收集和用户建模。我们认为这种影响是积极的，主要基于两个原因：第一，研究表明，即使是对推荐内容的轻微控制，也能显著提升用户的参与意愿。DiscomfortFilter 赋予用户更大的控制权，有助于建立信任，并提升他们使用平台的意愿。第二，避免记录用户与令人不适推荐内容的交互行为，可以帮助平台更准确地建模用户画像。
④ 研究的局限性与未来方向
我们从以下四个方面阐述了研究的局限性与潜在改进方向：（1）性能方面：两个挑战主要源于大语言模型（LLMs）与用户之间缺乏对齐。一个可能的解决方案是引入交互式验证过程，根据用户反馈调整 LLMs 的行为，使其更贴合用户需求。（2）功能方面：本研究目前仅关注用户的点击行为和文本内容。未来可以拓展至其他用户行为和多模态内容的整合。同时，也亟需一个高效的规则管理机制来支持更复杂的个性化需求。（3）评估方面：本次研究的参与者大多具有本科学历，且仅在单一平台上进行了为期一周的评估。因此，需要开展更大规模的部署，进行更长期、覆盖更广泛人群与多平台的评估。（4）应用方面：DiscomfortFilter 有潜力扩展至其他场景，例如家长监管和儿童网络内容控制。这类应用需要进行有针对性的设计，并充分考虑法律与伦理问题。
总结
本研究的主要贡献如下：
- 我们通过 15 名参与者的形成性研究，分析了当前不适推荐过滤的现状及用户期望。
- 我们设计了一款基于 LLM 的工具 DiscomfortFilter 来帮助用户过滤不适推荐内容。据我们所知，这是首次在这一重要任务中利用 LLM。
- 我们通过离线代理实验和用户研究评估了 DiscomfortFilter，结果表明该工具能够有效帮助用户表达过滤需求并成功过滤不适推荐内容。
- 我们讨论了使用 LLM 过滤不适推荐的挑战与机遇，并探讨了其更广泛的影响。
作者信息
如果您对本文内容感兴趣的话，可以与作者联系：
刘家豪 复旦大学计算机学院协同信息与系统实验室 博士研究生
研究方向：推荐系统，人机交互，大语言模型
联系方式：jiahaoliu23@m.fudan.edu.cn
实验室相关论文
[1] Jiahao Liu, Dongsheng Li, Hansu Gu, Peng Zhang, Tun Lu, Li Shang and Ning Gu. Unbiased Collaborative Filtering with Fair Sampling. SIGIR 2025.
[2] Jiahao Liu*, Xueshuo Yan*, Dongsheng Li, Guangping Zhang, Hansu Gu, Peng Zhang, Tun Lu, Li Shang and Ning Gu. Improving LLM-powered Recommendations with Personalized Information. SIGIR 2025.
[3] Jiahao Liu, Dongsheng Li, Hansu Gu, Tun Lu, Peng Zhang, Li Shang and Ning Gu. Triple Structural Information Modelling for Accurate, Explainable and Interactive Recommendation. SIGIR 2023.
[4] Yubo Shu, Haonan Zhang, Hansu Gu, Peng Zhang, Tun Lu, Dongsheng Li, Ning Gu. RAH! RecSys–Assistant–Human: A Human-Centered Recommendation Framework With LLM Agents. TCSS 2024.
[5] Yaqiong Li, Peng Zhang, Hansu Gu, Tun Lu, Siyuan Qiao, Yubo Shu, Yiyang Shao, Ning Gu. DeMod: A Holistic Tool with Explainable Detection and Personalized Modification for Toxicity Censorship. CSCW 2025.
[6] Wenxin Zhao, Fangyu Yu, Peng Zhang, Hansu Gu, Lin Wang, Siyuan Qiao, Tun Lu, Ning Gu. YouthCare: Building a Personalized Collaborative Video Censorship Tool to Support Parent-Child Joint Media Engagement. CHI 2025.
[7] Baoxi Liu, Peng Zhang, Yubo Shu, Zhengqing Guan, Tun Lu, Hansu Gu, Ning Gu. Building a Personalized Model for Social Media Textual Content Censorship. CSCW 2022.
如果您对我们实验室的相关工作感兴趣，欢迎访问我们的网站：
协同信息与系统（CISL）实验室
实验室网站主页：https://cscw.fudan.edu.cn/
实验室Github主页：https://github.com/FudanCISL
评论 0