AI4SS论文聚焦｜CHI’26｜SparkTales：人智协同赋能协调员，助力跨语言儿童协作式讲故事

论文链接：https://arxiv.org/abs/2603.04806

协作式讲故事（Collaborative Storytelling）是一种被广泛应用于儿童语言教育与文化教学的实践形式，用于提升儿童的语言表达能力与理解水平。在协作式讲故事过程中，由教师或家长作为协调者的角色，提供待学习的目标词汇（通常为单语种或双语种）及基础的故事框架，通过提问、反馈等方式，引导儿童使用学习的语言围绕故事细节进行补充和情节改编，并轮流作为Storyteller进行故事续写（1个儿童作为Storyteller续写故事并补充细节，其它儿童作为Storylistener倾听故事并进行内容理解），最终共同形成结构完整故事作品。

协作讲故事尤其对于跨语言学习具有重要的作用，已成为跨语言学习的重要模式。首先，在跨语言学习中，与单纯的概念学习相比，协作式讲故事能够通过情境模拟、角色扮演和语言互动等多种形式启发儿童对于语言结构、文化背景及实际应用的认知、反思和灵活运用，从而实现语言能力与跨文化理解的综合提升。其次，在跨语言的协作讲故事过程中，儿童通过扮演Storyteller和Storylistener的角色，轮流协作共同创作与讲述故事，促进协作与互动，推动故事的发展，呈现出典型的配对式沉浸式学习效果。相较于传统的多人活动，配对式协作式讲故事的沉浸式学习更有效促进儿童之间的平等互教与相互支持，增强语言输入的真实感和互动的主动性，进而提升语言习得与跨文化交流能力。

然而，相比单语言场景，跨语言协作式讲故事也面临着新的问题，最为典型的是儿童参与度不足。协作式讲故事主要适用于需要提升口语语言能力的中小学生群体，尤其是处于皮亚杰认知发展理论中具体运算阶段（7-11岁）的儿童。该阶段儿童的认知发展尚处于具体思维阶段，抽象思维能力尚未成熟，因而在语言互动过程中容易出现语用理解偏差、话题中断以及互动策略不足等问题。同时，跨文化差异进一步加剧了这些困难，导致儿童在理解同伴意图时存在障碍，进而削弱了彼此之间的沟通意愿。这使得跨语言协作式讲故事非常依赖于协调者的引导和协调。然而，有效的引导和协调是非常具有挑战性的工作。一方面，协调者需要基于预设的目标词汇和故事框架，实时完成话题引导、提问设计等多项任务，对协调者的知识、经验和能力等提出了较高要求；另一方面，协调者与两位儿童之间会存在不同程度的文化、代际等的代购，导致协调者在与儿童的沟通过程中遇到障碍。上述多方面约束使得很多教师和家长时常难以扮演好协调者的角色，最终导致儿童难以充分的参与到协作式讲故事的任务。

这一背景启发我们思考如何设计用于辅助协调者的跨语言协作式讲故事工具，既减轻协调者负担，同时有效促进儿童在在线跨语言互动中的参与度。

图1 协作式讲故事流程

• F1：儿童在语言文化和兴趣偏好上的显著差异削弱了互动的驱动力，协调者期望辅助工具支持对儿童的特征配置与匹配以支持协作互动。

• F2：儿童表达的自主性与开放性增加了协调者引导的不确定性，协调者期望辅助工具能够生成故事框架及相关的启发性和针对性的问题，以促进表达和互动。

• F3：由于跨语言协作中协调者-儿童与儿童-儿童中存在显著的语言和文化理解障碍，协调者期望辅助工具能生成多模态素材来作为上下文和背景信息辅助理解。

• F4：在协作式讲故事过程中，某一方的发言机会时常被弱化，协调者期望智能工具在提供故事框架、辅助提问以及多模态素材生成等功能的同时，结合儿童的共性和个性特征，协调双方发言以确保参与度的平衡。

• F5：协调者系统记录和追踪儿童在协作式讲故事过程中的表现较为困难，期望辅助工具能自动生成反馈报告，并将结果转化为后续个性化配置。

基于上述发现，我们针对基于多模态大模型的辅助协调者协作式讲故事过程工具设计提出了以下5个设计目标：

• D1：支持协调者配置与动态更新儿童个性化异同特征（F1）

• D2：提供共性与个性共同驱动的协作式讲故事辅助

  • D2-1：基于儿童共性特征的目标词汇驱动型故事框架生成（F1，F2，F4）

  • D2-2：基于儿童个性特征的多元化提问生成（F1，F2，F4）

  • D2-3：基于儿童个性特征和互动语境的理解辅助多模态内容生成（F1，F3，F4）

• D3：围绕协作式讲故事过程提供互动记录和基于回顾的个性化配置优化建议（F1，F5）

• D4：保证协调者对于系统的可控性（F1-F5）

图2 SparkTales框架图

SparkTales系统整体架构如图2所示，由以下五个核心模块组成：

• 配置模块：该模块支持协作者根据协作式讲故事目标选择目标词汇，并根据活动中参与儿童的具体情况，配置其相关特征信息，包括语言水平、文化背景、年龄、性别和性格等基础信息，以及主题、内容特色以及互动方式等偏好信息。

• 个性特征总结模块：根据系统中配置的儿童特征，对每位参与儿童进行个性化特征的提取与总结，形成个性化特征，突出其在偏好、能力和行为等方面的个体差异性，为后续生成强调个体特色的内容提供支持。

• 共性特征总结模块：基于配置的儿童特征，利用儿童特征指南，通过完全匹配、部分匹配和推理推断等方式，深入挖掘两位儿童之间在兴趣、表达方式等偏好方面的共性特征，生成共性特征，为后续共享任务中内容的生成提供有力支持。

• 协作式讲故事模块：基于个性化特征和共性特征，为协作式讲故事活动生成故事框架、多元化提问和辅助理解内容，帮助coordinator有效引导儿童持续表达，协作完成故事的填空、改编与续写任务，促进故事情节的连贯发展，最终生成完整的最终协作式故事书作为成果。

• 回顾与反馈模块：在协作式讲故事活动结束后，系统自动生成基于儿童参与度及其特征反馈的总结报告，为协作者提供活动质量的评估参考，支持其反思儿童的参与表现与自身的实践过程。同时模块对儿童在活动中表达的基础信息和偏好特征进行汇总，并与配置中的数据进行对比分析，生成更新建议及相应解释。协作者可根据建议自主决定是否采纳更新，从而支持协作式讲故事活动的持续优化与个性化调整。

围绕设计目标，我们设计了度量标准对SparkTales进行了广泛的评估，以探索以下三个研究问题：

• RQ1: 协调者是否认为SparkTales功能完备、高效且易于使用？

• RQ2: SparkTales能否提升儿童的参与度？

经过分析，我们将SparkTales共性与个性动态结合机制的核心优势总结如下：

• 准确性表现突出：教师一致强调总结模块在概括儿童特征上的精准性，这不仅保证了生成内容能够满足每位儿童的个性化需求，也提升了在配对式互动环节中内容的准确性和适宜性。这些反馈表明，高准确性的特征总结为教师提供了可靠依据，使问题设计和素材呈现既精准又符合互动需求，从而显著提升了协作式讲故事的整体质量与效率。

• 实现个性化与共性化的平衡：个性化总结与共性总结在差异化回应与整体活动节奏之间形成互补，使协作式讲故事既关注每位儿童的个性，又兼顾参与的两位儿童共性特征，从而保持整体流程的连贯与顺畅。这些反馈显示，个性化与共性化的平衡是支持教师有效组织协作式讲故事的核心优势。

• 功能支撑充分：两个总结模块提供了稳定的语义基础，使内容生成任务具备系统化、可依赖的支撑能力。这些评价显示，系统在组织活动方面提供了实质性和充分的功能帮助，使协作式讲故事过程能够顺利推进，也提升了儿童参与的积极性。

• 易用性支持活动即时操作：个性化与共性化特征总结以清晰、结构化的方式呈现，使教师在活动中能够快速理解和应用，从而支持实时操作和即时决策。这些反馈显示，总结模块的高可读性和操作便捷性显著降低了教师的认知负荷，使他们能够在活动中迅速做出判断并高效组织内容。

基于本研究的核心目标，我们需要评估SparkTales在协作式讲故事过程中对儿童言语投入的影响。参考亲子共读领域的相关文献，我们通过分析儿童对活动中问题的回答来衡量其言语投入水平，具体包括：问题数、产出性、词汇多样性、话题相关性、准确性和可理解性。结果如图3所示。

图3 儿童参与度评估

综上所示，在SparkTales辅助协调者开展的协作式讲故事过程中，大部分指标均体现出儿童语言参与度的显著提升，其表达能力在语言产出量、词汇丰富度、话题相关性、回答准确性以及可理解性等方面都有所增强。同时，SparkTales能够根据儿童不同的语言能力水平，结合共性与个性特征，灵活调整问题设置与引导方式，从而不仅促进了儿童的积极表达，也提供了更具针对性和支持性的互动环境。