引领应急科普进入多模态新时代
湾区时讯 中山大学智能工程学院沈颖团队今日宣布，专为应急科普打造的多模态大语言模型家族——“神机大模型”的最新版本2.0正式上线。作为应急科普领域的AI领航者，“神机大模型2.0”不仅继承了前代版本的应急知识快速问答、规章制度查询等功能，还创新性地引入了识图辨事的多模态应用场景。特别是针对火灾预防这一关键环节，神机大模型2.0版本通过丰富的图文交互，能够识别图像中潜在的火灾风险点，帮助非专业人士识别日常生活场景中的火灾隐患，并提供专业的防范建议，使得火灾预防成为每个家庭的一部分。此外，2.0版还增添了图文并茂的火灾知识科普内容，让应急知识的学习变得既有趣又详尽，充满专业细节。网页版更新的同时，神机APP也同步推出，让用户在使用过程中更为便捷，响应速度更加快速。
神机2.0识图辨事页面展示
研发团队进行讨论
中山大学智能工程学院为神机大模型的研发提供了先进的研究平台与人才培养平台。中国计算机学会青年计算机科技论坛（YOCSEF）广州、广东省消防科学与智能应急技术重点实验室、琶洲实验室-人工智能与数字经济广东省实验室为我们的研究团队提供了丰富的学术资源与宝贵的行业经验指导。腾讯AI Lab在技术交流方面与我们的团队进行了深入合作与分享。
神机官网：shenjiai.cn
神机APP下载页面：shenjiai.cn/dl
团队主页：https://github.com/SYSU-NLPLab/AIGC
神机APP下载二维码：
神机2.0有哪些新突破？
多模态理解能力：“神机大模型2.0”实现了多模态理解能力的新突破。通过对图像进行识别与推理，模型能够完成从易燃物识别、火灾隐患分析到灭火器械使用教学和逃生指南解读等一系列复杂任务。结合用户的个性化查询与现行的消防设施国家标准及广东省地方标准等资料，实现更加专业且细致的多模态消防应急科普。
聚焦火灾隐患：新版本聚焦于面向公众科普的日常场景火灾隐患的识别，基于丰富的多模态理解能力，帮助用户识别潜在的火灾风险，例如，堆积的纸箱、裸露的电线等容易引发火灾的因素都可以被及时捕捉到。这不仅提高了公众的安全意识，也能提供相应的改善措施，为火灾预防提供了有力的技术支持。
图文并茂知识科普：在火灾知识科普方面，“神机大模型2.0”也进行了全面升级。通过图文并茂的方式，为用户提供了更加专业、趣味、充满科普细节的火灾安全教育内容。无论是灭火器的使用，还是逃生指南的解读，新版本都能以更加直观、易懂的形式呈现给用户，提高了科普的趣味性和实用性。
全新的神机2.0有哪些技术亮点？
精细化火灾图文数据构建：基于公众对火灾预防知识与防火安全教育的科普需求，团队设计了包括火灾隐患识别、消防知识科普、逃生指南解读等一系列识图辨事任务。为了确保模型的准确性和泛化能力，团队从开源的1亿个中文图文对中定向筛选出了70K张与火灾相关的图像，针对不同任务生成了相应的问答对数据。这不仅丰富了模型的学习材料，也提高了模型对现实世界复杂情况的理解能力。
专业指南导向的多模态RAG：研究团队利用专业的公开消防建筑规范国家标准与广东省地方标准等白皮书进行消防专业知识的向量库构建，基于专家标注的消防设施检测报告进行图文向量库构建，利用多模态检索增强生成技术（RAG）增强对火灾隐患的识别的准确性与有效性，实现更精细、更专业、更详细的火灾隐患排查与建筑设施安全评估。
高性能模型训练与评测：为了在提高消防领域专业能力的同时维持大语言模型通用能力，在自行构建的火灾图文数据与通用大规模图文数据集共计1,298,672条图文对上使用4张40GB NVIDIA A100 GPU进行模型训练。此外，通过从二十余个广泛使用的多模态大语言模型评测集中筛选出与火灾相关的2000余条高质量评测数据，在构建的火灾评测集上进行了严格测试，“神机大模型2.0”取得了70.3的准确率，超越了一系列开源的多模态大模型。
用户高效响应优化：为了改善用户体验，“神机大模型2.0”在响应时间上实现了显著提升，能够在7秒内完成对图像中火灾隐患的识别和预警，同时支持每分钟1200次以上的并发响应。团队特别关注了交互界面的设计和响应机制的优化，通过内置用户提示简化火灾隐患识别操作流程，意味着在紧急情况下用户能够更快地获取到需要的信息和服务，从而提高应急响应效率。
功能展示：图文交互新体验
神机大模型2.0现已上线，欢迎访问神机官网进行体验shenjiai.cn/chat
火灾隐患智能预警：
“神机大模型2.0”具备火灾隐患识别功能，能够快速识别出环境中的火灾隐患。用户只需上传图片，模型便能自动识别出潜在的火灾风险，为用户提供智能预警。
仓库火灾隐患识别
楼道火灾隐患识别
灭火器械使用教程：
用户可以通过上传包含灭火器的图片或描述具体情境，获得专业的使用指南。无论是在家庭、学校还是办公场所，用户都能获得清晰的操作步骤和注意事项，确保在面对火情时能够迅速采取正确的行动，有效控制初期火灾，保障生命财产安全。
火灾科普漫画解读：
为了使应急知识的学习更加生动有趣，“神机大模型2.0”能进行火灾科普漫画解读功能。用户可以通过上传或选择内置的图文并茂的科普漫画，获得专业的解读。这些漫画涵盖了从火灾预防到逃生技巧的各种知识点，以直观的形式传达复杂的消防安全信息，帮助用户轻松掌握应急知识，增强自我保护能力。
消防疏散指导：
“神机大模型2.0能够根据建筑物平面图或用户提供的详细描述，提供最佳的疏散路径建议。该功能结合建筑物结构特点和安全出口位置，帮助用户规划最安全有效的逃生路线，大大提高了紧急疏散的效率和安全性。
关于中山大学智能工程学院智能知识工程实验室
中山大学沈颖团队长期致力于自然语言理解与生成、大语言模型、知识计算与推理、多模态学习、数据挖掘和智能问答系统的研究与应用。沈颖博士，中共党员，中山大学百人引进人才，副教授，博士生导师，IEEE Senior Member，高被引学者，入选“全球前2%科学家榜单”。沈颖于2015年获法国巴黎第十大学计算机博士学位。现任中山大学智能工程学院副教授。沈颖主要从事人工智能、自然语言处理、多模态计算、大语言模型等理论和应用研究工作。于机械工业出版社出版了64万字高等院校智能工程系列教材《自然语言处理导论》。讲授的《自然语言处理》课程被评为教育部“智能基座"金课以及中山大学校级一流课程，获中山大学第十一届校级本科教育教学成果奖一等奖，并被纳入教育部慕课西行课程。在知名学术会议和期刊上发表学术论文140余篇，其中SCI期刊50篇，CCFA类会议论文29篇，CCF B类会议30篇。其中ESI高被引论文5篇、ESI热点论文2篇，多次获人工智能顶会最佳论文奖。已授权专利20余项;授权软件著作权25项;发布团体标准1项。开发了首个应急多模态大语言模型神机（shenjiai.cn）。主持多项国际、国家、省部级研究项目，成果在多家单位中落地应用。
通讯员/中神机
责任编辑/刘秀
评论 0