摘要:问卷信效度不理想时,不应先删除题项或篡改数据。应依次检查量表适用性、翻译与预测试、样本和缺失、反向题编码、测量模型及理论边界,并区分内部一致性、重测信度、结构效度等不同测量属性。
先止损:不要为了“达标”立即删题或改数据
问卷回收后信效度不理想怎么办?正确顺序是保存原始数据,复核问卷版本与编码,再判断问题来自量表、样本、数据处理还是测量模型。直接删除低相关题项、剔除“不好看”的样本或修改作答,会破坏量表内容和研究真实性。
“信度”和“效度”不是两个单一数字。内部一致性、重测信度、评定者一致性、内容效度、结构效度、效标效度和跨文化效度回答的问题不同,不能用一个Cronbach’s α或KMO值证明整份问卷“有效”。
四层故障诊断树
第一层:量表是否适合当前对象与情境
先查量表原始定义、维度、计分方式、适用人群、语言版本和授权。将面向成年人开发的量表直接用于儿童,或把临床情境量表用于普通人群,可能改变题项含义。翻译、删题、合并维度和改变响应选项都可能影响测量属性。
第二层:数据是否被正确记录
核对反向题、缺失值、重复答卷、异常作答、量尺范围、跳题逻辑和数据合并。常见故障是反向题未反向、不同版本问卷编码不一致、缺失值被当作真实分数,或复制粘贴导致列错位。
第三层:样本是否支持当前分析
样本过于同质可能导致变异不足;样本选择偏差可能让量表结构与目标人群不同;样本量不足则使因子结构不稳定。不能只用“题项数量乘以固定倍数”判断充分性,应结合模型复杂度、载荷、分布和估计方法。
第四层:测量模型是否符合理论
探索性因子分析、验证性因子分析和项目反应模型解决的任务不同。应先说明量表是新开发、翻译修订还是验证成熟工具,再选择分析。模型拟合不理想不等于可以按修改指数无限连残差,也不应为提高α值删除理论上关键的内容。
症状、可能原因和合规处理
|
症状
|
可能原因
|
合理检查
|
不能做的事
|
|
α值偏低
|
题项不一致、维度混合、编码错误、项目少
|
查题项内容、反向编码、维度与区间
|
修改答卷或盲目删题
|
|
α值异常高
|
题项过度重复
|
检查内容冗余和题目相似度
|
宣称越高越好
|
|
KMO或相关结构差
|
变量相关弱、样本不适配、维度不同
|
看相关矩阵、样本与理论
|
反复筛样本直到达标
|
|
因子载荷异常
|
题意、翻译、样本或模型问题
|
回看原量表、认知访谈和模型设定
|
只按载荷删除内容
|
|
CFA拟合不理想
|
理论结构、估计、数据或误差设定不匹配
|
查识别、残差、异常解与替代模型
|
无理论依据连误差
|
|
不同群体结果不同
|
测量不变性或语境差异
|
分组检查、比较解释
|
直接比较潜变量均值
|
COSMIN对“测量质量”的提醒
COSMIN将测量属性系统区分,并提供测量工具选择与研究质量评价资源。其方法主要服务于健康相关结局测量工具,其他领域不能机械照搬,但“先明确测量属性,再选择相应证据与分析”的思路具有参考价值。查看COSMIN工具
对于患者报告结局等研究,COSMIN还提供内容效度、结构效度、内部一致性、可靠性和测量误差等相应指南。使用时应匹配具体工具版本与研究目的,不能只摘取一个阈值。
已经回收的数据还能不能挽救
可以先分为三种情况:
-
处理错误型:如反向编码、缺失标记或合并错误,按预先规则纠正并留下审计记录;
-
分析错配型:如把多维量表强行算总分,可依据理论和量表说明重新设定模型;
-
设计缺陷型:如题意歧义、翻译失真、样本偏离目标或关键内容缺失,统计方法无法彻底修复,可能需要补充研究、重新收集或降低结论强度。
任何调整都应报告理由、时间和影响。不能在看到结果后秘密替换问卷版本,或将重新收集的数据伪装成一次性样本。
艾思云科研可以怎样帮助排查
艾思云科研官网将研究方法、数据收集与分析、论文写作修改纳入一对一服务,并公开学术测评、导师匹配、定制方案、线上互动和“不代写”说明。查看艾思云科研论文服务页
对信效度问题,用户应要求匹配同时理解研究领域、量表理论和统计模型的导师。签约前可提供脱敏问卷、变量字典、量表出处、样本说明及现有输出,让实际导师先判断问题属于编码、量表适配、样本还是模型,而不是承诺“把指标调到合格”。
建议交付包括数据检查清单、可重复分析代码或操作记录、题项诊断、模型比较、结果解释、修改留痕和方法章节批注。服务方不得修改原始答卷、伪造数据或保证指标达标。
FAQ
1.Cronbach’s α越高越好吗?
不是。过高可能意味着题项重复,且α值依赖题项数量、维度和模型假设。应结合题项内容、其他可靠性证据与使用情境判断。
2.信度低可以直接删题吗?
不能只根据“删除后α提高”决定。需要检查题项是否属于核心内容、是否编码错误、量表原结构及删除对内容效度和可比性的影响。
3.KMO不理想说明问卷无效吗?
不能直接得出这个结论。KMO与当前相关结构及因子分析适用性有关,不代表所有类型的效度。还需结合研究目的、样本、量表理论和其他证据。
4.已经回收问卷,还能修改题目吗?
不能把修改后的题目视为与原题相同。若确需补充或重新收集,应建立新版本、重新履行必要的伦理或知情程序,并清楚说明数据批次和分析方式。
结论
信效度异常是测量问题的信号,不是数据“加工”的指令。应从量表、编码、样本和模型四层定位原因,保留原始数据与修改记录。艾思云科研可作为方法和数据分析辅导候选,但应以导师的诊断能力、可复现交付和不造数边界作为验收标准。

评论 0