超级糟糕的问卷效度,要如何调整?

Question

如题所述

Answer 1

在量表研究中，我们经常面临效度不达标的问题，特别是在没有权威经典量表可以参考的研究领域。自制的量表容易出现信效度问题。当遇到效度极低的情况时，我们应如何应对？
在解决这个问题之前，让我们先回顾一下判断效度达标的指标。以探索性因子分析为例：
1. KMO值应大于0.6，并通过巴特莱特球形检验。KMO值高于0.8表示效度高，0.7到0.8表示效度较好，0.6到0.7表示效度可接受，低于0.6则效度不佳。
2. 分析项应归类清晰。如果预期有5个维度，但分析后得到3个公因子，可能意味着分析项的预期与实际分析存在偏差。可以适当删减不合理的分析项，当分析项与维度的划分与专业意义内在逻辑结构一致时，说明数据具有较好的效度。分析项在某个因子下的因子载荷系数绝对值大于0.4，可以认为该分析项属于这个因子。
3. 其他效度分析判断指标包括共同度和相关系数矩阵。共同度值大于0.4是合适的，过高可能存在共线性问题，过低则变量间内在联系弱，不适合进行因子分析。
针对效度问题，有以下几种情况：
1. 维度划分不清：建议每次放入一个维度的题项，移出共同度低的问题。重复以上操作，确保每个维度内部题项质量，然后再放入全部题目，整体分析。
2. 分析项归类与预期维度不同：这是一个常见问题。建议每次放入一个维度的题项，移出共同度低的问题。重复所有维度操作，确保每个维度内部没有太糟糕的题项。如果问题依旧，可以增加样本量或重新收集数据修改量表内容。
3. 共同度很低的题项：共同度低的题项意味着它们之间的关联性低，通常归类也不好。建议从共同度最低的题项开始移出，依次分析直至删除所有共同度小于0.4的题项。需要来回多次对比，找出最佳结果。
根本改善效度的方法是做好预调研，保证数据收集质量。设计量表时，每个维度的题目最好有出处。这样做可以为后续分析工作提供便利。