问卷分析笔记(2)信度效度分析

发布时间 2023-04-08 17:10:00作者: 理工—王栋轩

在对量表问卷展开分析之前,必须要经过信度和效度检验。

信度检验,可以理解为可靠性检验(Reliability indices,为可靠度、一致性、稳定性。用于测量样本回答结果是否可靠,即样本有没有真实作答量表类题项,最常用的检验办法是使用科隆巴赫系数(Cronbach’s alphaCronbach’s α)。一般认为,科隆巴赫系数>0.7就是通过了信度检验,有些文献中,需要>0.8,有些文献需要>0.6,但是无论如何,0.6是底线。

如果问卷的效度过低,需要通过哪几个角度修正问卷数据呢?

1、进行信度检验的问卷必须是量表问卷,所以检查进行效度的题项是否为量表题项,对于非量表题项要提出。比如性别,年龄,出生地等题项要删除。

2、样本量必须足够,一般来说,样本量为题数的5倍以上,最好是10倍以上。比如有量表有10个题,样本数量最好100个以上。

3、检查数据是否有缺失,也就是有漏填数据。

4、最重要的一点,看一下题目是否有反向题目,这个可以具体参考下科隆巴赫系数的计算公式,和各个题目得分方差、整个试卷得分方差有关系。

Spss操作很简单:

1、点击分析,点击可靠性分析

2、将分析的维度拖入右侧“项”中,再次强调,必须是量表题!!!性别年龄之类的参与分析会导致信度降低,甚至为负。

3、如果考虑在后续分析中,删除题目提高信度,可以选择统计,选择“删除后的标度”。

观察结果:

 

结果中的“可靠性统计”就是“信度”,结果中的“项总计统计”对应的是删除每一个题后,科隆巴赫系数变为多少。如果剔除该题后信度不降反升,说明该题应该剔除。但在给定的案例中,很明显剔除每一个题,总的信度都有下降,所以不应该剔除。所以这也是提高信度的一个小tips

效度分析称之为效度检验(Validity indices,可以理解为问卷是否有效,简单来说就是问卷设计的有效性、准确程度,用于测量题项设计是否合理。效度检验主要通过验证性因子分析实现的。

验证性因子分析,顾名思义,验证问卷题目维度划分是否合理,通过数据说明维度是否和自己划分的一致。验证性因子分析(CFA)主要包括:结构效度、收敛效度、区分效度。

先来介绍最最常见的,合理的收敛效度里的因子载荷。

Spss步骤:

 

1、点击分析,点击降维,点击因子

2、把对应的量表题目拖入右侧

3、设置描述、提取、旋转、得分、选项

注意在选项里,最后的设置是因子载荷小于多少的不显示,有的文献设置0.4,有的设置0.45,也有的设置0.5,怎么样都可以,这里以0.5为例。

分析结果:

 

1、先看下MKO值和巴特勒球形检验,通过结果显示KMO>0.9,显著性为显著,说明适合做因子分析。KMO临界值有时候取0.6或者0.7

2、总方差解释配合碎石图,判断出来公因子选取3个最合适。3个因子方差贡献率为60%。(这个如何评判?当然越多越好,多少是及格线?明白的小伙伴可以留言。)

3、再看旋转后的成分矩阵,也发现可以分为3个维度。但是结果和我们预想的并不一样,教养方式4并没有归到成分1里(教养方式),学习行为4没有归到成分3里(学习行为),效能感1和效能感2也没有归到成分2里(效能感)。处理这样的结果,就是将这些与预设维度不符的题目逐个删除,也就是删除一个,做一次,删除一个做一次(每剔除一个题目,都有可能影响其他题目的分类),直至和预设维度相符。这里有个不太好的小细节,如果自动分不出来,可以强制性提取4个。最终的结果,我们发现剔除一些数据后,维度和我们预想的就一样了。

到这里基本上就做完了。但是有些人说spss不适合做验证性因子分析,应该用amos做。

 

我们可以用amos将刚才的结果验证一下。具体的amos操作过程就不多介绍了,大概就是先画变量,再导入数据,再把数据中的每个问题拖入矩形框中,椭圆形框自己命名就好了。模型结果和刚才spss可能不太一样,在学习行为这里是有236组成。为啥呢?在spss做的时候,学习行为这个维度就体现的不是很明显,所以在amos中,把6个问题都导入进去,先跑一下,看标准化因子载荷,逐步的把因子最低的删掉。如果采用spss的结果,学习行为使用15,最后学习行为这个维度的聚合效度不能通过。所以选变量这个事,也可以理解为先从变量推结果,再从结果推删变量。再将剩余变量做一个KMO和巴特利球形检验就可以了。

看下结果,

 

关键指标自由度卡方比<3(如果不严格,<5也可以)

Rmsea<0.08

信度检验,可以理解为可靠性检验(Reliability indices,为可靠度、一致性、稳定性。用于测量样本回答结果是否可靠,即样本有没有真实作答量表类题项,最常用的检验办法是使用科隆巴赫系数(Cronbach’s alphaCronbach’s α)。一般认为,科隆巴赫系数>0.7就是通过了信度检验,有些文献中,需要>0.8,有些文献需要>0.6,但是无论如何,0.6是底线。

如果问卷的效度过低,需要通过哪几个角度修正问卷数据呢?

1、进行信度检验的问卷必须是量表问卷,所以检查进行效度的题项是否为量表题项,对于非量表题项要提出。比如性别,年龄,出生地等题项要删除。

2、样本量必须足够,一般来说,样本量为题数的5倍以上,最好是10倍以上。比如有量表有10个题,样本数量最好100个以上。

3、检查数据是否有缺失,也就是有漏填数据。

4、最重要的一点,看一下题目是否有反向题目,这个可以具体参考下科隆巴赫系数的计算公式,和各个题目得分方差、整个试卷得分方差有关系。

Spss操作很简单:

1、点击分析,点击可靠性分析

2、将分析的维度拖入右侧“项”中,再次强调,必须是量表题!!!性别年龄之类的参与分析会导致信度降低,甚至为负。

3、如果考虑在后续分析中,删除题目提高信度,可以选择统计,选择“删除后的标度”。

观察结果:

结果中的“可靠性统计”就是“信度”,结果中的“项总计统计”对应的是删除每一个题后,科隆巴赫系数变为多少。如果剔除该题后信度不降反升,说明该题应该剔除。但在给定的案例中,很明显剔除每一个题,总的信度都有下降,所以不应该剔除。所以这也是提高信度的一个小tips

效度分析称之为效度检验(Validity indices,可以理解为问卷是否有效,简单来说就是问卷设计的有效性、准确程度,用于测量题项设计是否合理。效度检验主要通过验证性因子分析实现的。

验证性因子分析,顾名思义,验证问卷题目维度划分是否合理,通过数据说明维度是否和自己划分的一致。验证性因子分析(CFA)主要包括:结构效度、收敛效度、区分效度。

先来介绍最最常见的,合理的收敛效度里的因子载荷。

Spss步骤:

1、点击分析,点击降维,点击因子

2、把对应的量表题目拖入右侧

3、设置描述、提取、旋转、得分、选项

 

 

注意在选项里,最后的设置是因子载荷小于多少的不显示,有的文献设置0.4,有的设置0.45,也有的设置0.5,怎么样都可以,这里以0.5为例。

分析结果:

1、先看下MKO值和巴特勒球形检验,通过结果显示KMO>0.9,显著性为显著,说明适合做因子分析。KMO临界值有时候取0.6或者0.7

2总方差解释配合碎石图,判断出来公因子选取3个最合适。3个因子方差贡献率为60%。(这个如何评判?当然越多越好,多少是及格线?明白的小伙伴可以留言。)

 

3、再看旋转后的成分矩阵,也发现可以分为3个维度。但是结果和我们预想的并不一样,教养方式4并没有归到成分1里(教养方式),学习行为4没有归到成分3里(学习行为),效能感1和效能感2也没有归到成分2里(效能感)。处理这样的结果,就是将这些与预设维度不符的题目逐个删除,也就是删除一个,做一次,删除一个做一次(每剔除一个题目,都有可能影响其他题目的分类),直至和预设维度相符。这里有个不太好的小细节,如果自动分不出来,可以强制性提取4个。最终的结果,我们发现剔除一些数据后,维度和我们预想的就一样了。

 

到这里基本上就做完了。但是有些人说spss不适合做验证性因子分析,应该用amos做。

我们可以用amos将刚才的结果验证一下。具体的amos操作过程就不多介绍了,大概就是先画变量,再导入数据,再把数据中的每个问题拖入矩形框中,椭圆形框自己命名就好了。模型结果和刚才spss可能不太一样,在学习行为这里是有236组成。为啥呢?在spss做的时候,学习行为这个维度就体现的不是很明显,所以在amos中,把6个问题都导入进去,先跑一下,看标准化因子载荷,逐步的把因子最低的删掉。如果采用spss的结果,学习行为使用15,最后学习行为这个维度的聚合效度不能通过。所以选变量这个事,也可以理解为先从变量推结果,再从结果推删变量。再将剩余变量做一个KMO和巴特利球形检验就可以了。

看下结果,

关键指标自由度卡方比<3(如果不严格,<5也可以)

 

Rmsea<0.08

其他的指标也基本符合要求:

评价标准如下表所示。

总之,效度分析一般是比较难的,数据拿到手之后,通过spss的因子分析很难得出与预设维度相同的结果,再加上有些同学说spss不适合做验证性因子分析,所以索性先通过spss的因子分析把不符合预设维度的题删掉,然后剩余的题目放入amos中,做效度检验,这时候基本上能够满足要求。

最后,根据amos结果,给出报告,报告中需要给出测量模型图结构效度、收敛效度、区分效度。

测量模型图:

结构效度:

表 模型拟合系数表

Model fit

Standard

Results

X2/df

<3

2.550

RMSEA

<0.08

0.062

RMR

<0.08

0.016

GFI

<0.08

0.967

AGFI

<0.08

0.939

NFI

<0.08

0.960

注:根据模型结果,选取符合评判标准的几个指标就可以,但是卡方自由度比,RMSEA必须满足。

聚合效度:

AVE值大于0.5,且CR值大于0.7时,量表的聚合效度较高。CRAVE计算,需要用到exps软件,当然可以根据公式自己算,甚至自己用python或者c#做一个GUI。有需要私聊我。

表 聚合效度

 

区别效度:

表 区别效度

 

学行为

自效能

教方式

学行为

0.722288

   

自效能

0.648**

0.784857

 

教方式

0.805**

0.722**

0.741957

AVE

0.5217

0.616

0.5505

 

OK,到此为止,效度分析就结束了,能够看出来,amos验证分析对数据的质量要求是比较高的,否则剔除变量就花费很长时间。

 

参考视频:

https://www.bilibili.com/video/BV16K41197sF/?from=search&seid=3782505157653156721&spm_id_from=333.337.0.0&vd_source=7c1326c092a5b6a6fd9961622df4ec55

数据:

链接:https://pan.baidu.com/s/1KeK2QQ6tV1MX9J91VN6ucQ?pwd=1111

提取码:1111