신뢰도의 의미와 종류 - 검사-재검사, 동형검사, 반분, 문항내적합치도, 관찰자 신뢰도

신뢰도

 

목 차

 

신뢰도의 의미와 종류

1. 검사 재검사 신뢰도

2. 동형검사 신뢰도

3. 반분신뢰도

4. 문항내적합치도

5. 관찰자 신뢰도

 

 

신뢰도란? 

 

- 측정의 일관성과 안정성, 측정 결과의 반복 가능성을 의미

 

예>

 

고기의 무게를 재는데 한 번은 1kg이었다가 한 번은 800g이었다가

잴 때마다 달라지면 그 저울은 신뢰할 수 없는 것과 같음

 

- 동일한 대상에 대해 같거나 비슷한 측정도구를 사용하여 반복적으로 측정할 경우,

동일하거나 비슷한 결과를 얻을 수 있는 정도

 

예>

 

몸무게를 재는데 목욕탕에 있는 체중계로는 80kg이 나오고

집에 있는 체중계로 79.5kg이 나온다면 몸무게는 대략 80kg이라고 할 수 있음

 

- 신뢰도는 관찰점수 (진점수+오차점수)의 변량 중 진점수의 변량이 차지하는 비율

 

- 후광효과는 채점자 간 신뢰도에 영향을 미치는데

후광효과란 개인의 긍정적인 특성 하나가

그 사람의 다른 모습을 평가하는데 긍정적인 영향을 미치는 것을 의미

 

예>

 

“그 사람은 참 착하더라. 분명 성실하고 가정적이고 주변에 모든 사람들한테도 잘 할거야.”

 

- 평정자 간 점수 차이는 신뢰도에 영향을 줌

 

- 문항들의 내용이 동질적일수록 신뢰도는 높아짐

 

신뢰도 계수의 특징

 

1. 추측해서 우연히 맞는 문항이 많으면 신뢰도 계수는 작아짐

2. 신뢰도 계수는 점수 분표의 분산에 의해 영향을 받음

3. 측정오차가 크면 신뢰도 계수는 작아짐

4. 신뢰도 계수는 검사의 난이도에 따라 달라짐

5. 개인차가 클수록 검사점수의 변량이 커져 신뢰도 계수는 커짐

 

신뢰도의 종류

 

1. 검사 재검사 신뢰도 = 안정성 계수

 

- 가장 기초적인 신뢰도 검증방법으로 동일한 대상에 동일한 측정도구를

다른 시간에 두 번 측정해서 그 결과를 비교

 

예>

 

몸무게를 같은 저울로 아침 저녁으로 재서 아침에 잰 결과와 저녁에 잰 결과를 비교

 

- 재검사에 의한 반복측정을 통해 그 결과에 대한 상관관계를 계산함으로써

도출된 상관계수로 어느 정도의 신뢰도가 있다고 판단할 수 있는지를 추정

 

- 검사실시 간격이 오차의 원인이 되며, 신뢰도 계수에도 영향을 미치는데

검사 간격이 짧으면 신뢰도가 높지만

검사 간격이 길면 상대적으로 신뢰도는 낮게 나타나는 경향이 있음

 

예>

 

몸무게를 잴 때 아침 저녁이나 어제 오늘 잰 것과

3년 전의 몸무게와 오늘의 몸무게를 잰 것은 신뢰도에서 차이가 있음

 

- 연습효과는 기억효과로 인해 후의 시험결과가 높게 나타날 수 있으므로

검사-재검사 신뢰도에 영향을 미침

 

2. 동형검사 신뢰도 = 대안법 = 유사양식법 = 평행양식법

 

- 두 개 이상의 유사한 측정도구를 사용하여

같은 표본에 적용한 결과를 서로 비교하여 신뢰도를 추정

 

예>

 

몸무게를 두 개의 체중계로 재는 것

 

- 검사-재검사 신뢰도의 단점을 보완한 것으로,

그 측정도구들은 비슷해야만 신뢰도를 추정할 수 있는 수단으로 인정

 

예>

 

몸무게를 체중계와 눈대중으로 잰다고 하면 신뢰도를 추정할 수 없음

 

- 문항의 개수, 표현방식, 내용 및 범위, 난이도, 검사지시내용,

구체적인 설명의 유무, 시간제한 등 다양한 측면에서 동등성이 검증되어야 하므로

완벽하게 동형검사를 제작하는 것은 어려움

 

- 일반적으로 두 검사점수 간의 적률상관계수(동형성 계수)로 추정

 

3. 반분신뢰도 = 반분법

 

- 두 번 검사를 해야 하는 검사-재검사 신뢰도와

두 개의 측정도구를 제작해야 하는 동형검사의 약점을 보완하기 위한 방법으로

하나의 대상을 측정하는데 두 개의 도구를 만들 필요가 없음

 

- 측정도구를 반으로 나누어서 두 개의 반쪽들을 가지고

신뢰도를 측정하는 방법인데 이렇게 해서 얻는 상관계수는

전체에서 두 개로 나뉘어진 반쪽들의 측정이므로,

둘의 상관계수를 구한 다음 전체에 관한 상관계수를 구하는 방식

 

예>

 

문항이 20개 있는 검사지를 홀수문항, 짝수문항으로 나눠서 두 개의 검사지로 제작

 

- 반분된 두 검사 간에 얻어진 신뢰도 계수는

어디까지나 반분된 검사의 신뢰도이므로,

실제 사용되는 전체 검사의 신뢰도를 추정하기 위해서

스피어만-브라운 공식을 사용하여 교정

 

- 다른 검사들에 비해서 측정도구 제작에 드는 노력, 시간 그리고

경비를 줄일 수 있다는 장점을 있지만, 각각 나뉘어진 반쪽들의 내용이 다르므로

결과 또한 다를 수 있다는 약점이 있음

 

- 반분신뢰도를 추정하기 위해 가장 많이 사용하는 방법에는

전후반분법, 기우반붑법, 짝진임의배치법이 있음

 

4. 문항내적합치도

 

- 검사 각각의 문항을 독립된 한 개의 검사단위로 생각하여

합치성 동질성, 일치성을 종합하는 평가방법

 

- 문항난이도가 거의 비슷하고 그 범위가 0.3~0.7 정도,

아주 어려운 문항이나 아주 쉬운 문항이 별로 없을 때가 적절함

 

크론바흐 알파계수란?

 

- 신뢰도 측정의 계수를 알파값이라고 함

- 내적 일관성 분석법에 따라 신뢰도를 측정하는 척도

- 신뢰도가 낮은 경우 신뢰도를 낮추는 항목을 찾아낼 수 있음

- 계수는 0~1의 값을 가지며 값이 높을수록 신뢰도가 높음

- 알파값은 0.7이상이 바람직하며 0.8~0.9 정도를 신뢰도가 높은 것으로 간주

 

5. 관찰자 신뢰도

 

- 관찰의 안정성을 기초로 한 신뢰도 측정방법으로

관찰자 내 신뢰도와 관찰자 간 신뢰도로 구분

 

1. 관찰자 내 신뢰도 – 한 명의 관찰자가 반복 관찰하여

관찰 결과의 상관관계를 파악하는 재검사적 신뢰도

 

2. 관찰자 간 신뢰도 – 동일한 구성개념에 대해 측정하고자 할 때,

두 명 이상의 독립적인 평가자(관찰자)들 사이에서

일관성 있거나 유사한 결과를 도출했는지 평가