제7장 신뢰도와 타당도

1. 신뢰도

2. 타당도

3. 측정오차

1. 신뢰도

- 신뢰도란 측정도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력, 또는 동일한 개념에 대해 측정을 반복했을 때 동일한 측정값을 얻을 가능성

※저울의 신뢰도와 타당도

저울을 사용해 5회 반복해 몸무게를 측정했더니 각각 72kg, 65kg, 75kg, 68kg으로 나왔다면 이 저울을 신뢰할 수 없을 것이다. 그러나 모두 70kg 으로 일관되게 나왔다면 이 저울을 신뢰 할 수 있을 것이다. 그러나 70kg이라는 일관된 측정치(신뢰도)를 산출했더라도 과연 그 사람의 몸무게가 70kg이 맞는지(타당도)는 보장 할 수 없다.

2) 측정방법

(1) 재검사법

(2) 복수양식법

(3) 반분법

(4) 내적 일관성 분석

3) 제고방안

질문 문항을 분명하게 작성하여 모호성을 제거한다.

문항 간의 상관관계가 유사한 경우 문항수를 늘리면 신뢰도는 높아진다.

측정자의 태도와 측정방식의 일관성이 유지되어야 한다.

측정의 신뢰도를 떨어뜨리는 요인을 찾기 위해 측정 상황 자체를 분석해 본다.

응답자가 무관심하거나 잘 모르는 내용은 측정하지 않는 것이 바람직하다.

이미 신뢰도가 검증된 기존의 측정도구를 사용하는 것이 안전하다.

검사 결과 낮은 신뢰도가 나오도록 영향을 미치는 측정항목은 제외한다.

역점수로 된 질문을 사용할 경우 반드시 코딩변경(recording)해야 한다.

2. 타당도

- 타당도란 측정하고자 하는 개념이나 속성을 얼마나 실제에 가깝게

정확히 측정하고 있는가의 정도

2) 타당도의 종류

(1) 내용타당도

- 측정도구가 측정하고자 하는 속성이나 개념을 얼마나 잘 측정할 수 있도록 되어 있는가를 평가하는 것

(2) 기준타당도

- 어떤 측정도구와 측정결과인 점수 간의 관계를 비교하여 타당도를 파악하는 방법

- 종류

① 예측 타당도 : 현재의 상태로부터 차후의 차이를 예측해내는 도구의 능력 정도

② 동시 타당도 : 예측적 행위의 점수가 실제 실현된 행위와 동시에 획득되는 것

(3) 구성타당도

- 연구자가 측정하고자 하는 추상적 개념이 실제로 측정도구에 의하여 제대로 측정되었는지의 정도

- 종류

①수렴 타당도 : 같은 개념을 측정하면 다른 방법을 사용하더라도 그 측정값은 하나의

차원으로 수렴해야 함

②차별 타당도 : 상이한 개념을 측정하면서 상이한 방법을 사용하면 그 측정값 간에는 차별성이                           나타나야 함

※ 타당도의 종류

3) 타당도의 제고방안

(1) 논리적 타당화

(2) 전문가 의견법

(3) 기지집단법

(4) 독립기준법

4) 신뢰도와 타당도의 관계

- 정확한 측정을 위해서는 타당도와 신뢰도를 동시에 확보해야

- 타당도가 증가하면 신뢰도 역시 증가

- 타당도 있으면 항상 신뢰도가 있고, 신뢰도가 없으면 타당도 없음

3. 측정오차

- 측정오차란 조사대상이 가지는 본질적인 속성치(참값)와 조사에 의해 나타난 결과치(측정값)와의 차이

- 즉 참값 = 측정값 + 측정오차

2) 종류

(1) 표본오차

- 표본의 계산치와 모집단의 특성과의 차이

(2) 비표본오차

- 자료의 수집이나 처리 등에서 발생하는 오차, 측정상의 오차

- 종류

① 체계적 오차

② 무작위 오차

제7장 요약

1. 신뢰도는 동일한 개념을 반복측정했을 때 동일한 값이 얻을 가능성을 의미하며, 재검사법, 복수양식법, 반분법, 내적 일관성 분석을 통해 측정한다. 신뢰도를 높이기 위해서는 질문문항의 모호성을 제고하고, 측정자의 태도와 측정방식의 일관성을 유지하며, 유사한 여러문항을 사용해 신뢰도를 떨어뜨리는 문항을 제거한다.

2. 타당도는 측정하고자 하는 개념이나 속성을 얼마나 실제에 가깝게 정확히 측정했는가의 정도이며, 내용타당도, 기준타당도, 구성타당도로 구분된다.

3. 내용타당도는 측정도구의 문항이 측정하고자 하는 개념을 진정으로 측정하고 있는가의 정도이며, 기준타당도는 측정도구의 측정결과와 기준이 되는 다른 측정도구의 측정결과 간의 관계를 비교해 파악하며 예측타당도와 동시타당도로 구분된다. 구성타당도는 연구자가 측정하고자 하는 추상적인 개념이 실제로 측정도구에 의해 제대로 측정되었는지의 정도로서, 수렴타당도와 차별타당도로 구분된다. 구성타당도는 다속성 - 다측정 행렬분석, 요인분석, 논리적 구성타당도로 평가한다.

4. 타당도 제고방안으로는 논리적 타당화, 전문가 의견법, 기지집단법, 독립기준법 등이 있다.

5. 측정도구는 타당도와 신뢰도를 동시에 확보해야 한다. 보통 신뢰도가 있더라도 타당도는 결여될 수 있다. 그러나 타당도가 있으면 일반적으로 신뢰도가 있다.

6. 측정오차는 참값과 측정값과의 차이로서, 표본오차와 비표본오차, 체계적 오차와 무작위오차등이 있다.

주요용어

신뢰도, 재검사법, 복수양식법, 반분법, 내적 일관성 분석, 크론바하 알파(α), 타당도, 내용타당도, 기준타당도, 구성타당도, 예측타당도, 동시타당도, 수렴타당도, 차별타당도, 다속성- 다측정 행렬분석(MMTM), 논리적 타당화, 전문가 의견법, 기지집단법, 독립기준법, 측정오차, 표본오차, 비표본오차, 체계적 오차, 무작위오차

82. 구성타당도에 대한 설명으로 옳은 것은?

가. 추상적인 속성을 측정하는 척도의 타당도 검증에 적절하다.

나. 이론과 관련하여 측정도구의 타당도를 검증한다.

다. 구성타당도의 내용으로 요인분석, 수렴타당도가 있다.

라. 통계적으로 검증이 가능하다.

① 가, 나, 다                                  ② 나, 다

③ 다, 라                                     ④ 가, 나 ,다,라

80. 신뢰도를 높일 수 잇는 방법으로 맞는 것은?

① 문항을 추상적이고 복잡하게 작성한다.

② 측정항목을 최대한 줄인다.

③ 측정자의 태도와 측정방식이 매번 달라야 한다.

④ 낮은 신뢰도가 나오도록 영향을 미치는 항목은 제외한다.