✔[직업 심리학] 직업 심리 검사④(직상 기출, 신뢰도, 타당도, 검사 재검사, 동형 검사, 반분, 문항내적 합치도, 채점자 신뢰도, 신뢰도 계수에 영향을 주는 요인)

 

 

 

 

 

 

◆ 저번 시간에 이어서 오늘도 직업 심리 검사에 대해서 알아보도록 하겠다.  규준, Z점수, T점수, 백분위, 표준 점수 등에 대해 궁금하신 분은 아래의 글을 참조하여 주시기 바란다.

 

2024.06.10 - [직업 상담, 직업 심리] - ✔[직업 심리학] 직업 심리 검사③(직상 기출, 발달, 연령, 학년, 언어 발달, 서열 규준, 점수 해석, Z점수, T점수, 백분위, 표준 점수, 등급, 편차 IQ, 표집 방법, 유의점)

✔[직업 심리학] 직업 심리 검사③(직상 기출, 발달, 연령, 학년, 언어 발달, 서열 규준, 점수 해석

 

 

 

 

1. 신뢰도(Reliability)

 

 

(1) 의의 : 

 

① 신뢰도란 해당 검사가 측정하고자 하는 것을 얼마나 오차없이 정확하게 측정하고 있는가, 또는 얼마나 일관성 있게 측정하고 있는가를 나타내는 지표를 말한다. 

 

② 신뢰도 계수는 -1.00 ~ +1.00의 범위 내에서 제시된다. 

 

 

(2) 신뢰도의 종류 : 

 

① 검사 - 재검사 신뢰도(test-retest reliability) : 

 

㉮ 의의 : 동일한 검사를 동일한 사람에게 일정한 시간 간격을 두고 두 번 실시하여 두 점수 간의 상관 계수를 구하는 방법을 말한다. 

 

㉯ 안정성 계수(Coeffcient of Stability) : 검사에 대한 안정성을 추정하므로 검사 점수가 시간의 변화에 따라 얼마나 일관성이 있는지를 나타낸다. 

 

㉰ 단점 :

 

- 이월 효과 :

 

첫 번째 검사에서 기억 효과와 연습 효과가 두 번째 검사에 적용할 수 있다.

 

- 반응민감성 효과 :

 

첫 번째 검사와 두 번째 검사 간의 시간 간격이 길고 짧음에 따라서 신뢰도 계수의 크기가 달라질 수 있다. 즉, 두 번째 검사를 실시할 때에 새로운 학습 효과, 성숙 효과가 나타날 수 있다.

 

- 측정 속성의 변화 :

 

두 번째 검사를 실시할 때에 피검사자들의 측정하려는 특성 자체가 변화되었을 수도 있다. 즉 피검사자들의 연령, 측정하려는 특정의 본질 등의 변화가 나타날 수 있다. 

 

 

300x250

 

 

- 응답자 속성의 변화 :

 

두 검사의 시기에 피검사자들로 하여금 동일한 검사 동기와 검사 태도를 갖도록 하기가 어렵다. 일부 비협조적인 피검사자들은 두 번째 검사에 불성실하게 응답하거나 응답을 거부할 수도 있다.

 

- 개인적 요인의 변화 : 

 

두 검사의 시기에 피검사자들의 신체적 · 정신적 상태가 모두 같다고 볼 수 없다.

 

- 환경적 요인의 변화 :

 

두 검사의 시기의 물리적 환경(온도, 습도, 날씨, 채광, 불쾌지수, 소음 등)에 따라 검사의 결과가 달라질 수도 있다.

 

 

② 동형검사 신뢰도(equivalent test reliability) : 

 

㉮ 의의 : 두 개의 동형검사를 동일한 사람에게 실시하여 두 점수 간의 상관 계수를 구하는 방법이다. 

 

㉯ 동등성 계수 : 검사의 동등성을 추구하므로, 실시한 검사 점수가 얼마나 일관성이 있는지를 나타낸다.

 

㉰ 단점 :

 

- 동형 검사를 제작하기가 어렵다.

 

- 동형 검사를 개발하는 데 시간과 비용이 많이 소요된다.

 

 

③ 반분 신뢰도(split-half reliability) : 

 

㉮ 의의 : 검사의 내적 일관성을 측정하는 방법으로, 전체 문항수를 반으로 나누어 실시하여 두 점수 간의 상관 계수를 구하는 방법이다. 

 

㉯ 내적합치도 계수 : 둘로 구성된 문항들의 검사 점수가 얼마나 일관성이 있는지를 나타낸다. 합치도 계수가 매우 낮다면 검사의 성질상 매우 다른 속성을 측정하는 문항들로 구성되어 있다는 것을 알 수 있다.

 

㉰ 단점 :

 

문항을 반으로 나누는 방법에 따라 신뢰도가 달라질 수 있다.

 

㉱ 반분의 방법 :

 

- 전후 반분법 :

 

한 검사를 문항 순서에 따라 전반부와 후반부로 나누는 방법이다. 비교적 문항 수가 적거나 문항의 곤란도가 골고루 배열되어 있는 경우에 적합한 방법이다.

 

- 기우 반분법 :

 

한 검사를 문항의 번호에 따라 홀수와 짝수로 나누는 방법이다. 검사 문항 수가 비교적 많고, 곤란도에 따라 문항이 배열되어 있는 검사에 적합한 방법이다. 

 

728x90

 

 

- 짝진 임의 배치법(method of matched random subsets) :

 

한 검사를 문항의 난이도와 문항과 총점 간의 상관 계수를 토대로 나누는 방법이다. 산출된 통계치는 좌표상의 산포도로 작성되며, 거리상 가까이 위치한 두 문항끼리 짝을 지은 후 그 중 한 문항을 임의로 선택하는 방식으로 검사를 양분한다. 

 

- 난수표법 :

 

한 검사를 난수표에 의해 두 부분으로 나누는 방법이다. 통계 조사 방법의 하나로 사용되는 임의 추출법(random sampling)에 해당하며, 문항수를 무작위(임의)로 하여 반으로 나누어 신뢰도를 평가하는 방법이다.

 

 

④ 문항 내적 합치도(item internal consistency) : 

 

문항 하나하나를 독립된 검사로 보고 각 점수를 비교하여 상관 계수를 구하는 방법을 말한다. 문항들이 동질적이라면 각각의 문항에 얼마나 일관성 있게 답했는지를 파악함으로써 신뢰도를 추정할 수 있다.

 

㉮ 쿠더 - 리차드슨 20(KR - 20)계수 :

 

- 반분 신뢰도의 단점을 해결하기 위하여 쿠더와 리차드슨이 제안한 것으로, 문항 하나하나를 독립된 검사로 간주하여 문항들 간의 반응의 유사성 또는 측정의 일관성을 추정하는 방법이다. 

 

- 검사가 2분 문항(정답 아니면 오답으로만 채점되는 문항)으로만 구성되어 있을 때에 사용할 수 있는 방법이다.

 

 

㉯ 크론바흐 알파(Cronbach α) : 

 

- 2분 문항 뿐만 아니라 서술형 문항과 같이 한 개의 문항이 여러 단계의 점수로 채점되는 경우에도 사용할 수 있는 방법이다.

 

- 알파 값이 크다는 것은 검사의 문항들이 동질적이라는 뜻이다.

 

 

⑤ 채점자 신뢰도 : 

 

㉮ 컴퓨터 채점용으로 하는 검사가 아니라, 채점자에게 재량권이 있는 검사의 경우(창조성 검사나 투사적 검사) 채점자가 누구냐에 따라 동일한 수검자에 대해서 다른 점수가 나타날 수 있다. 

 

 

2022.05.30 - [이야기가 있는 정원, 학교심리] - ✔투사적 검사①(로샤, 로르샤흐 검사, 잉크 반점 검사, 카드, 비구조적 검사, 의의, 특징, 헤르만 로르샤흐, 존 엑스너, 데칼코마니, 시행 및 채점)

✔투사적 검사①(로샤, 로르샤흐 검사, 잉크 반점 검사, 카드, 비구조적 검사, 의의, 특징, 헤르만

 

 

㉯ 채점자 신뢰도는 한 집단의 검사용지를 두 명의 검사자가 각각 독립적으로 채점해서 찾아내는 것이다.

 

 

(3) 신뢰도 계수에 영향을 주는 요인 : 

 

① 개인차 :

 

㉮ 개인차가 존재함으로써 신뢰도가 존재한다. 만약 수검자의 개인차가 전혀 없을 경우에는 수검자의 검사 점수가 모두 동일하게 나타나 신뢰도 계수는 0이 된다.

 

㉯ 반면에 개인차가 클 경우에는 검사 점수가 매우 낮은 점수에서부터 상당히 높은 점수까지 널리 분포하여 신뢰도 계수는 더욱 높게 나타난다.

 

㉰ 따라서 개인차가 클수록 신뢰도가 높게 나타날 가능성이 크다.

 

 

② 문항수 :

 

검사의 문항이 여러 개라는 것은 결국 하나의 특성을 여러 번 측정한다는 것을 의미한다. 따라서 검사의 문항수가 많을수록 신뢰도가 높게 나타날 가능성이 크다.

 

 

③ 문항에 대한 반응수 :

 

문항에 대한 반응수(선택 문항)가 많을수록 신뢰도가 나타날 가능성이 크다.

 

 

④ 문항의 난이도 :

 

문항들의 평균 난이도가 50%에 가까울수록 신뢰도가 높게 나타날 가능성이 크다.

 

 

반응형

 

 

⑤ 검사 유형 :

 

검사 유형(속도 검사/역량 검사)에 따라 신뢰도의 크기가 달라질 가능성이 높다.

 

 

⑥ 신뢰도 계산 방법(신뢰도 종류) :

 

㉮ 어떤 종류의 신뢰도를 측정했는가에 따라 신뢰도 계수의 크기가 달라진다. 

 

㉯ 예를 들면 검사 - 재검사법을 사용하느냐, 동형검사법을 사용하느냐에 따라 신뢰도 계수가 달라진다. 

 

㉰ 따라서 신뢰도 계산 방법에 따라 신뢰도의 크기가 달라질 가능성이 있다.

 

 

✅ 평정의 오류에 대한 참조 글 : 

 

2023.07.12 - [이야기가 있는 정원, 임상 심리] - ✔[임상 심리학] 행동 관찰⑤(행동 평정 척도 의의, 신뢰도, 타당도, 장점 및 단점, 종류, ASEBA 아동 청소년 행동 평가 척도, 평정 오류, 관대화, 가혹화, 중심화 경향)

✔[임상 심리학] 행동 관찰⑤(행동 평정 척도 의의, 신뢰도, 타당도, 장점 및 단점, 종류, ASEBA 아

 

 

 

(4) 측정 오차 : 

 

① 관찰 점수는 진점수와 오차점수를 합한 것으로, 측정의 오차가 적으면 적을수록 신뢰도는 높다고 본다.

 

② 측정 과정에서 오차가 발생하는 원인은 측정 도구 자체의 결함이나 부적확성, 측정하는 사람, 피검사자의 심리적 속성 자체의 일시적 변동이나 환경적 조건의 특이성 등으로 볼 수 있다.

 

③ 검사의 점수가 일관성 있게 나오지 않는 이유는 측정시에 발생하는 오차 때문이다.

 

④ 측정 오차는 체계적 오차와 비체계적 오차로 구분하며, 검사 점수를 해석하는 데 중요한 고려 요소이다.

 

 

㉮ 체계적 오차 :

응답자 개인이나 검사 자체의 특성으로 인해 발생하는 오차로, 일관성이 있는 오차이다.

㉯ 비체계적 오차 :

검사 과정에서 통제되지 않은 요인들에 의해 우연하게 발생하는 오차로, 일관성이 없는 오차이다. 

 

 

 

■ 다음 시간에 계속, 직업 심리 검사에 대해 알아보도록 하겠다.

 

* 출처 및 참조 : [직업 심리학], 직업 심리 검사