◆ 저번 시간에 이어 오늘도 학교 심리학과 심리 평가(심리 검사)에 대해 알아보도록 하겠다. 측정의 과정(개념화, 변수와 지표의 구체화, 조작화), 척도의 의의 및 특징, 종류 등에 대해 궁금하신 분은 아래의 글을 참조하여 주시기 바란다.
✔학교 심리학과 심리 평가④(심리 검사, 측정의 과정, 개념화, 구체화, 조작화, 척도의 종류, 명
■ 저번 시간에 이어서 오늘도 학교 심리학과 심리 평가(심리 검사)에 대해서 알아보도록 하겠다. 검사 도구의 조건(규준, 발달 규준, 집단 내 규준) 측정과 척도(의의 및 특징, 측정의 기능) 등에
narrare3.tistory.com
6. 신뢰도(Reliability)의 이해
(1) 의의 및 특징 :
① 신뢰도란 측정 도구가 측정하고자 하는 현상을 일관성 있게 측정하는 능력을 말한다.
다시 말해 어떤 측정 도구(척도)를 동일한 현상에 반복 적용하여 동일한 결과를 얻게 되는 정도를 그 측정 도구의 신뢰도라고 부른다.
② 어떤 측정 도구(예를 들면 심리 검사)를 사용해서 동일한 대상을 측정하였을 때 항상 같은 결과가 나온다면, 이 측정 도구는 신뢰도가 매우 높다고 할 수 있다.
③ 신뢰도가 높은 측정 도구는 연구자의 변경이나 측정 시간 및 장소의 차이에도 불구하고 항상 동일한 결과를 가져오는 반면, 신뢰도가 낮은 측정 도구는 측정할 때마다 측정치가 달라진다.
④ 신뢰도가 높다고 해서 훌륭한 과학적 결과를 보장하는 것은 아니지만, 신뢰도가 없는 훌륭한 과학적 결과는 존재할 수 없다.
다시 말해 신뢰도는 연구조사 결과와 그 해석에 있어서 충분조건은 아니지만 필요조건에 해당한다고 볼 수 있다.
(2) 내적 신뢰도와 외적 신뢰도 :
① 내적 신뢰도(Internal Reliability) :
내적 신뢰도란 사건이나 현상에 대한 관찰자들 간의 일치도라고 할 수 있는데, 연구 자료의 수집 및 분석, 해석상의 일관성 정도를 일컫는다.
즉, 다른 연구자들에게 이미 산출된 일련의 구성개념을 제시했을 때, 본래의 연구자가 했던 것과 동일한 방식으로 자료와 구성 개념을 결부시킬 수 있다면, 이는 내적 신뢰도가 높은 것으로 볼 수 있다.
② 외적 신뢰도(External Reliability) :
외적 신뢰도는 연구 결과에 있어서의 일치도를 말한다.
즉, 동일한 설계를 바탕으로 다른 연구자들도 동일한 현상을 발견하거나 유사한 상황에서 동일한 구성 개념을 산출한다면, 이는 외적 신뢰도가 높은 것으로 볼 수 있다.
(3) 신뢰도에 영향을 미치는 요인 :
① 개인차 :
검사의 대상이 되는 집단의 개인차가 클수록 검사 점수의 변량은 커지며, 그에 따라 신뢰도 계수(reliability coefficient) 도 커지게 된다.
신뢰도계수
한 검사의 신뢰도의 정도를 나타내는 지수. 여기에는 검사의 신뢰도를 실제적으로 어떻게 추정하느냐에 따라 한 검사에 하나의 신뢰도계수가 있는 것이 아니라 여러 가지가 있을 수 있다. 검사
terms.naver.com
② 문항수 :
문항의 수가 많은 경우 신뢰도는 어느 정도 높아진다. 다만, 문항의 수를 무작정 늘린다고 해서 검사의 신뢰도가 정비례하여 커지는 것은 아니다.
③ 문항 반응 수 :
문항 반응 수는 적정한 크기를 유지하는 것이 바람직하며, 만약 이를 초과하는 경우 신뢰도는 향상되지 않는다. 일반적으로 리커트 척도(Likert-type scale)에서 문항 반응 수가 5점 내지 7점을 초과하는 경우, 신뢰도 계수는 더 이상 커지지 않는 것으로 보고되고 있다.
✅ 리커트 척도 :
특정 대상에 대한 개인의 태도 즉, 생각, 지각, 감정 등을 측정하는 데 사용되는 척도의 한 유형으로서 1930년대 초 Rensis Likert에 의해 개발된 척도방식이다.
예로서, 응답자는 측정대상(예 : 체벌)에 대한 태도를 측정하는 것으로 간주되는 일련의 문항들에 대해 “강한 찬성, 찬성, 중간, 반대, 강한 반대” 등의 다섯 가지 눈금 중 하나에 자신의 견해를 표시하게 되고 이 결과 얻은 반응값들을 모든 문항에 대해서 합친 총점 혹은 그것을 문항 수로 나누어 얻은 평균값을 특정 대상에 대한 개인의 태도 점수로 보는 것이다.
대체로 눈금은 4개에서 7개 사이가 많이 쓰이나 응답자의 지적 수준이나 문항에 대한 친숙도 수준이 낮을 경우는 눈금의 수가 적은 것이 더 신뢰할 수 있는 결과를 얻을 수 있다.
* 출처 : [네이버 지식백과] 리커트척도 [-尺度, Likert-type scale]
(교육심리학용어사전, 2000. 1. 10., 한국교육심리학회)
④ 검사 유형(속도 검사의 신뢰도) :
문항의 수가 많고 주어진 시간이 제한되어 있는 속도 검사의 경우, 특히 전후 반분법을 이용하여 신뢰도를 측정하는 것은 바람직하지 못하다. 왜냐하면 응답자가 후반부로 갈수록 문항에 답할 충분한 시간이 없으므로, 상대적으로 낮은 점수를 받게 되기 때문이다.
⑤ 신뢰도 추정 방법(검증법) :
신뢰도를 추정하는 각 방법은 오차를 포함하는 내용이 서로 다르므로 동일한 검사에 여러 가지 방법을 동시에 사용하여 얻어진 신뢰도 계수는 서로 다를 수밖에 없다. 특히, 측정 오차가 클수록 신뢰도 계수는 그만큼 작게 계산될 가능성이 높다.
(4) 신뢰도의 제고를 위한 기본 원리 :
① 체계적 분산의 극대화(Maximization of Systemic Variance) :
체계적 분산은 독립변수에 의해 영향을 받는 종속변수의 분산을 극대화함으로써, 독립변수가 종속변수에 미치는 영향을 명확하게 하도록 한다.
② 오차 분산의 극소화(Minimization of Error Variance) :
신뢰도와 타당도가 높은 측정 도구를 사용하여 체계적 오류와 비체계적 오류를 축소함으로써, 측정상의 오차를 최소화한다.
③ 외부 변수의 통제(Control of Extraneous Variable) :
연구의 목적과 관련이 없는 외부의 변수들을 무작위 할당, 변수의 제거 등의 방법을 통해 효과적으로 통제한다.
(5) 신뢰도 제고를 위한 구체적인 방법 :
① 측정 상황의 분석 및 일관성 유지 :
어떠한 요인이 측정의 신뢰도를 떨어뜨리는가를 결정하기 위해 측정 상황 자체에 대한 분석을 하도록 한다. 또한 측정 도구는 항상 표준화되고 잘 통제되며, 최대한 동일한 조건 하에서 적용되도록 한다.
② 표준화된 지시와 설명 :
측정 도구의 사용이나 응답에 있어서 가능한 한 분명하고 표준화된 지시나 설명을 함으로써, 측정 오차를 줄이도록 한다.
③ 문항(항목)의 추가적 사용 :
측정 도구가 충분히 믿을 만한 것이 못될 경우, 동일한 종류와 질을 가진 문항(항목)을 추가로 사용하도록 한다.
④ 문항(항목)의 명확한 구성 :
측정 도구가 되는 문항은 누구에게나 동일하게 이해되도록 명백하게 구성되어야 한다.
⑤ 대조적인 문항(항목)들의 비교. 분석 :
측정 도구가 되는 각 문항의 성격을 비교하여 서로 대조적인 문항들을 비교. 분석하도록 한다.
7. 신뢰도의 추정 방법
(1) 검사-재검사 신뢰도(Test-retest Reliability) :
① 검사-재검사 신뢰도는 가장 기초적인 신뢰도 추정 방법으로, 동일한 대상에 동일한 측정 도구를 서로 상이한 시간에 두 번 측정한 다음 그 결과를 비교하는 것이다.
② 재검사에 의한 반복 측정을 통해 그 결과에 대한 상관 관계를 계산하여 도출된 상관 계수로, 신뢰도의 정도를 추정한다. 여기서 상관 계수가 높다는 것은 신뢰도가 높다는 뜻이다.
③ 검사-재검사 신뢰도는 두 검사의 실시 간격에 따라 크게 영향을 받는다(검사의 간격이 짧은 경우 신뢰도 ↑, 긴 경우 신뢰도 ↓).
④ 이월 효과(기억 효과), 성숙 효과(반응 민감성 효과), 역사 요인, 물리적 환경의 변화 등의 단점을 지닌다.
⑤ 검사-재검사 신뢰도는 안전성을 강조하는 방법으로 적용이 매우 간편하지만, 대부분의 심리 검사에서 신뢰도를 찾기 위한 방법으로는 적절하지 않다.
(2) 동형 검사 신뢰도(Equivalent-form Reliability) :
① 동형 검사 신뢰도는 새로 개발한 검사와 여러 면에서 거의 동일한 검사를 하나 더 개발해서, 두 검사의 점수 간의 상관 계수를 구하는 방법이다.
② 이는 검사-재검사 신뢰도의 변형이라고 볼 수 있으며, 동일한 조작적 정의 또는 지표들에 대한 측정 도구를 두 종류씩 만들어, 동일한 측정 대상에게 각각 응답하도록 하는 방법이다.
③ 동형 검사 신뢰도는 각각의 측정 도구가 매우 유사해야만 신뢰도를 측정할 수 있는 수단으로 인정받을 수가 있다.
④ 동형 검사의 개발에 있어서 각각의 검사의 동등성을 보장하는 것이 중요하므로, 문항 수, 문항 표현 방식, 문항 내용 및 범위, 문항 난이도, 검사 지시 내용, 구체적인 설명, 시간 제한 등 다양한 측면에서 동등성이 검증되어야 한다.
(3) 반분 신뢰도(Split-half Reliability) :
① 반분 신뢰도 또는 반분법은 검사를 한 번 실시한 후, 이를 적절한 방법에 의해 두 부분의 점수로 분할하여 그 각각을 독립된 두 개의 척도로 사용함으로써 신뢰도를 추정하는 방법이다.
② 조사 항목의 반을 가지고 조사 결과를 획득한 다음 항목의 다른 반쪽을 동일한 대상에게 적용하여 얻은 결과와의 일치성 또는 동질성 정도를 비교한다.
③ 양분된 각 측정 도구의 항목의 수는 그 자체가 각각 완전한 척도를 이룰 수 있도록 충분히 많아야 한다. 반분된 항목의 수는 적어도 8~10개 정도가 되어야 하며, 전체적으로는 16~20개 정도의 항목을 가지고 있어야 한다.
④ 반분 신뢰도는 단 한 번의 시행으로 신뢰도를 구할 수가 있으나, 반분하는 방식에 따라 각기 다른 신뢰도를 측정하므로 단일의 측정치를 산출하지 못한다.
⑤ 측정 도구를 반분하는 과정에서 검사의 초반과 후반에 연습 효과나 피로 효과가 발생할 수 있는지, 특정 문항군이 함께 묶여 제시되는지 확인해야 한다.
(4) 문항 내적 합치도(Item Internal Consistency) :
① 단일의 신뢰도 계수를 계산할 수 없는 반분법의 문제점을 고려하여, 가능한 한 모든 반분 신뢰도를 구한 다음, 그 평균값을 신뢰도로 추정하는 방법이다.
② 다시 말해 동일한 개념을 측정하는 항목인 경우, 그 측정 결과에 일관성이 있어야 한다는 논리에 따라 일관성이 없는 항목, 즉 신뢰성을 저해하는 항목을 찾아서 배제시키는 것이다.
③ 이는 쿠더와 리처드슨(kuder & Richardson)에 의해 처음 개발되었으며, 이후 크론바흐(Cronbach)가 이에 대한 수학적 설명을 시도하였다.
④ 쿠더-리차드슨 신뢰도 계수는 응답 문항 유형이 '예/아니오' 또는 '정(正)/ 오(誤)'인 검사에 사용되는 반면, 크론바흐 알파계수(Cronbach's α Conefficient)는 응답 문항 유형이 여러 종류인 검사에 사용된다.
⑤ 크론바흐 알파계수의 경우 크론바흐 알파 값은 '0~1'이며, 값이 클수록 신뢰도가 높다.
⑥ 문항내적 합치도는 반분 신뢰도와 같이 단 한 번의 시행으로 신뢰도를 구할 수가 있으나, 검사의 내용이 이질적인 경우 신뢰도 계수가 낮아지는 단점이 있다.
(5) 관찰자 신뢰도(Observer Reliability) :
① 관찰자 신뢰도 혹은 채점자 신뢰도는 관찰의 안정성을 기초로 한 신뢰도 측정의 방법으로, '재검사적 관찰자 신뢰도'와 '대안적 관찰자 신뢰도'로 구분된다.
② 재검사적 관찰자 신뢰도는 '관찰자 내 신뢰도(Intra-observer Reliability)' 라고도 부르며, 한 사람의 관찰자가 일정한 관찰지침과 절차에 의거하여 동일 측정 대상에 대해 시간적 간격에 의한 반복 관찰을 시행한 후, 그 결과의 상관 계수를 점수로 산정하여 신뢰도를 평가하는 방법이다.
③ 대안적 관찰자 신뢰도는 '관찰자 간 신뢰도(Inter-observer Reliability)' 라고도 부르며, 두 사람 이상의 관찰자가 일정한 관찰지침과 절차에 의거하여 동시에 독립적인 관찰을 시행항 후, 관찰자 간 관찰의 결과를 점수로 산정하여 신뢰도를 평가하는 방법이다.
④ 관찰자 신뢰도는 주로 탐색적인 목적을 위해 사용된다. 이때 중요한 것은 관찰자들의 관찰지침에 대한 정확한 이해와 체계적인 절차가 이루어져야 하며, 관찰자들에 대한 지속적인 훈련이 요구된다.
■ 다음 시간에 계속, 학교 심리학과 심리 평가에 대해 알아보도록 하겠다.
* 출처 및 참조 : [학교 심리학], 학교 심리학에서의 평가, 핵심이론
댓글