◆ 저번 시간에 이어서 오늘도 학교 심리학과 심리 평가(심리 검사)에 대해 알아보도록 하겠다. 신뢰도의 이해(의의 및 특징, 내적 신뢰도, 외적 신뢰도, 신뢰도에 영향을 미치는 요인, 제고를 위한 기본 원리, 구체적인 방법, 신뢰도의 추정 방법)에 대해 궁금하신 분은 아래의 글을 참조하여 주시기 바란다.
✔학교 심리학과 심리 평가⑤(내적, 외적 신뢰도, 신뢰도에 영향을 미치는 요인, 리커트 척도, 검
◆ 저번 시간에 이어 오늘도 학교 심리학과 심리 평가(심리 검사)에 대해 알아보도록 하겠다. 측정의 과정(개념화, 변수와 지표의 구체화, 조작화), 척도의 의의 및 특징, 종류 등에 대해 궁금하
narrare3.tistory.com
8. 타당도(validity)의 이해
(1) 의의 및 특징 :
① 측정의 타당도는 조사자가 측정하고자 하는 것을 실제로 정확하게 측정했는가의 문제(즉, 정확성)이다.
② 타당한 측정 수단이란 측정하고자 하는 것을 측정할 수 있는 도구이다. 따라서 어떤 측정 수단이 조사자가 의도하지 않은 내용을 측정할 경우, 이 수단은 타당하지 못한 것이 된다.
③ 타당도는 실증적 수단인 조작적 정의나 지표가 측정하고자 하는 개념을 제대로 반영하는 정도를 의미한다.
④ 만약 조사자가 조작적 정의나 지표 또는 척도를 사용하여 처음 측정하고자 했던 개념이 의미하는 바를 제대로 측정하였다면, 이들 조작적 정의나 지표 또는 척도의 타당도는 높다. 반면, 조작적 정의, 지표 또는 척도를 사용하여 처음 측정하고자 했던 개념이 의미하는 바를 제대로 측정하지 못한 경우 이들의 타당도는 낮은 것이 된다.
⑤ 심리학을 포함한 사회 과학 영역에서 특히 타당도가 문제시되는 이유는 보통 측정을 간접적으로 할 수밖에 없는 사회 과학 고유의 특성 때문이다. 측정을 간접적으로 하는 경우 조사자는 자신이 측정하고자 하는 속성들을 제대로 측정하는가에 대해 완전한 확신을 가질 수 없다.
조작적 정의
추상적인 개념이나 용어를 경험적으로 측정이 가능하도록 조작하여 의미를 나타내는 것. 사회·문화 현상을 연구하는 방법 중 하나인 양적 연구 방법은 경험적 자료를 수집한 뒤 이를 측정하고
terms.naver.com
(2) 내적 타당도와 외적 타당도 :
① 내적 타당도(Internal Validity) :
㉮ 내적 타당도는 어떤 연구에서 종속 변인에 나타난 변화가 독립 변인의 영향 때문이라고 추론할 수 있는 정도를 말한다.
㉯ 각 변수 사이의 인과관계를 추론하여 그것이 실험에 의한 진정한 변화에 의한 것으로 판명되는 경우, 내적 타당도가 높은 것으로 본다.
② 외적 타당도(External Validity) :
㉮ 외적 타당도는 연구의 결과에 의해 기술된 인과관계가 연구 대상 이외의 경우로 확대. 일반화 될 수 있는 정도를 말한다.
㉯ 내적 타당도가 연구 결과의 정확성(Accuracy)과 관련된 개념이라면, 외적 타당도는 연구 결과의 일반화가능성(Generalizability)의 문제와 연관된다.
✅ 종속 변인(dependent variable) :
독립변인의 조작결과(操作結果)에 의존하며 이의 효과를 판단하는 준거가 되는 변인. 실험의 기본적인 형태는 어떤 변인이 다른 어떤 변인에 어떠한 영향, 즉 효과를 미치는지를 알아보고자 한다.
예컨대 X변인을 교수방법, Y변인을 학생의 학업성적이라고 한다면, 실험자는 X변인을 다른 요인들과는 독립하여 체계적으로 조작시켜 보고 이러한 조작에 의존하고 종속되어서 Y변인이 어떻게 변화하는지를 확인코자 할 것이다. 이때 X를 독립변인, Y를 종속변인이라고 한다. 이 변인은 독립변인의 조작결과에 의존하며, 거기에서 투출(投出)된 것이고, 거기에 반응된 것이며, 그리고 독립변인의 효과여부를 판단하는 준거가 되기 때문에 투출변인·반응변인·준거변인이라고도 한다.
성취도· 태도 등이 예이지만 무엇이 종속변인인가는 물론 실험에 따라 다를 수 있으며, 또한 대개 실험에서는 하나를 취하지만 하나 이상의 종속변인을 취할 수도 있다.
✅ 독립 변인(independent variable) :
다른 변인에게 작용하거나 다른 변인을 예언하거나 설명해 주는 변인. 실험연구의 경우는 독립변인은 실험자에 의하여 임의로 통제되고 조작된다. 따라서 실험 변인(experimental variable) 또는 처치 변인(處置變因, treatment variable)이라고도 한다.
예를 들면 시청각교재의 사용이 학업성취에 미치는 효과를 알고 싶을 때 시청각교재는 독립변인이며, 이것은 실험자에 의하여 임의로 조작되고 통제된다. 자연적인 상태에서는 일반적으로 다른 변인에 영향을 주는 변인을 독립변인이라고 한다. 예컨대 생물의 생활에 영향을 주는 계절의 변화, 성적(成績)에 영향을 주는 지능 등이 독립변인이다.
* 출처 : [네이버 지식백과] 종속변인
[從屬變因, dependent variable]
(교육학용어사전, 1995. 6. 29., 서울대학교 교육연구소)
[네이버 지식백과] 독립 변인
[獨立變因, independent variable]
(교육학용어사전, 1995. 6. 29., 서울대학교 교육연구소)
(3) 내적 타당도를 저해하는 요인 :
① 성숙 요인(시간의 경과) :
시간의 흐름에 따른 조사대상 집단의 신체적. 심리적 특성의 변화 또는 실험기간 동안 나타나는 실험 집단의 성숙이 결과 변수(종속 변수)에 영향을 미친다.
② 역사 요인(우연한 사건) :
조사 기간 중에 연구자의 의도와는 상관없이 일어난 통제 불가능한 사건이 결과 변수에 영향을 미친다.
③ 선별 요인(선택 요인) :
프로그램 시행 후 실험 집단과 통제 집단 간의 결과 변수에 대한 측정값의 차이는 프로그램 집행의 차이라기보다, 단지 두 집단 구성원들이 다르기 때문에 나타난다.
④ 상실 요인(실험 대상의 탈락) :
프로그램 시행 기간 중 관찰 대상 집단 일부의 탈락 또는 상실로 인해 남아있는 대상이, 처음의 관찰 대상 집단과 다른 특성을 갖게 된다.
⑤ 통계적 회귀 요인 :
극단적인 측정값을 갖는 사례들을 재측정할 때, 평균값으로 회귀하여 처음과 같은 극단적인 측정값을 나타내 보이지 않는다.
⑥ 검사 요인(테스트 효과, 반복 효과) :
프로그램의 실시 전과 실시 후에 유사한 검사를 반복하는 경우, 프로그램 참여자들의 시험에 대한 친숙도가 높아져 측정값에 부정적인 영향을 미친다.
⑦ 도구 요인 :
프로그램 시행 전과 후에 측정자의 측정 기준이 달라지거나, 측정 수단이 변화함에 따라 정책 효과가 왜곡된다.
⑧ 모방(개입의 확산) :
분리된 집단들을 비교하는 조사 연구에서 적절한 통제가 이루어지지 않을 경우, 실험 집단과 통제 집단의 상호 교류에 의해 실험 집단의 영향이 통제 집단에 이식될 수 있다.
⑨ 인과적 시간-순서(인과 관계 방향의 모호성) :
변수들 간의 시간적 우선성이 모호한 경우, 원인 변수와 결과 변수 사이의 인과 관계의 방향을 결정하기가 곤란하다.
(4) 외적 타당도를 저해하는 요인 :
① 연구 표본의 대표성 :
조사 연구의 제반 조건들이 모집단의 일반적인 상황과 유사해야, 실험 결과를 일반화할 수 있다.
② 조사반응성(반응 효과) :
연구자가 관찰하는 동안 조사 대상자가 연구자의 바람에 따라 반응하거나, 스스로 조사 대상임을 의식하여 평소와 다른 반응을 보이는 경우, 일반화의 정도는 낮아진다.
(5) 타당도의 제고 방법 :
① 내적 타당도의 제고 방법 :
㉮ 무작위 할당(Random Assignment) :
연구 대상을 실험 집단과 통제 집단으로 무작위로 배치함으로써 두 집단이 동질적이 되도록 한다.
㉯ 배합(Matching) :
연구 주제에 영향을 미칠 수 있는 주요 변수들을 미리 알아내어 이를 실험 집단과 통제 집단에 동일하게 분포되도록 한다.
㉰ 통계적 통제(Statistical Control) :
실험 설계를 통해 통제할 필요성이 있는 변수들을 독립 변수로 간주하여 실험을 실시한 다음, 그 결과를 통계적으로 분석하여 해당 변수의 영향을 통제한다.
② 외적 타당도의 제고 방법 :
㉮ 모집단에 대한 타당성(Population Validity) :
표본의 대표성을 높이는 방법으로, 표본 자료가 모집단의 특성을 충분히 반영하고 있는지 파악한다.
㉯ 환경에 의한 타당성(Ecological Validity) :
연구 결과가 연구 환경을 벗어나 보다 현실적이면서 다양한 환경에서도 적용될 수 있는지 검토한다.
9. 타당도의 추정 방법
(1) 내용 타당도(Content Validity) :
① 내용 타당도는 '논리적 타당도(Logical Vaiidity)'라고도 부르며, 측정 항목이 연구자가 의도한 내용대로 실제로 측정되고 있는가 하는 문제를 일컫는다.
② 측정 도구가 측정 대상이 가지고 있는 많은 속성 중의 일부를 대표성 있게 포함하는 경우, 타당도가 있다고 본다.
③ 논리적 사고에 입각한 논리적인 분석 과정으로 판단하는 주관적인 타당도로써, 객관적인 증거에 근거하지 않는다.
💬 예를 들어 10대 청소년들의 부모에 대한 관심도를 측정하기 위한 두 가지 측정 도구로, 하나는 청소년들이 자신의 부모를 좋아하는지 묻는 문항, 또 다른 하나는 청소년들이 자신의 부모에 대해 얼마나 알고 있는지 묻는 문항을 개발했다고 할 때, 어느 정도는 후자의 경우가 부모에 대한 관심도를 측정하기에 적합하다고 볼 수 있다.
④ 측정 도구의 내용 타당도는 문항 구성의 과정이 그 개념을 얼마나 잘 반영하고 있는지, 그리고 해당 문항들이 각 내용 영역들의 독특한 의미를 얼마나 잘 나타내주고 있는지를 의미한다.
⑤ '안면 타당도 또는 액면 타당도(Face Validity)'는 내용 타당도와 마찬가지로 측정 항목이 연구자가 의도한 내용대로 실제로 측정하고 있는가 하는 것으로, 내용 타당도가 전문가의 평가 및 판단에 근거한 반면, 안면 타당도는 전문가가 아닌 일반인의 일반적인 상식에 준하여 분석한다.
(2) 기준(준거) 타당도(Criterion Validity) :
① '기준(준거) 관련 타당도(Criterion-related Validity)', '실용적 타당도(Pragmatic Validity)' 또는 '경험적 타당도(Empirical Validity)'라고도 부른다.
② 이는 경험적 근거에 의해 타당도를 확인하는 방법으로, 이미 전문가가 만들어놓은 신뢰도와 타당도가 검증된 측정 도구에 의한 측정 결과를 기준으로 삼는다.
③ 다시 말해 통계적으로 타당도를 평가하는 것으로, 사용하고 있는 측정 도구의 측정값과 기준이 되는 측정 도구의 측정값 간의 상관관계에 관심을 둔다.
④ 연구하려는 속성을 측정해 줄 것으로 알려진 외적 준거(기준)와 측정 도구의 측정 결과(척도의 점수) 간의 상관 관계를 비교함으로써 타당도를 파악한다. 즉, 타당화하려는 검사와 외적 준거 간에는 상관 관계가 높아야 하고, 어떤 검사를 실시하여 얻은 점수로부터 수검자의 다른 행동을 예측할 수 있어야 한다.
⑤ 기준 타당도는 '동시 타당도 또는 공인 타당도(Concurrent Validity)'와 '예측 타당도 또는 예언 타당도(Predictive Validity)'로 구분된다.
| 동시 타당도 (공인 타당도) |
- 새로 제작한 검사의 타당도를 위해 기존에 타당도를 보장받고 있는 검사와의 유사성 혹은 연관성에 의해 타당도를 검증하는 방법이다. * 예) 재직자에게 응시자용 문제를 제시하여 시험을 실시한 후, 재직자의 평소 근무 실적과 시험 성적을 비교하여 근무 실적이 좋은 재직자가 시험에서도 높은 성적을 얻었다면, 해당 시험은 준거 타당도를 갖추었다고 할 수 있다. |
| 예측 타당도 (예언 타당도) |
- 어떠한 행위가 일어날 것이라고 예측한 것과 실제 대상자 혹은 집단이 나타난 행위 간의 관계를 측정하는 것이다. * 예) 신입사원 선발 시험에서 높은 성적을 받은 사람이 이후 근무 실적에서도 높은 점수를 얻었다면, 해당 선발 실험은 근무 실적을 잘 예측한 것으로 볼 수가 있다. |
(3) 개념 타당도(construct Validity) :
① 개념 타당도는 '구성(구인) 타당도' 또는 '구조적 타당도'라고도 부른다.
② 조작적으로 정의되지 않은 인간의 심리적 특성이나 성질을 심리적 개념으로 분석하여 조작적 정의를 부여한 후, 검사의 점수가 조작적 정의에서 규명한 심리적 개념들을 제대로 측정하였는가를 검정하는 방법이다.
③ 여기에서 '개념(Construct)'이란 심리적 특성이나 행동의 양상을 설명하기 위해 존재를 가정하는 심리적 요인을 말하는 것으로, 창의성 검사의 경우 이해성, 도전성, 민감성 등을 개념이라고 할 수 있다.
④ 개념 타당도는 응답 자료가 계량적 방법에 의해 검정되므로, 과학적이고 객관적이라고 할 수 있다.
⑤ 개념 타당도를 분석하는 방법으로는 '수렴 타당도 또는 집중 타당도(Convergent Validity), 변별 타당도 또는 판별 타당도(Discriminant Validity), 요인 분석(Factor Analysis)' 등이 있다.
■ 이상, 학교 심리학 관련 심리 평가(심리 검사)에 대해서 알아보았고, 다음 시간부터는 구체적인 심리 검사와, 지능 평가 등에 대해 알아보도록 하겠다.
* 출처 및 참조 : [학교 심리학], 학교 심리학에서의 평가, 핵심이론
댓글