◆ 오늘부터는 학교 심리학 중 프로그램 평가에 대해 알아보도록 하겠다.
1. 프로그램 평가
(1) 개관 :
아동과 청소년에게 시행한 자신의 프로그램의 질을 향상하고자 하는 프로그램 관리자(학교 심리학자 등)에게 있어 프로그램 평가는 매우 중요한 수단이 될 수 있다.
프로그램 평가는 해당 프로그램의 효과에 대한 기본적인 의문에 대한 대답인 동시에, 평가의 데이터는 프로그램의 서비스를 향상하는 데 사용될 수 있다.
① 정의 :
프로그램 평가는 어떤 프로그램에 대한 기본적인 의문에 대한 대답을 위한 체계적인 정보의 수집, 분석 및 사용법을 의미한다. 여러 가지의 프로그램 평가 방법이 있고 그러한 방법을 설명하는 많은 용어가 있을 수 있지만, 평가는 크게 과정 평가와 결과 평가의 두 가지 범주로 구분된다.
㉮ 과정 평가 :
과정 평가는 개입이나 프로그램이 계획한대로 실행되었는지, 의도된 타깃 집단에게 실행되었는지, 그리고 프로그램 실행에 있어 중요한 문제점과 성공 전략은 무엇인지 등을 평가하는 것이다.
㉯ 결과 평가 :
결과 평가는 아동 혹은 청소년에게 나타나는 결과 및 기대되는 변화의 정도, 그리고 그 변화가 프로그램 실행에 의한 것인지를 평가하는 것이다.
(2) 우려사항 :
프로그램 평가에 있어 프로그램 관리자가 고려할 수 있는 몇 가지 우려의 사례와 그 해결 방안은 다음과 같다.
① 평가는 프로그램 자체의 자원을 분산시킬 수 있다는 우려이다 :
일반적으로 평가가 프로그램 전체 예산의 10%~20%를 가져가는 것은 맞지만, 평가를 통하여 얻는 것으로 프로그램 참가자를 위해 어떻게 일하고 무엇을 개선할 수 있는지에 초점을 맞추는 방식으로 자원을 간소화할 수 있다.
② 평가는 지나치게 복잡할 것이라는 우려이다 :
물론 일부 평가는 복잡할 수 있으나, 평가 설계는 단순하고 쉬울 수 있다. 독립적인 평가자 혹은 상담자는 해당 프로그램에 적합한 서비스 모델을 선택하여 평가를 설계하는 것을 도울 수 있다.
③ 평가는 관련자에게 추가적인 부담을 줄 수 있다는 우려이다 :
프로그램 관련자에 대한 부담을 최소화하기 위하여 평가 활동을 진행 중인 프로그램 관리 활동에 포함시킬 수 있다. 또한, 적당할 때에 외부 평가자가 평가 데이터를 수집할 수 있다.
④ 평가는 그 자체로 부정적인 결과를 양산할 수 있다는 우려이다 :
그럼에도 불구하고, 무엇이 잘못 기능하였는지를 알아애는 것은 무엇이 잘 기능하였는가를 알아내는 것만큼이나 중요한 것이다.
⑤ 평가는 프로그램 모니터링의 다른 형태에 불과하다는 우려이다 :
프로그램 모니터링은 그 프로그램이 수행 기준을 준수했는지 여부를 보는 것이고, 평가란 기대되는 결과가 도출되었는지를 살펴보는 것이므로, 서로 다른 형태이다.
(3) 수행 이유 :
① 프로그램 평가로 무엇이 잘 기능하였는지와, 무엇이 잘못 기능하였는지를 발견할 수 있다. 과정 평가 혹은 결과 평가는 프로그램 관리자가 그 프로그램 효과에 대한 아래의 기본적인 의문에 답하게 한다.
- 프로그램 서비스를 통하여 참가자들이 얻을 수 있는 이점은 무엇인가?
- 모집 전략이 기능하는가?
- 시행자는 서비스 실행에 있어 필수적인 기술을 갖추었는가?
- 참가자는 프로그램에 만족하는가?
- 일부 하위 집단에만 이점이 있고, 다른 하위 집단에게는 그렇지 않은가(예 : 소년 집단 대 소녀 집단 등)?
② 무엇이 잘 기능하였는지를 아는 것은 프로그램 참가자들에게 이점을 줄 수 있는 프로그램 요소에 자원을 집중할 수 있도록 하며, 무엇이 잘못 기능하였는지를 아는 것은 서비스 전달 모형을 개량할 수 있도록 한다. 즉, 무엇이 잘 기능하였는지를 모르는 것은 귀중한 시간과 자원을 낭비하게 하는 것이다.
③ 프로그램 평가를 통하여 지역 사회와 자금 제공자에게 프로그램의 효과를 알려줄 수 있다. 지역 사회와 자금 제공자에게 그 프로그램이 가치가 있다는 것을 보여주기 위하여 프로그램 결과를 활용할 수 있다.
④ 지역 사회에서 결과를 공유하는 것은 협력 파트너를 불러 모으고, 참가자를 모집하고, 가족과 지역 사회 구성원의 신뢰를 얻는데 있어 좋은 수단으로 기능한다.
⑤ 또한, 자금 제공자는 종종 어떤 프로그램에 자금을 지원할지 말지를 결정하고자 프로그램 평가를 요구하기도 한다.
⑥ 프로그램 평가는 프로그램 시행자의 최전방 실무를 개선할 수 있다. 아동과 청소년에게 서비스를 전달하는 최전방 시행자의 방식을 개선하는 것은, 프로그램 참가자에게서 프로그램의 긍정적 효과를 얻을 수 있는 가능성을 증가시킬 수 있다.
⑦ 프로그램 평가를 통해 그 프로그램의 관리자가 시행자의 수행을 체계적으로 평가하고, 시행자가 성공한 부분과 더 많은 지원이나 훈련이 필요한 부분을 알 수 있도록 한다. 평가는 또한 시행자에게 그들이 직면한 문제와 잠재적인 해결책에 대하여 토의할 수 있는 기회를 제공하기도 한다.
⑧ 평가 질문은 대체로 아래를 포함하고 있다.
- 프로그램 참가자에게 효과적으로 작용하는 시행자의 필수 기술을 갖추었는가?
- 어떤 종류의 추가 훈련이 시행자에게 도움을 줄 수 있는가?
- 시행자는 일하는데 필요한 코칭과 멘토링을 받고 있는가?
- 시행자는 효과적으로 기능하는데 필수적인 지원을 받고 있는가?
⑨ 프로그램 평가를 통하여 중요한 자가 평가 및 미래에 대한 계획을 수행할 수 있는 프로그램의 수용력을 증대시킬 수 있다. 내부적으로 혹은 외부 평가자를 통하여 평가를 수행하는 것은 시행자 및 프로그램 요구 평가, 시행자의 수행 평가 및 프로그램의 목적이 충족되었는지를 평가하는 것을 포함하여 중요한 자가 평가를 수행할 수 있는 조직의 수용력을 증대할 수 있다. 이것은 프로그램 운용을 강화하는 역할을 하여, 긍정적인 결과가 나올 수 있도록 한다.
⑩ 프로그램 평가는 학교 밖 시간에 대한 정보를 줄 수 있다. 프로그램에서 학습되는 지식에 대하여 동료와 공유하는 것은 다른 프로그램 관리자와 시행자가 실수를 반복하지 않도록 하며, 성공적이고 효과적인 전략이 반복하여 사용될 수 있도록 한다.
2. 학교 심리학 프로그램 평가의 특징
(1) 스미스 하비(Smith-Harvey)와 스트라찌에로(Struzziero) (2008)의 학교 심리학 서비스 프로그램 평가 :
스미스 하비와 스트라찌에로는 학교 심리학 서비스 프로그램 평가의 과정에 대하여
① 서비스의 종합적인 품질에 대한 피드백을 제공하고
② 서비스의 향상 요구의 종류를 식별하며
③ 절차적 영역이나 프로그램 영역에서의 향상을 주도하고
④ 전문성 개발에 도움을 주며
⑤ 전문적 인식에 대한 기회를 제공하고
⑥ 학교 심리학 서비스의 효율성 증진에 이바지할 수 있어야 한다고 제안하였다.
(2) 위 평가 과정을 시작하려면 학교 심리학적 서비스의 효율성 및 품질과 관련된 몇 가지 질문이 필요하다 :
① 학교 심리학 서비스가 학생과 학교 관계자에게 긍정적인 영향을 주었는가?
② 학교 심리학 서비스 절차가 지역 사회 및 정부의 가이드 라인을 준수했는가?
③ 학교 심리학 서비스가 전문적인 기준 *[학교 심리학 서비스의 포괄적인 통합 모형(Model of Comprehensive and Integrated School Psychological Services ; 통칭 NASP Practice Model)]과 비교해서 어떤가?
④ 학교 행정가, 학부모, 그리고 교사가 학교 심리학 서비스를 충분히 고려했는가?
⑤ 학교 심리학 담당 부서의 정책과 리소스(자원 또는 재원)는 무엇인가?
⑥ 학교 심리학 서비스가 비용 효율성이 있는가?
* 학교 심리학 서비스의 포괄적인 통합 모형(Model of Comprehensive and Integrated School Psychological Services ; 통칭 NASP Practice Model)
💬 미국의 학교 심리학자 연합(NASP)은 오랜 기간에 걸쳐 학교 심리학 서비스의 영역에 대한 기준을 제공하고자 하였다. 그러나, 이러한 노력에도 불구, 학교 심리학자의 역할과 활동은 여전히 표준화되어 있지 않고 국가별, 지역별로 차이를 보인다.
2010년 3월, NASP는 미국 내 학교에서의 학교 심리학 서비스의 효과 및 품질을 극대화하기 위하여 학교 심리학 서비스의 효과 및 품질을 극대화하기 위하여 학교 심리학 서비스의 공식 모형을 승인하기에 이르렀다.
통칭 'NASP Practice Model'로 불리는 학교 심리학 서비스의 포괄적인 통합 모형(Model of Comprehensive and Integrated School Psychological Services)은 학교 심리학 서비스와 연관된 NASP의 공식 정책을 제안한다.
이 모형은 10가지의 실행 영역에 걸쳐서 학교 심리학자에게 기대할 수 있는 서비스를 설명하는 하나의 보편적인 틀이다. 이를 활용하면 학교 심리학자의 기술과 전문성(학교에서 보유하고는 있으나 때때로 사용하고 있지 않은 자원)을 최대로, 그리고 비용 효울적으로 활용할 수 있다고 주장한다.
(3) 학교 심리학 서비스 평가를 위한 종합적 요소의 포함 내용 :
① 학교 심리학 서비스의 종합적인 품질 평가와 학생, 가족, 그리고 학교 관계자에 대한 긍정적 영향 평가
② 학교 심리학 서비스의 지역 사회 및 정부의 가이드 라인 준수에 대한 평가
③ 현행 실무 기준인 NASP Practice Model에 의거한 학교 심리학적 서비스의 평가
■ 다음 시간에 계속, 프로그램 평가에 대해 알아보도록 하겠다.
* 출처 및 참조 : [학교 심리학], 학교 심리학에서의 평가, 핵심이론
댓글