비영리에 딱 들어맞는 데이터 수집 방법
Right-Fit Evidence for the Social Sector
금발머리 소녀 골디락스(Goldilocks)는 숲속을 헤매다 한 오두막을 발견했다. 노크를 했지만 아무도 나오지 않자 골디락스는 그냥 집으로 들어갔다. 부엌에 간 골디락스는 죽 세 그릇이 식탁에 놓여있는 것을 발견했다. 첫 번째 죽과 두 번째 죽은 각각 너무 뜨겁거나 너무 차가웠고 세 번째 죽은 딱 적당한 정도여서 골디락스는 세 번째 그릇을 맛있게 비웠다.
식사를 마친 골디락스는 피로가 몰려와 거실로 갔다. 그곳에 세 개의 의자가 있었는데, 첫 번째 의자와 두 번째 의자는 너무 크거나 너무 작아서 앉을 수 없었고 세 번째 작은 의자는 딱 맞아 골디락스는 세 번째 의자에 편하게 앉았다. 하지만 그 의자는 곧 부서져 버렸다.
골디락스는 어쩔 수 없이 지친 몸을 이끌고 침실로 들어갔다. 침실의 첫 번째와 두 번째 침대는 너무 딱딱하거나 너무 푹신해서 잘 수가 없었고, 딱 맞는 세 번째 작은 침대에서 골디락스는 잠이 들었다.
그 후, 집 주인인 세 마리 곰이 산책을 마치고 집으로 돌아왔다. 부엌에서 그들은 누군가가 건드린 죽과 아기곰의 빈 그릇을 발견했다. 뒤이어 곰들은 거실에서 누군가가 앉았던 의자와 부서진 아기곰의 의자를 발견했다. 마지막으로 곰들은 침실에서 누군가 누웠던 흔적이 있는 침대와 아기곰 침대에 누워있는 소녀를 발견했다. 웅성이는 소리에 골디락스는 눈을 떴다. 세 마리 곰이 자기를 쳐다보고 있다는 사실에 놀라 곧바로 멀리멀리 도망친 뒤로 오두막에 얼씬도 하지 않았다.
– 출처: 나무위키. 《골디락스와 곰 세 마리》
이 우화의 주인공 이름 <골디락스>는 너무 뜨겁지도 차갑지도 않은 적당한 죽, 너무 크지도 작지도 않은 알맞은 의자, 너무 딱딱하지도 푹신하지도 않은 편안한 침대처럼 ‘더하지도, 덜하지도 않은, 딱 맞는 상태’라는 의미로 쓰인다.
이 책 《골디락스 챌린지》는 비영리단체가 임팩트를 측정하고 평가하는 균형 잡힌 모니터링 시스템을 제안한다. 이 책이 제안하는 모니터링 시스템은 (1) 임팩트를 명확히 정의함으로써 임팩트를 증명할 수 있는 적합한 데이터를 수집하고, (2) 성과 요인 간 인과관계를 명확히 규명하며, (3) 학습과 개선에 도움을 주고 자원 배분에 관한 올바른 의사결정을 유도하여 단체의 시간과 에너지, 돈을 절약해 준다.
CART 원칙
이 책은 올바른 임팩트 평가를 위한 4가지 데이터 수집 원칙을 제안한다. 이 원칙은 단체가 어떤 데이터를 언제 수집하고 어떻게 사용할지에 대해 더 나은 결정을 내릴 수 있도록 만들어졌다.
신뢰성 Credibility
양질의 데이터를 수집하여 정확하게 분석하는 것을 말한다. 이를 위해
- 데이터는 측정하고자 하는 핵심 개념을 정확히 포착하는 유효한 측정값이어야 하고,
- 수집된 데이터를 신뢰할 수 있도록 수집 과정이 일관되어야 하며,
- 분석은 적절하게 수행되어야 한다.
실행 가능성 Actionability
사용할 수 있는 데이터를 수집하는 것을 말한다. 조직은 수집하고 싶은 데이터와 관련하여 3가지 질문을 해야 한다.
- 분석 결과를 바탕으로 우리가 취해야 할 구체적인 조치가 있는가?
- 그 조치를 실행하는 데 필요한 자원이 있는가?
- 그 조치를 실행하는 데 필요한 책임이 있는가?
가성비 Responsibility
데이터 수집의 비용보다 편익이 더 크다는 점을 보장할 수 있어야 한다는 의미이다. 데이터 수집에는 직원의 시간, 자원, 응답자에게 요구하는 시간 등과 같은 자원이 소요되는데, 이 원칙은 단체가 데이터 수집 활동의 비용과 편익을 가늠하고 적절한 수준을 찾도록 요구한다. 절대적이고 일반적인 접근법은 없다. 중요한 것은 균형이다.
확장 가능성 Transportability
다른 프로그램을 위한 지식을 창출하는 데이터를 수집하는 것을 말한다. 이 원칙의 핵심은 모니터링을 통해 창출한 소중한 교훈들이 다른 사람들이 좀 더 효과적인 프로그램을 만드는 데 도움을 주어야 한다는 것이다.
확장 가능하려면 (1) 데이터는 일반화할 수 있도록 수집되어야 하고, (2) 단체가 모니터링 결과를 기꺼이 공유해야 한다. 명확한 이론을 바탕으로 하고 다른 사람들이 이용 가능하게 만들어진 모니터링과 평가는 다른 사람들로 하여금 어떤 점을 본받아야 하는지에 대한 중요한 정보를 제공한다.
