[시사위크=현우진 기자] 세상에는 세 가지 거짓말이 존재한다는 격언이 있다. ‘거짓말’과 ‘새빨간 거짓말’, 그리고 통계가 그것이다. 현대사회에서 통계는 가장 강력한 근거자료의 지위를 누리고 있지만, 그 신뢰성은 분명 제작자 개인의 실력과 양심에 따라 좌지우지되는 측면이 있다.
◇ 직관성의 덫
복잡한 숫자 대신 가장 간단한 방식으로 통계조사 결과를 보여주는 그래프는 그만큼 시각적 착시를 일으키기도 쉽다. 실제 수치와 그래프상의 비율이 일치하지 않는 경우, 혹은 서로 기준이 다른 두 조사결과를 한 지면에 소개하는 경우 통계수용자는 실제 자료를 상당히 왜곡해 받아들일 수 있다.
위 그래프는 OECD의 연평균 노동시간 자료를 바탕으로 일본에서 제작한 것이다. 1980년대부터 기록된 굵은 실선이 한국의 자료다. 일견 한국의 노동환경이 빠른 속도로 개선돼 선진국과 어깨를 견주고 있는 것처럼 보인다. 그러나 사실 이 그래프에서 한국의 자료는 홀로 오른편에 표시된 별개의 구간표기를 따르고 있다. 왼쪽 기준선에서 가장 높은 2,300시간은 오른쪽 기준선에서 가장 낮은 2,200시간과 큰 차이가 없다. 실제로는 한국의 2006년 노동시간이 캐나다(점선)의 1970년대보다 높다.
물론 그래프 제작자가 고의로 진실을 호도하려 한 것이 아니라면 보고서 어딘가에 정확한 수치를 표기해놨을 것이다. 그러나 통계 그래프의 가장 큰 장점이 직관성인 이상, 막대그래프의 크기와 추세선의 기울기만 훑어본 채 세세한 수치는 지나치는 경우도 충분히 일어날 수 있다. 표본 집단 선정방식과 집계방식에 대한 긴 설명은 물론이다. 숫자 대신 기억된 잘못된 이미지는 현상에 대한 잘못된 인식을 낳기 마련이다.
◇ 여론조사는 왜 선거결과를 예측하지 못할까
민주당의 해리 트루먼과 공화당의 존 듀이가 맞붙었던 1948년 대선은 저널리즘계의 전설이 된 오보를 낳았다. 당선이 확정된 해리 트루먼 대통령이 ‘듀이가 트루먼을 꺾다’라는 표제가 달린 시카고 트리뷴지를 든 채 환하게 웃고 있는 사진은 지금도 역사의 한 장면으로 남아있다. 시카고 트리뷴지의 편집자들이 개표 결과를 기다리지 않고 미리 기사를 작성해 출고했던 것이다.
이들은 왜 듀이의 승리를 확신했을까? 당시 여론조사기관들은 대부분 듀이의 압승을 점쳤다. ‘숫자는 거짓말을 하지 않는다’는 통념이 뒤통수를 때린 셈이다. 원인은 거의 모든 통계방법론이 요구하는 한 가지 대전제, ‘표본 집단이 모집단의 분포를 잘 반영할 것’이 간과된 점에 있었다.
미국의 영향력 있는 잡지였던 ‘리터러리 다이제스트’지가 1936년 대통령선거를 예측하기 위해 실시한 설문조사는 이 분야의 교과서로 뽑힌다. 투표권자 1,000만 명을 대상으로 모의투표 방식의 여론조사를 진행한 결과 240만건 이상의 설문지들이 수집됐다. 여기에 따르면 알프레드 랜던이 57%의 득표율로 당선될 예정이었다. 그 이전 다섯 번의 대선에서 모두 높은 정확도로 당선자를 맞췄기 때문에 편집진의 자신감은 대단했다.
잘 알다시피 미국 역사에 ‘랜던 대통령’이 존재했던 적은 없다. 막상 투표함을 개봉하자 루즈벨트는 60.8%의 득표율로 48개 주 중 46곳의 선거인단을 싹쓸이했다. 문제는 편향된 표본선정방식이었다. 대공황 속에서도 잡지 구독을 끊지 않았거나, 자동차를 보유하고 있거나, 유선전화를 설치해놓은 상대적 부유층만이 ‘리터러리 다이제스트’의 설문조사지를 받아들 수 있었다.
또 다른 원인은 무응답오차다. 설문지를 작성해 회신한 240만명과 그렇지 않은 760만명 사이에 유의미한 성향 차이가 존재한다면, 설령 표본을 제대로 뽑았다 하더라도 여론조사는 실제 투표결과와 큰 차이를 보일 수밖에 없다. 이 사건을 분석한 1976년의 연구보고서는 “소수의 반 루즈벨트 세력이 루즈벨트 지지자들보다 대선에 더 많은 관심을 가지고 있었다는 점은 분명하다”고 밝히고 있다. 유권자의 정치성향과 설문지 응답률 사이에 상관관계가 존재한 셈이다.
신뢰성에 큰 타격을 입은 ‘리터러리 다이제스트’지는 몇 개월 후 폐간된다. 반면 젊은 저널리스트였던 조지 갤럽이 세운 여론조사연구소는 단 5만명만을 조사해 루즈벨트의 당선을 굉장히 근사하게 예측해냈다. 이 사건으로 조지 갤럽은 여론조사분야의 일인자로 떠올랐으며, 여론조사기관 ‘갤럽’은 지금까지도 가장 권위 있는 리서치센터로 군림하고 있다.