동아일보 2019/09/17

기사 원문보기

한규섭 객원논설위원·서울대 언론정보학과 교수

조국 사태에서 여론조사업체 갈등… 상대방 조사방식 흠결 문제 삼아
조사업체 많은 미국, 방식도 제각각
왜곡과 편향성 문제도 피하기 어려워
내년 총선 전 과학적 검토 필요

조국 장관 임명과 관련된 여론조사 결과가 쏟아져 나오는 과정에서 때 아닌 ‘웹패널 조사’ 논란이 불거졌다. 일반인들에겐 생소하기조차 한 개념이지만 여론정치 시대의 단상이다.

A조사업체 임원이 공영방송의 모 시사 프로그램에서 의뢰를 받아 B사가 수행한 조사 결과를 비판하는 글을 자신의 소셜미디어에 게재한 것이 발단이었다. 웹패널 조사는 정기적인 조사 참여에 동의한 응답자들이 모인 패널에서 표본을 추출해 실시하는데 “패널의 대표성 문제 탓에 사회적으로 큰 영향을 미치는 쟁점 현안 조사에는 사용해선 안 되는 방식”이라는 게 그 임원의 주장이었다. B사는 즉각 반박 자료를 배포했다. B사의 조사는 웹패널에 속한 응답자들이 참여하는 방식이었던 반면 A사는 자동응답(ARS) 조사를 주로 하는 업체다.

웹패널 조사가 문제인가? 이 질문에 단언적으로 답하기는 어렵다. 동일한 방식으로 조사를 수행하더라도 조사업체마다 정확도가 다르다. 더구나 시장이 작다 보니 국내에서는 특정 조사 방식을 활용하는 업체 수가 제한적이라 연구 자체도 쉽지 않다. 한마디로 업체 문제인지, 조사 방식 문제인지 식별이 어렵다.

반면 미국에는 수많은 조사업체가 존재하고 특정 조사 방식을 고수하는 업체도 많다. 미국의 데이터 저널리즘 기관인 파이브서티에이트(FiveThirtyEight)에서는 선거 조사 결과를 취합해 조사업체별 평가지수를 공개한다. 일반 여론조사와 달리 선거 조사는 실제 선거 결과와 비교가 가능해 조사의 품질을 평가하는 데 유용하다.

필자는 이 데이터를 분석해 각 조사 방식의 상대적 정확성을 살펴봤다. 가장 표준이 되는 전화면접(178개사) 외에 이번에 논란이 된 웹패널(28개사)과 ARS 방식(48개사)이 포함됐다. 이 외에도 ARS-전화면접 혼합 10개사, ARS-웹패널 혼합 8개사, 웹패널-전화면접 혼합 6개사, 기타 118개사 등 총 396개사에 대한 평가 자료가 분석에 포함됐다.

우선 파이브서티에이트는 다양한 지표에 근거해 각 업체에 대한 종합 평가를 A+부터 F까지 학점 형태로 제시한다. 전화면접 조사업체들은 B학점(2.976점/4.3점) 정도였다. 반면 A사가 비판한 웹패널 조사업체들은 평균 C+ 정도의 학점(2.225점)을 받았다. 또 28개 웹패널 조사업체 중 약 7.1%(2개사)가 F학점을 받았다. 전화면접 업체들은 이 비율이 0.6%에 불과했다.

반면 B사와 같이 ARS(2.213점) 또는 ARS와 전화면접을 병행(2.190점)하는 업체들도 평균 C+의 성적을 받았다. 또 분석에 포함된 48개 ARS 업체 중 2.1%(1개사)가 F학점을 받아 낙제 비율도 전화면접 업체보다 높았다. A+를 받은 6개 조사업체는 모두 전화면접 방식을 고수하고 있었다. 즉, B사의 웹패널 조사 방식을 비판한 A사가 채택하고 있는 ARS 방식도 웹패널 못지않은 품질 문제를 드러낸 것이다.

파이브서티에이트는 실제 선거 결과와의 오차도 조사기관을 평가하는 지표로 제시하고 있다. 양(+)으로 갈수록 공화당, 음(―)으로 갈수록 민주당 후보들의 지지율을 과대 추정하는 것으로 리스케일링(다시 설계해 조사함)해 분석하면 결과는 대동소이했다.

다양한 선거가 포함돼 큰 차이는 아니었지만 전화면접 업체들은 평균 ―0.109의 왜곡을 보인 반면 웹패널 업체들은 평균 ―0.261의 왜곡을 보여 민주당 편향성이 상대적으로 더 컸다. ARS(+0.149)나 ARS와 전화면접 조사를 병행(+0.339)하는 경우 모두 웹패널과 유사한 정도의 왜곡을 보였다. 방향만 친(親)민주당이 아닌 친공화당 쪽인 것이 차이였다.

구관이 명관이었다. 여론조사는 조사 방식별로 차이가 날 가능성이 높다. 물론 어디까지나 미국 업체들에 대한 분석이지만 웹패널 방식과 ARS 방식 모두 기존 전화면접 조사의 품질에 미치지 못했다.

총선을 앞두고 조사 방식별 정확도에 대한 과학적 검토가 필요한 시점이다.

출처: http://www.donga.com/news/article/all/20190917/97433163/1