연구사업

HOME > 연구사업 > 연구과제:여론조사

연구과제:여론조사

[동아광장/한규섭] 여론조사 방식에 대한 과학적 검토 있어야

  • 관리자
  • 20.04.07
  • 341

동아일보 2019/09/17

기사 원문보기


한규섭 객원논설위원·서울대 언론정보학과 교수


조국 사태에서 여론조사업체 갈등… 상대방 조사방식 흠결 문제 삼아
조사업체 많은 미국, 방식도 제각각
왜곡과 편향성 문제도 피하기 어려워
내년 총선 전 과학적 검토 필요


조국 장관 임명과 관련된 여론조사 결과가 쏟아져 나오는 과정에서 때 아닌 ‘웹패널 조사’ 논란이 불거졌다. 일반인들에겐 생소하기조차 한 개념이지만 여론정치 시대의 단상이다.

A조사업체 임원이 공영방송의 모 시사 프로그램에서 의뢰를 받아 B사가 수행한 조사 결과를 비판하는 글을 자신의 소셜미디어에 게재한 것이 발단이었다. 웹패널 조사는 정기적인 조사 참여에 동의한 응답자들이 모인 패널에서 표본을 추출해 실시하는데 “패널의 대표성 문제 탓에 사회적으로 큰 영향을 미치는 쟁점 현안 조사에는 사용해선 안 되는 방식”이라는 게 그 임원의 주장이었다. B사는 즉각 반박 자료를 배포했다. B사의 조사는 웹패널에 속한 응답자들이 참여하는 방식이었던 반면 A사는 자동응답(ARS) 조사를 주로 하는 업체다.

웹패널 조사가 문제인가? 이 질문에 단언적으로 답하기는 어렵다. 동일한 방식으로 조사를 수행하더라도 조사업체마다 정확도가 다르다. 더구나 시장이 작다 보니 국내에서는 특정 조사 방식을 활용하는 업체 수가 제한적이라 연구 자체도 쉽지 않다. 한마디로 업체 문제인지, 조사 방식 문제인지 식별이 어렵다.

반면 미국에는 수많은 조사업체가 존재하고 특정 조사 방식을 고수하는 업체도 많다. 미국의 데이터 저널리즘 기관인 파이브서티에이트(FiveThirtyEight)에서는 선거 조사 결과를 취합해 조사업체별 평가지수를 공개한다. 일반 여론조사와 달리 선거 조사는 실제 선거 결과와 비교가 가능해 조사의 품질을 평가하는 데 유용하다.

필자는 이 데이터를 분석해 각 조사 방식의 상대적 정확성을 살펴봤다. 가장 표준이 되는 전화면접(178개사) 외에 이번에 논란이 된 웹패널(28개사)과 ARS 방식(48개사)이 포함됐다. 이 외에도 ARS-전화면접 혼합 10개사, ARS-웹패널 혼합 8개사, 웹패널-전화면접 혼합 6개사, 기타 118개사 등 총 396개사에 대한 평가 자료가 분석에 포함됐다.

우선 파이브서티에이트는 다양한 지표에 근거해 각 업체에 대한 종합 평가를 A+부터 F까지 학점 형태로 제시한다. 전화면접 조사업체들은 B학점(2.976점/4.3점) 정도였다. 반면 A사가 비판한 웹패널 조사업체들은 평균 C+ 정도의 학점(2.225점)을 받았다. 또 28개 웹패널 조사업체 중 약 7.1%(2개사)가 F학점을 받았다. 전화면접 업체들은 이 비율이 0.6%에 불과했다.

반면 B사와 같이 ARS(2.213점) 또는 ARS와 전화면접을 병행(2.190점)하는 업체들도 평균 C+의 성적을 받았다. 또 분석에 포함된 48개 ARS 업체 중 2.1%(1개사)가 F학점을 받아 낙제 비율도 전화면접 업체보다 높았다. A+를 받은 6개 조사업체는 모두 전화면접 방식을 고수하고 있었다. 즉, B사의 웹패널 조사 방식을 비판한 A사가 채택하고 있는 ARS 방식도 웹패널 못지않은 품질 문제를 드러낸 것이다.

파이브서티에이트는 실제 선거 결과와의 오차도 조사기관을 평가하는 지표로 제시하고 있다. 양(+)으로 갈수록 공화당, 음(―)으로 갈수록 민주당 후보들의 지지율을 과대 추정하는 것으로 리스케일링(다시 설계해 조사함)해 분석하면 결과는 대동소이했다.

다양한 선거가 포함돼 큰 차이는 아니었지만 전화면접 업체들은 평균 ―0.109의 왜곡을 보인 반면 웹패널 업체들은 평균 ―0.261의 왜곡을 보여 민주당 편향성이 상대적으로 더 컸다. ARS(+0.149)나 ARS와 전화면접 조사를 병행(+0.339)하는 경우 모두 웹패널과 유사한 정도의 왜곡을 보였다. 방향만 친(親)민주당이 아닌 친공화당 쪽인 것이 차이였다.

구관이 명관이었다. 여론조사는 조사 방식별로 차이가 날 가능성이 높다. 물론 어디까지나 미국 업체들에 대한 분석이지만 웹패널 방식과 ARS 방식 모두 기존 전화면접 조사의 품질에 미치지 못했다.

총선을 앞두고 조사 방식별 정확도에 대한 과학적 검토가 필요한 시점이다.



출처: http://www.donga.com/news/article/all/20190917/97433163/1

게시판 목록
기사 당선자 예측 여론조사 실효성 없다 (신동아=정현상 기자)
기사 한국당 33.84% vs 시민당 33.35%… 지역구와는 또 달랐던 정당투표 표심 (동아일보=박성진 기자)
기사 총선 여론조사 얼마나 맞았을까…판세 읽었으나 격전지 예측 한계 (뉴시스=김지훈 최서진 류인선 기자)
기사 [중앙선데이] 집 전화 대신 안심번호 활용... 여론조사 정확도 높아져 (중앙선데이=고성표 기자)
기사 [배종찬의 민심풍향계] 선거 여론조사는 살아 있었다 (시사저널=배종찬 인사이트케이 연구소장)
기사 압승이라더니 접전, 접전이라더니 압승… 일부지역 여론조사 안맞아 (조선일보=홍영림 여론조사전문기자)
기사 [선택 4·15] 지난 총선 예측 실패한 여론조사, 승패는 맞췄다 (연합뉴스=김동현 기자)
기사 여론조사, 결과적으로 적중했지만…무당층·세부지역 오차는 한계 (헤럴드경제=최정호 기자)
기사 "코로나보다 무서운 게 굶어죽는 것… 서민은 먹고사는 문제를 더 중시" (조선일보=최보식 선임기자)
기사 [동아광장/한규섭]트위터의 사례로 본 ‘가짜 뉴스’ 해법
기사 [동아광장/한규섭] 리얼미터와 한국갤럽 괴리의 두 가지 시사점
기사 [동아광장/한규섭]여론조사 공표금지 기간 폐지해야
기사 '6연속 헛발질' 여론조사, 이번 총선인들 맞힐까
기사 [총선D-16 여론조사] 서울 승부처 5곳 중 4곳 민주당 우세
기사 [이슈4·15] 53대31, 44대40… 같은 날 다른 결과 낸 여론조사업체
기사 [만물상] 오염된 여론조사 - 조선일보 이동훈 논설위원
기사 [탐사하다] 6년차 조사원의 고백 "2016년 총선 때 여론조작"
기사 [탐사하다] '사람이 묻냐 기계가 묻냐' 따라 여론조사 18%P 차이
기사 [탐사하다] 수상한 여론조사···응답자 절반이 文투표층이었다
기사 [동아광장/한규섭] 여론조사 방식에 대한 과학적 검토 있어야
게시물 검색