최근 정치권의 뜨거운 이슈, 여론조사에 대해 '이택준 전 국회비서관'님께서 글을 보내주셨습니다. 감사드립니다🙇

YTN이 지난 22~23일 엠브레인퍼블릭을 통해 진행해 25일과 26일 발표한 여론조사는 여론조사 방법론 면에서 보통 전문가들이 가장 선호하는 방식(① 전화면접, ② 셀가중, ③ 모든 대선 후보에 대한 선호도 조사가 아닌 1:1 지지도 조사)의 조사였다.

왜 그런지 여론조사에 익숙하지 않은 분들을 위해 간단히 설명드리면, 전화면접 조사*는 숙련된 조사원이 직접 질문을 하는 과정을 거치기 때문에 ARS 조사**에 비해 응답자의 응답 왜곡(연령을 속이는 등의 행위)을 걸러낼 수 있고, 접촉률(전화를 받아 설문에 응한 비율)과 응답률(설문에 응한 사람 중 끝까지 응답을 완료한 비율, 이탈자 제외 비율로 보면 됨) 모두 우수한 방식의 조사다. 다만 숙련된 조사원을 갖춰야 하기 때문에 비용과 준비의 품이 많이 들어 상대적으로 경험이 많은 오랜 여론조사 업체가 선호하는 방식이다.

* 대표적으로 한국갤럽과 NBS 전국지표조사가 전화면접 조사 방식을 활용한다.
** 대표적으로 리얼미터가 ARS 조사 방식을 활용한다.

셀가중은 조금 복잡한데, 여론조사의 신뢰도는 정확한 표집에 있다고 말들을 한다. 말 그대로 우리나라 국민의 인구학적 특성(성별, 연령, 지역)에 맞게 응답자를 찾아 여론조사를 진행해야 실제 여론과 근접한 결과를 얻을 수 있는 것이다. 그러나 여론조사 기관이 짧은 조사기간 동안 우리나라 국민의 인구학적 특성과 동일한 표집을 할 수는 없는 노릇이라 최대한 근접한 표집을 하고, 각각의 응답자에 가중치를 주어 인구학적 특성에 근접하게 맞추는 후보정 작업을 하게 된다. 이 때 셀가중은 각각의 지표를 교차하여 가중치를 주는 것이고, 림가중은 성별, 연령, 지역을 크게 떼어내 가중치를 준다. 20대 남성과 여성, 20대 남성과 40대 남성의 정치적 호오가 상당히 차이를 나타내는 상황을 고려하면 림가중 보다는 셀가중의 표집이 신뢰가 간다.*

* 중앙선거여론조사심의위원회 위원장을 역임했던 김영원 숙명여대 통계학과 교수의 글을 참고하면 좋다. “선거여론조사 바로 읽기 #1 : https://abit.ly/0gcuqj)

대선후보에 대한 지지는 대부분의 여론조사 업체에서 이름이 오르내리는 모든 후보들을 나열한 후 가장 선호하거나 대통령으로 적합한 후보를 고르라는 식의 조사를 하고 있다. 이 결과가 실제 대선을 예측하는데 도움이 되려면 각 후보별 호감도 조사도 함께 하거나 아니면 여권과 야권을 나눠 같은 방식의 질문을 해야 의미가 있다. 이런 전문가들의 지적에도 단순히 모든 후보의 선호도나 적합도를 물어보는 것은 의도 여부와 무관하게 이재명 더불어민주당 대표가 압도적인 1위 후보임을 보여주거나, 반대로 이재명 대표가 박스권에 갇혔다는 인식을 심어 준다.

실제 대선은 매우 특수했던 19대 대선을 제외하고, 95%의 유권자가 거의 분명하게 양자 후보에게 투표하는 게임이다. 따라서 이재명 대표가 민주당의 대선 후보가 된다면 십여 명이 나열된 선호도 조사 보다 좀 더 높은 득표를 받을 것이고, 대부분 낮은 지지를 얻고 있는 국민의힘 측 후보 역시 마찬가지다. 그래서 대선과 관련되어 의미 있는 조사는 여야 후보를 각각 1:1로 매칭하여 가상 대결을 붙여 누구를 지지하는지 물어보는 조사 방식이다. 때에 따라 제3지대 출마를 공식화한 이준석 의원까지 넣어 물어보는 것도 물론 의미는 있다.

조사 방식에 대한 설명을 이쯤에서 마치고, 처음 YTN의 여론조사 결과 보도를 보고 다소 당황스러웠다. 기존 전화면접(셀가중) 방식의 여론 조사와 달리 차기 대선 인식에 대한 조사(정권연장 45%, 정권교체 47%) 결과가 상당히 붙어 나왔고, 1:1 대선 후보 지지도 조사 역시 이재명 대표와 대결했을 때 오세훈 시장, 홍준표 시장은 동률, 김문수 장관은 4%p 차이로 나왔기 때문이다. 이런 결과는 같은 조사방식의 타 조사 결과* 대비 약 5%p 이상 더 여당 측이 유리하게 나온 결과였다.

* 한국갤럽의 23~24일 조사(중앙일보 의뢰)는 정권교체가 9%p 높았고, 21~23일 자체조사도 정권교체가 8%p 높았다. 20~22일 조사를 진행한 NBS와 23~25일 조사를 진행한 입소스(SBS 의뢰)도 각각 8%p, 7%p 정권교체론이 우세했다.

그렇다면 왜 엠브레인퍼블릭의 조사 결과는 다른 조사와 다소 다른 결과를 보였을까? 비밀은 여론조사의 문항 설계에 있었다. 여론조사가 발표되면 중앙선거여론조사심의위원회 홈페이지에 문항이 바로 공개(결과표는 최초 공표 이후 24시간이 지나 업로드 된다)되는데, 확인해보니 엠브레인퍼블릭의 문항은 특징적으로 질문의 수가 다소 많고, 부정선거와 사전투표제 신뢰성에 대한 질문이 포함되어 있었다.

최근 일부 ARS 여론조사를 제외하면 계엄 및 탄핵과 대통령 체포 영장 집행 등 일련의 주요 사건에 대한 응답자의 생각을 물어보는 여론조사는 많이 있었지만, 직접적으로 대통령과 그 지지자들이 제기하고 있는 부정선거론에 대해 동의 여부를 물어보는 조사는 없었다. 이러한 방식의 질문이 명확한 사실관계의 문제를 당파적인 논쟁이 벌어지는 것처럼 오인시킬 수 있다는 우려를 반영한 것이였고, 실제 이 질문이 추가되면서 주관적 정치성향을 진보로 답하는 응답자 상당수가 설문 응답 중 이탈했을 가능성이 높은 문항 설계라 볼 수 있다.

아니나 다를까 실제 결과표를 살펴보니 예상이 어느 정도 맞았다. 표집된 응답자의 이념성향을 보니 주관적 정치성향을 진보로 응답한 사람이 208명으로 기존에 봤던 어느 여론조사보다도 적게 잡혔다*. 이 조사는 기존에 제기된 ‘과표집’보다 진보성향 응답자가 ‘과소표집’되었던 셈이다.

* 한국갤럽의 23~24일 조사(중앙일보 의뢰)에서 진보 성향 응답자는 262명, 21~23일 자체조사는 266명이었으며, 20~22일 조사를 진행한 NBS와 23~25일 조사를 진행한 입소스(SBS 의뢰)도 각각 256, 261명이 표집되었다.

최근 여론조사를 둘러싸고 보수 과표집에 대해 다양한 이견들이 있지만, 문항 설계에 따라 특정 지지층이 과표집 되거나 과소표집 될 수 있다는 것은 정론이다. 실제 이번 미국 대선에서 CBS는 여론조사 문항에 트럼프의 '이민자는 개와 고양이를 잡아먹는다'는 문항을 넣어 돌렸다가 친트럼프 지지자들이 대거 응답 도중 이탈해 실제와 달리 해리스가 상당히 이기는 결과를 얻기도 했다*. 고의는 아니겠지만 이번 엠브레인퍼블릭의 조사 역시 부정선거 의혹과 사전투표제에 대해 질문함에 따라 CBS 조사와 동일하게 약간의 왜곡이 발생한 것으로 해석된다.

* 박종훈(2024), 트럼프 2.0 시대, 글로벌 대격변이 시작된다, 글로퍼스 참고

진영화된 정치환경에서 여론조사는 실제 결과가 어떻든 확증편향을 강화하는 선전 도구로 활용되기 쉽다. 진영 내 스피커들이 자체적으로 여론조사 업체를 만들고, 일부 언론사들이 이를 활용하면서 그 경향성은 심화되고 있다. 이럴 때일수록 입맛에 맞는 여론조사만을 바라보며 열광하기 보다는 조금 더 차분하게 결과들을 살펴보면서 그 추세와 숫자 이면의 의미들을 살펴보려는 노력이 필요하다. 특히 매일 같이 쏟아지는 여론조사를 일로 계속 대해야 할 필요가 있는 정치권에 속해 있는 사람들이라면 어떤 여론조사가 민의를 정확하게 파악하고 있는지 조금 더 공부하고 고민할 필요가 있다.