#<여론조사 보도 어디까지 믿으시나요?> <큰수의 법칙과 최근 여론조사의 오류> <숨은 보수표> <AI를 이용한 빅데이터 함정> <여론조사 못 믿는 이유> <대선 9개월 전...선거 여론조사 보도 앞으로 어떻게?>
여론 조사는 사회 성원이 각종 사회적 문제나 정책, 쟁점 등에 관해 가지고 있는 신조,견해, 태도, 의향 등을 밝히려는 목적에서 행하는 사회 조사입니다.
여론 조사의 핵심은 표본의 수가 아니라 표본이 얼마나 모집단의 성질을 대표하느냐 하는 데에 있습니다.
내년 3월 차기 대선이 이제 8개월도 채 안 남았습니다.
가장 큰 정치적 이벤트인 만큼 언론의 관심도 차기 대선에 쏠리면서 선거 관련 여론조사 보도가 부쩍 늘고 있습니다.
오늘은 민심의 풍향계 역할을 한다는 여론조사 보도 과연 얼마나 믿을 수 있는지 또 숫자에 속지 않는 방법은 뭔지를 알아 보기 위해서 여론조사 보도 어디까지 믿으시나요?큰수의 법칙과 최근 여론조사의 오류,숨은 보수표 문제도 심각,AI를 이용한 빅데이터에는 함정이 없을까요?우리 언론 여론조사 못 믿는 이유...여론조사 결과는 여러 변수가 영향,대선 9개월 전...선거 여론조사 보도 앞으로 어떻게?등을 포스팅 하겠습니다.
1.여론조사 보도 어디까지 믿으시나요?
❶최근 보도들을 보면 윤석열 전 검찰총장 그리고 이재명 경기도지사가 차기 대선 후보 선호도 조사에서 각축을 벌이고 있다는 조사가 줄을 잇고 있습니다.
❷그런데 조사들을 보면 비슷한 시기에 이뤄진 건데도 어떤 보도에서는 윤석열 전 총장이 1위이고, 어떤 보도에서는 또 이재명 경기도지사가 1위입니다.
❸이게 조사 시기가 비슷한 데도 순위가 이렇게 다르다 보니까 어떤 게 맞는 건지 모르겠어요.
❹최근에는 여론조사 보도 자체도 굉장히 많고 조사 결과도 말씀하신 것처럼 천차만별입니다.
❺여론조사 보도가 많아지다 보니까 관심도 많아지고 그러다 보니까 이게 만족스럽지 못한 여론조사 결과에 대해서 여야의 유력 주자들이 불만 제기까지 하는 그런 양상을 보이고 있는 상황이고요,
❻이게 어느 쪽도 이렇게 신뢰하기 힘든 여론조사들, 그런데도 언론은 이거를 이유에 대해서 드러내놓고 말하지 않고 있죠.
2.큰수의 법칙과 최근 여론조사의 오류
❶표본의 규모를 확대하면 정확도가 더 높아질 수 있다는 것이 큰수의 법칙이라는 것을 고등학교 확률 통계 수업시간에 들어 봤을 겁니다.
❷통계적 분석의 불확실성은 표본규모의 제곱근에 반비례 한다고 하는데 즉 표본규모를 4배로 늘리면 통계적 오류는 절반으로 줄어 든다는 뜻입니다.
❸그런 통계적 원리를 최초로 적용한 여론조사는 1936년 리버티 다이제스가 자동차와 전화를 소유하고 있는 유권자 1000만 명에게 우편으로 설문지를 발송하여 200만명으로부터 답장을 받았고 펜실베이니아 출신의 알프 랜던이 프랭클린 루스벨트를 누르고 당선된다는 결과를 내 놓았으나 압도적인 표차로 루스벨트가 당선이 되었습니다.왜 그랬을까요?
❹당시 루스벨트 지지자들은 대부분 자동차나 전화를 소유할 만큼 부자가 아니었던 것이었고 고등학교 사회문화 시간에도 표본추출의 문제점으로 교육하고 있는 것입니다.
❺최근에 여론조사의 무덤이 되었던 사례는 브렉시트에 대한 주류 여론조사 기관은 투표가 마감된 후 EU잔류가 대세라고 우기다가 예측이 빗나가 낭패를 보았고 미국의 각종여론 조사는 트럼프의 당선을 찿아 볼 수가 없었으며 심지어 선거 당일 날 CNN도 힐러리 당선이 91%라고 고집했고 뉴욕타임스는 94%의 당선확률을 주장했었습니다.
3.숨은 보수표 문제도 심각
❶독일의 커뮤니케이션 학자 노엘레 노이만이 내놓은 침묵의 나선이론에 따르면 사회적으로 민 감한 사안에 대해 주류와 다른 의견을 가지고 있는 유권자들은 특히 자신의 의견을 공개적으로 밝히기 보다는 침묵을 선택하는 경향이 있다고 하며 주로 정치적으로 보수적인 성향을 가진 유권자들이 그렇다고 합니다.
❷실제로 1992년 영국의 총선에서 인기도 없었고 정치적으로도 문제가 많았던 보수당을 지지 하는 수줍은 토리(shy Tory)rk 여론조사를 완전히 왜곡시켜 보수당이 패배 할 것이라는 예상을 완전히 뒤 짚고 보수당이 실제 투표에서는 압도적인 승리를 가져 왔던 것입니다.
❸특히,미국에서도 자신의 입장을 밝히지 않았던 수줍은 트럼프(shy Trump)가 많아서 여론조사의 예측을 빗나가게 했던 것입니다.
4.AI를 이용한 빅데이터에는 함정이 없을까요?
❶인터넷을 통해 수집되는 방대한 정보는 정확할까요?
❷특히,SNS에 무심코 올려 놓은 글이 사용자의 진심을 담보하지는 않을 것이므로 이러한 엉터리 정보를 이용하면 엉터리 통계가 얻어질 수밖에 없을 것입니다.
❸또한,누구나 인터넷 검색이나 SNS를 사용하는 것도 아니므로 정보격차로 인한 오류는 숨은 보수표에 의한 오류보다 더 심각할 수도 있습니다.
❹따라서 인공지능이 언제나 사회적,정치적 문제에 대해 옳고 공정한 분석을 할 것이라는 것도 섣부른 기대 일 것입니다.
5.우리 언론 여론조사 못 믿는 이유...여론조사 결과는 여러 변수가 영향
①조사 방식의 차이 간과
❶특정 지지층의 반응이 다르기 때문에 먼저 주관식으로 묻는지,객관식으로 묻는지에 따라.
또 후보군에 누구를 넣고, 빼는지에 따라 결과가 달라질 수 있습니다.
❷가장 큰 차이는 조사 방식으로 녹음된 질문에 따라 답하는 ARS 조사와 사람이 직접 묻는 전화면접 중 어떤 걸로 조사했는지가 윤석열이냐 이재명이냐를 갈랐습니다.
❸ARS 방식은 미리 녹음된 질문 음성을 들려주면 번호를 눌러 답하는 방식으로 사람과 직접 통화할 땐 드러내지 않는, 숨은 표심을 잡아낼 수 있습니다.
❹옆의 사람들 의식하지 않고 그냥 버튼 누르는 방식이기 때문에 야당 후보를 지지한다거나 뭐 야당을 지지한다는 응답을 솔직하게 답하는 것입니다.
❺가령 최근 같은 경우 윤석열 대 이재명 하면 이재명은 여당 후보이다 보니 ARS든 전화면접이든 이재명 지사의 지지율은 대부분 비슷합니다.
❻그런데 윤석열 후보의 지지율만 전화면접과 ARS가 차이가 납니다.
❼윤석열 후보 혹은 보수 정당의 후보들은 샤이(shy) 야당 표심이 있는 겁니다.
❽대신 전화를 끊기 쉬운 탓에 응답률이 낮고 응답자가 특정 연령층이나 정치에 관심 많은 층에 쏠려있다는 한계도 있습니다.
❾다만 비용과 인력이 적게 들어 ARS를 선호하는 조사업체들이 느는 추세 입니다.
▲1000명 기준해서 전화면접조사는 한 1200만 원,자동응답방식(ARS)은 한 400만 원,3분의 1 정도의 비용이 들기 때문입니다.
❿반면 전화면접조사는 조사원이 전화를 걸어 직접 묻고 답변을 받습니다.
⓫ARS보다 상대적으로 많은 응답을 끌어내고,특정층으로 표본이 쏠리는 경향을 막을 수 있다는 장점이 있습니다.
⓬ARS는 고연령층이 과도하게 저연령층이 과소하게 대표되고, 지금도 ARS 보면 남자는 과대하고 여자는 과소하고 거의 6대4 이렇게 되다보니 모집단을 대표할 수 없습니다.
⓭또한,정치에 무관심한 층도 포함돼, 투표장 표심과 다를 수 있다는 지적이 있습니다.
⓮전화면접조사는 전 국민의 여론을 다 반영하는 것으로는 좋지만 실제 조사결과와는 좀 다를 수 있습니다.
⓯그런데 이런 차이를 설명하는 보도는 사실 찾아보기 힘들며 조사 방식에 따라서 조사 결과가 참 천차만별일 수 있으나 언론이 이런 부분을 좀 친절하게 짚어줬으면 혼란이 덜했을 텐데 오히려 좀 혼란을 키우는 그런 잘못을 저지르고 있는 것입니다.
②전화 면접 조사와 ARS 각각의 장단점 있음에도 무시
❶ARS 같은 경우는 그 분야에 대해서 또 그 이슈에 대해서 관심이 상당히 많은 사람, 정치 조사인 경우에는 정치에 대한 관여도, 관심도가 상당히 높은 분들이 ARS에 주로 참여하는 특성을 보이고 반면에 전화면접 조사인 경우에는 정치에 관심이 낮은 분들도 포함이 되는 측면이 있는데 그런 면에서 봤을 때 표본의 대표성이라는 측면에서는 일반 국민들은 정치에 관심 있는 사람도 있고, 관심이 없는 분들도 있는 것이니까 전화면접 조사가 대표성이 있는 측면에서는 좋다고 할 수 있습니다.
❷ARS 같은 경우는 기계로 하게 되니까 빠르게 할 수 있고 저비용으로 실시할 수가 있는데 문항이 한 5개 정도밖에 묻지 못하는 문제가 있으므로 단발성 이슈들만 질문하게 되는 측면이 있습니다.
❸반면 전화면접 조사 같은 경우는 비용도 한 3배 정도 더 비싼데 문항 수는 한 15문항, 20문항정도 물을 수가 있으므로 어떤 문항과 이슈에 대해서 입체적으로 질문을 할 수 있습니다.
❹그런데 지난 2일 공표된 한국갤럽의 여론조사에서는 윤석열 전 검찰총장의 지지율이 25%였고 이재명 경기도지사가 24%로 나타났는데 반면에 같은 전화면접 방식을 사용한 하루 전, 1일에 공표된 NBS 조사에서는 이재명 경기도지사 지지율이 27%, 윤석열 전 검찰총장이 21%로 나왔는데 조사 방식은 같았고 그런데 결과는 이렇게 달랐습니다.
❺그 이유는 둘 다 전화 면접 조사로 진행을 한 건 맞는데 NBS 조사는 100% 무선전화(휴대전화)로만 조사를 한 것인데 무선전화는 보통 안심 번호라고 해서 그 조사 기관에서 선관위를 통해서 이동통신사에 개인별 휴대전화를 가상 번호로 해서 신청을 합니다.
▲장점은 유선전화보다 결번일 경우가 적고, 성별, 연령등 정확도를 높일 수 있는 측면이 있습니다.
❻그런데 갤럽의 경우에는 휴대전화 비율이 85%, 유선(집전화) 15%를 섞은 건데 이 유선전화를 섞는 이유가 아무래도 고령층 분들이 휴대전화보다는 집 전화를 더 잘 받기 때문이며 청년층, 진보, 중도 성향의 청년층들은 무선전화를 잘 받는다는 이유 때문입니다.
❼또 하나 다른 점은 이제 질문을 하는 방식으로 객관식으로 묻냐, 주관식으로 묻냐 이 차이가 좀 있는데 대부분 조사에서는 후보군을 제시를 하고 이 중에서 누구를 고르시겠습니까?객관식으로 묻는 게 보통입니다.
▲그런데 갤럽의 경우에는 후보군을 제시하지 않고 '대통령감으로 누가 좋다고 생각하십니까?라고 유일하게 주관식으로 물어 자유롭게 응답을 받다 보니까 표심이 분산될 여지가 있는 것입니다.
❽여론조사, 설문조사라는 것은 자극에 대한 반응이므로 조사하는 시간도 주말에 하느냐. 집 전화로 만약 한다고 한다면 물론 휴대전화인 경우에도 직장인들도 좀 자유롭게 받을 수 있는 시간대에 할 수 있는 조사인지, 또 직장인들이 잘 받지 못하는 시간대에 하는 조사인지에 따라서 직장인들이 어떤 성향을 가지고 있다고 한다면 조사 결과가 차이가 날 수밖에 없습니다.
❾그 다음에 질문지에도 차이가 날 수 있습니다.
▲예컨대 대선 주자 묻는 질문들이 보면 다양한데 '누구에게 투표하시겠습니까?' '누구를 대통령으로 선호하십니까?'등 다양하게 많으며 그거에 따라서 미묘한 차이들이 있는데 언론에서 보도할 때는 이런 것들 전혀 언급하지 않고 보도를 자유자재로 하고 있는 상황입니다.
③오차 범위 무시한 순위 강조
❶이1번 마, 2번 마 따라 잡았습니다. 3번 마,이런 것처럼 선거 여론조사 보도 관련해서 가장 큰 문제점은 ‘경마 저널리즘’입니다.
❷이 사람을 왜 뽑아야 하는지 이 사람이 무슨 얘기를 하는지 합리적인지 불합리한지 어느 정도인지 거짓말을 했는지 안 했는지 별로 그런 거에 대해서는 별로 스포트라이트가 없고 경마처럼 오로지 결과만 집중해서 보도 합니다.
❸또한,통계는 범위의 미학이라고도 하고 특히,오차범위 문제 예컨대 표본오차 플러스마이너스 3.1이라고 하면 사실 거기에 속한 어떤 수치가 나왔다고 하면 누구 1위, 누구 2위, 누구 3위,통계상으로 보면 오류이므로 그렇게 하면 안 되는 것입니다.
❹다시 말하자면 플러스마이너스 3.1%라고 하면 합하면 6.2%가 되고 그 안에 있는 차이는 통계적으로 유의미하지 않다는 이야기를 암호처럼 써놓고 우리 언론의 경우는 그 안에 있는 수치의 작은 차이도 의미 부여를 하여 이제 누가 1위다, 누가 앞섰다, 2% 포인트만 움직였는데 떨어졌다,'상승했다'라고 의미 부여를 하고 있습니다.
❺이것은 사실 한국 언론의 잘 안 고쳐지는 고질적인 병폐라고 볼 수 있고 올해 3월에도 대선 주자 관련 여론조사에서 오차범위 내인데도 선두, 1위 이렇게 단정해서 보도한 언론사들이 선관위의 제재를 받았는데 그게 26곳이나 되며 '오차범위 내에서 선두다'라는 것처럼 서열을 매기는 것도 사실은 원칙적으로는 금지되어 있습니다.
❻따라서,지지율을 '이재명 몇%, 이낙연 몇%, 윤석열 몇%' 이렇게 제목을 달아 서열 순으로 나열한다든가 오차범위 내의 1위 선두라는 표현을 원칙적으로는 피해야 하는 것입니다.
❼또한,조사기관 차이 무시한 서로 다른 조사 결과를 시계열로 비교하는 사례로 예컨대 제목이 <대선 지지율, 7%-> 32.4%로 껑충, 별의 순간 잡은 윤석열>이라는 기사가 있었는데 이 기사 제목만 딱 보면 윤석열 전 검찰총장의 지지율이 정말 단숨에 어떻게 이렇게 많이 뛰었나 싶은데,7%와 32%는 각각 다른 조사 기관에서 조사한 것이고 ARS와 전화면접 조사 이렇게 방법도 다르고 응답률도 다르고 다 다른데도 이거를 마치 같은 조사처럼 같이 놓고 비교하는 건 상식적으로도 맞지 않는 엉터리 기사였던 것입니다.
④후보 선정도,결과 해석도 자의적인 언론
❶조사 결과에 대해서 과도하게 의미를 부여하거나 자의적인 해석을 한다는 점,특정 후보는 이거를 붙여다가 홍보용으로 나쁘게 사용한다는 점입니다.
❷예컨대,헤드라인 보면 <윤석열 X파일 논란에 4% 하락, 이재명 올라>라고 되어 있는데 여론조사심의위원회에 가면 정보가 전부 다 공개되어 있으므로 찿아 보면 질문지 어디에도 X파일과 관련된 건 물어본 적이 없는데 과한 해석을 한 것입니다.
❸여론조사 보도 준칙에는 주관적 표현을 자제하도록 되어 있는데 의외의, 예상을 뛰어넘는, 기대에 못 미치는 이런 표현들은 자기 주관이 들어가 있는 것으로 하지 말라고 명시적으로 돼 있긴 한데 기사에서는 너무 자주 발견할 수 있고 그런 것들도 시정을 해야 되는 것들입니다.
❹조사 대상을 언론사가 임의로 선정하는 게 과연 적절한가 하는 부분으로 특히 출마 선언도 안 한 현직에 있는 어떤 공직자들을 여론조사 후보 대상에 올리는 것으로 윤석열 전 총장 같은 경우에는 현직 총장 신분일 때부터 언론이 후보에 올린 경우고 최근에 대선 출마 의지를 밝힌 최재형 전 감사원장 같은 경우도 정치 참여 선언을 하기도 전에 대선 후보 적합도 조사에 이름이 올라온 경우입니다.
▲하지만 두 사람이 논란이 됐던 문제는 검찰총장과 감사원장. 정치적인 중립과 독립성을 지켜야 하는 사정 기관의 수장, 두 사람이 대선 후보로 거론이 됐고 이 부분에 대해서 여권 쪽에서 주로 문제 제기를 했었습니다.
❺또 당사자가 원하지도 않는데 언론사나 여론조사 기관이 특정인을 유력한 대표자로 소환한 적도 있었는데 대표적인 예가 정계를 은퇴한다는 선언을 했음에도 줄곧 차기 대권 주자로 거론이 됐던 유시민 노무현재단이사장인데 2019년 1월 MBC가 코리아리서치센터에 의뢰한 여론조사 결과에서 유 이사장이 지지율 1위를 기록했다는 보도도 있었고 당시에 유 이사장은 여론조사에서 자기 이름을 빼달라고 중앙선거관리위원회에 공문을 보내기도 했지만 받아들여지지 않았습니다.
❻세계일보가 31주년 특별 여론조사를 했는데 그때(현직) 나온 지지율이 10%였는데 헤드라인에 '윤석열 새 보수 무당층 지지 업고 급부상' 이렇게 되어 있었고 다음에 윤석열 전 총장이 본격적인 플레이어가 된 후 국회 기자실을 찾아서 세계일보 부스에 찿아간 후 윤석열 전 총장이 뭐라고 하냐면 "내가 세계일보 조사 아니면 여기까지 안 왔다"고 말을 했습니다.
▲과연 여론조사와 관련해서 그 수치에 있어서 언론이 얼마나 중립적인가,얼마나 겸손한가 생각할 여지가 많은 사건이었다고 생각이 듭니다.
❼또한, 1년 정도 대선이 남았다고 하면 여러 주자들이 경쟁을 하고 그 주자들에 대해서 국민들은 알 필요가 있는데 지금 약간 지지율이 앞서 있다고 하는 여권에 1명, 야권에 1명, 또는 한두 명 정도를 1:1로만 조사를 한 다음에 결과를 보도하게 되면 앞서 있는 후보들에게 더 많은 정보가 대중들에게 전달되고 지금 시작하고 있는 군소 후보들 같은 경우는 기회가 거의 상실돼 버리므로 특정 후보, 특정 인물만을 대상으로 한 양강 구도 설정,1:1 가상 구도등은 대선 전체적으로 봤을 때 결코 바람직한 현상은 아닙니다.
❽예컨대,13일에 공표된 아시아경제가 윈지코리아컨설팅이라는 조사 기관에 의뢰를 해서 실시한 건데 여기서도 차기 대선 후보 적합도 조사를 하면서 1:1 가상 대결을 한 것으로 이낙연 전 총리와 윤석열 전 총장을 붙였는데 오차범위 내였는데도 일부 언론들이 여기에 대해서 의미 부여를 또 했고 '이낙연 전 총리가 처음으로 양자 대결에서 윤 전 총장을 앞섰다’이런 제목의 기사들이 쏟아진 것입니다.
6.대선 9개월 전...선거 여론조사 보도 앞으로 어떻게?
❶언론은 철저히 과학적인 방법으로 여론조사를 실시하고 조사 결과에만 근거해서 신중하게 기사를 작성해야 합니다.
❷특히 여론조사의 후원자, 모집단, 표본, 표본추출 방법, 표본 크기, 표본오차, 설문 문항 등 모든 관련 정보를 공개해야 하고 언론의 자체 여론조사 결과 보도를 통한 다양한 방식의 언론 플레이를 삼가야 합니다.
❸여론조사는 각종 선거에 즈음해 다양한 목적과 용도로 실시되므로 언론은 선거와 관련된 여론조사 결과를 취재 보도할 때 특히 주의를 기울여야 합니다.
❹언론에 의해 여론조사가 잘못 이용되어 여론을 호도하는 경우가 많고 언론기관이 특정 후보자나 정당을 지지하는 수단으로 여론조사를 악용하기도 하며 혹은 언론이 여론조사에 관한 과학적인 인식이 부족한 상태에서 숫자의 권위에 굴복해 여론을 호도하는 기사를 작성하는 경우도 있고 언론기관이 여론조사를 너무 많이 실시한다는 비판을 수용해야 합니다.
❺따라서 언론은 국민들이 여론이 정말 냄비 같다 라는 인식을 갖게 하고 여론을 못 믿는 사회 풍조를 조장하지 않도록 해야 합니다.
❻언론이 선거 관련 여론조사 보도 시 쟁점 위주의 보도가 아니라 후보들 순서를 매기는 경마식 보도를 일삼기도 하며 언론이 복잡한 여론조사 결과를 단순화해 보도한다는 비판도 받으며 언론은 과학적인 표본추출 방식을 거치지 않고 거리의 행인들에게 물어본 결과와 같은 불완전한 방식의 여론조사 결과를 여론조사라는 미명으로 보도하기도 하며 또한 여론조사에 필요한 적정한 경비를 지출하지 않고 저렴한 여론조사를 실시하는 것도 지양해야 합니다.
❼언론은 원칙에 근거해서 철저하게 과학적인 방법으로 여론조사를 실시하고 조사 결과에 근거해서만 기사를 작성하는 사려 분별이 요구되며 대학·기관 등과 연계해 여론조사를 담당하는 정부 부처를 신설하고 공직자 선거 나 공공 정책에 관한 여론조사를 책임 있게 실시한 후 그 결과를 수집, 분석, 평가, 요약해 언론사 뉴스 보도용이나 여타 공적인 목적으로 이용할 수 있도록 배포할 필요성도 검토해 보아야 합니다.
❽정책 경쟁, 공약 검증.이런 보도보다는 여론조사로 후보 인기를 검증한다든지 하는 이런 왜곡된 보도가 유권자의 선택에 영향을 미치고 더 나아가서는 선거 결과에까지 영향을 미칠 수 있다는 점에서 이런 경향을 지양해야 합니다.
❾또한,양강 구도다 누구다, 누가 인기 있다, 인지도가 높다 이런 식으로 계속해서 보도하게 되면 예를 들어 부동층이라든가 아니면 아직은 뭔가 정하지 않았던 부동층이라든가 아니면 내 표가 사표가 안 됐으면 좋겠다 라든가 아니면 관여도가 그렇게 상대적으로 높지 않은 계층들에게는 그냥 밴드웨건(승자 편승 효과)효과가 나타나 민의가 왜곡될 수 있다는 점을 잊지 말아야 할 것입니다.
❿국가의 주인인 유권자분들도 대선에서 우리나라를 책임질 지도자를 뽑는 것이기 때문에 여론조사를 보도할 때 이것이 오차범위는 어느 정도인지 그래서 조사 방식은 어떤 게 쓰였는지 정도를 합리적인 의심을 갖고 비판적 시각으로 여론조사 기사를 보시게 되면 아마 한층 더 다른 차원의 현명한 판단을 하실 수 있지 않을까 생각합니다.