Не надо втягивать социологов в политику

На фотовыставке к 8-й годовщине газеты «День» один из известных экономистов подошeл ко мне и с лeгкой усмешкой сказал:

— Вы взяли на себя роль защитника социологии? (Это намeк на нашу с В.Хмелько статью на сайте «Украинской правды» 14.09.2004). Напрасный труд, никто вам не поверит. Я уже давно пытаюсь объяснить некоторые элементарные вещи из экономики, например, про реальный уровень инфляции, — никакого эффекта…

И всe-таки обидно. На парламентских выборах 2002 г. ведущие социологические центры за две недели до выборов довольно точно определили, какие партии пройдут в парламент (за исключением Партии зелeных и «Жiнки за майбутнє», хотя и эти отклонения были в рамках ошибки выборки), а данные экзит-пола вообще почти идеально совпали с результатами выборов (меньше 0,8% для всех партий, кроме «Еды», получившей на 1,4% выше данных экзит-пола, и «Нашей Украины», получившей на 1,4% меньше, см. «Загальнонаціональні опитування exit poll». — Заповіт: Київ, 2002, с. 86). Американские социологи поздравляли украинских коллег с успехом. А некоторые журналисты и многие политики говорят о провале социологов, об их некомпетентности и продажности, причeм и представители власти, и представители оппозиции. С чем же это связано?

Во-первых, иногда это пиар, стремление снизить негативное для их кандидата влияние низкого рейтинга, когда на деле они доверяют результатам исследований, но публично клеймят социологов (кстати, представление о том, что отставание рейтинга всегда отрицательно влияет на избирателей, ошибочно: оно не учитывает, что некоторое снижение рейтинга может вызывать мобилизацию колеблющихся сторонников и противников альтернативного кандидата).

Во-вторых, некомпетентность политиков или журналистов, которые иногда сравнивают рейтинги, полученные в разное время (а колебания во времени бывают значительными) или по разным показателям, — например, сравнивают процент по отношению ко всем опрошенным и процент по отношению к тем, кто собирается прийти на выборы (в этой кампании сторонники Ющенко более активны, и отрыв Ющенко от Януковича больше, когда речь идeт о тех, кто планирует прийти на выборы).

В-третьих, впечатление больших расхождений данных разных социологических центров нередко создается или усиливается поведением заказчиков и многих СМИ. Когда они имеют дело с профессиональными социологическими центрами, работающими много лет и заинтересованными в работе между выборами и после выборов, то фальсификация данных в угоду заказчику полностью исключена. Это поставило бы под удар репутацию центра и впоследствии наверняка привело бы к потере западных заказов, которые и дают основные доходы профессиональным центрам. Но есть и другие методы. Остап Бендер, который чтил уголовный кодекс, говорил, что есть много сравнительно честных способов отъeма денег. Точно так же существует несколько сравнительно «честных» способов манипулирования данными социологических исследований.

Первый — это замалчивание невыгодных данных и обнародование выгодных. Например, в этой предвыборной кампании главные каналы ТВ нередко давали не рейтинги, а данные о том, кто, по мнению опрошенных, станет президентом (частью населения это могло восприниматься как рейтинги). По международным стандартам (а мы являемся членами ESOMAR и WAPOR — Европейской и Всемирной ассоциаций исследователей общественного мнения), заказчик является владельцем полученных данных, и мы имеем право публично протестовать, только если полученные от нас данные подменяются другими или искажаются.

Второй способ — это включение в анкету, по которой проводится опрос, не нейтральных, акцентуированных вопросов или расположение вопросов в таком порядке, что они сдвигают информацию. Речь не идeт о направленных вопросах («push questions»), которые явно предназначены для формирования мнения, а не его изучения. Например, вопрос «Поддерживаете ли вы предлагаемое В.Ющенко введение виз с Россией?», в то время как Ющенко этого не предлагал, формирует отрицательное отношение к кандидату и может сказаться также и в ответах на последующие вопросы. За годы нашей работы было несколько попыток предложить нам такие псевдоопросы, от которых мы отказались и всегда будем отказываться независимо от предлагаемых финансовых условий. В случае же акцентуированных вопросов речь идeт не о навязывании определенного мнения, а о довольно тонких нюансах и акцентах.

Дело в том, что полностью нейтральная формулировка вопроса является очень сложным делом. Исследователь имеет свои убеждения, стереотипы и невольно закладывает их в анкету даже тогда, когда не имеет намерений сдвига информации (специальное исследование анкет, используемых профессиональными центрами США, показало что таких вопросов в среднем около 10- 15%). Доказательно определить такие вопросы сложно, очень часто это вопрос вкуса, поэтому в этих случаях социолог может лишь высказать свои сомнения заказчику, но если тот настаивает — нужно выполнять его требования. Например, в советское время горком компартии (который утверждал все анкеты) запретил нам (я работал в то время в отделе социологии Института философии) задавать киевлянам вопрос о размере зарплаты, считая его провокационным. А несколько лет назад я доказал представителю одной транснациональной компании в Украине то, что вопрос о влиянии рекламы не даeт корректной информации, но заказчик оставил всe как есть, так как этот вопрос задаeтся много лет в десятках стран и нужен именно в такой формулировке для сравнения.

Единственный способ борьбы с «относительно честными» способами манипулирования социологическими данными — проведение за свой счeт и обнародование своих собственных исследований, что мы и делаем время от времени.

С конца сентября стали происходить события, которые поставили под удар репутацию нашего института (КМИС), затем и центра СОЦИС, а тем самым и репутацию созданного по инициативе фонда «Демократические инициативы» консорциума пяти организаций (ДИ, КМИС, СОЦИС, Центр им. Разумкова, Социальный мониторинг), объединившихся для совместного проведения уникального экзит-пола (опроса 50 тысяч избирателей на выходе из избирательных участков). Что и побудило меня взяться за виртуальное перо.

Первый «подарок» мы получили от сил, близких к власти. Я должен сказать, что в отличие от мнения многих людей, высказывающихся на интернет-форумах (время от времени доброжелатели присылают мне ссылки на высказывания о продажности социологов), наличие разных политических сил в качестве клиентов увеличивает независимость компании. Если она работает на одну политическую силу (неважно, оппозиционную или провластную) и эта сила не публикует данные заказанных исследований, то она точно так же не даст вам провести и своe исследование и опубликовать эти данные. Если же политические исследования не доминируют в работе компании, а политические исследования она проводит для политически разных клиентов, то у нее гораздо больше независимости. Честно говоря, в разгар каждой избирательной кампании у нас появляется сильное искушение вообще «завязать» с электоральными исследованиями. Но, кроме денег, очень важно проверить свою выборку, сеть, методологию, ни одно другое исследование не позволяет оценить качество работы системы в целом. Нам нужны выборы и референдумы, чтобы градуировать наш измерительный инструмент (я уже не раз говорил, что политики для социологов — то же самое, что мыши для биологов). Так что обычно в период между выборами мы «зализываем раны», забываем оскорбления и опять втягиваемся в эти исследования.

На этот раз ситуация выглядит, однако, более мрачной.

В течение нескольких месяцев мы проводили опросы для фонда «Общественное мнение» (ФОМ), т.е. разработку анкеты и анализ данных проводил ФОМ, а КМИС выполнял опрос и ввод собранной информации в компьютеры. ФОМ — это один из двух наиболее известных российских профессиональных центров изучения общественного мнения (наряду с Левада-центром, бывшим ВЦИОМ). По принятым в международных стандартах правилам без разрешения заказчика исполнитель не имеет права не только публиковать полученные данные, но и сообщать о факте проведения им исследований. До середины сентября опросы для ФОМ, как и наши собственные опросы (в том числе опросы для разных политических сил, на обнародование результатов которых мы получили разрешение), показывали заметный отрыв Ющенко от Януковича, до последней декады сентября он составлял 6-8%.

Однако после повышения пенсий и пророссийских заявлений Януковича его рейтинг быстро возрос, и время, проведения опроса стало критическим (ниже приведен график, построенный президентом КМИС профессором В.Хмелько, где это хорошо видно).

Первым из опросов, в которых обнаружилось повышение рейтинга Януковича, был как раз опрос, проведенный для ФОМ, так как он длится только пять дней. Мы отослали массив данных в Москву и через некоторое время узнали из программ новостей, что рейтинг Януковича сравнялся с рейтингом Ющенко, к тому же Глеб Павловский сказал об этом в передаче 5-го канала украинского ТВ. Поскольку это противоречило всем другим данным, то естественно воспринялось как московская «утка», а украинские социологи, к которым обратились за комментариями, говорили, что у ФОМ здесь нет своей опросной сети и это либо фальсификация, либо данные каких-то халтурщиков.

Ну что тут сказать… Никому не пожелаю попадать в такую ситуацию. Ни сказать ничего, ни прокомментировать мы не можем. ФОМ, который на выборах 2002 года очень быстро выкладывал данные всех украинских опросов на свой открытый сайт, теперь не дал разрешения на их публикацию. Если бы данные всех опросов, проведенных КМИС для ФОМ, регулярно обнародовались и раньше, когда рейтинг Ющенко был безусловно выше рейтинга Януковича, то ФОМ мог укрепить и свою репутацию профессионалов в Украине, и нас не подвел бы. На следующий день мне позвонил директор ФОМ Александр Ослон и разрешил, как мы уже давно добивались, комментировать данные и говорить о нашем сотрудничестве. Большое спасибо! Главное — удачно выбрать время.

А тут подоспели данные опроса, который КМИС и СОЦИС делали по заказу и опроснику Киевского центра политических исследований и конфликтологии Михаила Погребинского (КЦПИК) — больше 11 тысяч опрошенных, тот же результат (рейтинги Януковича и Ющенко сравнялись) и его освещение на всех каналах. В этот же день СОЦИС с фондом «Демократические Инициативы» (ФДИ) проводит пресс-конференцию по результатам специального роллингового опроса, который СОЦИС делает по заказу ФДИ (см. таблицу: все данные сведены по отношению к единому показателю, эта таблица взята из пресс-релиза пресс-конференции КМИС и СОЦИС от 7 октября 2004). И тут наступил второй этап нашей истории — компрометация членов консорциума непровластными силами.

Во-первых, фонд «Деминициативы» почему-то включил в свой пресс-релиз данные роллингового опроса лишь в целом за 20 дней (2-я колонка), в то время как данные опроса за более близкий период (последние 900 анкет, 3-я колонка) отличаются от данных, полученных КМИС и СОЦИС по анкете КЦПИК не более чем на 1%. Президент центра «СОЦИС» Николай Чурилов говорил об этом на пресс-конференции, но СМИ ориентировались на пресс-релиз, и получилось, что «СОЦИС» в течение двух дней докладывал два результата: по одним Янукович догнал Ющенко, по другим — 5% разницы (в то время как реально для близких периодов данные не отличаются!). Это не осталось незамеченным, и СОЦИС тоже вспомнили на 5-м канале и в интернете «незлым тихим словом», СОЦИС тоже попал в число фальсификаторов. Поздравляю Вас, Николай Николаевич!

Всe это бьeт по репутации как СОЦИСа и «Деминициатив», так и консорциума экзит- пола в целом.

Во-вторых, на пресс-конференции в УНИАНе 1-го октября я говорил о причинах различий опубликованных данных ФОМа и наших и назвал: (1) показатель, (2) время проведения опроса и (3) конструкцию анкеты (кстати, в сообщении УНИАНа было сказано лишь про конструкцию анкеты и не упомянуты другие факторы, а также то, что КМИС проводил полевой этап исследования, хотя я говорил об этом). Эти же факторы я назвал журналистам в нашей совместной с СОЦИСом пресс-конференции 7-го октября, но указал на то, что, как видно из сравнения колонок 1 и 3, также 1 и 4, данные СОЦИСа за тот же период тоже показывают сближение рейтингов. Поэтому разница конструкции анкет вероятнее всего может объяснить лишь 2-3 процента различий, хотя это требует дальнейших исследований.

Сергей Таран, которому, по его просьбе, я переслал анкету для изучения, опубликовал «Заявление Института массовой информации» за своей подписью как директора этого института и аспиранта уважаемого университета в США. В этой публикации, на основе как аргументированных замечаний, так и чисто субъективных соображений, С.Таран оценил возможные смещения рейтингов в пользу кандидата от власти за счeт конструкции анкеты в 10%, совершенно не считаясь с тем, что эмпирические данные не подтверждают его гипотез. И далее идeт предупреждение КМИСу и СОЦИСу, что работа с КЦПиК, который разрабатывает такие плохие анкеты, может повредить репутации этих уважаемых компаний. После этого Сергей Таран и Илько Кучерив, директор Фонда «Деминициативы», проводят пресс-конференцию, сообщая о которой 8 октября, ведущие 5-го канала говорили уже о возможной добавке 20% в пользу Януковича (и это при том, что данные КМИСа по этой анкете совпали с данными СОЦИСа, полученными через неделю, с точностью до 1%).

Почему вообще нужно было ставить под сомнение нашу репутация на основе гипотез о том, как может повлиять анкета на результаты, когда это можно точно оценить по имеющимся данным? В полном соответствии с Руководством ESOMAR/WAPOR об опросах общественного мнения (п.4.2-10) мы дали комментарии о возможных ограничениях точности опроса, в том числе о наших сомнениях по поводу конструкции анкеты и увеличения ошибки в связи с этим. Почему же это должно вредить нашей репутации? Если бы КЦПиК заказал это исследование непрофессиональным компаниям, то журналисты вообще могли и не узнать о возможных смещениях в информации и не получить анкету для анализа.

Судя по форумам в интернете и получаемым письмам, ущерб, нанесенный Институтом массовой информации и 5-м каналом ТВ репутации КМИСа, СОЦИСа, Фонда «Деминицитив», а тем самым и консорциуму экзит-пола, оказался вполне реальным (к чести 5-го канала следует сказать, что он отчасти исправил ситуацию, пригласив через день президента КМИС В.Хмелько и директора «Деминициатив» И.Кучерива в прямой эфир для разъяснения вопроса).

Подводя итоги, я хочу сказать следующее:

1) данные профессиональных социологических центров по одинаковым показателям и за тот же самый период дают довольно согласованные результаты, реальные расхождения данных пока что укладываются в ошибку выборки;

2) политические заказчики компрометируют социологов выборочной публикацией выгодных данных, что порождает иллюзию несогласованности данных профессиональных центров;

3) политические силы подрывают авторитет социологов, высказывая сомнения в их добросовестности каждый раз, когда социологи получают «неудобные» для них данные.

Люди добрые, не втягивайте нас в политику! Социологи должны измерять и показывать, что происходит. Я понимаю, что временами мы приносим кому-то дурные вести, но борьба с нами не поможет вашему делу: надо бороться с явлением, а не с теми, кто его фиксирует. Мы меряем правильно (смотрите реальные данные на сайтах профессиональных центров, а не отображение их в СМИ) — проблемы в обществе, а не в термометре. Если вы посеете недоверие к профессиональным социологам, разобьете зеркало общества, то потеряют смысл и экзит-пол, и другие опросы, каждый политик сможет смело опираться на «мнение большинства», подготовленного в его штабе. Кому это выгодно?

СПРАВКА АВТОРА

О роллинговом исследовании. Сначала опрашиваются 2000 респондентов, отобранных по специальной «порционной» выборке по 200 человек в каждой «порции», потом каждые два дня опрашиваются новых 200 человек, а 200 опрошенных первыми удаляются из массива, т.е. на каждом этапе роллинг характеризует состояние, которое фиксировалось за предыдущие 20 дней, например, волна, добавленная 20-21 сентября, объединяется с данными со 2 по 19 сентября. Таким образом, роллинг, аккумулируя данные за 20 дней, условно говоря, отражает ситуацию примерно 10-дневной давности. Поэтому данные роллинга, проведенного с 13 сентября по 2 октября и оглашенные 6 октября, зафиксировали лишь незначительное уменьшение разницы рейтингов основных претендентов — с 6-8 до 4-5 процентов.