Что могут и чего не могут социологи

Сначала я предполагал, что «разбор полетов» после выборов будет осуществляться в профессиональной среде и публиковаться в нашем профессиональном журнале («Социология: теория, методы, маркетинг») — и такая работа сейчас проводится. Пока недоброжелательные суждения о социологических прогнозах высказывали обиженные низким рейтингом политики — это тоже было понятно, так всегда бывает. Взяться за перо (то бишь, компьютер) меня заставили очень поверхностные рассуждения на эту тему некоторых социологов, появившиеся после выборов на страницах газет. Поэтому в этой статье хотелось бы оценить работу социологов во время выборов, с точки зрения того, что могут и чего не могут социологи вообще и социологи Украины, в частности, если речь идет о прогнозировании результатов выборов.

Следует сказать, что оценка рейтингов, которую очень часто отождествляют с социологическими исследованиями, отнюдь не является центральной проблемой социологии, как, скажем, проблемы изучения социальной структуры, социализации, социального контроля, социальных институтов. Более того, некоторые социологи вообще не считают это социологией, а относят к прикладным проблемам изучения общественного мнения (polls) и даже называют специалистов в этой области полстерами, а не социологами. Прогнозирование результатов выборов не занимает также и ведущего положения в исследовании электорального поведения, так как основные центры по изучению электорального поведения изучают проблему представительства — т.е. насколько избранная власть (в частности, парламент) отражает интересы населения. Они определяют, какие элементы избирательного процесса в наибольшей степени препятствуют полному отражению интересов граждан, и дают рекомендации по совершенствованию законодательства и процедуры выборов. В нашей стране, однако, такие исследования практически не финансируются (почему-то это никого не беспокоит). А финансируются такие исследования, которые дают возможность оценить шансы тех или иных политических сил прийти к власти, и факторы, которые могут повысить эти шансы.

Я не собираюсь также обсуждать результаты фирм-однодневок, созданных перед выборами, и каких-то виртуальных центров, вопрос о существовании которых носит явный теологический оттенок (одни верят в их существование, а другие — нет). Они созданы специально для публикации рейтингов, нужных заказчику, и не представляют интереса (кстати, поскольку во многих случаях никакие опросы за этими рейтингами не стоят, они с легкостью публикуют данные об опросе, скажем, 30-и тысяч респондентов за неделю). Поэтому речь идет лишь о данных профессиональных социологических центров (вопрос о том, какие центры являются профессиональными, вовсе не является таким субъективным, как это может показаться. Это центры, являющиеся, как правило, членами Социологической ассоциации Украины и международных ассоциаций социологов и маркетологов, они имеют солидный стаж работы, финансовую независимость, и предвыборные исследования не являются для них основным источником дохода).

Прежде всего следует различать прогноз результатов выборов и прогноз, а лучше сказать, оценку рейтингов партий на период опроса. Большинство социологических фирм, принимавших участие в исследованиях во время выборов, не решались делать прогнозы результатов выборов до последней недели марта, когда публикация данных социологических опросов была уже запрещена. Поэтому прогнозы результатов выборов были размещены в последнюю неделю перед выборами на сайтах социологических фирм и в интернет-изданиях (например, «Украинская правда» от 27 марта, Фонд «Общественное мнение» и др.). Данные же, которые публиковались до этого, представляли собой оценку рейтингов партий на период опроса. Вопрос, который ставили социологи, выглядит следующим образом: «Если бы выборы были завтра, то за какую партию вы бы проголосовали?». Учитывая, что период опроса составляет 3–6 дней, результаты характеризуют состояние общественного мнения за этот период.

Особое положение занимает экзит-пол — опрос лиц, выходящих из избирательных участков в день голосования, он проводится в течение одного дня и является и оценкой рейтинга, и прогнозом в том смысле, что результаты экзит- пола публикуются на несколько дней раньше официальных результатов Центральной избирательной комиссии (хотя, по сути, это не прогноз, а фиксация ситуации на момент опроса).

Для точного «прогноза» экзит-пола необходимо, во-первых, правильно отобрать опрашиваемых (т.е. построить репрезентативную выборку), во-вторых, получить надежную (несмещенную) информацию от тех, кого опрашиваем (добиться того, чтобы респонденты откровенно отвечали на вопросы анкеты).

В эти выборы (31 марта 2002 г. ) экзит-пол проводился по инициативе Всеукраинского мониторингового комитета тремя фирмами: Киевским международным институтом социологии (КМИС), фирмой СОЦИС, центром «Социальный мониторинг» (ЦСМ). Исследование финансировалось посольствами США, Швеции, Великобритании и фондом «Відродження». По выборке, разработанной КМИС, на выходе их 850 избирательных участков было опрошено 18240 избирателей.

Сравнение данных экзит-пола и окончательных результатов выборов (см.график 1) показывает, что по всем партиям, кроме блока «За Единую Украину!», расхождение меньше 1%, а упомянутый блок получил на 1,77% больше, чем по данным экзит-пола. Это соответствие является практически идеальным, получить более точную оценку нельзя, даже если бы удалось свести ошибку опроса к нулю (что невозможно). Дело в том, что почти 4% бюллетеней признаны недействительными, а их распределение по партиям, скорее всего, непропорционально. Сделать же прогноз, бюллетени каких партий будут признаны недействительными, социологам не под силу. Поэтому, если теоретически и можно себе представить более точный экзит-пол, то это было бы не за счет усилий социологов, а только как результат особого везения. Поэтому экзит-пол признан очень удачным нашими коллегами, мы получили поздравление от многих американских социологов и полстеров.

О чем это говорит? Ну, во-первых, о том, что украинские социологи освоили новую для них методологию проведения экзит-пола (это, впрочем, было ясно и во время предыдущих выборов). Во-вторых, что проблема построения репрезентативных выборок решена полностью (при выделении достаточных ресурсов на исследование). На первый взгляд, это означает также, что решена и проблема получения несмещенной информации от респондентов. В какой-то мере это, конечно, так, но не следует обольщаться. Эти данные, скорее, говорят о том, что в условиях проведения опроса на улице, когда ситуация обеспечивает респонденту больше анонимности, чем во время проведения обычных опросов в квартирах, респонденты достаточно искренни. Кроме того, я думаю, что украинским социологам просто повезло и у них не было такой же сложной ситуации, как у французских социологов с Ле Пеном: среди претендентов «на парламент» не было настолько одиозных партий, что в сочувствии им было бы стыдно признаться. Проблема искренности ответов респондентов, с моей точки зрения, решена лишь частично. Более очевидно это станет из анализа результатов опросов, проведенных до выборов.

В таблице 1 приведены данные исследований КМИС, СОЦИСа и Центра «Социальный мониторинг», проведенные в первой половине марта и обнародованные на пресс-конференции 14 марта 2002г. (предпоследний день, когда по закону разрешалось публиковать данные опросов). КМИС провел опрос 3–10 марта, опрошено 1993 респондента, ЦСМ — 8–12 марта, опрошено 2886 респондентов, СОЦИС — 26 февраля — 5 марта, опрошено 1200 респондентов. Кроме того, приведены данные Фонда общественного мнения — одной из наиболее известных российских фирм, взятых на сайте ФОМа, опрошено 1809 респондентов. Все данные рассчитаны для тех, кто планировал принять участие в выборах (см. таблицу 1).

В первой половине таблицы приведены данные опросов, которые включают также и тех респондентов, которые еще не решили, как будут голосовать (последняя строка). Поскольку тот, кто приходит на выборы, так или иначе должен голосовать, то чтобы представить себе, что было бы, если бы выборы проходили в период опроса, нужно как-то распределить тех, кто не определился. Одна из наиболее простых, прямолинейных гипотез — это то, что они будут голосовать так же, как и те, кто уже определился. Тогда за 100% принимают тех, кто определился, и рассчитывают проценты по отношению к ним. Мы назвали это прямым прогнозом, или прямой оценкой на день опроса. Эти данные представлены во второй части таблицы. Кстати, именно эти оценки и вызвали наибольшую критику. Однако это еще не прогнозы результатов выборов; прогнозы результатов выборов предполагают более сложные гипотезы о том, как будут голосовать те, кто еще не определился, а также предполагают учет динамики происходящих процессов. Прогнозы результатов выборов по данным опросов, проведенных приблизительно за неделю до выборов, приведены в таблице 2 (ФОМ на своем сайте привел три прогноза, полученных с использованием разных методологий, мы взяли один — наиболее точный). Близкие к данным рассматриваемых нами фирм регулярно давал также Центр Разумкова, однако я не рассматриваю его результаты, так как неясна методология проведенных опросов (ни при публикации результатов, ни на сайте центра не приводится сколько-нибудь подробного описания методологии). Возможно, исследования проведены профессионально, но без знакомства с методологией нельзя быть в этом уверенным (см. таблицу 2).

Средняя ошибка выборки по 33-м партиям для всех центров меньше 1%, средняя ошибка для первых 9 партий не превышает 4%. Точно определили 6 партий, которые преодолеют 4-процентный барьер, КМИС и ФОМ. А наименьшую среднюю и максимальную ошибку прогноза дал прогноз центра «Социальный мониторинг», хотя при этом ошибочно прогнозируется прохождение в парламент Партии зеленых и «Женщин за будущее».

Все прогнозы, кроме ЦСМ, завысили рейтинг блока «Наша Украина» и занизили рейтинг блока «За Единую Украину!». Все прогнозы завысили рейтинг СДПУ(О), особенно ЦСМ, все прогнозы занизили рейтинг блока Тимошенко и Социалистической партии, особенно прогноз СОЦИСа, все прогнозы занизили рейтинг Компартии. С чем связаны эти ошибки? Возможны четыре источника ошибок.

1. Отклонения в выборке. Как видно из результатов экзит-пола, при наличии достаточных ресурсов ошибка выборки минимальна. Однако в обычных опросах, особенно в экспресс-опросах, не хватает финансовых и временных ресурсов на поездки интервьюеров в далекие от транспортных сетей села, где больше сочувствующих коммунистам и «заединщикам».

2. Неверное распределение тех, кто не определился с выбором. Вернемся к таблице 1. Мы видим, что по результатам опроса данные всех четырех фирм, скажем, по «Нашей Украине», отличаются лишь на 2,5% (максимум у СОЦИСА, минимум — у ФОМа), а по прямой оценке на день опроса — на 8,7% (максимум у КМИСа, минимум — у ЦСМ). С чем это связано? Прежде всего, с долей неопределившихся, которая у КМИСа составляет около 30%, ФОМа — 23,5%, СОЦИСа — 19,3%, а у ЦСМ — лишь 12%. В свою очередь, доля неопределившихся зависит от особенностей вопросов, задаваемых респондентам. КМИС стремился наиболее полно имитировать ситуацию выборов, и вопросы о том, собирается ли респондент голосовать и как именно, стоят в самом начале анкеты. А в анкете ФОМа перед вопросом, имитирующим выборы, стоит еще один вопрос о партиях, отвечая на который, респондент входит в проблематику. В итоге доля неопределившихся ниже на 7%.

Чьи же данные более правильны? Это как раз тот вопрос, на который социологи не могут ответить. То, что данные КМИСа, полученные за три недели до выборов, дальше от результатов выборов, вовсе не говорит об их неадекватности. Возможно, наоборот, методика КМИСа дает наиболее чувствительный инструмент для измерения изменений рейтинга (ниже мы приведем соответствующие графики). Однако возможно и то, что КМИС некорректно распределил симпатии неопределившихся пропорционально рейтингам партий среди ответивших. Вопрос о распределении ответов неопределившихся является ключевым для прогноза результатов выборов. Ведь даже небольшие отклонения 30% опрошенных от пропорционального распределения могут существенно отразиться на рейтингах. Существуют различные подходы к решению этой проблемы. Социологи пытаются учесть социально- демографические характеристики неопределившихся, их социальные ориентации, строятся статистические модели для прогноза поведения неопределившихся (см., например, V.Paniotto. The sociological forecasts of presidential elections in Ukraine. — WAPOR-AAPOR 2000 annual conference.— North Caroline, 2000, Vol.1; Хініч М., Хмелько В., Ордешук П. Просторовий аналіз парламентських виборів 1998 року в Україні // Соцiологiя: теорiя, методи, маркетинг. 1999, № 1, стор.59–77; №2, стор.5–43). К сожалению, эти работы пока что не дали убедительного результата, модель, построенная на данных одних выборов, успешно объясняющая полученные результаты, вдруг не работает на следующих выборах и дает прогноз хуже прямой оценки (т.е. пропорционального распределения неответивших).

Можно сказать, что на нынешний день социологи (как украинские, так и зарубежные) не могут решить проблему прогнозирования поведения неопределившихся на момент опроса избирателей.

3. Динамика предпочтений избирателей. Очевидно, что рейтинги партий существенно меняются в ходе избирательной кампании (в противном случае не было бы необходимости и проводить эту кампанию), однако многие почему- то забывают об этом и пытаются трактовать прямые оценки на день опроса, полученные за 3 недели до выборов, как прогноз выборов.

На графике 2 приведена динамика рейтингов основных партий (последние две почти сливающиеся вертикальные оси с датой 31.03.02 — это результаты экзит- пола и официальные результаты выборов соответственно. Как видим, динамика рейтинга разных партий существенно отличается. К сожалению, возможность учета этой динамики в прогнозах проблематична. Если рассмотреть рейтинг СДПУ(О), то, начиная со второй недели февраля, он равномерно падал, поэтому построение линейной регрессионной модели дало бы возможность точно предсказать результаты этой партии на выборах. Однако тот же подход, примененный к прогнозированию результатов Партии коммунистов, привел бы к увеличению ошибки (если наш прогноз занизил рейтинг коммунистов лишь на 1,5%, то применение регрессионной модели увеличило бы эту ошибку почти до 5%). Еще сложнее ситуация с «Нашей Украиной», рейтинг которой сначала падал, потом рос, потом опять падал. Чтобы учитывать динамику рейтингов для прогноза результатов выборов, необходимо понимать, какие факторы влияют на этот рейтинг, уметь измерять эти факторы и объединять в общую многофакторную модель, прогнозирующую рейтинг. С математической точки зрения, это не является сложной задачей, но социологи не могут пока что ни определить теоретически достаточно полный перечень факторов, влияющих на рейтинг, ни практически измерить эти факторы, эта задача не решена.

4. Искренность ответов респондентов. В целом, в социологических исследованиях эта задача решается достаточно успешно, существуют специальные методы контроля ответов респондента, интервьюеры проходят специальную подготовку, как избежать влияния на респондента и добиться искренности ответов и т.д. Мы не имеем возможности детально останавливаться на этом вопросе, но наша оценка показывает, что при опросах по месту жительства конформное поведение респондентов может внести небольшую ошибку (до 2–4%) в оценку рейтингов, часть респондентов не решается сообщить свою точку зрения, если она не совпадает с доминирующей в данном регионе, либо если эти партии резко критикуются властью. Проблема в том, что очень трудно оценить заранее, по каким же кандидатам или партиям будет наблюдаться это расхождение (высокий рейтинг Жириновского или Ле Пена был очень неожиданным для социологов) и насколько велико оно будет. Основываясь на опыте предыдущих выборов, в данной избирательной кампании можно было предположить, что коммунисты получат больше, чем прогнозируется, в западных областях, а национал-демократы больше, чем прогнозируется, — в восточных. Но насколько больше? И почему бы не предположить, что достаточно радикальные партии «Против всех» или «Украинская национальная ассамблея» или, скажем, «Русский блок» получат гораздо больше, чем в опросах? Между тем этого не произошло.

Если подытожить сказанное, то можно утверждать, что профессиональные социологические фирмы полностью решили проблему построения репрезентативных выборок, частично решили проблему искренности ответов респондентов, не решили проблему оценки предпочтений неопределившихся респондентов и не решили проблему учета динамики рейтингов партий. Другими словами, профессиональные социологические фирмы могут очень точно проводить экзит- полы, достаточно точно оценивать рейтинги партий и состояние общественного мнения на период опроса и весьма приближенно давать прогнозы рейтингов (особенно на период больший, чем неделя).

Что же касается критики некоторыми социологами результатов работы рассмотренных нами фирм, то она крайне недобросовестна, так как не рассматривает реальные проблемы, стоящие перед социологами как профессионалами, а производит подтасовку с помощью нескольких простых приемов:

1) рассматривает результаты на последний день публикации в открытой печати (т.е. по данным, полученным за 3 недели до выборов и приведенные в таблице 1 по состоянию на 14 марта), а не последние данные КМИСа, СОЦИСа и ЦСМ, размещенные на сайтах и сведенные нами в таблицу 2;

2) рассматривает данные 14 марта как прогноз, а не оценку на день выборов, хотя прогнозы делались только в последних данных, размещенных на сайтах; в пресс-релизах же 14 марта было ясно сказано, что это результаты ПРИ УСЛОВИИ, ЧТО ВЫБОРЫ БУДУТ 10 МАРТА. Критики же как бы не замечают этой фразы и трактуют данные так, будто вообще нет никакой динамики рейтингов;

3)делаются намеки на возможность сознательного искажения данных, в частности, предполагается, что ведущие социологические фирмы могли намеренно завысить рейтинг блока «Наша Украина», чтобы население присоединялось к безусловному победителю (наши данные, кстати, показывают, что поведение избирателей не настолько тривиально, а высокий рейтинг блока Ющенко принес ему больше вреда, чем пользы — часть избирателей, будучи уверенными, что блок Ющенко пройдет в парламент, поддержали свой «второй выбор» и голосовали за блок Тимошенко и Социалистическую партию, положение которых было сомнительным).

Все это показывает, что эти выступления не являются профессиональным обсуждением, а либо намерением выслужиться перед властями, неоднократно критиковавшими работу социологов, либо недобросовестной борьбой за будущие заказы во время президентской кампании, попыткой малоизвестных центров бросить тень на наиболее профессиональные фирмы и обратить на себя внимание.

Ксожалению, политизированность исследований электорального поведения избирателей далеко не всегда дает возможность профессионального обсуждения в Украине стоящих перед социологами проблем, как это происходит при обсуждении, скажем, измерения социальной структуры или уровня бедности. Поэтому наиболее плодотворные дискуссии, как правило, проходят на международных конференциях.