Недоверие к результатам массовых опросов давно стало общей фигурой речи. Даже известная, озвученная Марком Твеном формула о трех видах лжи отступила на второй план. Кажется, что нет более сомнений в ангажированности и прямой подкупности исследовательских компаний. Причин тому несколько, и лежат они на поверхности.
Здравый смысл говорит, что лгут, безнаказанно и безнадзорно
Во-первых, раз за разом повторяющиеся сбои результатов электоральных прогнозов. Последний, на выборах мэра Москвы в 2013 году, удивительным образом совпал с более низким уровнем фальсификаций, зафиксированным независимыми наблюдателями, волонтерами от тех или иных движений партий. Одновременно только начинающая работу социологическая служба Алексея Навального предоставила точный прогноз, поставив на место всю большую тройку опросных центров: Фонд «Общественное мнение», ВЦИОМ и Левада Центр.
Во-вторых, регулярно возникающие странные и весьма экзотические тендеры, государственные закупки, направленные на удовлетворение нужд в информации посредством так называемых социологических исследований. Экзотичность последних в первую очередь определяется ценой и сроками. Как правило, это многомиллионные контракты, выполняемые за несколько месяцев, а у самых алчных товарищей и за несколько недель. Если в 1990-е наиболее простыми схемами по «освоению» бюджетных средств считались дорожные и строительные работы, то в 2000-х на первый план вышел более привлекательный и безопасный вид коррупционного продукта, результаты которого измеряются количеством исписанных страниц и прямых совпадений фраз в техническом задании и отчетной документации.
В-третьих, с серьезным видом и претензией на большую науку за проведение опросов берутся любые государственные органы, коммерческие структуры, физические лица. Тысячи приложений и гаджетов позволяют без труда нарисовать анкету, запустить ее в нужную аудиторию и получить какой-то результат. Немного терпения, экспериментов с формулировками и местом спонтанного опроса, и любой может получить всю палитру возможных распределений в одном месте от полностью поддерживающих российскую власть, в другом — призывающих к юридическому преследованию всех без исключения государственных служащих. Мнений много, они разнообразны, и зафиксировать, объективно представить в опросе — это либо чудачество, либо прямой расчет, направленный на удовлетворение чьих-то интересов.
Привыкание к публичной лжи
В русском языке для всех трех ситуаций наиболее подходит простое слово из четырех букв — «ложь». Слишком высок соблазн для глашатаев истины, слишком много искушений на пути представления частных суждений, складывающихся в монолитное общественное мнение. Страх перед мнением большинства подталкивает интеллектуалов к поискам лжи и подтасовок указанием на недобросовестность, недоброкачественность опросных технологий. Чего стоит медийный шум вокруг «крымского опроса» (март 2014), показавшего беспрецедентную поддержку россиянами политики государства по присоединению Крыма. Обвинения в ангажированности и бесчестии организаторов опросов (ВЦИОМ и ФОМ) поначалу зашкаливали. Страсти вскоре утихли, но осадок остался: недоверие к результатам, брезгливость к доводам, отчуждение от людей, профессия которых связана с опросными технологиями. Теория тотальной лжи массовых опросов слишком хорошо объясняет текущую ситуацию, чтобы как-то оспаривать ее выводы. Социологи и полстеры могут лгать, как могут лгать и депутаты, политики, государственные деятели, в очередной раз раздавая заздравные обещания, не скупясь в последних как раз тогда, когда ситуация становится все более проблематичной. Начали убеждать в стабильности рубля, экономическом подъеме, социальной стабильности — жди беды. Нет лучшего сигнала для самых сильных потрясений, чем череда оптимистических прогнозов с экранов телевизоров. Личный опыт, обыденное сознание подводит в России намного реже, нежели публичные картинки и графики общественных настроений.
Ложь как часть технологии и логический оператор
Не претендуя на слом представлений об опросах общественного мнения, я лишь предлагаю поразмышлять над альтернативной объяснительной моделью, дополнительной конструкцией, подвергающей сомнению укоренившийся у нас диагноз профессиональной лживости социологов и полстеров. В чем состоит ложь массовых опросов? Как конструируются ошибочные выводы? Кто берет на себя реальную ответственность за вранье? Из чего и как складываются лживые утверждения? Я отнюдь не занимаю позицию, что в опросах лжи нет. Дыма без огня не бывает. Опросные технологии в России лгут, но ложь эта весьма специфична.
Современный подход к методологии массовых опросов рассматривает результаты социальных измерений с точки зрения полученных ошибок. Проводя измерения социальной среды, мы не можем контролировать все условия, потому известная формула «при всех прочих» работает лишь как отписка, уход от серьезного разговора. Опросы — это всегда баланс между возможными и состоявшимися ошибками. Методология — это дисциплина, их анализирующая.
Традиционно выделяют два вида ошибок: измерения и репрезентации. Первые связаны с опросным инструментом: анкетой, работой интервьюера и супервайзера, неряшливыми формулировками, механическим отношением к коммуникации. Вторые указывают на особенности формирования выборки, точнее на расхождение между проектируемой, написанной на бумаге и реализованной, фактической выборками.
Основные ошибки измерения приходятся на коммуникацию, на то, как фактически задавался вопрос, как регистрировались данные. Они не видны. Выявление ошибок требует специальных экспериментальных планов, которые, например, представлены в технологиях когнитивных интервью. Но косвенно об ошибках измерения можно догадаться по написанным анкетным вопросам.
Отрицательный опыт выборочных исследований
Ситуация с выборкой хуже. С точки зрения здравого смысла технология выборочного опроса непрозрачна и порой безумна. Чего стоят процедуры подсчета дверей после результативного поквартирного интервью, обращение к тому или иному человеку по формальным бесчеловечным правилам, подсчеты «сказочных» доверительных интервалов, случайный отбор населенных пунктов и так далее. Полстеры прячутся за ширмой научности, принуждая обывателя поверить в некую недоступную здравому смыслу истину. Статистике надо учиться. Это объяснение и становится первым шагом в конструировании лжи, уловкой массовых фабрикаций.
Многие российские опросные центры справили не один юбилей. Десятилетия исследовательской работы, сотни тысяч архивных документов, матрицы и базы данных, отражающие всевозможные срезы общественного мнения. Кажется, уже обо всем спросили, все узнали. Куда же больше?
Действительно, ответов накоплено уже столько, что потребность в дополнительных исследованиях начинает снижаться. Информацию для многих решений можно почерпнуть из состоявшихся проектов. Почему же ни одно из российских агентств не рассматривает рынок вторичных данных как серьезную опору для очередного проекта? Почему профессионалы отказываются от обращения к уже реализованным исследованиям коллег, поднимая архивную информацию скорее для иллюстрации, нежели для значимого аргумента? В лучшем случае исследовательский опыт необходим для построения временных рядов. В самодостаточности данным прошлых лет отказано.
Отсюда нет конкурентного преимущества в долгой истории. Любой пришедший на исследовательский рынок за пару лет создает репутацию. Иногда достаточно одного успешного предсказания, чтобы заговорили о состоявшейся компании. Пример с социологической службой Навального весьма показателен.
Да, социологи лгут
Так уж повелось, вопросы выборки не обсуждаются. «Это удел профессионалов», «покажите мне результаты, а то, как вы их получили, дело ваше» — позиция, подталкивающая к фабрикациям. Продукция, отданная на откуп производителя, никак и никем не анализируемая с точки зрения потребительских свойств, быстро редуцируется до красочной упаковки. Выборки в современной российской практике — это упаковки без содержания, презентации состоятельности, холсты с яркими красками, закрывающие пустоты реальной активности.
Ложь социологов, полстеров начинается с фигуры умолчания. В отчетах, публичных выступлениях, журнальных статьях подробно или походя описываются выборки или процедуры и параметры исследовательской активности: кого опрашивали, как опрашивали, где опрашивали, какие ошибки выборки допустили… Формально никаких претензий. За исключением одной поправки: все, без исключения, описания выборки — это описание проекта, предположения, задания для дальнейшей работы. Проектируемая выборка указывает на интенцию, желание исследователя, некоторую норму опросного механизма. Это все равно что, покупая шоколад, мы бы радовались исключительно упаковке с надписью, что он содержит только натуральные продукты, какао не менее 48%, выпускается с 1976 года, имеет медали с международных выставок. Каков он на вкус — не наше дело. С шоколадом проще. Мы не покупаем только упаковки. Любой покупатель придет в негодование, если откроет коробку и не обнаружит продукта. Ситуация с выборкой ровно такая. Это коробки без продуктов.
Продукт выборочного исследования — это не только набор ответов и таблицы с распределениями. Во-первых, это оценка неответивших, тех, кто был включен в проектируемую выборку, но по тем или иным причинам не был опрошен. Во-вторых, это выяснение причин не ответов и проведение мероприятий по их снижению — мероприятий, которые в свою очередь запротоколированы и проранжированы по эффективности их воздействия на выборку. В-третьих, анализ отклонений от выборочных правил и процедур: соблюдения маршрута, отбора респондента внутри домохозяйства, правил обращения к незнакомцу на улице и так далее. Каждый выборочный дизайн сопровождается своим набором различений и требований. Попробуйте задать эти вопросы «профессионалам», и вы обнаружите, что такой опции просто нет. Им нечего сказать, поскольку упаковка не требует регистрации и сохранения продукта.
Несколько лет назад я разговаривал с одним из ведущих специалистов в России по конструированию выборки. Занудно задавал один и тот же набор вопросов: «Почему не регистрируете отказы? Почему не анализируете ситуацию прохождения маршрутов? Почему не накапливаете данные о реализованной выборке?». Ответ обескуражил. Во-первых, работа с выборкой — не декларация, а работа — чрезвычайно дорогое занятие. Удорожание всего исследования может быть в разы. Но и это не все. Увеличивается время проведения опроса. Поэтому эффективность работы компании в единицу времени снижается сразу по двум направлениям не в два, а в три или четыре раза. Во-вторых, такая информация никому не нужна. Заказчик не знает и знать не хочет о реальных трудностях полевой работы. Ему нужны только распределения. Зачем перегружать его дополнительной информацией, если он уже готов платить при ее отсутствии? Зачем предлагать покупателю шоколад, если он готов платить только за упаковку? В-третьих, если мы получим данные о реализованной выборке, то, скорее всего, придется пересмотреть устоявшиеся дизайны и нормы ее проектирования. Фактически разработанные уже столетие назад правила и нормы научной выборки давно работают только на бумаге. И любое фактическое описание ситуации подрывает легитимность работы целой индустрии. Ложь поддерживает ложь.
В публичных дискуссиях мы много говорим об ангажированности социологов. После крымского опроса мне не раз приходилось слышать высказывания о непозволительной продажности полстеров, позор от которой уже не смыть десятилетиями. Но подобные рассуждения лишь укрепляют лживые конструкции. В российской индустрии массовых опросов за два десятилетия сформировалась куда более устойчивая привычка лгать. Основа ее — подмена продукта упаковкой, развитие технологии предъявления картонных описаний исследовательской активности. Разговор о полстерской технологии лжи неудобен никому: ни заказчикам, ни социологам, ни интервьюерам, ни респондентам, потому и живем с фигурой умолчания и рассуждениями о «как если бы» опросах.
Источник: postnauka.ru
