Качество данных исследований аудиторий СМИ

М ы попросили ответить на несколько наиболее акту-
альных вопросов, касающихся качества исследований аудиторий СМИ, ведущих специалистов нескольких петербургских исследовательских организаций, использующих в своей работе различные методы опроса населения.
Цель публикации — помочь нашим читателям разобраться в том, какие данные наиболее точно отвечают их информационным запросам и на что нужно обращать внимание, формулируя запрос исследовательской фирме.

Участники “заочного” круглого стола:
Анастасия Чанько, директор по маркетингу “Независимого аналитического центра”,
Александр Ерофеев, директор по маркетингу “GALLUP St. Petersburg”,
Дмитрий Канаев, управляющий отделом маркетинговых и социальных исследований исследовательской фирмы “ГОРТИС”.

Что можно сказать о надежности данных
по аудиториям СМИ, получаемых различными исследовательскими методами?
Анастасия Чанько: “Качество информации, получаемой в ходе любого социологического исследования, определяется множеством факторов, поэтому вопрос о влиянии метода сбора информации на надежность результатов исследования содержит в себе множество подвопросов. В общем виде принято считать полученную информацию надежной, если учтенные в исследовании ошибки не превышают заранее заданных величин и отсутствуют неучтенные ошибки.
Все возможные ошибки социологического исследования обычно классифицируются на две основные группы: теоретические и инструментальные.
Теоретические ошибки — это ошибки, связанные с несовершенством теории, положенной в основу метода исследования. Так, например, использование в исследовании вопросов типа “Какие радиостанции Вы слушаете чаще всего?” содержит теоретическую ошибку, если с помощью этого метода пытаются получить данные о рейтингах и аудиториях СМИ, и не содержит теоретической ошибки, если ставится задача получить данные о предпочтениях и известности радиостанций. В первом случае ошибка состоит в том, что вместо измерения того, как люди слушают, исследуются их субъективные представления об этом — предпочтения. Во втором случае ошибки нет, так как субъективные оценки зрителей и слушателей — это и есть реальная оценка известности и предпочитаемости канала СМИ.
Отсутствие в информации теоретических ошибок или учет их вероятного влияния называется валидностью (обоснованностью) информации и используемого метода ее сбора. Полученные данные валидны, если измеряется именно то, что требуется измерить.
Инструментальные ошибки принято делить на ошибки регистрации и ошибки репрезентативности.
Случайные ошибки регистрации возникают в результате неправильного установления фактов или неточной их записи. Такие ошибки в исследованиях аудиторий СМИ бывают, в основном, при заполнении первичных документов (анкет, дневников и т.п.). Ошибки такого рода неустранимы, их нельзя исключить в любом исследовании. Однако их можно корректировать с помощью статистических и содержательных способов проверки.
Систематические ошибки регистрации вызываются вполне определенными причинами: неправильным выбором метода сбора или обработки данных, постоянным влиянием некоторых внешних факторов и т.п. Так, например, использование метода “day after recall” для определения рейтингов и аудиторий СМИ, когда респондентов спрашивают о том, какие передачи они смотрели вчера, содержит систематические ошибки регистрации, так как точность ответов респондентов зависит от характеристик их памяти, которые невозможно учесть в исследовании.
В результате рейтинг и аудитория некоторых передач систематически завышаются, а какие-то передачи систематически не регистрируются вообще, хотя имеют ненулевой рейтинг.
Точно так же существуют систематические ошибки регистрации при исследовании рейтингов и аудиторий СМИ с помощью специальных устройств — peoplemeter’ов, так как этот метод дает очень точные данные о временной динамике настройки телеприемника на определенный канал, но не позволяет сказать ничего о том, смотрели ли зрители телевизор или, к примеру, находились в другом помещении.
Кроме того, к ошибкам регистрации относятся ошибки, обусловленные работой интервьюеров.
Во-первых, возможна намеренная фальсификация данных — интервьюер просто не проводит опрос или проводит его только частично, а данные подделывает.
Во-вторых, вероятно и ненамеренное искажение данных — личность интервьюера может оказывать влияние на респондента, словно “подсказывая” ему тот или иной вариант ответа. Такие ошибки могут быть выявлены непосредственной проверкой. В общем случае для получения точных измерений предпочтительно использовать методы, в которых влияние личности интервьюера минимально.
Ошибки репрезентативности также бывают случайными и систематическими.
Случайные ошибки репрезентативности возникают при отборе единиц, подлежащих изучению, и являются фактически неизбежными в выборочном исследовании. Размер случайных ошибок зависит от способа отбора респондентов, от степени колебаемости признака в совокупности и от размера выборки. Влияние случайных ошибок учитывается с помощью математических методов.
Систематические ошибки репрезентативности могут быть как связаны, так и не связаны с процедурой отбора.
В первом случае они возникают из-за применения несоответствующего списка единиц генеральной совокупности (обычная ошибка в наших условиях, во-первых, потому, что полные списки единиц генеральной совокупности, как правило, недоступны, во-вторых, потому, что отсутствует статистика по распределению генеральной совокупности как по основным социально-демографическим, так и по содержательным характеристикам).
Наиболее часто встречающимися источниками ошибок репрезентативности в исследованиях аудиторий СМИ являются недостаточный объем выборки и наличие “перекосов выборки” — недостаточная или, наоборот, чрезмерная представленность в выборке некоторых групп респондентов (типичный пример — постоянно завышенная доля респондентов с высшим образованием при телефонных опросах — из-за “нерепрезентативности” телефонизации). Перекосы выборки могут устраняться либо за счет тщательного построения и планирования выборки, либо специальными процедурами, заключающимися в приведении ыборки в соответствие генеральной совокупности — “ремонт” выборки, либо с помощью специальных расчетов, так называемого “взвешивания”.
Основной причиной ошибок во втором случае является то, что в выборке всегда остаются неизученными некоторая доля единиц, с которыми затруднен контакт (это, например, наиболее высокодоходные группы населения, крупные государственные руководители, деятели искусства и т.д.)
Таким образом, информация исследования будет надежна, если она валидна, правильна и точна.
Различные методы в разной степени позволяют избежать всех перечисленных ошибок. Однако, важно не столько полностью исключить ошибки, сколько осознанно контролировать их влияние и соответственно интерпретировать результаты, а это можно сделать при любом методе исследования”.

Дмитрий Канаев: “Непосредственно качество результатов исследования от метода сбора первичной информации не зависит. Можно говорить о сложности и целесообразности использования того или иного метода в каждом конкретном случае.
Проблема выбора метода актуальна именно для Санкт-Петербурга, как для города с одним из самых высоких уровней телефонизации в России. Построение телефонных выборок, репрезентативных по основным социально-демографическим параметрам, возможно в населенных пунктах с уровнем телефонизации более 75%. В Петербурге телефонизированы более 80% квартир.
Личное интервью можно и нужно использовать при проведении опросов по направленным выборкам (получение информации о конкретной группе населения). Личное интервью незаменимо в том случае, когда необходимо представление респонденту значительного объема наглядной информации.
Однако, при реализации поквартирно опроса перед интервьюером встает два вопроса.
Во-первых: “Как попасть в подъезд с кодовым замком?” Следовательно, часть квартир остается принципиально недоступной для опроса, что делает результаты опроса нерепрезентативными.
Во-вторых: “Как уговорить людей впустить незнакомого человека в квартиру?” Можно предположить, что наиболее обеспеченные слои населения предпочтут все-таки не открывать дверь, т.е. быть опрошенными, а это, естественно, исказит результаты всего исследования.
Московские исследовательские организации используют в ходе сбора информации о медиапредпочтениях россиян личное интервью, потому что других методов реализации общероссийской выборки не существует. Уровень телефонизации России (подавляющего числа городов и населенных пунктов) не позволяет строить репрезентативные выборки для опроса по телефону”.

Какие есть особенности в подходах
к исследованиям аудиторий прессы, телевидения и радио?
Александр Ерофеев: “Безусловно, существуют определенные особенности применения различных методик для изучения различных СМИ. Главное правило при выборе методики — чем сложнее задача, тем более изощренные подходы требуются для ее изучения.
Размеры выборок для исследования разных СМИ определяются используемой системой показателей медиапланирования для данного СМИ. Так, исследования прессы обычно эффективны при выборке 1000, а исследования радио с помощью интервью требуют очень больших выборок, что связано с необходимостью определения рейтингов 15-минутных интервалов, так как рейтинг станции за день не дает возможность оценить охват для конкретного выхода рекламы.
Для телевидения опрос на выборке 1000 позволяет получить разовые аудитории только основных передач, однако уже небольшая панель (300—400 семей) дает возможность определить накопленные аудитории за период, что очень важно для длительного медиапланирования”.

В какой мере размер выборки влияет
на качество исследования аудитории СМИ?
Александр Ерофеев: “Важно подчеркнуть, что размер выборки не является показателем надежности данных как таковых — однако меньшие по размеру выборки приводят к снижению статистической достоверности результатов, росту статистической ошибки измерения. Иными словами, чем меньше выборка, тем больше интервал, в котором с определенной вероятностью может находиться значение. Большие выборки позволяют более корректно оценивать структуру аудиторий небольших СМИ.
Однако с определенного уровня размер выборки мало влияет на точность измерения аудитории, ведь если для выборки 1000 предельный размер ошибки составляет 3,2% от значения показателя, то для выборки 3000 — 1,8%, то есть увеличение объемов работ (и расходов) в три раза приводят к снижению погрешности в 1,7 раз.
Фактически покупатель данных СМИ должен сам для себя определить, какой уровень точности ему необходим. При этом международный опыт показывает, что для общенациональных исследований СМИ оптимальными являются выборки от 3000 до 8000 человек, для региональных — от 1000 до 2000 человек. То есть все методически правильно собранные данные применимы, другое дело, что одни данные позволяют рассчитать точный медиаплан, а другие — определить с некой ненулевой достоверностью, что аудитория одной газеты больше аудитории другой”.
Дмитрий Канаев: Если вы хотите получить достоверные данные о составе и предпочтениях какой-либо целевой группы, то в выборке должно быть не менее 30—50 респондентов, представляющих эту группу. Например, если мы хотим получить сведения о руководителях высшего звена, которые составляют 2—2,5% взрослого населения города, то надо опросить не менее 1500 человек. Именно требования к минимальной группе, подлежащей описанию, определяют размер выборки. Нельзя по результатам опроса 1000 респондентов предоставить статистически надежную (достоверную) информацию о структуре аудиторий размером менее 10000 чел.
Впрочем, утверждение — чем больше человек опрошено, тем лучше результаты, не совсем соответствует действительности. Точность и достоверность результатов зависят прежде всего не от объема выборки, а от ее состава или структуры. Можно опросить и 10000 человек, но при “неправильном” подходе к отбору респондентов, возможно, выборка не будет репрезентативной. Именно для репрезентативной выборки можно утверждать, что мнения, предпочтения и привычки опрошенных лиц в такой же пропорции свойственны всему населению”.

Допускаете ли вы возможность намеренного искажения информации исследовательскими фирмами?
Анастасия Чанько: “Слухи о “покупных” рейтингах, очевидно, следует считать одной из особенностей российского рынка. Уже долгое время проводя исследование аудиторий по собственной инициативе, мы не раз сталкивались с парадоксальной ситуацией: любимым вопросом некоторых потребителей информации о рейтингах СМИ является вопрос о некоем заказчике таких исследований. Когда же следует прямой ответ, что никакого заказчика нет и что исследование ведется нами на собственные средства, а его результаты доступны всем, некоторые просто наотрез отказываются верить.
Ситуация усугубляется еще и тем фактом, что результаты рейтинговых исследований часто не соответствуют обыденным представлениям, а рекламу до сих пор некоторые считают искусством, которое умом не понять и, очевидно, не измерить.
Основной “капитал” для исследовательской фирмы — ее репутация. Если хоть один случай недобросовестности и, тем более, “покупки” рейтинга станет известен — доверять любым исследованиям такой фирмы клиенты вряд ли будут”.
Дмитрий Канаев: “Продажа рейтинга ставит крест на исследовательском бизнесе. Очевидно, что стоимость рейтинга должна в несколько раз превышать доходы фирмы от исследовательской деятельности. Покупать у нас рейтинг — дорого. Трудно предположить, что кто-то заплатит за “хорошее место” несколько сот тысяч долларов”.
Александр Ерофеев: “Мы думаем, что слухи о заказных рейтингах связаны с тремя причинами:
— во-первых, реакцией на низкие рейтинги малопопулярных СМИ, не желающих смириться со своим незавидным положением;
— во-вторых, непониманием потребителями вероятностной природы опросов по СМИ, когда любое значение может совершенно самостоятельно, без злого умысла со стороны исследователя “скакать” в пределах ошибки измерения;
— в-третьих, отсутствием единой системы показателей аудиторий СМИ, когда одинаково звучащие параметры могут на самом деле относиться к разным явлениям, соответственно будут и очень разные рейтинги“.

Придерживаются ли исследовательские фирмы уже выработанных и принятых исследовательским сообществом стандартов
в исследованиях СМИ?
Анастасия Чанько: “Весной прошлого года в Москве проходила конференция, организованная Национальной ассоциацией телевещания. В конференции принимали участие ряд центральных и региональных телеканалов России, ведущие исследовательские фирмы, работающие в Москве и регионах, крупнейшие российские и рекламные агентства.
Петербург был представлен социологической службой телекомпании “Петербург-5 канал” и “Независимым аналитическим центром”.
Итогом конференции явилось принятие минимальных стандартов измерения телеаудиторий, регламентирующих основные определения и требования к результатам медиаисследований в России. К принятым на конференции соглашениям уже присоединились большинство московских исследовательских организаций, телеканалов и ведущих рекламных агентств”.
Александр Ерофеев: “Процесс современного медиапланирования требует использования определенного набора базовых показателей аудиторий, который должен быть стандартным. Существует список этих показателей, разработанный Европейской ассоциацией исследователей СМИ и рабочей группой по исследованиям СМИ Европейской ассоциации исследователей рынка и общественного мнения (ESOMAR).
Кстати, во многих небольших европейских странах существует только одно общенациональное исследование в области изучения аудиторий СМИ, этот проект финансирует местная ассоциация рекламных агентств и рекламоносителей на паевой основе. Данные, полученные в результате подобных исследований, являются общедоступными и de facto официальными.
Другое дело — стандартизация методики получения этих показателей. Здесь каждая фирма обладает своими know how и стремится доказать, что ее подход самый лучший. Здесь стандартизация приведет к падению уровня новых разработок, что негативно скажется на развитии рынка”.

Должен ли клиент разбираться в методологии работы каждой конкретной фирмы?
Дмитрий Канаев: “Потребитель информации может, но не должен вникать в тонкости механизма создания информации, которую он использует или планирует использовать в своих интересах. Потребитель должен быть уверен только в том, что результаты с приемлемой для него точностью описывают фактические медиапредпочтения населения.
Результаты исследований размеров и структуры аудиторий средств массовой информации — это инструмент для решения определенных задач. Использование любого инструмента требует специальных знаний и опыта. К сожалению, не все пользователи понимают, что мало купить информацию, надо еще уметь (научиться) ее использовать”.
Анастасия Чанько: “Почему-то этот вопрос стал в последнее время много обсуждаться, причем не потребителями, а в узких профессиональных кругах. Часто можно услышать мнения о том, что “все методы хороши”, и “непрофессионал не может понять достоинства и недостатки того или иного метода”, а также рекомендации, в которых советуют обращать внимание не на содержательную часть работы исследователей, а, так сказать, “на обертку” — стиль работы с клиентами, внешнее оформление материалов, состав сотрудников фирмы и т.п. Здесь хочется провести аналогию с медициной — “полы паркетные — врачи анкетные”.
Вопрос же о том, что потребитель должен, а чего не должен, следует предоставить решать самому потребителю”.
А лександр Ерофеев: “Как кажется, клиент как юридическое лицо не должен разбираться в методологии каждой конкретной фирмы. Однако любой серьезный покупатель исследований СМИ должен располагать специалистом, способным оценить качество разработки и дать рекомендации по выбору лучшего варианта”.

Влияет ли на воспроизводимость результатов исследований СМИ отсутствие сложившихся информационных предпочтений населения?
Анастасия Чанько: “Постоянное появление новых СМИ, смена форматов, сетки и зон вещания телеканалов и радиостанций приводят к тому, что четко выраженная аудитория у многих СМИ просто отсутствует. В структуре аудитории, особенно в структуре аудитории радиостанций и газет, постоянно происходят довольно существенные изменения. Это требует частого повторения волновых замеров, а лучше всего — ведения непрерывного мониторинга”.
Александр Ерофеев: “Отмеченная проблема является очень важной как с научной, так и с прикладной точки зрения. Действительно, для России можно говорить об отсутствии устойчивой связи между социальным статусом потребителя и его медиапредпочтениями, то есть об “информационной дезориентированности” потребителя СМИ. При этом сейчас уже есть СМИ, имеющие явно выраженные профили читателей.
Следствия этого существенны лишь для самих изданий и рекламодателей. Для исследователей СМИ особой проблемы нет, единственно, требуются более тонкие методики определения аудиторий новых СМИ”.

Как решается проблема включения изданий
с относительно небольшими рейтингами
в программу исследований СМИ?
Александр Ерофеев: “Проблема низкорейтинговых изданий является достаточно серьезной для любого исследователя СМИ. Фактически, однако, это проблема прежде всего печатных СМИ, так как для электронных СМИ массовость и популярность являются необходимыми условиями существования. Кстати, последнее сообщение подобного рода — канал CNN прекратил коммерческое вещание для испаноговорящих жителей США из-за убыточности проекта. Между тем, “элитные” журналы вроде Vogue имеют миллионные тиражи.
В общем, нет проблем с включением таких СМИ в анкету, однако даже на выборке в 5000 человек газета с аудиторией одного номера 0,5 процента от всего взрослого населения города (что, кстати, значит 20000 человек — тираж многих так называемых “элитных” изданий) дает подвыборку в 25 человек, что явно недостаточно для получения статистически надежной информации, например, о составе ее аудитории.
Решение проблемы оценки аудитории низкорейтинговых изданий состоит в проведении специализированных исследований для каждого конкретного СМИ на их целевой группе. Опыт таких исследований обычно положителен и позволяет владельцам подобных СМИ привлекать рекламу, не дезинформируя рекламодателя. Такие исследования дороже обычного медиаотчета, но никакого иного методически корректного решения нет. По крайней мере, именно такие исследования используются для оценки аудиторий изданий Издательского Дома Коммерсантъ (Домовой: Деньги) и группы Independent Media (Cosmopoliten, Moscow Times)“.
Дмитрий Канаев: “Размер и структура аудитории этих изданий в основном зависят от системы распространения тиража, что в свою очередь определяется отраслевой специализацией. Именно через систему распространения тиража анализируются аудитории малотиражных изданий”.
Анастасия Чанько: “Технология проводимого нами постоянного измерения аудиторий СМИ подразумевает наличие жестко фиксированного числа СМИ, размеры аудитории которых мы сейчас знаем и по которым можем получить достоверную детальную информацию. Однако, включение в программу исследования новых телеканалов, радиостанций и газет с целью первоначального установления размеров их аудитории — сложностей не вызывает и вполне возможно“.

Может ли исследовательская фирма полностью контролировать качество работы своих интервьюеров?
Дмитрий Канаев: “Студенты, школьники, знакомые, желающие подзаработать, или сотрудники фирмы, временно привлекаемые для сбора первичной информации, — это не интервьюеры. Интервьюер — это профессия. Люди хорошо работают на стабильно оплачиваемой работе.
Экономическая целесообразность и жесткий контроль — основа качественной работы интервьюеров. Текучесть кадров в штате интервьюеров — большой минус. Опыт работы — плюс. Профессиональные навыки интервьюеров, основанные на опыте работы, а также постоянный контроль со стороны фирмы за фактом и качеством проведения опросов позволяют гарантировать высокое качество первичной информации”.
Анастасия Чанько: “Для контроля качества работы интервьюеров в ходе исследования аудиторий СМИ нами применяется следующая схема, включающая не только проверки, но и обучающие мероприятия:
Во-первых, непосредственный контроль интервьюеров: обзвон семей респондентов, принимавших участие в исследовании. При обзвоне фиксируется не только факт проведения опроса, но и впечатления респондентов от работы интервьюера.
Во-вторых, статистическая проверка работы интервьюеров: заключается в проведении специального анализа введенных данных. В результате могут выявиться зависимости, могущие служить основанием для сомнений в качестве работы того или иного интервьюера. В этом случае проводится дополнительная тщательная проверка, и если подозрения подтверждаются, то сомнительные данные изымаются из обработки.
В-третьих, контроль качества заполнения и редактирование дневников: заключается в приведении содержания дневников в соответствие сетке вещания телеканалов и радиостанций. Дневники с большим количеством ошибок подобного рода также в дальнейшем не обрабатываются.
И, наконец, регулярное проведение психологических тренинговых занятий для интервьюеров по специально разработанным методикам, направленным на обучение интервьюеров и развитие профессиональных навыков. Основная цель тренингов — добиться ситуации минимального влияния личности интервьюера на респондентов и их ответы”.
Александр Ерофеев: “Является глубоко ошибочным тезис о том, что интервьюер должен быть как-то прямо заинтересован в объективности данных. Роль интервьюера — быть посредником, транслятором между исследователем и респондентом, всякая его заинтересованность приводит не к объективности (так как разные интервьюеры по-разному понимают объективность и “правильность” своих вопросов), а к большей субъективности данных.
Замечено, что по прошествии времени интервьюеры начинают нарушать методику, думая, что они лучше исследователя знают кого и как надо опрашивать. Такие интервьюеры немедленно выводятся из действующего состава, и обычно это происходит через 1—2 года после начала работы”.

Круглый стол подготовил Сергей Соловьев