Арте?Тинчурин, Генеральны?директор Tiburon Research |
Вс?знаю? чт?онлайн-исследован? ?эт??первую очеред?онлайн-панель (online access panel). Качество панели действительн?критично для качества собираемых данных, но только ли он? Любо?опро??эт?люди ?то, ка?мы этих люде?опрашиваем. Если за «качество» люде?отвечает организато?панели, то за качество процесса опроса ?то? кт?пише?анкету ? ?случае онлайн-опроса, то? кт?ее программируе?
От чего зависи?качество онлайн-анкеты ?зависи?ли вообще? Для того, чтоб?ответить на этот вопрос мы провел?
параллельный тест ?сравнили данные полученные пр?помощи «хорошей??«плохой» анке?
Предыстория
Вс?началось ?заботы ?собственно?панели. Отслежив? базовы?показатели удовлетворенност?участников панели InternetOpros.ru, мы пришли ?выводу, чт?не вс?анкеты одинаков?полезн?
|
Иностранны?анкеты
|
Локальны?анкеты
|
Законченны?анке?/b> (от те? кт?прошел отбо?
|
80%
|
92%
|
Удовлетворенност?панелистов опросо?(top-2, 4-балльн? шкал?
|
82%
|
93%
|
Источник: данные Tiburon Research (панель InternetOpros.ru), 468 проектов.
Невооруженны?глазом видн? чт?российские анкеты панелистам нравятся больше. ?иностранны?анке?мног?пробле??эт?
не только язы??релевантност?те?опросо?/i>, но ? ка?ни странн? сравнительно низкое качество программирован? (форматирование, переходы, логика работы вопросов ???).
?? качество программирован? анке?вещь субъективн?, мы решили проверит? есть ли по?нашими субъективным?оценками реальн? база ?провел?натурный эксперимен?
Дизайн эксперимента
Для исследован? мы выбрал?нейтральну??попу?рную тему ?новостны?сайт? написали анкету на заданную тему ?запрограммировал?ее двумя способам? «плохо??«хорошо». Причем ?точк?зрен? формулировок вопросов, комментариев ?вопросам ?варианто?ответо?об?анкеты были абсолютн?идентичн? Различалис?он?только визуальным представлением.
Сами анкеты можн?посмотреть здес?
«Плохая?анкета
«Хорош??анкета
Справедливости ради нужн?сказат? чт?даже «плохая?анкету ?на?получилась бодрым рыночным середнячком, далеко не до?гивающим до «лучши?достижений??област?программирован? плохих анке?
Всег?было опрошено 500 челове??возрасте 20-40 ле?по всей России. Выборк?были сбалансированы по полу, возрасту, географи??опыт?участия респондентов ?панели InternetOpros.ru. Базовы?показатели обои?опросо?были близки:
|
«Плохая?анкета
|
«Хорош??анкета
|
Отклик (response rate)
|
41%
|
45%
|
Достижимость (прошли отбо?
|
75%
|
79%
|
Законченны?анке?/b> (от те? кт?прошел отбо?
|
95%
|
96%
|
Медианная длительность
|
17.7 минуты
|
17.5 минуты
|
Ниже мы приводим основные различ? ?программировании ?сопутствующи?им различ? ?результата?
Оценка анкеты панелистам?/b>
На общи?оценка?(мы просил?респондентов оценит?уровен?их удовлетворенност?анкето? различ? ?программировании сказалис?следующи?образо?
% ответо?«отлично?+ «хорошо»
|
«Плохая?анкета
|
«Хорош??анкета
|
Дизайн
|
89%
|
89%
|
Легкость заполнен?
|
95%
|
99%
|
По?тность
|
97%
|
98%
|
Интересность
|
89%
|
95%
|
Длин?анкеты
|
91%
|
93%
|
Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.
Видн? чт?различ? не драматически? но он?есть. Причем, значимые отличия наблюдаются по таки?ключевым для качества данных параметрам ка?легкость заполнен? ?интересность (= вовлеченност?.
Список маро?(вл?ни?логотипа)
Задавались вопрос? знание площадок понаслышке, посещени?боле?одного раза, регу?рное посещени?
Отличия межд?анкетами:
?nbsp; >?«хорошей?анкете показывались логотипы новостны?площадок ?виде таблиц?b>
?nbsp; >?«плохой» анкете показывался список из адресо?соответствующи?площадок
«Хорош??анкета |
«Плохая?анкета |
|
|
Вл?ни?на данные:
|
Знаю?/b>
|
|
Были боле?1 раза
|
|
Бывают регу?рн?/b>
|
Плох?
|
Хорошая
|
Плох?
|
Хорошая
|
Плох?
|
Хорошая
|
news.mail
|
74
|
86
|
57
|
68
|
43
|
51
|
news.yandex
|
72
|
88
|
62
|
73
|
48
|
54
|
Vesti
|
77
|
75
|
37
|
36
|
17
|
13
|
Gazeta
|
75
|
63
|
37
|
21
|
13
|
8
|
Lenta
|
77
|
61
|
53
|
41
|
25
|
24
|
Kommersant
|
60
|
70
|
18
|
19
|
6
|
5
|
news.rambler
|
62
|
61
|
38
|
40
|
20
|
24
|
Izvestia
|
51
|
68
|
12
|
14
|
3
|
2
|
Kp
|
43
|
71
|
26
|
31
|
10
|
12
|
Rbc
|
49
|
53
|
30
|
26
|
19
|
15
|
Mk
|
39
|
62
|
12
|
24
|
3
|
4
|
Vedomosti
|
35
|
50
|
13
|
10
|
2
|
2
|
echo.msk
|
29
|
54
|
7
|
12
|
1
|
3
|
Rian
|
21
|
61
|
11
|
26
|
4
|
11
|
Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.
Знание площадок по логотипу ожидаемо выше, че?знание только по адресу площадки. ?тоже время, че?больше опыт респондент??площадко?(посещени? регу?рное посещени?, те?меньше наблюдаемы?различ? межд?анкето??логотипами ?бе? Эт?логичн? ?? «свою» площадку респондент?узнают ?любо?виде ??логотипо?ил?бе? Мене?же знакомые площадки узнают? респондентам?по адресу значительн?хуже, че?по логотипу. Причем разрыв те?больше, че?площадка мене?попу?рн?
Такж?показателе?большо?разрыв ?знании межд?двумя анкетами для таки?попу?рных новостны?площадок ка?«news.mail??«news.yandex? Он?безошибочн?распознают? по логотипу, но ?списке адресо?те?ют? ?респондентам просто не хватае?вниман? отыскать знакомые назван? ?длинно?монотонном списке.
Имид?маро?/b>
Респондентам предлагалось выбрат? каки?из новостны?площадок подходит то ил?иное имиджево?высказывание. Традиционн?тако?вопрос задает? ?виде таблиц?(высказыван? ?строка? шкал?- ?столбцах), чт? на на?взгля? являет? не вполне удачны?решением для онлайн-анкеты.
Отличия межд?анкетами:
?nbsp; >?«плохой» анкете вопрос задавался ?виде таблиц?на одно?экране: высказыван? - по строка? площадки ?по столбцам.
?nbsp; >?«хорошей?анкете высказыван? пред?влялись одно за другим (одно высказывание на экране ?момент времен?, ?новостны?площадки представ?лись логотипами.
«Хорош??анкета |
«Плохая?анкета |
|
|
Вл?ни?на данные:
Результаты анализ?соответствий для «хорошей??«плохой» анке?на пример?нескольких площадок представлены ?таблицах ниже. Статистическ?значимые связи «марка - высказывание?указан?цветом.
«Плохая?анкета:
Стандартизованны?остатк?/i>
|
kp.ru
|
lenta.ru
|
news.mail.ru
|
news.yandex.ru
|
rbc.ru
|
vesti.ru
|
Мног?раздражающей реклам?br /> |
0.6
|
1.6
|
0.9
|
-2.3
|
-1.2
|
-0.5
|
Пост?нн?развивается / улучшает?
|
-1.1
|
0.3
|
-1.1
|
0.5
|
1.3
|
0.0
|
Удобно пользовать?
|
-0.6
|
0.3
|
-0.8
|
0.2
|
0.5
|
0.1
|
Мног?интересных новостей
|
-0.6
|
0.8
|
-1.2
|
0.1
|
1.4
|
0.1
|
Объективная информац? / можн?дове?ть
|
-0.6
|
-0.7
|
-2.3
|
1.2
|
1.6
|
2.1
|
Есть информац? ?всех сферах жизн?br /> |
0.6
|
0.3
|
-1.4
|
1.2
|
0.0
|
-0.2
|
Мног?хороши?фото-виде?материалов
|
1.1
|
0.1
|
-1.1
|
0.1
|
0.7
|
-0.2
|
Желт? пресса, негати? чернух?br /> |
2.5
|
0.5
|
1.2
|
-1.5
|
-1.9
|
0.2
|
На сайт?есть цензур?br /> |
1.7
|
0.4
|
-0.7
|
-0.2
|
0.0
|
1.5
|
Можность обсудить новост?/ пообщать?
|
-0.9
|
-1.4
|
3.5
|
-0.1
|
-1.7
|
-1.8
|
Возможност?найт?друзей / единомышленников
|
-1.0
|
-1.4
|
3.9
|
-0.4
|
-1.6
|
-1.3
|
Низкаю культура общения на сайт?br /> |
-0.3
|
-0.7
|
2.6
|
-1.3
|
-2.0
|
-0.6
|
«Хорош??анкета:
Стандартизованны?остатк?/i>
|
kp.ru
|
lenta.ru
|
news.mail.ru
|
news.yandex.ru
|
rbc.ru
|
vesti.ru
|
Мног?раздражающей реклам?br /> |
0.6
|
-1.0
|
2.4
|
-0.8
|
-0.3
|
-1.5
|
Пост?нн?развивается / улучшает?
|
-1.6
|
0.3
|
-0.8
|
-0.1
|
1.3
|
0.9
|
Удобно пользовать?
|
-1.2
|
1.2
|
-0.2
|
0.5
|
-0.2
|
0.1
|
Мног?интересных новостей
|
-0.4
|
0.8
|
-1.3
|
0.7
|
0.6
|
-0.2
|
Объективная информац? / можн?дове?ть
|
-0.3
|
1.5
|
-2.7
|
-1.0
|
3.9
|
1.0
|
Есть информац? ?всех сферах жизн?br /> |
0.5
|
0.1
|
-1.5
|
0.5
|
0.8
|
-0.6
|
Мног?хороши?фото-виде?материалов
|
-0.5
|
1.7
|
-1.4
|
0.8
|
-1.1
|
2.2
|
Желт? пресса, негати? чернух?br /> |
4.1
|
-0.5
|
0.4
|
-1.6
|
-1.6
|
-1.1
|
На сайт?есть цензур?br /> |
0.6
|
-1.1
|
-0.7
|
-0.3
|
1.4
|
2.4
|
Можность обсудить новост?/ пообщать?
|
-0.2
|
-1.1
|
2.1
|
0.8
|
-2.3
|
-1.6
|
Возможност?найт?друзей / единомышленников
|
0.0
|
-1.8
|
3.1
|
-0.1
|
-1.9
|
-1.7
|
Низкаю культура общения на сайт?br /> |
0.8
|
-1.6
|
2.7
|
-0.9
|
-1.9
|
-1.0
|
Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.
Видн? чт?пр?обще?схожести профилей «хорош??анкета выявляет больше статистическ?значимых связе?межд?площадками ?имиджевыми высказыван?ми (10 против 6), ?? «хорош??анкета дает боле?выраженный имид?маро? ?наше?точк?зрен? эт?являет? следствием двух веще?
?nbsp; >Высказыван? пред?вляют? по одному ?легч?сосредоточит?
?nbsp; >Площадки представлены логотипами ?боле?сильны?стимул, больше эмоций, больше имиджевого окраса
Отношени??категори?(согласие ?высказыван?ми)
Респондент?предлагалось выразить свое согласие ил?не согласие ?высказыван?ми из списка, использу?стандартну?шкал?соглас?.
Отличия межд?анкетами:
?nbsp; >?«хорошей?таблиц?была разбит?на дв?равные част??част?высказываний показывались на одно?странице, част??на другой. Респондент види?меньше высказываний на экране бе?необходимост?прокрутк?
?nbsp; >?«плохой» анкете вс?высказыван? выводились на одно?экране одни?длинны?списко? До нижних высказываний нужн?было страницу прокручивать.
«Хорош??анкета |
«Плохая?анкета |
|
|
Вл?ни?на данные:
?этом вопрос?мы пытались поймат?панелистов на невнимательности ил?небрежност? ?этой цель?были добавлен?проверочны?вопрос? дв?пары противоположны?по смыслу высказываний ?строка «В этой строке отметьте «Скоре?НЕ согласен? Проценты ошибочны?ответо?приведен??следующе?таблиц?
% ошибок
|
«Плохая?анкета
|
«Хорош??анкета
|
% ошибочны?ответо??строке "?этой строке отметьте "Скорее НЕ согласен"
|
10.1%
|
5.2%
|
% соглас? ?обоими высказыван?ми: "Интернет должен контролировать? государством" / "Государств?не должно контролировать Интернет"
|
7.1%
|
5.4%
|
% соглас? ?обоими высказыван?ми: "?обраща?внимание на реклам??Интернет? / "?игнориру?реклам??Интернет?
|
5.3%
|
3.6%
|
Источник: данные Tiburon Research (панель InternetOpros.ru), 500 интервью, март 2010 года.
Общая тенденция (?«хорошей?колонк?вс?тр?показате? ниже) такова, чт?на «хорошую?анкету респондент?действительн?отвечают боле?вдумчиво. Причем цифр??«хорошей?колонк?нахо?тся на уровне средне?отбраковки анке??панели InternetOpros.ru (3-5% анке?, ?цифр??«плохой» колонк?существенн?выше средни?показателе?для наше?панели.
Выводы
Главны?выво??то, ка?анкета запрограммирован? имее?значение ? ?наше?точк?зрен?, ничуть не меньше? че?качество панели. ?конечном итог?от качественной анкеты выигрывают вс? конечный клиент получает боле?адекватные данные, панельны?провайде??лояльност?панелистов ?меньшу?роль денежной мотиваци? сами панелист??большу?удовлетворенност?от процесса участия ?исследован??
Спорит??то? чт?тако?хорошо ?чт?тако?плох??программировании онлайн-анке?можн?долг? Главно??чтоб?Ва?поставщи?имел на этот счет свою точк?зрен?, умел аргументирован?ее отстаивать ?имел достаточно гибкие инструмент?для ее воплощен? ?Ваши?анкета?
Арте?Тинчурин, Генеральны?директор Tiburon Research