Три принципу для вирішення проблем трекінгові опитувань

1. Проблеми трекінгові досліджень
2. Забезпечення валідності даних на рівні респондента
3. принцип надмірності
4. принцип релевантності
5. Впровадження трьох принципів
6. Цінність бренду менш ніж за три хвилини
7. Скорочення довжини списків і підвищення валідності
8. Застосування принципу надмірності для скорочення довжини
9. Більш ефективна маршрутизація розрахунків в рамках опитувань
10. Майбутнє опитувань: коротше, ефективніше і точніше в передбаченні відповідей

Як скоротити анкету і отримати більш точні дані

Трекінгові дослідження переживають непрості часи. Респонденти набагато менше, ніж раніше висловлюють готовність відповідати на питання, в готових анкетах високий відсоток браку, а аналіз страждає неточністю. Тим часом, ці проблеми можна вирішити, якщо ми зуміємо послідовно застосувати три принципи. Але про все по порядку.

Уявіть собі двох респондентів - чоловіка і жінку. На 37-му питанні трекингової анкети їх просять оцінити, з якою ймовірністю вони поїдуть відпочивати до Таїланду в наступному році. Чоловік відповідає «з високою вірогідністю». Жінка оцінює її як «не дуже високу». З цього ми робимо висновок, що в Таїланді, швидше за все, буде один турист, і це буде чоловік. Ми радимо нашому клієнтові підготуватися до приїзду чоловіка і висилаємо туристичну інформацію, розраховану на чоловіка.

Але де-факто, в Таїланд їде жінка, а чоловік залишається вдома. Коли вона приїжджає в Таїланд, то виявляє, що цей курорт погано підходить для жінок (бо, її там не очікували). Вона повертається додому і не радить своїм друзям навіть намагатися поїхати в Таїланд.

Яку роль у цьому сценарії відіграли ми, дослідницьке агентство? Ми дали правильну кількісну інформацію (все-таки половина учасників опитування як-ніяк відвідала Таїланд), але помилилися щодо того, хто саме поїде в цю країну. І наслідки цього невірного відповіді, даного в результаті неточного аналізу, для нашого гіпотетичного клієнта можуть бути дуже сумними.

Проблеми трекінгові досліджень

Вищевказаний приклад - це перебільшений, але правдива оповідь про проблеми трекінгові опитувань. На той час, коли респонденти дісталися до «нашого» питання, обидва вони - і чоловік, і жінка - вже були засипані іншими 36-ма питаннями. Причому, багато хто з цих попередніх питань були для респондентів абсолютно неактуальні, і практично не мали ніякого відношення до того, як приймається рішення про ймовірність поїздки. А адже саме це цікавить клієнта. І це важливе питання вперше прозвучав в той момент, коли респонденти настільки втомилися опитуванням і втратили до нього інтерес, так що їм було особливо важко сформулювати точну відповідь. Набагато важче, ніж якщо б це питання прозвучало першим. Але навіть якщо б це питання було задано першим, шанси отримати від респондентів точну відповідь все одно були б невисокими.

Ми знаємо, що відбувається, коли ми запитуємо респондентів про те, що вони будуть або можуть робити в майбутньому. Сукупні цифри часто виходять правильними (як це було в вищевказаному прикладі), проте конкретна інформація про те, хто і що саме буде робити, часто виявляється помилковою. Така ситуація вже є проблемою, але вона стає ще більш серйозною, коли дослідники починають аналізувати відповіді так, як ніби вони можуть сказати нам точно: хто поїде до Таїланду, а хто - ні.

Все це неправильно. Опитування не повинні бути довгими і нудними. І вони не повинні давати неправдиву інформацію про поведінку респондентів. Рішення полягає в застосуванні трьох основних принципів, на яких має базуватися будь-яке дослідження:

• Валідність, тобто отримання від респондента даних, що відповідають меті дослідження.
• Надмірність, тобто видалення всього зайвого для скорочення тривалості опитування і підвищення його точності.
• Релевантність, тобто актуальність питання для респондента.

Поєднуючи ці три принципи, можна змінити сприйняття респондентами питань анкети і значно підвищити якість даних, що надаються клієнту.

Як це робиться?

Забезпечення валідності даних на рівні респондента

Ми знаємо, що людська пам'ять - не цілком надійне джерело інформації. Ми також знаємо, що люди не здатні в достатній мірі спрогнозувати свої власні дії в майбутньому. Тим не менш, у багатьох наших питаннях ми просимо учасників згадати те, що вони робили в минулому, або сказати, що вони будуть робити в майбутньому.

І дарма. Якби ми строго дотримувалися правила задавати тільки ті питання, на які респондент може відповісти точно, то скільки питань нам довелося б прибрати з наших анкет! Ось невеликий (і аж ніяк не є вичерпним) список:

- будь-які питання, які потребують використання пам'яті;

- будь-які питання, що стосуються поведінкових намірів;

- будь-які оціночні питання, що розглядаються у відриві від інших, наприклад, ступінь задоволеності споживачів (цей список можна продовжувати, що я і зробив - його можна знайти в дослідженні Louw and Hofmeyr, 2012).

Але тут виникає питання: якщо ми будемо використовувати настільки суворий підхід до валідності даних на рівні респондента, то яка ж інформація залишиться доступною для розгляду в рамках трекінгові досліджень? Відповідь: такої інформації дуже багато. Але давайте почнемо з того, що перестанемо ставити запитання, що дають нам невалидность дані.

принцип надмірності

Будь-яка людина, що має відношення до опитувань, знає, що відповіді респондента на деякі питання можна передбачити, дивлячись на те, як він відповідав на інші. Наприклад, коли ви просите респондентів «подумати про бренди в якійсь категорії», то бренд, який першим приходить на розум (зазвичай для цього використовується термін top-of-mind), - це зазвичай той бренд, яким вони користуються найчастіше. А бренд, яким вони користуються найчастіше, - це зазвичай бренд, який сильніше інших асоціюється з позитивними атрибутами. Так чому б не використати таку взаємозалежність для автоматичного заповнення питань в анкетах? Знаючи відповідь на одне питання, ми просто заповнює відповідь на інший (тісно пов'язаний з ним) питання, не ставлячи його респонденту.

принцип релевантності

Ринки пропонують людям безліч різних варіантів; і вибір людей вельми варіативний. Така ситуація створює особливі труднощі для дослідників ринку. Ось чому вони з жахом ставляться до ідеї прибрати з опитування будь-якої потенційний атрибут бренду: вони бояться втратити критично важливу інформацію, яка фактично визначає вибір споживачів. В результаті, ми отримуємо трекінгові анкети для таких товарів, як пральні порошки або безалкогольні напої, де в кожному питанні про імідж бренду респондентів просять зробити вибір з 40 або більше атрибутів. Ніхто з моїх знайомих не розглядає настільки багато чинників при ухваленні рішення про покупку або використання товарів і послуг. І я сильно підозрюю, що і серед ваших знайомих таких людей теж не знайдеться.

Професор Герд Гігеренцер з Інституту Макса Планка показав, що якщо ви можете визначити найважливіший фактор, який бере до уваги споживач на ринку, то ви можете спрогнозувати його поведінку. Наш мозок неймовірно ефективно просіює інформацію, що надходить і швидко визначає, що саме з має може підійти саме нам. Він робить це за допомогою того, що вчені називають «евристика» - використання емпіричних правил або методу найменших витрат сил і часу. Скориставшись цим прагненням до скорочення, і сконцентрувавшись на тому, що актуально для респондента, ми можемо значно скоротити анкету для кожного респондента. І при цьому повністю зберігши охоплення всього спектра його потреб і бажань в тому, що стосується товарів, послуг і брендів.

Впровадження трьох принципів

Коли ми застосовуємо описані вище три принципи в своїй роботі, ми тут же добиваємося позитивного ефекту для обох сторін: для респондентів, які відповідають на ці питання, і для клієнтів, які залежать від виявленого в ході опитування инсайта.

Опитування, присвячені вивченню капіталу бренду (колись довгі і нудні), тепер займають менше трьох хвилин; ми уникаємо ситуацій, при яких люди змушені сидіти над довгими списками атрибутів, підвищуючи при цьому точність їх відповідей на 60 відсотків або більше. Більш того, ми скорочуємо кількість запитань, що дає нам час поставити куди більш актуальні, цікаві питання набагато більш залученим в опитування респондентам.

Цінність бренду менш ніж за три хвилини

Якщо ви не знайомі з цими трьома принципами, то ваші шанси на проведення ефективного опитування про капіталі бренду менш ніж за три хвилини виглядають вельми невисокими. Розглянемо, наприклад, автомобільний ринок. У більшості країн і регіонів на цьому ринку домінують п'ять або шість виробників, кожен з яких пропонує від шести до восьми типів автомобілів, дві - три моделі кожного типу і декількох цінових рівнів. Як же виміряти капітал бренду з урахуванням такого розмаїття на кожному ринку, коли в рамках наших опитувань доводиться розглядати так багато варіантів? Навіть традиційне трекингової дослідження брендів насилу уміщає в собі всі ці питання.

Ключ до вирішення цієї проблеми - визнати, що ніхто не розглядає відразу всі можливості і варіанти. Більшість людей швидко визначають підмножина актуальних варіантів, а потім фокусуються вже на них. Ми повинні робити те ж саме: визначивши тільки ті бренди, які мають актуальністю для респондента, ми різко скоротимо кількість питань, на які йому доведеться відповідати. Зрештою, якщо у якогось бренду немає жодного шансу на те, що його куплять, то його фактичний капітал бренду дорівнює нулю.

Уявімо людину, яка хоче їздити на Ferrari, але не може собі цього дозволити. Ми б сказали, що бренд Ferrari є для нього дуже привабливим, але в силу обставин ця привабливість не може бути реалізована. Припустимо, що марка Lexus компанії Toyota є його другий улюбленою маркою. Якщо він може собі її дозволити, то саме її він і купить. Audi може бути третьою улюбленої і фінансово доступною маркою, але її він не купить.

Цей приклад показує нам, що потрібно знати всього лише два аспекти, що стосуються бренду, щоб кількісно оцінити його цінність стосовно конкретного респондента. По-перше, це місце бренду в рейтингу споживача (перший, другий, третій і т.д.), а, по-друге, в якій мірі обставини схиляють чашу терезів на користь цього бренду або діють проти нього. У компанії TNS ми називаємо перший аспект «силою в свідомості споживачів» (power in the mind), а другий - «силою на ринку» (power in the market).

Стривайте, можете сказати ви, але ж це призведе до збільшення кількості питань, а не до зменшення. Зрештою, скільки буде потрібно питань, щоб виміряти реальний рівень привабливості бренду? Або ступінь впливу обставин?

Відповідь: незалежно від того, наскільки складним є конкретний ринок, для кожного бренду ми можемо встановити капітал бренду на рівні респондента шляхом застосування трьох зазначених принципів. Ми застосовуємо принцип актуальності, щоб зосередитися тільки на тих брендах, які респондент реально готовий розглядати. Досвід показує, що для більшості категорій такий набір складається приблизно з чотирьох брендів. Ми застосовуємо принцип надмірності, задаючи лише одне питання для рейтингової оцінки бренду для кожної з чотирьох марок. І ми застосовуємо принцип валідності на рівні респондента, задаючи питання про використання брендів, який (як показали наші дослідження) найкраще корелює з тим, що люди роблять насправді.

В результаті у нас вийде основний опитування, який займе менше трьох хвилин, незалежно від розмірів списку брендів або складності ринку. При такому опитуванні, коефіцієнт кореляції з тим, як фактично веде себе кожен окремий респондент, становить близько 0,62. Іншими словами, більш ніж в шести з десяти випадків опитування зможе точно спрогнозувати особиста поведінка споживачів. У тому, що стосується прогнозування частки ринку, кореляція перетворюється, практично, в функціональну залежність: R = 0.90+ (точне прогнозування в дев'яти з десяти випадків).

Скорочення довжини списків і підвищення валідності

Однією з основних причин, чому опитування виходять довгими, є довгі списки (lists). Типова анкета про ступінь задоволеності клієнтів готелю буде включати в себе питання про реєстрацію, номерах готелю, наявності можливостей для ведення бізнесу та відпочинку, процедурі виїзду і т.п. Усередині кожного такого питання буде ще один набір питань. У дослідженнях капіталу бренду зазвичай використовується від 30 і 120 висловлювань для оцінки іміджу бренду.

Довгі списки не тільки стомлюють респондентів. Часто вони повністю підривають якість даних на виході дослідження. Чим більше вас просять думати про речі, які не мають нічого спільного з вашим поведінкою, тим важче давати точні відповіді на питання про те, як ви себе ведете в таких ситуаціях насправді. Скорочення списків має бути абсолютним пріоритетом для трекінгових досліджень.

Як це часто буває, завдання скорочення списків стає набагато легше, якщо ми застосовуємо принцип актуальності для респондентів. Якщо розглядати взагалі всі можливі аспекти, які люди теоретично можуть враховувати при виборі, то у вас вийде дуже довгий список. Однак він буде значно коротшим, якщо ви залишите в ньому тільки ті аспекти, які мають відношення до кожного конкретного респондента.

Малюнок 1: Використання евристики для скорочення списку

Зосередьтеся на тому підмножині варіантів, яке має відношення до респондента

• Бренди, актуальні для даного респондента (8.9)
• Атрибути / найважливіші характеристики, актуальні для даного респондента (8-17)
• Значно скорочує завдання для респондента
• Значно скорочує довжину анкети
• Підвищує валідність: коефіцієнт кореляції з реальною часткою покупок становить від R = 0,31 до R = 0,62

Застосування принципу надмірності для скорочення довжини

Взагалі кажучи, у нашій галузі є ціле море корисних даних. Щороку ми проводимо тисячі досліджень. І тим не менше, ми практично не займається мета-аналізом, який міг би виявити взаємозв'язок між тим, як людина відповідає на одне питання, і тим, як він відповідає на інший. В іншому випадку ми б виявили багато взаємозв'язків, які зменшили б необхідність задавати питання. Тому ми в TNS і почали процес мета-аналізу. Ми використовували прогностичний аналіз, щоб добитися значної економії часу за рахунок більш ефективного сегментування і автозаповнення відповідей.

Щоб зрозуміти, наскільки ефективним може бути такий підхід, давайте подивимося на взаємозв'язок між тим, наскільки люди віддані бренду, і як вони реагують на питання про асоціацію атрибутів (малюнок 2). Знаючи, як половина респондентів відповіли на питання про асоціацію атрибута, і знаючи, до якого бренду вони залежать, ми змогли створити внутріопросние моделі, які дозволяють нам автоматично заповнювати відповіді залишилися респондентів з коефіцієнтом кореляції R = 0.99+ (на агрегованому рівні) і R = 0.75+ (на рівні респондентів). Це означає, що фактично ми майже завжди даємо правильні відповіді в тому, що стосується поведінки груп людей, і в більш ніж трьох з чотирьох випадках в тому, що стосується поведінки окремих респондентів.

Малюнок 2: Заповнити форму відповідей

Використання прихильності споживачів для створення моделей автозаповнення всередині опитування

1. У міру того, як кожен респондент відповідає на питання анкети, розрахуйте частку прихильності до бренду і розподіліть респондентів за групами в залежності від частки прихильності.

2. Ці респонденти відповідають на питання, що стосуються атрибутів.

3. Сприйняття бренду іншими респондентами заповнюється автоматично - на основі моделі, розробленої з урахуванням сприйняття аналогічних респондентів.

Більш ефективна маршрутизація розрахунків в рамках опитувань

Якщо опитування несе в собі певний потенціал для алгорітмізірованія, то він дозволяє вбудовувати можливості для розрахунків в реальному часі. Потім ми можемо використовувати ці розрахунки для вироблення більш ефективної маршрутизації респондентів і підвищення загальної ефективності дослідження.

Коли ми вставляємо в опитування про капіталі бренду параметр power in the mind, у нас з'являється основа для більш ефективної маршрутизації. Наприклад, клієнт розробив комунікаційну кампанію, спрямовану на залучення нелояльних користувачів одного зі своїх конкурентів. За допомогою параметра power in the mind, ми можемо в режимі реального часу виявити респондентів, які потрапляють в цю категорію, і направити на питання про комунікаційної кампанії тільки цих респондентів. Припустимо, що клієнт розробив окремий набір стратегій, спрямованих на утримання власних нелояльних користувачів. За допомогою аналогічного процесу ми визначаємо таких респондентів і направляємо на питання про стратегію утримання тільки цих респондентів.

Це не модульний підхід. Ми не Пропонуємо додаваті або відаляті з трекінгові опитувань жорсткий задані блоки вопросам. Навпаки, ми використовуємо всі елементи гнучкості і можливості пристосування до конкретної ситуації, які дають нам наші знання про те, як люди приймають рішення. При цьому, ми не тільки ставимо нашим респондентам більш релевантні питання, а й ефективніше концентруємо їх увагу на найбільш важливих для нас. В результаті ми отримуємо дані більш високої якості.

Майбутнє опитувань: коротше, ефективніше і точніше в передбаченні відповідей

Те, що ми пропонуємо, - це, по суті, революція в підході до створення опитувань. Застосовуючи описані вище три принципи, можна підвищити як ефективність опитувань, так і якість даних на виході. Для цього необходимо:

- безжально видаляти питання, не пов'язані з реальною поведінкою людей в їх звичайному житті;

- використовувати переходи на актуальні для респондентів теми, спираючись на взаємозв'язок між відповідями на різні питання.

Звільнивши трекінгові дослідження від необхідності ставити респондентам питання про кожен можливий варіант їх поведінки або сприйняття, ми дозволити їм зосередитися на питаннях, які дійсно мають значення. І в результаті ми підвищимо точність їх відповідей і цінність отриманої інформації.

англомовний оригінал