На прошлой неделе по заказу одного известного агентства интернет-маркетинга я проводил тестирование сайта бронирования гостиниц. Уровень конверсии его был много ниже 1%. В одиночку получилось выявить кучу проблем с юзабилити, которые мешают посетителям с удовольствием заказывать здесь номера. А что обнаружили бы несколько человек?!

Из этих соображений хочу поделиться методикой проведения лабораторного тестирования юзабилити сайта с участием группы. Эта методика применяется интернет-маркетологами Запада. Основные принципы очень удачно описал известный веб-аналитик Авинаш Каушик.
У нас сия методика, понятно, еще не вошла в широкий обиход.

Что такое лабораторное тестирование?
Что за скучное название, скажете вы. Люди в белых халатах, подопытные крысы человеки у мониторов, белые стены и запахи реактивов. На самом деле, процесс коллективного тестирования очень похож на всем известные фокус-группы.

Цель тестирования - выяснить, сможет ли рядовой пользователь сайта выполнить поставленную перед ним задачу. А если да, то насколько легко дается ему результат.

В тестировании участвуют от 8 до 12 человек. Процессом руководит модератор, специалист по юзабилити, клиентоориентированному дизайну. Он же одновременно спец по поведению человека на сайтах. У него может быть помощник, ведущий записи в процессе тестирования.

Другие участники - это наблюдатели. Обычно это представители компании и маркетингового агентства, которое обслуживает данную компанию. В качестве представителя компании, конечно, нужно приглашать не секретаря или “самого умного”, которого тут же отправят за пивом, чтобы убить время. Это должен быть человек (люди), от которого зависит работа сайта - т.е. разработчик, маркетолог и/или Самый главный.
Эти люди сидят за односторонним стеклом, и молча следят за действиями модератора и тестирующей группы. Там же будет находится камера, которая будет фиксировать все события “за стеклом”.

Тестировать можно как действующий сайт, так и бета-версию.

В процессе тестирования помощник ведет заметки по поводу действий группы, а модератор дает задания или задает наводящие вопросы. Например, если кто-то из участников выполнит задание и отметит, что “это было легко”, модератор может ответить: “Поясните, пожалуйста.” Главное - помочь человеку выразить свой опыт, задавая нейтральные вопросы. Модератор не должен делать категоричные замечания или давать оценки действиям и мнениям людей.

4 стадии тестирования юзабилити
1. Подготовка
- Определите основные направления тестирования (задачи). Например, интернет-магазин может проверить, насколько легко пользователи могут заменить один заказ на другой или обратиться в службу поддержки;
- По каждой задаче создать сценарий для пользователя. Пример: Вы заказали видео-камеру, но получив заказ позже обнаружили нехватку карточки памяти. Вам надо обратиться в магазин. Что Вы станете делать?
- Для каждого сценария сформулируйте успешный результат. Пример: Он нашел правильную страничку (support.html), кликнул по ссылку “Служба поддержки”, заполнил форму и нажал “Отправить”;
- Определитесь, кто должен участвовать в тестировании: клиенты, новые пользователи “с улицы”, клиенты конкурента и т.д;
- Наймите этих людей через маркетинговое агентство;
- Перед тем, как начинать опыты на живых людях, потренируйтесь “на кошках”. Пусть ваши задания выполнит кто-нибудь из своих. Все ли проходит гладко? Может, вам открылись неведомые стороны теста?

2. Процесс тестирования
- Поприветствуйте участников и сориентируйте их в обстановке: “Это аудитория нашей компании, вот там наблюдатели, мы записываем процесс тестирования; помните, что нет правильных и неправильных ответов” и т. д;
- Начините с “мыслей вслух”. Пусть участники выскажутся по теме мероприятия. Главная задача: уяснить, какие проблемы волнуют этих людей;
- Пусть участники вслух прочитают задание. Они не только действительно все добросовестно прочитают, но и лучше поймут его, не упустив ни слова;
- Теперь внимательно следите. Не только за словесными, но и за невербальными реакциями людей в процессе выполнения задания;
- Модератор может делать уточняющие замечания или задавать наводящие вопросы. Следите только, чтобы он не “проговорился”: не давал оценок, не озвучивал мнения компании или других профессионалов, в том числе свои собственные.
- В конце поблагодарите участников и не забудьте их щедро вознаградить

3. Анализ данных
- Как можно скорее проведите краткое совещеание с наблюдателями. Пусть они выскажут свои мысли и наблюдения.
- Не пожалейте времени на то, чтобы письменно описать основные тенденции и линии поведения испытуемых. (На самом деле мы испытываем сайт, конечно!)
- Модератор обязан записать все успехи и неудачи каждого человека в процессе тестирования.
- Покопайте поглубже, чтобы понять, в чем основная причина неудач. Например: раздел “FAQ” был слишком длинным, раздел “Контакты” слишком надежно запрятан и т.д. Кстати, одной из главных проблем того сайта с гостиницами - качественно скрытый от посторонних глаз раздел “FAQ”.
- Составьте рекомендации к исправлению ошибок. 1) Укажите точки преткновения, 2) Сформулируйте конкретные практичные советы по каждой точке, 3) Распределите рекомендации на категории: Срочные, Важные и Желательные.

4. Отслеживайте результат, тестируйте снова, отмечайте успехи

Еще советы
1. Дайте понять людям, что вы тестируете не их самих, а сайт.
2. Не слишком полагайтесь на их слова. Важнее то, что и как они делают.
3. Старайтесь не помогать человеку выполнять задание, даже если он об этом просит. Лучше задавайте наводящие вопросы: “А вы что скажете?”, “Расскажите об этом подробнее”, “А если бы вы были дома одни, как бы поступили?” и т.п.
4. Не помогайте участником ни словесно, ни жестами или мимикой. Язык тела держите “за зубами”.
5. Не требуйте от лабораторного тестирования юзабилити слишком многого. Это всего лишь один из способов получить информацию. Не стоит затевать редизайны и ребрендинги на основе такого теста.

Удачного тестирования!

_________________________________

Если вам понравилась статья, подпишитесь на обновления RSS или получайте новые статьи по электронной почте.

Все знают, что сайт должен работать, т.е. конвертировать трафик в нечто полезное для владельца. Мы ведь не хотим, чтобы наши сайты просто посещались. Нам нужно, чтобы люди подписывались на обновления, писали комментарии, что-то покупали, если есть что предложить… Каждый может написать: конвертируйте посетителей в потребителей. Такими добрыми и неконкретными советами забиты сайты и блоги об интернет-маркетинге. Другое дело: предложить ориентир.

Какой уровень конвертации трафика можно считать нормальным? Как зависит уровень от источника трафика: поисковые системы или контекстная реклама? Как взаимосвязаны уровень трафика и популярность ключевого слова?

Представьте, что начальник или заказчик задает вам все эти вопросы. Например, он требует оценить приблизительный уровень конвертации при таком-то уровне трафика по такому-то ключевому слову. Хорошо, если у вас большой опыт работы именно по этому направлению. А если опыта нет? Или не хватает?

Тогда вам поможет простой калькулятор, который подготовили маркетологи агентства OneUpWeb (США). Я перевел брошюру, в которой вы найдете пояснения к калькулятору и толкование некоторых терминов интернет-маркетинга.

Скачать книгу “Оцените уровень ROI вашего интернет-маркетинга” (.pdf, 574 Kb)

Продолжаю хит-парад факторов, которые заставляют статистику наших сайтов безбожно лгать. В первой части Марлезонского балета я станцевал на тему природы интернет-технологии, которая не позволяет статистическим данным быть абсолютно точными.
Сегодня предлагаю перечень факторов, связанных с коренными недостатками программ и сервисов статистики, а также поведением посетителей.

Логи
Технически подкованные владельцы сайтов и блогов любят использовать записи логов для сбора статистики. Кто-то считает этот способ особо “продвинутым”, для знатоков.

Справка: Лог (log) - файл с записями в хронологическом порядке происходящих в системе событиях.

На самом деле статистика, собираемая с логов, отличается низким уровнем точности. Если вы опираетесь на записи в логах, то упускаете из виду часть активности на сайте. Почему?

1. Броузеры умеют сохранять в памяти (кэше) загруженные нами страницы. Когда мы нажимаем кнопку “Назад”, что предыдущая страничка загружается из кэша, т.к. сообразительный броузер не хочет снова тратить время на запрос этого содержания у сервера. Как следствие, сервер ничего не знает о повторной загрузке страницы, а в логах не отображается соответствующая запись.
Кстати в интернет-рекламе проблема кэширования также существует. Если посетитель вновь посмотрел рекламу на загруженной из кэша странице, то владелец ресурса не получит за этот показ ни копейки. Все по той же причине: сервер не зафиксировал показа. Если представить, сколько людей и сколько раз в день “пятиться назад”, можно оценить потери от неоплаченных показов.
Кстати, кэшируют не только броузеры. Оно может происходить по инициативе провайдера, или так может работать внутренняя корпоративная сеть.

2. На страничке могут находиться файлы в формате .swf (флэш). Также страничка может целиком представлять собой файл .swf. В большинстве случаев каждый просмотр флэш-элемента фиксируется как просмотр отдельной страницы. Если на вашем сайте много флэша, то вы найдете в логах сильно искаженные данные.

3. Регулярно наши сайты посещают роботы поисковых сервисов, и чем чаще это происходит, тем радостнее нам. В логах вы не сумеете разобрать, какие посещения сайта инициированы человеком (то, что нам нужно), а какие роботом (это не учитываем). Если ориентироваться на логи, то количество посещений сайта будет казаться большим, чем есть на самом деле. И чем чаще обновляется сайт, тем чаще его посещают роботы, тем заметнее искажение.
Роботы просматривают сайт со скоростью 1 стр. = 1 сек., что также отображается на статистике: снижается среднее время пребывания на сайте при увеличении среднего числа просмотренных страниц.

Сервисы статистики
Специализированные программы, такие как Google Analytics, собирают данные на основе просмотра страницы. Т.е. им все равно, пришла она от сервера, или загружена из кэша. По-моему мнению, установка кода сервиса статистики - один из первых шагов при запуске нового сайта. Он даст более подробные и точные сведения. Однако и здесь есть свои минусы.

1. Своя проблема с кнопкой “Назад” есть и у специализированных программ. Некоторые люди уходят с сайта, несколько раз нажав эту кнопку. Понятно, что загружаются старые страницы из кэша, и в логах такие недо-визиты не были бы засчитаны. Однако программа их не пропустит.
Если таких бросков назад будет несколько в день, то статистика покажет большее количество просмотренных страниц с меньшим количеством проведенного на них времени.
Если ваш сайт содержит многостраничную форму для заполнения, или многостраничный тест - то таких переходов туда-сюда будет много. Человек может вернуться назад, чтобы вспомнить предыдущий шаг или еще раз проверить правильность внесенных данных.

2. Поведение пользователя также влияет на статистику. Cookies известных сервисов отслеживания статистики некоторые антивирусы включают в списки шпионских программ (spyware). Если антивирус не заблокировал куки, то это сознательно может сделать сам пользователь. Также многие регулярно удаляют такие файлы. Я сам позвчера удалил 173 старых cookies.
Если вам очень важно оценить уровень повторных визитов, проблема с кукис исказит статистику. К первой части статьи Дмитрий Баканев оставил комментарий, в котором справедливо отметил, что кукис удаляют и блокируют очень немногие.
Но специалист по веб-аналитике не станет изучать среднюю температуру по больнице, а обязательно учтет целевую аудиторию сайта. Есть низкие группы риска (домохозяйки), есть высокие (IT-шники).

3. При клике на ссылку посетитель сайта может попасть на другую страницу, а может и нет. Либо он передумал, либо броузер “заглючил”, и страничка не открылась.
Проблема с “оборванным полетом” сказывается на рекламе, т.к. в таких случаях сервисы контекстной рекламы (тот же Google) снимут с вас деньги за совершенный клик. Состоялся визит или нет - в данном случае, их это не волнует. В статистике такое “посещение”, скорей всего, не будет учтено.

_________________________________

Если вам понравилась статья, подпишитесь на обновления RSS или получайте новые статьи по электронной почте.

_________________________________

Также советую прочитать другие статьи о веб-аналитике.

Нам никогда не узнать всей правды о посетителях наших сайтов. Все, что мы имеем благодаря счетчикам - только общая картина, а не точные данные.

Идея написать пост на эту тему у меня появилась после того, как я прочитал на форуме для веб-аналитиков - не помню, каком, сорри - жалобы участника. Он все хотел выяснить, почему у него скачет показатель посещаемости и сколько на самом деле человек заходит на его сайт: 56, 78 или 44.
Увы и ах, в веб-аналитике 100% точность пока недостижима. Хотите узнать, почему? Предлагаю хит-парад самых главных причин.

Но сначала, как водится, немного теории. Веб-аналитика, даже самая мудреная, базируется на ограниченном количестве простых вещей: подсчете числа посетителей, посещений и времени, проведенном на сайте.
Все сложнейшие графики покоятся на этих трех китах. Реклама в интернете, в общем, тоже. Если вы запускаете контекстную рекламу, то платите Google, Yandex или Бегуну за визит (PPC) или за посещение определенных страниц (PPA).

Справка: PPC (Pay per Click) - плата за клик (по баннеру или тексту рекламы) и, соотвественно, загрузку посадочной страницы вашего сайта;
PPA (Pay per Action) - плата за выполнение посетителем сайта определенного действия. А что такое действие на сайте, как не посещение \ загрузка каких-то конкретных страниц?

Ошибки в статистике имеют три причины: сама природа интернет-технологий, обычное поведение человека на сайте и современный уровень развития сервисов статистики. Сегодня перечислю факторы, которые относятся к первой причине - интернет-технологиям. Поехали!

Сколько кошек в темной комнате?
Стандарты веб-метрики формирует международная организация JICWEBS. По ее правилам, уникальный посетитель сайта - это сочетание IP-адреса и данных приложения User Agent, которое определяет броузер и операционную систему визитера. В идеале, если на сайт три раза зашли с одними и теми же показателями IP, версии броузера и оперативки - то это был один и тот же человек с тремя визитами. На практике все сложнее.
Во многих компаниях сотрудники выходят в сеть с одного IP-адреса, пользуются одним и тем же броузером и оперативной системой. Все 15 дам из бухгалтерии, которые решили зайти на сайт вашего скромного магазинчика, будут засчитаны как одна, но очень настойчивая посетительница.
Зато дома многие пользуются благами динамического IP, и три посещения от одной и той же персоны будут учтены как три уникальных посетителя.

Чтобы решить проблему, сервисы статистики используют файлы cookies. Но люди часто блокируют или удаляют cookies. Например, я регулярно проверяю систему на наличие шпионских программулек, которые постоянно лезут из интернета. Вместе с ними за компанию удалаются и старые cookies.
Есть интересное наблюдение: чаще всего cookies удаляют или блокируют пользователи Unix, реже всех - Mac. Также, чем выше техническая и компьютерная грамотность посетителя, тем менее благосклонен он к cookies. Если ваш сайт привлекает именно эту аудиторию, проверьте, не слишком ли много у вас уникальных визитов, и слишком мало повторных. (:

Сказка о пропавшем времени
Если бы за статистику взялись швейцарцы, мы имели бы самые точные данные о времени, которое проводит посетитель на сайте. Но швейцарские часовщики пока радуют только оффлайн.
В недавней статье о показателе отказов я говорил, что система неспособна подсчитать время, проведенное посетителем на сайте, если он просмотрел только одну страницу, а потом ушел на другой сайт или у него отключили электричество.
Если человек посмотрел 1-2-3-4 страницы, то статистика посчитает так: 1 стр. (2 мин.) + 2 стр. (0,45 сек) + 3 стр. (15 мин.) + … все, ноль. Итого, 17 мин. 45 сек. А ведь на 4-й страничке человек мог провести остаток жизни, ведь она-то, вполне возможно, и есть та самая, заветная целевая. Ради нее он и пришел к вам.

В общем, не унывайте, если статистика усердно фиксирует малое количество времени. На моем блоге оно равняется от 2-х до 6 мин в день. Для блогов такой показатель в норме вещей: ведь люди обычно читают только последние статьи на главной странице.

На закуску такой совет:
Не пытайтесь выяснить точное количество посещений и времени на сайте. Сконцентрируйтесь на тенденции. Например, изучайте показатели раз в месяц, чтобы понять в какую сторону развивается график и с какой скоростью.
Не так уж много типов сайтов, которым полезно знать точные цифры. К таким можно отнести интернет-магазины. Вот им, действительно, полезно учитывать “проходимость”. Для блогов точность не важна: 85 или 96 посетителей серьезно картину не поменяют.

На этом все об органических недостатках интернет-технологий. Продолжение будет в следующем посте.
_________________________________

Если вам понравилась статья и вы хотите упустить продолжение, подпишитесь на обновления RSS или получайте новые статьи по электронной почте.