Использование метода анкетного опроса для анализа пользовательского опыта (на примере сервиса для проведения видеоконференций)

Мартынова А.А.,
студентка группы СГН3-72Б
Московский государственный технический университет им. Н.Э. Баумана

Научный руководитель: Галаганова С.Г.,
кандидат философских наук,
доцент кафедры «Информационная аналитика и политические технологии»

Аннотация: Статья посвящена выявлению эвристического потенциала метода анкетного опроса в качестве инструмента анализа пользовательского опыта. Материалом для исследования послужил сервис для проведения видеоконференций. Автором разработана анкета для сбора информации о пользовательском опыте, описаны и проанализированы результаты анкетирования. В статье описана разработанная автором методика расчёта уровня критичности проблем, с которыми сталкивается пользователь.

На сегодняшний день пользовательский опыт, то есть опыт, получаемый пользователем при взаимодействии с интерфейсом, является одним из факторов, определяющих качество цифрового продукта. В 2019 году стандарт ISO 9241 «Эргономика взаимодействия человека и системы» был дополнен частью «Человеко-ориентированный дизайн интерактивных систем (HCD)» [1]. Сегодня системы проектируются для пользователя, при этом учитываются его потребности, и в качестве объекта исследования выступает его поведение.

Согласно подходу HCD, в центре системы – пользователь и его опыт. Якоб Нильсен, один из основателей фирмы «Nielsen Norman Group», специализирующейся на анализе пользовательского опыта, отмечает: «Пользователи будут чувствовать себя более уверенно при взаимодействии с системой, если они уже имеют часть «знаний», необходимых для работы с системой»» [8, c. 132]. Подобную согласованность можно рассматривать не только в рамках одного продукта, но и в Сети в целом – пользователь быстрее «научится» взаимодействовать с продуктом, если он уже имел подобный опыт в других продуктах. Простой пример: практически на любом веб-сайте есть меню, с помощью которого осуществляется навигация по контенту веб-сайта.

В условиях пандемии мир столкнулся с необходимостью перехода на дистанционный формат связи. Это привело к повсеместному использованию систем по проведению видеоконференций, которые ранее не имели массового распространения [7]. Например, не более четверти студентов обладали достаточными навыками для участия в видеоконференциях [4]. Это связано с недостатком опыта использования подобных систем («знаний»).

Для упрощения процесса знакомства пользователя с интерфейсом, в том числе с интерфейсами систем по проведению видеоконференций, необходимо проводить исследования пользовательского опыта. Сервис по проведению видеоконференций «Big Blue Button» («ВВВ») является основной площадкой для проведения дистанционных занятий и конференций в МГТУ им. Н.Э. Баумана. В качестве метода анализа пользовательского опыта был выбран метод опроса.

Опрос представляет собой «метод получения первичной информации, основанной на непосредственной или опосредственной связи между исследователем и респондентом с целью получения от респондента необходимых данных в форме ответов на поставленные вопросы»[5]. Это количественный метод исследования.

Использование опроса в качестве метода исследования опыта пользователей «BBB» обосновано следующими факторами:

• простота и «дешевизна» метода;
• отсутствие предварительных аналитических данных о проблемах, с которыми сталкиваются пользователи;
• высокий уровень заинтересованности целевой аудитории в участии в исследовании.

Целью опроса пользователей об их опыте взаимодействия с «BBB»является определение удобства использования функционала, требуемого для проведения дистанционных занятий и конференций и участия в них. Соответственно целевую аудиторию можно описать, как:

• молодёжь, 17-24 года;
• обучающиеся по образовательным программам высшего образования (студенты);
• респондент имел опыт использования Big Blue Button в качестве платформы для проведения дистанционного обучения;
• респондент имел опыт использования иных платформ для организации веб-конференций (Zoom, MS Teams и другие) в течение последнего месяца;
• респондент обучается/обучался дистанционно с помощью платформ для проведения веб-конференций.

         В процессе опроса решились следующие задачи: 1) определить основных конкурентов и их преимущества; 2) выявить барьеры, возникающие при использовании сервиса; 3) выявить проблемы и оценить их критичность и 4) оценить общее впечатление от использования сервиса. Подобные задачи могут быть использованы для проведения первичного анализа (когда отсутствует информация о поведении пользователя в продукте).

На основе поставленных задач был составлен опросник.

Таблица 1.

Анкета опроса респондентов об их пользовательском опыте

№	Вопрос	Тип вопроса	Условие	Варианты ответа	Цель вопроса
1	Какими сервисами Вы пользуетесь для участия в онлайн- конференциях?	Множественный выбор	–	Skype, Zoom, MS Teams, Mind, Discord, FaceTime, Другое	Выявление конкурентов, скрининговый вопрос[1]
2	Как давно Вы пользуетесь BBB?	Один из списка	–	Не пользовался ранее, Меньше месяца, От 1 до 3 месяцев, От 3 до 6 месяцев, От 6 месяцев до 1 года, Более 1 года	Определение опыта использования, скрининговый вопрос
3	«BBB» является одним из средств организации дистанционного обучения в Вашем учебном заведении. Используете ли Вы его в иных целях?	Один из списка	Если «2» не равно «Не пользовался ранее»	Да, Нет	Сегментация целевой аудитории
3.1 (а)	Для каких целей Вы используете данный сервис?	Множественный выбор	Если «3» равно «Да»	Личные конференции с друзьями. Личные конференции с родными. Конференции по работе. Другое.	Определение преимуществ перед конкурентами
3.2 (а)	Почему Вы используете именно этот сервис?	Открытый вопрос	Если «3» равно «Да»	–
3.1 (б)	Почему Вы не используете данный сервис для создания личных конференций с близкими?	Один из списка	Если «3» равно «Нет»	Не общаюсь с близкими с помощью конференций. Использую для этого другой сервис.	Определение недостатков перед конкурентами
3.2 (б)	Почему Вы используете другой сервис?	Открытый вопрос	Если «3.1 (б)» равно «Использую для этого другой сервис»	–
4	Возникали ли у Вас проблемы с пониманием того, как осуществить данные действия на «Big Blue Button»?[2]	Матрица вопросов	Если «2» не равно «Не пользовался ранее»	Проблем не возникало. Раньше были проблемы – сейчас нет. Проблемы возникают и сейчас. Не пользуюсь/ затрудняюсь ответить.	Выявление проблемных блоков при использовании продукта
5	Оцените по 10-балльной шкале, насколько удобно (понятно и просто) работать с сервисом «BBB».	Шкала	1 – Совсем неудобно. 10 – Очень удобно.	Определение общего впечатления
5.1	Поясните Ваш ответ.	Открытый вопрос	–

Опрос был проведён в онлайн-режиме, что соответствует общей тенденции проведения социологических опросов [2]. В опросе приняло участие 70 респондентов. Срок проведения опроса – конец ноября 2020 года.

Перейдём к анализу полученных результатов и определим, как они могут быть использованы для упрощения знакомства пользователя с интерфейсом и улучшения пользовательского опыта.

Конкуренты

Получение сведений об основных конкурентах продукта позволяет определить привычное поведение пользователей. Знакомство с исследуемой системой будет происходить проще, если продукт будет учитывать опыт пользователей в конкурирующих продуктах, что вытекает из ранее упомянутого «закона Нильсена». Для «BBB» основными конкурентами для целевой аудитории выступают Zoom (пользуются 93% респондентов) и Discord (82%).

Среди 70 респондентов только 1 пользователь (1.4%) использует платформу в отличных от учёбы целях. Его привлекает доступность сервиса, пользуется им по работе. Несмотря на незначительный вес данного ответа в отношении всей выборки, он обладает высокой значимостью. Респондент, использующий продукт в своих личных целях, является потенциально лояльным пользователем и может помочь аналитику определить конкурентное преимущество продукта для более эффективной отстройки от конкурентов.

Барьеры

Из 47 респондентов 39 пояснили причины, по которым они предпочитают другие сервисы. Выявление семантических единиц в ответе на открытый вопрос позволило составить перечень барьеров, возникающих у пользователей.

Стоит отметить, что полученные барьеры были объединены в две группы – психологические барьеры и технические барьеры. Для оценки значимости причин, по которым пользователи предпочитают другие сервисы, была подсчитана частота упоминания того или иного барьера.

Как можно заметить из приведённого выше графика, три наиболее часто возникающих барьера (с ними сталкивается свыше 25% респондентов) – удобство (43.6%), качество (30.8%) и надёжность (25.6%). Примечательно, что среди барьеров лидирует барьер, относящийся к группе психологических барьеров.

 Проблемные блоки и их критичность

Наибольший интерес с точки зрения анализа удобства использования интерфейса представляют неопытные пользователи (опыт использования продукта – менее одного месяца). Во-первых, такие пользователи с бóльшей вероятностью смогут вспомнить о возникавших проблемах, так как воспоминания о проблемах у них ещё не утрачены. Пользователи могли не успеть «научиться» решать проблемы. Во-вторых, необходимо иметь представление о первых впечатлениях, которые вызывает продукт, и проблемах, с которыми сталкиваются новые пользователи. Это поможет расширить аудиторию продукта, а также предотвратить отказ потенциальных пользователей от взаимодействия с ним.

Количество респондентов, которые являются неопытными пользователями сервиса, составляет 19 человек (27%). Для определения критичности проблем была разработана методика, учитывающая опыт пользователя. Она заключается в следующем:

1. Составить матричный вопрос, содержащий перечень равнозначного функционала, заданий, страниц веб-сайта и т. д., а также и ответов: «проблем не возникало», «проблемы были раньше», «проблемы есть сейчас», «не пользовался».
2. Сегментировать целевую аудиторию опроса на основе её опыта пользования продуктом. Например, неопытные/опытные. В зависимости от задач исследования количество сегментов может быть увеличено.
3. Составить таблицу коэффициентов перевода ответов в количественное значение:

Таблица 2. 

Коэффициенты критичности проблемы

	Проблем не возникало	Проблемы были раньше	Проблемы есть сейчас	Не пользовался
Неопытные	3	-1	-2	0
Опытные	2	-1	-3	0

• Соотнести значения из таблицы коэффициентов с каждым ответом респондента. Вычислить максимально и минимально возможные значения совокупности коэффициентов для каждого сегмента по каждому вопросу, исключая ответы «Не пользовался». Чтобы получить итоговые максимальное и минимальное значения совокупности коэффициентов для вопроса, достаточно сложить полученные соответственно максимальные и минимальные значения по каждому сегменту.
• Полученные результаты можно представить в нормализованном виде или воспользоваться графическим отображением ненормализованных данных. В зависимости от вопроса количество необходимых для повышения или снижения уровня критичности баллов может меняться. Аналитик, обрабатывающий результаты опроса, может определить собственные пороговые значения.

Таким образом, наиболее критичными блоками являются: загрузка презентации, запись конференции и отправка записи конференции. При этом среди наиболее используемых блоков присутствуют «Подключение микрофона», «Демонстрация экрана» и «Режим интерактивной доски», имеющие средний уровень критичности. Эти проблемы следует также иметь в виду.

Общее впечатление

Если говорить о числовой характеристике удобства пользования сервисом «BBB», то половина ответов лежит в диапазоне 4-7, что отражено на графике «Ящик с усами». Медиана составляет 5 баллов.

Проанализировав поясняющие оценку ответы, выделим проблемы, которые отметили сами пользователи: недостаточно понятный интерфейс (11.9%), отсутствие мобильной версии (6.0%), невозможность переключиться между режимами с/без микрофона внутри конференции (4.5%).Описанные пользователями проблемы также включаются в общий список проблем, для которых следует подготовить рекомендации.

Подводя общий итог, при использовании метода опроса в качестве метода анализа пользовательского опыта следует:

• чётко сформулировать цель, которая должна быть достигнута в результате;
• подробно описать целевую аудиторию, включая опыт пользования исследуемым продуктом;
• в случае отсутствия каких-либо предварительных данных определить такие ключевые вопросы, как конкуренты, барьеры, общее впечатление, с помощью проводимого опроса или иным методом перед проведением опроса;
• разделить неопытных и опытных пользователей в результатах опроса, если целевая аудитория содержит обе группы.

Для оценки уровня критичности проблемы можно воспользоваться методикой, предложенной автором.

Интерфейс должен быть простым и удобным: по этим двум общим характеристикам пользователи будут оценивать продукт [3]. Задача аналитиков – определить, что именно является непростым и неудобным и как это можно изменить. Ведь продукт должен помочь пользователю удовлетворить его потребности, а не вызывать у человека дополнительный стресс из-за собственной сложности. Период пандемии и перехода на дистанционный формат связи был непростым. Однако сегодня хочется надеяться, что цифровые продукты, которые стали жизненно необходимыми в этот период, будут внимательно «слушать» пользователей и улучшаться.

Литература и источники

1. Болтнева А.А. Методы и инструменты UX-исследований при проектировании информационных систем / Цивилизация знаний: российские реалии: Труды XX Международной научной конференции, Москва, 19–20 апреля 2019 года. М.: Российский новый университет, 2019. С. 231-239.
2. Бочарников И.В. Социальные механизмы управления устойчивым развитием российской системы образования //Вестник Московского государственного гуманитарно-экономического института. 2013. № 1 (13). С. 71-75.
3. Галаганова С.Г., Мананникова Д.А. Манипулятивные технологии в мобильных приложениях //Человеческий капитал. 2020. № 8 (140). С. 45-56.
4. Головач В.В. Дизайн пользовательского интерфейса. Искусство мыть слона. http://salikhovilyas.ru/uploads/books/4fc69c328a1be.pdf.
5. Кирой В.Н., Щербина Д.Н., Чернова А.А., Денисова Е.Г., Лазуренко Д.М. Готовность российских студентов к дистанционным форматам обучения: существующее положение и перспективные задачи // Университетское управление: практика и анализ. 2021. №2.
6. Климантова Г. И., Черняк Е.М., Щегорцов А. А. Методология и методы социологического исследования: учебник. 2-е изд..  М.: Дашков и К°, 2019.
7. Мартынова А.А. Использование когнитивных искажений при разработке интерфейсов как способ улучшения пользовательского опыта // Аналитические технологии в социальной сфере: теория и практика: материалы конференции «Социально-аналитические технологии в современном российском обществе». Москва, 2020. С. 104-111.
8. Наумцева Е. COVID – лучшее, что случалось с технологиями за последние 10 лет. https://teqviser.ru/blog/covid-luchshee-chto-sluchalos-s-tehnologiyami-za-poslednie-10-let.
9. Ремарчук В.Н. Социально-гуманитарное образование в технических вузах на пути перемен. В сборнике: Интеграция образования, науки и производства в интересах высокотехнологического комплекса. материалы Международного форума «Технологии в машиностроении – 2010». 2010. С. 62-67.
10. ISO 9241-210:2019. Ergonomics of human-system interaction – Part 210: Human-centred design for interactive systems.
11. Nielsen J. Usability engineering (Interactive Technologies) // Published by Morgan Kaufmann, San Francisco, 1993.

---

[1] Скрининговый вопрос – вопрос, направленный на проверку соответствия респондента целевой аудитории исследования.

[2] Набор действий состоит из функционала сервиса, который может быть использован при проведении дистанционных занятий и конференций. Полный перечень действий: работа с голосованием, поиск ссылок-приглашений, режим интерактивной доски, подключение микрофона, загрузка презентации, демонстрация экрана, запись конференции и её просмотр, отправка записи конференции, выход из конференции.