Америс
Сo-Community Manger
Уважаемые поклонники Forge of Empires!
В последнее время мы получили множество комментариев относительно A/B-тестов и того, как они нами проводились. В частности, мы получили множество отзывов по поводу A/B-тестов для Forge+ и обновления Ежедневных испытаний. Поэтому мы подумали, что для вас было бы полезным получить больше информации о нашем подходе к A/B-тестированию и о том, почему подобное тестирование является неотъемлемой частью разработки Forge of Empires.
Начнем с определения A/B-тестирования. A/B-тест — это стандартный для нашей отрасли тест, который часто используется разработчиками для отслеживания реакции игроков на какую-либо функцию. При таких тестах случайным образом выбираются две или более групп, они состоят из тестовой группы (группа «А»), которая получит доступ к функции, и контрольной группы (группа «Б»), которая не имеет.
Благодаря этому сравнению разработчики могут напрямую отслеживать изменения в поведении игроков и оценивать влияние тестируемой функции на игровой процесс. Мы делаем это с помощью как количественной, так и качественной обратной связи. Мы должны учитывать и то, и другое, и просим помнить, что ваши отзывы на форуме — это только часть из тех многих источников, из которых мы получаем обратную связь.
В качестве примера возьмем недавнее обновление Ежедневных испытаний. Исследовав обе группы, мы можем сравнить многие аспекты (включая ежедневную вовлеченность, удержание интереса к игре с помощью функции, возраст участвующих людей, и т. д.). Это помогает нам определить, будет ли это изменение выгодным и привлекательным для наших игроков как новая функция. Если результаты не показывают положительной тенденции, мы можем копнуть глубже и проверить, в чем кроется проблема. В конце концов, мы сделаем выводы и либо отдадим функцию, либо полностью удалим ее.
Вот почему A/B-тесты необходимы для нас. Они позволяют нам получить доступ к этим значимым данным на основании тестирования в реальной жизни. С помощью этих данных мы можем усовершенствовать наши будущие функции и выявить их потенциальные проблемы.
Кроме того, выпуск новой функции для небольшой группы пользователей позволяет нам более эффективно отслеживать отзывы и предотвращать негативные отзывы и эмоции, которые могут появиться, если мы сразу же запустим не протестированную функцию для всей игровой аудитории.
Forge of Empires — это, конечно же, большая игра. Ей увлечены сотни тысяч игроков во множестве Миров. Но это также означает, что многое может пойти не так. A/B-тесты абсолютно необходимы, если мы хотим снизить потенциальный риск запуска новой функции для такой большой аудитории. Последствия запуска непроверенной функции могут вызвать негативное опыт в игре — как у нас, так и у вас.
Также важно подчеркнуть, что A/B-тесты не являются выборочными. Никто из игроков не будет иметь какое-либо долгосрочное преимущество или будет предварительно выбран для тестовой группы.
Вы, должно быть, заметили, что есть некоторые функции, которые мы не можем тестировать при помощи подобных тестов, потому что преимущества будут слишком велики, чтобы это было честно, а мы хотим сохранить честность в игре.
Распределение групп тестирования является чисто случайным, и справедливость, не единственная причина для этого. Это связано в пертую очередь с тем, что элемент случайности является неотъемлемой частью качества результатов теста.
Мы надеемся, что смогли объяснить, почему A/B-тесты являются ключом к нашей стратегии разработки игры и останутся неотъемлемой частью будущих обновлений.
Искренне ваша,
Команда Forge of Empires