Что такое альфа- и бета-версии

Каждая программа перед тем, как попасть к пользователю, проходит несколько этапов тестирования. Но иногда пользователям могут быть доступны даже те версии, которые не протестированы до конца — и многие этому даже рады. Давайте разберёмся, как это работает.

Стадии тестирования и разработки софта

Если не углубляться в нюансы разработки и тестирования, то обычно говорят о пяти состояниях, в которых находится программа:

1. Преальфа (Pre-alpha) — самая начальная стадия разработки.
2. Альфа-версия — вроде всё сделали, протестировали самое основное.
3. Бета-версия — оттестировали большую часть, ловим тараканов при поддержке небольшого круга доверенных людей.
4. Релиз-кандидат — почти готовая к выпуску программа.
5. Релиз — готовая программа.

В теории софт должен пройти все стадии, прежде чем отправиться к пользователю. Но на практике бывает так, что люди годами могут пользоваться альфа-версией и это их устраивает. Или даже ждать выпуска преальфы, чтобы скорее воспользоваться новыми возможностями или получить эксклюзивный игровой контент. Всё зависит от целей и задачи программы (или игры).

Преальфа

Преальфа — это сырой продукт, не предназначенный для использования. На нём чаще всего тестируют гипотезы и убеждаются, что софт в принципе может работать.

Эта версия позволяет оценить выбранную архитектуру и подход к программированию, сравнить с планируемой нагрузкой и понять, идёт ли всё по плану или впереди будет гораздо сложнее. В преальфе много ошибок, заглушек и не предусмотренных тестами ситуаций.

Иногда преальфа нужна для того, чтобы показать клиентам или инвесторам, как вообще идут дела в компании. Например, в игровой индустрии ролики из преальфа-версии позволяют заранее прикинуть возможности графики в игре или понять, стоит вкладывать деньги в эту идею или она провалится в прокате.

Альфа

Когда программа доходит до стадии «альфа», то считается, что в ней реализованы все возможности, предусмотренные этой версией, и теперь нужно найти все ошибки.

Случается такое, что во время тестирования в программу добавляются или в ней сокращаются некоторые модули, чтобы снизить сложность или количество ошибок. Альфа-версия считается уже как бы рабочей, но очень сырой версией программы. По идее, ей уже можно пользоваться, но с поправкой на общую глючность.

Бывает такое, что программа в стадии альфа-версии может находиться годами: разработчики никуда не спешат и делают софт для себя. Или у них внезапно закончились деньги, а забрасывать программу жалко. Тогда они могут открыть эту версию для всех, но с оговоркой, что это альфа и что пользуемся на свой страх и риск.

Бета

Бета-версия — это уже серьёзно. Чаще всего это означает, что в ней исправлены почти все большие ошибки, но может остаться много мелких, которые ещё не нашли тестировщики.

Компания может выпустить бета-версию программы и для обычных пользователей. Например, она может давать к ней доступ в обмен на сообщения об ошибках — так пользователи раньше остальных получают новый продукт, а компания — бесплатных тестировщиков. Такой процесс тестирования называется открытым, потому что продукт открывается для всех желающих.

Ещё одна причина выпуска бета-версий в свет — желание компании уйти от ответственности за ошибки. Идея такая: компания говорит, мол, что это ещё не окончательная версия, поэтому в ней могут быть баги, которые ещё не отловили. Но на самом деле эту версию никто не будет дорабатывать до финала — в лучшем случае поправят пару заметных ошибок.

Релиз-кандидат

После бета-тестирования и исправления почти всех найденных ошибок, программа переходит в стадию релиз-кандидата. Это значит, что ей можно пользоваться как полноценной программой, но не факт, что тестировщики нашли все ошибки.

Если через 1–3 месяца полноценного использования и тестирования программы в ней не найдут никаких ошибок, программа переходит в стадию релиза.

Релиз-кандидат — это почти всегда та же самая программа, что и в релизе, просто разработчикам нужно убедиться, что она работает стабильно и без сбоёв.

Релиз

Релиз — это готовая версия программы, доступная для всех пользователей.

Релизом может быть и крупное обновление, например, новая версия Windows, а может быть и обновление с версии 1.5.234 на версию 1.5.235. Про то, что означают эти цифры и как они меняются, мы поговорим как-нибудь отдельно.

Бета-тестирование

Бета-тестирование дает возможность улучшить приложение на основе отзывов пользователей за пределами вашей группы разработчиков приложений, которые пробуют ваше приложение на собственных устройствах.

В этом разделе описаны варианты бета-тестирования универсальных приложений Windows.

Почему бета-тест?

Чтобы тщательно протестировать приложение, необходимо попробовать его в максимально возможном количестве конфигураций устройств и взаимодействий с пользователем. Делать все это тестирование в доме трудно, если не невозможно.

При бета-тестировании пользователи пытаются использовать приложение на своих устройствах. И это немодерировано: вместо выполнения указанных задач пользователи имеют полную свободу в том, как они используют приложение, чтобы они могли найти проблемы, которые вы никогда не ожидали.

С помощью бета-тестирования можно:

• Тестирование приложения на различных устройствах.
• Определите проблемы с производительностью и другие ошибки, которые не найдены в противном случае.
• Получение сведений об использовании в реальном мире, которые можно использовать для улучшения взаимодействия с пользователем.
• Получить отзывы без влияния на общедоступные оценки в Microsoft Store.

Когда следует тестировать бета-версию

Лучше всего проводить бета-тестирование в качестве окончательного этапа тестирования перед выпуском приложения. На этом этапе вы тщательно протестировали приложение, как можно себе, и вы рассмотрели все явные варианты использования. Бета-тестирование не является заменой других методов тестирования. Так как бета-тестирование немодерировано, участники могут не перехватывать все ошибки в коде, так как интерфейс каждого тестировщика самонаправлен, и вряд ли они будут изучать все функции приложения. Но отзывы о бета-тестировании могут дать вам окончательную волну реальных отзывов, которые показывают проблемы, которые вы, возможно, никогда не ожидали, прежде чем вы идете жить.

Далее

В Центре партнеров можно ограничить доступность вашего приложения и распространять его только между тестировщиками, вне зависимости от того, для какой операционной системы оно предназначено. Нет необходимости создавать отдельную версию приложения с отдельным именем и удостоверением пакета; Вы можете выполнить тестирование, а затем создать новую отправку, когда вы будете готовы сделать приложение доступным для всех. (Конечно, при желании можно создать отдельное приложение только для тестирования. В таком случае укажите для него имя, отличное от того, которое вы хотите использовать как конечное имя общедоступного приложения.)

Ознакомьтесь с бета-тестированием и целевым дистрибутивом , чтобы узнать, как отправить приложение в Магазин для бета-тестирования.

Личный опыт проведения бета-тестирования

Мы делаем приложение по обучению дизайну в формате игры.

Хочу поделиться личным опытом, как я провел бета-тестирование, и что из этого вышло.

Что такое бета-тестирование?

Суть бета-тестирования — это поюзать продукт ограниченным кол-во пользователей, чтобы выявить ошибки, и устранить их перед запуском.

Зачем все это нужно?

У многих может возникнуть мысль, что у меня огромный по функционалу продукт, и поэтому естественно, что я решил провести бету. На самом деле это не так. Мой продукт меньше, чем любой средний it-продукт по функционалу раз в пять.

Зачем тогда бета? Бери и запускайся!

Попробую объяснить причину.

Первое впечатление — это навсегда! Я не хочу, чтобы мой продукт ассоциировался с «забаговано-косым» интерфейсом. Вернуть пользователя будет сложнее, чем привлечь в первый раз, если он получил негативный опыт. Конечно все мы не исправим, и до идеала не дойдем, но это и не нужно. Главное, чтобы все работало стабильно и не было критических ошибок.

Второй момент — это андроид. До беты мы почти не тестировали на андроид, т. к. у меня его нет (хотя я задумался о том, чтобы купить его для тестов) . Поэтому, мне было важно увидеть приложение глазами пользователей. Плюс, когда проводится бета, можно протестировать приложение на большом количестве устройств, и мне был важен именно андроид, т. к. у них большая вариативность, и есть шанс, что где-то что-то не будет работать намного выше, чем в iOS. Так и получилось. На андроиде всплыло то, что я даже не ожидал. Например шрифты почему-то стали огромные, и у многих это поломало верстку.

Помимо поиска багов, мне было интересно посмотреть, как пользователи проходят саму игру. Интересно ли им или нет. Понятно или нет. Дойдут ли они до конца, или нет. Для меня это был важный момент, ведь если программу будет не интересно проходить, то вообще какой толк чего-то чинить.

И в целом мне было интересно пощупать и пройти весь путь разработки продукта, в том числе бета-тестирование. Это увлекательное путешествие!

Как проходила бета

Этот блок будет интересно почитать тем, кто хочет увидеть, что под капотом. Честно, я не знаю «как правильно». Прочитал пару статей, но они не особо мне помогли. Действовал из соображения логики.

Весной я проводил мини MVP и делал продажу продукта без продукта (подробнее об этом можно почитать тут) . По итогу у меня сохранилась небольшая база пользователей в телеграм. Я написал, что провожу закрытое бета-тестирование, и что если вы хотите принять участие, то можете вступить в «этот чат-бот».

За один день я собрал достаточное количество пользователей. Я хотел 30, но вышло 40+ человек, что тоже хорошо, т. к. нужно понимать, что многие просто ничего не напишут.

Я прислал им инструкцию, что нужно делать.

Инструкция включала в себя несколько важных блоков:

• Описание, что конкретно нужно делать. Это важно!
• Как установить приложение.
• Поблагодарить, и подчеркнуть, как важна их помощь! Это реально так: )

Где-то через час, я начал получать первые комментарии, и движуха пошла.

Бета продлилась где-то неделю, и за это время важно поддерживать контакт, напоминать о себе, но при этом не надоедать. За неделю я прислал еще где-то 2-3 письма. Эти письма были намного короче, чем первое, и там я спрашивал как идут дела и просил заполнить небольшую форму обратной связи.

Что по результатам?
Парочка комментариев

Комментарии поделились на четыре типа:

• Баги. Текст вылезает за пределы экрана, нажатие на подсказку приводит к серому экрану и прочее.
• Орфография. Мы получили большое кол-во комментариев, связанных с орфографическими ошибками.
• Что-то не понятно / неудобно. Кому-то было тяжело читать текст, кто-то не понял, что делать в уроке и прочее.
• Предложения. Добавить прогресс бар, возможность увеличивать фото и прочее.

Баги мы берем в оборот сразу, орфографию тоже. По третьему и четвертому пункту выставляем приоритет, что реально важно для пользователя записываем на ближайшее обновление, что-то может подождать до следующего, а что-то можно записать и отложить на подумать.

Важнее всего было нащупать паттерн или проще говоря закономерности. То есть, когда об одной и той же проблеме, иногда разными словами говорят разные люди. Паттерн — это проблема которых беспокоит многих, и на нее нужно обратить особое внимание, она более объективна, чем другие проблемы или предложения.

Люди, из бета-тестирования поделились на две группы:

• Те, кто ничего не написали. Ожидаемо, и нормально.
• Те, кто написали много, и сильно нам помогли. Это крутые ребята! Спасибо вам!

Я понял простую истину

Без беты я бы искал баги самостоятельно еще месяц-два, а некоторые, такие как орфографические ошибки, и не заметил бы вовсе.

Интересно пообщаться с ребятами из сфер игр, образования, геймификации. Напишите мне в телеграм @gaugash

При подготовке материала использовались источники:
https://thecode.media/alpha/
https://learn.microsoft.com/ru-ru/windows/uwp/debug-test-perf/beta-testing
https://vc.ru/life/502654-lichnyy-opyt-provedeniya-beta-testirovaniya