Что такое автоматизированное тестирование? Гайд по основам.

Автоматизированное тестирование (Automation Testing, Test Automation) — техника тестирования, в которой для выполнения тест кейсов используются специальные программы. Это отличает ее от ручного тестирования, в котором тест кейсы выполняются вручную тестировщиком.

Программы для автоматизации сравнивают полученные результаты с актуальными и генерируют подробные тест-репорты.

Разработка продукта циклична и итерационна — и на каждой итерации, как правило, требуется выполнение одного и того же набора тестов. С помощью инструментов автоматизированного тестирования можно записывать наборы тестов (test suites) и выполнять, когда это необходимо. Как только набор тестов автоматизирован, участие человека в выполнении тестов практически не требуется. Это делает автоматизированное тестирование эффективной техникой. Цель автоматизации — уменьшить количество тестов, которые нужно выполнять вручную.

Зачем нужно автоматизированное тестирование?

Автоматизированное тестирование — лучший способ улучшить эффективность, покрытие продукта тестами, уменьшить время на тестирование. Автоматизированное тестирование очень важно, и вот почему:

• Ручное тестирование всех возможных сценариев использования требует много времени (и, следовательно, денег)
• Автоматизированное тестирование увеличивает скорость тестирования
• Автоматизированное тестирование не требует участия человека для выполнения тестов. Автоматизированные тесты могут быть запущены в любое время (днем, ночью, в выходные и праздники)
• Многократное ручное тестирование одной и той же функциональности скучно

Что автоматизировать в первую очередь?

Для максимальной эффективности, для определения сценариев, подходящих под автоматизацию, пользуйтесь следующими критериями:

• Критически важная бизнес-функциональность
• Тест кейсы, которые нужно выполнять много раз
• Тест кейсы, которые сложно воспроизвести вручную
• Тест кейсы, воспроизведение которых занимает много времени

Следующие критерии не подходят для автоматизации:

• Новые тест кейсы, которые еще не были выполнены вручную
• Тест кейсы для функциональности, требования к которой часто меняются
• Тест кейсы, которые выполняются редко

Мы написали небольшой гайд по выбору приоритетных тест-кейсов для автоматизации.

Процесс автоматизированного тестирования

Шаг 1: Выбор инструмента для автоматизации

Шаг 2: Определение функциональности, которую нужно автоматизировать

Шаг 3: Планирование, тест дизайн и разработка тестов

Шаг 4: Выполнение тестов

Шаг 5: Поддержка написанных тестов

Выбор инструмента

Определение функциональности, которую нужно автоматизировать

Область для автоматизации может быть определена по следующим критериям:

• Функциональность, которая важна для бизнеса
• Сценарии, для тестирования которых нужны большие объемы входных данных
• Функциональность, использующаяся в нескольких частях приложения
• Целесообразность с технической точки зрения
• Сложность написания тест кейсов
• Возможность использования одних и тех же тест кейсов для кроссбраузерного тестирования

Планирование, тест дизайн и разработка

На этом этапе создается тест стратегия и тест-план, которые содержат следующие детали:

• Выбранный инструмент автоматизации
• Фреймворк с описанием его особенностей
• Описание функциональности, тестирование которой будет автоматизировано
• Подготовка стендов для выполнения тестов
• Расписание выполнение автотестов
• Результаты автоматизированного тестирования

Выполнение тестов

Во время этой стадии происходит выполнение автотестов. После выполнения генерируется подробный тест репорт.

Выполнение тестов может быть запущено как из инструмента автоматизации напрямую, так и с помощью системы управления тестированием (Test Management Tool), который запустит инструмент автоматизации.

Пример: HP Quality Center — cистема управления тестированием, которая управляет QTP для выполнения автотестов.

Поддержка написанных тестов

На стадии поддержки происходит изменение существующих тестов (в случае планируемого изменения функциональности) или добавление новых тестов.

Советы по использованию инструментов автоматизации

• Функциональность, подходящая для автоматизации, должна быть определена до начала разработки проекта.
• Инструмент для автоматизации должен быть выбран исходя из требований конкретного продукта, а не из популярности.
• Придерживайтесь стандартов написания кода, когда разрабатываете автотесты. Вот некоторые из них:
  • Придерживайтесь гайдлайнов при написании кода
  • Оставлйте комментарии
  • Обрабатывайте ошибки — при разработке думайте о том, как отработает ваша система в случае некорректного поведения приложения.
  • Процент найденных багов
  • Время, затраченное на выполнение автотестов для каждого релиза

  Преимущества автоматизированного тестирования

  • На 70% быстрее, чем ручное тестирование
  • Надежность
  • Сохраняет время и деньги
  • Не требует участия человека для выполнения тестов
  • Возможность повторного использования написанных скриптов

  Типы автоматизированного тестирования

  • Smoke Testing
  • Unit Testing
  • Integration Testing
  • Functional Testing
  • Keyword Testing
  • Regression Testing
  • Data Driven Testing
  • Black Box Testing

  Автоматизированное тестирование: что это?

  

  Прошли времена, когда найти работу ручным тестировщиком было легко. Сейчас все больше работодателей предпочитают QA-инженеров, которые умеют писать автотесты. Так работа идет быстрее и эффективнее, а сам тестировщик может сосредоточиться на более сложных задачах. Рассказываем, что такое автотестирование, для чего оно подходит и какие инструменты нужны, чтобы освоить автоматизацию тестирования с нуля.

  

  Освойте профессию
  «Тестировщик-автоматизатор»

  Что такое автоматическое тестирование

  Автотестирование (autotesting) — это способ тестирования продукта с использованием специальных программ. QA-инженер на основе тестового сценария пишет автотест, который проверяет код на ошибки, прогоняет на продукте разные пользовательские сценарии, тестирует базовый функционал, собирает ошибки в итоговый отчет. Данные автоматизированного и ручного тестирования собирают вместе, чтобы передать их разработчикам и улучшить продукт.

  Какие виды тестирования можно автоматизировать

  Автотестирование — это хороший способ избавить QA-инженеров от рутины постоянно повторяющихся тестов и снизить риски, что тестировщик пропустит серьезную ошибку. Написать автотесты можно для:

  Профессия / 16 месяцев
  Тестировщик-автоматизатор
  Лучший выбор для быстрого старта в IT
  3 790 ₽/мес 6 317 ₽/мес

  

  • Дымового тестирования (smoke testing). Это проверка базовых функций ПО: работает ли форма входа в приложение, можно ли открыть его на разных устройствах, доступен ли API.
  • Модульного тестирования (unit testing). Это проверка кода отдельного модуля, функции приложения.
  • Нагрузочного тестирования. Это тип тестирования, который можно выполнить только автоматизированно. В процессе автотест генерирует большое количество пользователей в приложении, чтобы проверить, сколько оно может обработать и не сломаться.
  • Интеграционных тестов. Проверяют, насколько хорошо отдельные модули работают вместе, и правильно ли они передают друг другу данные. Например, ведет ли форма покупки билетов туда, куда должна вас вести — к странице оплаты.
  • Регрессионных тестов. Они помогают защитить уже существующий качественный код от багов, которые возникают при обновлении.

  Сергей Рудик, QA-ментор в Skillfactory:

  Автотесты могут проверить техническую сторону интерфейса приложения или сайта: соответствие цветов задаче, наличие кнопок, их работоспособность. Автотестам можно передать также пользовательские сценарии, например, доставки еды или заказа такси. Программа проверит все, что происходит: как меняется состояние страницы, какие элементы на ней появляются или, наоборот, не появляются, насколько хорошо работает связь интерфейса с API, как компоненты приложения взаимодействуют друг с другом.

  Возможно ли автоматизированное тестирование без ручного?

  Нет. Как минимум потому, что автоматизированное тестирование нужно организовать, а значит, сначала сделать что-то руками.

  Сергей Рудик, QA-ментор в Skillfactory:

  Без опыта ручного тестирования в QA никуда. Автотестирование не заменяет на 100% всю работу тестировщиков. Сначала нужно в любом случае проверить продукт руками: посмотреть, что в нем есть, какие нужны сценарии тестирования, чтобы его проверить, составить тест-кейсы, сценарии и чек-листы. Всем этим занимаются люди, а на основе этих документов потом пишут автотесты.

  Также в тестировании очень важно помнить, что пользователь может вести себя непредсказуемо, поэтому каждому продукту нужен взгляд человека. Ручное тестирование важно при проверке UI и UX: автотест может подтвердить, что кнопки правильного цвета и работают, но не может сказать, насколько удобно и интересно взаимодействовать с приложением.

  

  Станьте тестировщиком – это лучший выбор для быстрого старта в IT

  Как начать автоматизацию тестирования?

  В первую очередь нужно составить тест-кейсы: это документы, в которых прописано, что нужно проверить, какие шаги для этого предпринять и какие результаты должно показать приложение. Например, если вам нужно протестировать поисковую строку на сайте, сценарий будет состоять из проверки строки ввода, кнопки «поиск», реакции сайта на неудачный поиск, работу кнопки-крестика для отмены поиска. У каждого из этих элементов есть ожидаемый результат, если его не происходит — автотест в отчете должен вам об этом сообщить.

  Затем нужно выбрать фреймворк тестирования — это платформа или набор инструментов, которые будут использоваться для написания и реализации автотестов.

  Сергей Рудик, QA-ментор в Skillfactory:

  Писать автоматизированные тесты можно на Java, Python, Go. Найти заготовки для различных тестов, на основе которых вы подготовите собственный тест, можно в библиотеках: например, PyTest, Selenium. Python и PyTest помогают писать тесты для проверки бэкенда, API. На Selenium можно проверить интерфейс и создать эмуляцию браузера. Этих инструментов достаточно для старта в автоматизированном тестировании.

  По данным исследования Skillfactory, от продвинутых кандидатов на позицию тестировщиков-автоматизаторов также ждут:

  • Владение SQL, GraphQL, JSON — чтобы запрашивать нужные данные из базы, HTTP — чтобы искать ошибки в коде сайтов и веб-приложений.
  • Умение работать с ПО для разработки: Git — для хранения версий кода, Postman — для тестирования бэкенда сайта, DevTools — чтобы проверять фронтенд сайта.
  • Знание ПО для управления данными: ORACLE, PostgreSQL, Grafana, REST API.

  После того как инструменты выбраны и тесты написаны, можно запускать проверку и ждать ответа от автоматизированной системы. Итогом работы автотеста должен стать баг-репорт — отчет об ошибках, которые передают команде разработки на исправление.

  Тестировщик-автоматизатор

  Как ворваться в IT, даже если вы не умеете программировать? Стать тестировщиком. Для старта достаточно базовых знаний ПК. А начать работать можно уже через 4 месяца обучения.

  Automation testing | How crucial is that for mobile app development?

  Now in this era of automation testing (AT), it’s important to identify whether the project is appropriate for automation testing or not. Automation testing does not overpower or replaces manual testing but it does is compliments the manual testing. Automation testing needs a strategy with proper planning, monitoring & control similar to manual testing. Automation testing thus when implemented correctly, can become an asset to the team, project and ultimately to the organization.

  So, there are significant advantages of automation testing. Like-

  • Very useful to execute the routine tasks like smoke tests and regression tests.
  • Beneficial in preparing the test data.
  • Helps to execute the test cases which involve complex business logic.
  • Great to execute the test cases which are a bit difficult to execute manually.
  • Great to execute the cross-platform test cases (like different OS, browsers etc.)
  • When the number of iterations of the test case executions is not known automation testing is the best fit.

  Let me put a demonstration for you how automation testing is done. Our QA Mr. Md. Mohoiminule Islam Chowdhury Sohol has put his work on automation testing together to help the community. Here’s his work on automation testing.

  Automation Testing By Sohol

  13 Steps by steps instruction to configure Appium and Android in Windows:

  • Download Android SDK from the following location:
  http://www.develoepr.android.com/sdk/index.html
  • Run .exe file of Android Studio.
  Find the SDK Location at c: / Users / user / AppData / Local / android / SDK
  • Download Java from the following location:
  http://www.oracle.com/technetwork/java/javase/downloads/jdk9-downloads-3848520.html
  • Set System variables path for both Java and Android so that your System detect these locations.

  Java Path Set

  Android Path Set

  • Download Eclipse from the following location:
  https://eclipse.org/downloads/
  • Extract Eclipse folder and open the eclipse.exe file to launch editor.
  • Install ADT Plugin into eclipse following instructions from below link:
  https://stuff.mit.edu/afs/sipb/project/android/docs/sdk/installing/installing-adt.html
  • Complete these settings in Eclipse once you configured ADT Plugin to make it recognize:
  a. set the path of SDK Location in Preference window”.

  b. “Open Custom Perspective and make Android AVD Manage Enable.

  • Create Android Virtual Device which will be later used for Testing:

  • Download Dotnet Framework 4.5 to support Appium Latest version from the below link:
  https://www.microsoft.com/en-us/download/confirmation.aspx?id=30653
  • Install Appium Server from the below link:
  https://github.com/appium/appium-desktop/releases/tag/v1.2.7 (Select .exe based on your OS)
  • Download Appium and Selenium Jars from Maven Repositories.
  mvnrepository.com/artifact/io.appium/java-client/2.1.0

  • Create a Basic Java Project in Eclipse by configuring all these jars into it.

  Check the devices is connected with PC:

  Command: >adb devices

  Mobile device configure:

  Settings->Developer options–>ON
  Settings–>Developer options–>USB debugging enable
  Settings–>Developer options–>USB configuration–>MIDI
  Appium run:
  Open appium
  Set Host= 127.0.0.1
  Port= 4723 & click ‘Advanced’
  Check ‘Allow session override’
  Start appium

  Run Mobile Application in Real Android Device:
  package mobile1;
  import java.io.File;
  import java.io.IOException;
  import java.net.URL;

  import org.openqa.selenium.By;
  import org.openqa.selenium.By;
  import org.openqa.selenium.remote.DesiredCapabilities;
  import org.testng.annotations.Test;

  import io.appium.java_client.android.AndroidDriver;
  import io.appium.java_client.remote.MobileCapabilityType;
  import io.appium.java_client.remote.MobilePlatform;

  import java.util.ArrayList;
  import java.io.BufferedReader;
  import java.io.FileReader;
  import java.io.FileWriter;
  import java.io.IOException;

  @SuppressWarnings(“unused”)
  public class mobile1

  @SuppressWarnings(“rawtypes”)
  public AndroidDriver driver;

  @SuppressWarnings(“rawtypes”)
  @Test(priority=0)
  public void config() throws InterruptedException, IOException

  try //Android
  //File app = new File(“D:\\GG Projects\\Connect\\builds\\Android\\app-debug-v.1.2.c-October 2, 2016.apk”);

  //iOS
  File app = new File(“D:\\com.bs.ecommerce.nopstation_2.0.2.apk”);
  //File appDir = new File(“src”);
  //File app = new File(appDir, “app-debug-v.1.2.c-Sep 28, 2016.apk”);

  DesiredCapabilities cap = new DesiredCapabilities();
  cap.setCapability(MobileCapabilityType.PLATFORM_NAME, MobilePlatform.ANDROID);
  cap.setCapability(MobileCapabilityType.DEVICE_NAME, “Galaxy S8+”);

  cap.setCapability(MobileCapabilityType.APP, app.getAbsolutePath());
  cap.setCapability(MobileCapabilityType.NO_RESET, “true”);
  driver = new AndroidDriver(new URL(“http://127.0.0.1:4723/wd/hub”),cap);

  System.out.println(“click inside the mobile application”);

  driver.findElement(By.xpath(“//android.widget.ImageView[@content-desc=’More options’]”)).click();
  Thread.sleep(10000);
  System.out.println(“click Done”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/emailEditText”)).sendKeys(“[email protected]”);
  Thread.sleep(5000);
  System.out.println(“Input User Name”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/passwordEditText”)).sendKeys(“123456”);
  Thread.sleep(5000);
  System.out.println(“Input User Password”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/btn_addtoCart”)).click();
  Thread.sleep(10000);
  System.out.println(“click Add to cart”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/menu_cart”)).click();
  Thread.sleep(10000);
  System.out.println(“click shopping cart”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/checkoutBtn”)).click();
  Thread.sleep(10000);
  System.out.println(“click Proceed to checkout”);

  driver.findElement(By.className(“android.widget.CompoundButton”)).click();
  Thread.sleep(10000);
  System.out.println(“click Ground button”);

  driver.findElement(By.xpath(“//android.widget.CompoundButton[@index=’1′]”)).click();
  Thread.sleep(10000);
  System.out.println(“click Cash On Delivery (COD)”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/btn_continue”)).click();
  Thread.sleep(10000);
  System.out.println(“click on Continue”);

  driver.findElement(By.id(“com.bs.ecommerce.nopstation:id/btn_continue”)).click();
  Thread.sleep(10000);
  System.out.println(“click on CONFIRM”);

  >catch (Exception e) e.printStackTrace();
  // TODO: handle exception
  >

  >catch(NullPointerException nullException) System.out.println(“Exception Caught !”);
  >

  Automation Testing Demo: Mobile App

  При подготовке материала использовались источники:

  Что такое автоматизированное тестирование? Гайд по основам.

  Автоматизированное тестирование: что это?

  
  https://medium.com/brainstation23/automation-testing-how-crucial-is-that-for-mobile-app-development-a3c6de722b20

  Читайте также:  Программа интернет вещей что это