Заказчик – компания-разработчик технологий для монетизации онлайн-контента. Решения заказчика широко используются развлекательными компаниями, поставщиками онлайн-контента.

Заказчик предоставляет технологии для линейного просмотра телевидения и просмотра по требованию. Оказание услуг осуществляется по различным бизнес-моделям: аренда, продажа, подписка.

Ежемесячно через решения заказчика проходит более 28 000 часов контента от 460 контент-провайдеров. Общее число потребителей превышает 100 миллионов домохозяйств.

Продукты компании – системы предоставления видеосервисов по запросу (VOD), мультиплатформы, услуги по анонсированию фильмов и сериалов, системы аналитики данных – доступны в 37 странах и на 15 языках.

Заказчик искал поставщика полного цикла услуг по тестированию мобильных и веб-решений. После тщательного отбора для выполнения работ по тестированию и обеспечению качества были приглашены инженеры «Технологий качества».

Заказчику требовалось провести функциональное тестирование веб- и мобильных приложений для просмотра видео онлайн. При этом важно было учитывать, что на некоторые видео были наложены возрастные и/или географические ограничения.

Учтя все особенности, QA-команда выполнила следующие работы:

• Провела тестирование совместимости продуктов с 12 браузерами.
• Провела полный цикл тестирования приложений на 22 устройствах (7 из которых поддерживали операционную систему iOS, 15 – Android).

В основе любого успешного аутсорс-проекта лежит эффективная коммуникация и оперативное решение всех вопросов.

QA-менеджер со стороны «Технологий качества» ежедневно общался с командой заказчика, оговаривая объем работ и обсуждая задачи, которые требовалось решить к будущему релизу.

Задокументированные результаты работ

Инженеры по тестированию создали подробную документацию, в которой изложили всю информацию по качеству продуктов. Команде заказчика были переданы следующие артефакты:

• Отчеты по качеству;
• Детальное описание дефектов в баг-трекинговой системе с приложенными скриншотами и файлами видеозаписи.

Далее заказчик обратился к команде по тестированию производительности.

Задача – провести тестирование производительности продуктов на промежуточном окружении (staging environment), которое имитировало функциональность производственного окружения. В основе тестирования должны были лежать типичные сценарии использования продуктов конечными потребителями.

К выполнению этой задачи были привлечены три специалиста по тестированию производительности.

Использованные технологии: Chrome DevTools, Fiddler, MS Visual Studio, Zabbix, Amazon WS.

Перед специалистами были поставлены следующие задачи:

• Определить, как продукт будет реагировать на действия пользователей при заданной нагрузке.
• Определить время отклика приложения при работе 30 тысяч пользователей одновременно.
• Измерить параметры производительности системы (сколько пользователей могут одновременно использовать продукт, время отклика продукта, число запросов в секунду, которые могут быть обработаны правильно, число операций в секунду, которые могут быть выполнены).
• Установить максимальную нагрузку, которую может выдержать система и измерить уровень стабильности при пиковой нагрузке.

Командой «Технологий качества» были определены подходящие инструменты и разработаны скрипты, которые помогли измерить производительность продукта и ответить на поставленные вопросы.

Выполненные работы:

• Изучение и анализ системы;
• Разработка скриптов;
• Настройка генераторов нагрузки;
• Предварительный запуск тестов;
• Проведение трех итераций стресс-тестирования;
• Анализ результатов;
• Подготовка отчетов.

По завершении работ заказчику был передан подробный отчет с результатами тестирования производительности. В нем содержалась следующая информация:

• Статистические данные о времени отклика сервера при проведении самых важных операций;
• Диаграммы, которые демонстрировали зависимость производительности системы от числа одновременных пользователей;
• Данные о максимально допустимом числе пользователей;
• Статистика по ошибкам;
• Заключение о производительности системы в целом с указанием проблемных мест.

Заказчиком были разработаны мобильные и веб-приложения для доставки видео абонентам по запросу в рамках подписки (SVOD). В данных приложениях также существовала возможность оплаты каждого отдельно просмотренного видеофайла (TVOD).

Перед выпуском продуктов на рынок их нужно было протестировать на соответствие всем требованиям.

Команда инженеров успешно выполнила тестирование в 5 браузерах и на 4 мобильных устройствах.