Заказчик – один из крупнейших мировых лидеров, оказывающих услуги в области фармацевтики и корпоративного аутсорсинга. Содействуя развитию лекарственных средств и консультируя на этапе их разработки, клиент использует инновации для укрепления здоровья и продления жизни людей в разных регионах.

Заказчик собирает, анализирует и преобразует большие данные о торговых операциях в базы данных, которые потом отправляет своим клиентам.

Чтобы обеспечить целостность и полноту информации, а также ее соответствие предъявленным требованиям и бизнес-логике, заказчик обратился в Технологии качества за сервисом по тестированию big data.

Компания выделила двух опытных QA-инженеров, которые приступили к тестированию продукта только после первой фазы – подготовки базы данных.

Данная фаза состояла из нескольких шагов:

1. Клиент отправляет на загрузку исходные файлы со структурированными и полуструктурированными данными.
2. Затем они загружаются в промежуточные БД (их количество зависит от числа исходных файлов).
3. Далее все базы преобразуются в одну консолидированную БД со структурированной информацией, представленной в соответствии с бизнес-логикой и требованиями клиента.
4. Наконец, консолидированная база трансформируется в базу выходных структурированных данных из множества исходных файлов (например, топ-50 корпораций с самыми впечатляющими показателями продаж, дополнительные показатели по среднему объему продаж на основе исходных данных, иные способы группировки данных в зависимости от запросов клиента).

В ходе второй фазы – тестирования – инженеры проверяли:

• Бизнес-логику на уровне промежуточной/консолидированной баз данных;
• Соответствие информации в исходных файлах и базе выходных данных после трансформации;
• Структуру базы;
• Специфичные проверки (отображение информации списками, правильный расчет добавленных показателей на основе исходных данных, группировки данных и многое другое).

В процессе работы QA-инженерам приходилось тестировать большое количество объемных исходных файлов с помощью SQL-запросов, на что часто уходило много времени.

Поэтому для автоматизации тестирования big data команда использовала инструменты Excel – Power query, Macros, Pivot tables. С их помощью инженеры загружали данные из различных источников (.CSV-файлов, Excel, БД), группировали их и сравнивали. Для удобной визуализации данных команда планирует использовать инструмент Power BI.

В ходе последующей стабилизации все узкие места, обнаруженные QA-инженерами на уровне БД, отправляются программистам на доработку (если данные были потеряны или обрезаны, содержали непредвиденные символы, загружались не в полном объеме, формат был считан некорректно и многое другое).

Только в случае бездефектной работы новой версии ее отправляли в продуктовую среду.