Тестирование big data для корпорации, предоставляющей услуги фармацевтическим компаниям
ОПИСАНИЕ ПРОДУКТА
Заказчик – один из крупнейших мировых лидеров, оказывающих услуги в области фармацевтики и корпоративного аутсорсинга. Содействуя развитию лекарственных средств и консультируя на этапе их разработки, клиент использует инновации для укрепления здоровья и продления жизни людей в разных регионах.
Заказчик собирает, анализирует и преобразует большие данные о торговых операциях в базы данных, которые потом отправляет своим клиентам.
Чтобы обеспечить целостность и полноту информации, а также ее соответствие предъявленным требованиям и бизнес-логике, заказчик обратился в Технологии качества за сервисом по тестированию big data.
ОПИСАНИЕ ПРОЕКТА
Компания выделила двух опытных QA-инженеров, которые приступили к тестированию продукта только после первой фазы – подготовки базы данных.
Данная фаза состояла из нескольких шагов:
- Клиент отправляет на загрузку исходные файлы со структурированными и полуструктурированными данными.
- Затем они загружаются в промежуточные БД (их количество зависит от числа исходных файлов).
- Далее все базы преобразуются в одну консолидированную БД со структурированной информацией, представленной в соответствии с бизнес-логикой и требованиями клиента.
- Наконец, консолидированная база трансформируется в базу выходных структурированных данных из множества исходных файлов (например, топ-50 корпораций с самыми впечатляющими показателями продаж, дополнительные показатели по среднему объему продаж на основе исходных данных, иные способы группировки данных в зависимости от запросов клиента).
В ходе второй фазы – тестирования – инженеры проверяли:
- Бизнес-логику на уровне промежуточной/консолидированной баз данных;
- Соответствие информации в исходных файлах и базе выходных данных после трансформации;
- Структуру базы;
- Специфичные проверки (отображение информации списками, правильный расчет добавленных показателей на основе исходных данных, группировки данных и многое другое).
В процессе работы QA-инженерам приходилось тестировать большое количество объемных исходных файлов с помощью SQL-запросов, на что часто уходило много времени.
Поэтому для автоматизации тестирования big data команда использовала инструменты Excel – Power query, Macros, Pivot tables. С их помощью инженеры загружали данные из различных источников (.CSV-файлов, Excel, БД), группировали их и сравнивали. Для удобной визуализации данных команда планирует использовать инструмент Power BI.
В ходе последующей стабилизации все узкие места, обнаруженные QA-инженерами на уровне БД, отправляются программистам на доработку (если данные были потеряны или обрезаны, содержали непредвиденные символы, загружались не в полном объеме, формат был считан некорректно и многое другое).
Только в случае бездефектной работы новой версии ее отправляли в продуктовую среду.
ПРЕДОСТАВЛЕННЫЕ СЕРВИСЫ
- Тестирование Big data
ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ
- Excel Power query
- Macros и VBA
- Pivot tables
- Connections
- SSIS
РЕЗУЛЬТАТЫ
В ЦИФРАХ