Один из основных принципов нашей компании — мультидисциплинарная командная работа. Это не только усиливает позицию клиента, но и во многих случаях является принципиально необходимым.
Например, для подготовки экономического заключения специалисту часто нужно получить огромные массивы данных, собрать которые вручную нереально. Тогда на помощь приходят коллеги из IT-отдела и оперативно «готовят почву» для исследования. Готовые цифровые решения применяются в схожих экспертизах — и задача клиента решается еще быстрее.
Так, в одном из кейсов их задачей был сбор ключевых данных, идентифицирующих товар, и создание подтверждающих скриншотов из 15 тысяч карточек товаров на пяти российских маркетплейсах. Поделимся подробностями этой истории.
Задача со звездочкой
В экспертную группу Veta обратился индивидуальный предприниматель — правообладатель некоего товарного знака. Клиент обнаружил, что под брендом «С» на маркетплейсах реализуется продукция, часть которой на упаковке содержит его товарный знак. Для разрешения спора предпринимателю потребовался расчет двукратной стоимости продукции со спорным обозначением.
На первый взгляд, задача специалиста довольно проста — определить среднюю цену продукта, сложить стоимость проданных и оставшихся товаров и увеличить результат в два раза. Но как собрать точные данные о продажах и остатках продукции, если информация постоянно обновляется? Как проверить тысячи операций разных продавцов на нескольких маркетплейсах и создать подтверждающие скриншоты с отображением нужных данных?
Справиться с этой задачей вручную невозможно. Поэтому специалист обратился за помощью к IT-команде.
Поиск решений: автоматизация сбора данных
Работа IT-специалистов включала несколько блоков:
- собрать доступную информацию с маркетплейсов, не нарушая требований законодательства, и объединить ее в базы данных;
- подготовка скриншотов;
- автоматическая загрузка изображений в приложении к заключению.
Остановимся подробнее на первых двух задачах. Для их решения два специалиста писали код, еще один координировал их работу и отслеживал выполнение задач. Алгоритмы работали круглосуточно, а чтобы обеспечить непрерывность процесса, каждый член команды использовал сразу компьютер и ноутбук. Также важно было регулярно проверять работу машин, чтобы оперативно выявлять и исправлять ошибки.
Руководитель департамента информационных технологий
«Задача была интересная, но при поиске решений мы столкнулись с рядом сложностей. В первую очередь, к созданию алгоритма для сбора данных с каждого из пяти маркетплейсов нужен был свой подход — из-за разницы в структуре сайтов перечень данных о товаре отличается в зависимости от площадки. Например, на OZON можно узнать только текущую цену, а на Wildberries — также историю ее изменения.
При создании скриншотов мы обнаружили, что из-за различных сбоев алгоритм в некоторых случаях фотографировал белый лист, — пришлось “научить” его обновлять страницу до момента ее полной загрузки.
А для работы с “Яндекс Маркетом” нужен был дополнительный алгоритм, который помогал обходить капчи, — компьютер делал сотни скриншотов на этой площадке, поэтому система периодически выдавала проверку на робота».
Как собрали информацию о товарах с 5 маркетплейсов
Продукция бренда «С» со спорными обозначениями была представлена на официальном сайте компании, в магазинах, а также на популярных маркетплейсах: OZON, Wildberries, «Яндекс Маркет», «СберМегаМаркет» и KazanExpress. Поскольку в формулировке вопроса на экономическое исследование содержалось ограничение, изучать данные нужно было только в части маркетплейсов.
По каждому требовалась следующая информация:
- артикул товара;
- наименование;
- цена со скидкой и без;
- количество проданных товаров;
- количество товара в наличии/остатках;
- продавец;
- ссылка на товар.
Однако точной информации о продажах и оставшейся продукции на маркетплейсах не нет. Поэтому нужно было применить дополнительный инструмент — аналитический сервис Moneyplace. Он собирает данные с маркетплейсов 4 раза в сутки, ежедневно следит за изменениями на площадках, при необходимости меняет алгоритмы парсинга, что позволяет предоставлять точные данные.
Поэтому свою базу данных продукции бренда «С» со спорным обозначением IT-команда создала на основе информации с маркетплейсов и сервиса Moneyplace.
Алгоритм для парсинга Wildberries по необходимым параметрам написали с нуля, а затем изменяли его для корректной работы с остальными площадками.
В результате в общую базу данных вошли порядка 15 тысяч позиций — 4500 c Wildberries, 9200 с OZON и по несколько сотен с «Яндекс Маркета», «СберМегаМаркета» и KazanExpress. Следующим шагом для каждой строки нужно было создать подтверждающие скриншоты с маркетплейсов
Как подготовили 15 тысяч скриншотов
Важным условием в рамках этой подзадачи было отображение на скриншотах всей информации о товаре, которая содержалась в базе данных, — от артикула до ссылки. Также на каждом снимке экрана должны были фигурировать время и дата формирования изображения. Такой подход позволил специалисту сделать выборку для исследования корректной, а заключение — надлежащим доказательством.
IT-команда подготовила сервис, который позволил создавать скриншоты автоматически с учетом всех необходимых параметров. Однако различные сбои, например, скачки скорости интернета, удаление активных объявлений с площадки и прочие, приводили к техническим ошибкам — их важно было отслеживать и оперативно устранять.
Например, довольно быстро было выявлено, что не на всех скриншотах появляется необходимая для исследования информация. Чтобы не контролировать вручную, все ли данные отображаются на экране перед созданием снимка, IT-специалисты дополнили алгоритм съемки инструментом для автоматической проверки.
В итоге все 15 тысяч корректных изображений были оперативно переданы в экономический отдел. На подготовку 9200 скриншотов карточек товаров с OZON ушло в совокупности три дня, создание 4500 снимков экрана с товарами на Wildberries заняло день.
Результаты работы
За две недели в совокупности — подзадачи для IT-отдела поступали постепенно с разрывом во времени — экономист получил подробные данные для анализа и расчетов:
- пять excel-файлов по исследуемым маркетплейсам с информацией о товаре: артикулами, ценами, количеством проданных и оставшихся продуктов и т.д.;
- скриншоты всех рассмотренных объявлений с отображением ссылки, названия товара, артикула, цены, даты, бренда и спорного обозначения на упаковке.
Это десятки гигабайт информации. Полученные данные специалист сгруппировал по категориям товара и маркетплейсам, затем произвел выборку и выполнил необходимые расчеты.
Также IT-команда подготовила приложение к заключению в форматах word и pdf с размещением скриншотов по 2 на странице — что в десятки раз сократило время на оформление результата работы над задачей клиента.
Итоги
Этот кейс стал своеобразным «боевым крещением» для нашего нового IT-подразделения в условиях реального исследования. Команда успешно с ним справилась и помогла специалисту в области экономики эффективно решить задачу клиента. Кроме того, цифровые решения, которые были разработаны в рамках кейса, используются для других проектов и упрощают проведение экспертиз.
Руководитель отдела разработки
«Это был мой первый проект с реальным заказчиком и реальными сроками, к тому же в связке с экономистами. Я хорошо его запомнила. Но парсить данные на маркетплейсах оказалось в новинку всей команде.
Коллеги из экономического отдела приходили к нам с вопросами, получится ли достичь определенного результата. А мы решали задачи методом проб и ошибок. Например, изначально мы именовали скриншоты — а их были тысячи — по артикулу, поскольку он всегда уникален. Затем для наглядности коллеги предложили добавить название товара, но на практике это усложнило поиск среди изображений. Пришлось откатиться к предыдущему решению.
Также алгоритмы, которые мы написали в рамках этой задачи, не ушли “в стол” — мы уже нашли им применение для других экспертиз».
