Урок 9/13. Домашнее задание. Разбор решения

В этом уроке: — Открываем документацию по Logs API, разбираем отдельные аспекты, необходимые далее при создании потока работ в KNIME: — Авторизация — Оценка возможности создания запроса — Создание запроса логов — Описание типа log_request — Загрузка части подготовленных логов обработанного запроса — Кратко о проблематике в использовании input_stream_resource — Просмотры и визиты: обзор имеющихся полей (также они есть в файле раздатки) — Переходим в KNIME, открываем готовый поток работ из раздатки — Смотрим заданные credentials, а также переменные потока работ — Формирование структуры выгрузок по просмотрам и визитам — Запрос возможности выгрузки за необходимый период, и варианты действий в случае успешности или ошибки — Запрос выгрузки логов — Проверка готовности логов, в случае готовности извлечение списка частей логов — Особенности рекурсивных циклов (Recursive Loop) — Запускаем новый цикл по обработке частей логов, с целью обработать каждую часть, склеить их вместе, отсортировать по source на визиты и просмотры — Начинаем обсуждать, как обработать полученные в цикле результаты по просмотрам и визитам — Обсуждаем, как преобразовать массивы, чтобы нормализованные таблицы можно было сравнивать друг с другом — Трансформируем таблицу hits — Трансформируем таблицу hits_goals_facts — Трансформируем таблицу visits_goals_facts, по аналогии с предыдущим этапом — Трансформируем таблицу hits_in_visits — Трансформируем таблицу visits — «Бонусная часть»: Выгрузка списка целей, трансформация его, и загрузка в БД в таблицу goals — Создаем в БД таблицу hits_goals_facts — Создаем в БД таблицу hits — Создаем в БД таблицу visits — Загружаем данные в созданные таблицы — Обсуждаем нюансы, связанные с чисткой «старых» данных из фактовых таблиц — Обсуждаем зацикливание потока работ — Разбираемся с датой начала периода выгрузки данных — Преобразуем полученную дату в переменную и включаемся в ранее созданный поток На основе реальной задачи будет построено готовое аналитическое решение, которое: — автоматизирует процесс сбора данных из веб-сервисов WooCommerce и Яндекс.Метрика (причем без написания кода, в KNIME Analytics Platform), — сохраняет полученные и обработанные данные в аналитической СУБД Vertica, — визуализирует данные в виде аналитических отчетов в Tableau. Данное решение будет собрано одним единственным специалистом практически на ваших глазах, что позволит убедиться в реализуемости данной задачи, а также позволит примерно оценить свои собственные силы в создании таких аналитических решений. В состав курса входит солидное домашнее задание, безусловно, с подробным разбором его решения. В качестве реальной задачи выбран интернет-магазин, для которого необходимо построить аналитику по эффективности продаж, а также эффективности рекламных каналов, использующихся для привлечения покупательского трафика. Ни одно из существующих на рынке «коробочных» аналитических решений, таких как встроенные отчеты в «e-commerce движках» или встроенная аналитика по тому или иному маркетинговому каналу (а ведь каждый канал, будь то соцсеть, медийная или контекстная реклама, имеет свой личный кабинет и свой формат встроенной аналитики), не позволяет оценить картину в целом, с возможностью детализации одновременно и до конкретной покупки клиента, и до рекламной кампании. Тем не менее, бизнес зачастую задает вопросы на стыке маркетинга и продаж. Именно поэтому, спрос на подобные аналитические решения существует. И построить их самостоятельно не так и сложно. Оставайтесь с нами до конца, и мы покажем, как это сделать своими собственными руками!