Урок 7/13. Загрузка данных в Vertica. Часть 2

В этом уроке: — Блок, связанный с загрузкой данных в БД — Задаем стартовую дату, начиная с которой начинаем выгрузку — Запускаем поток работ целиком, проверяя, что выгрузка и загрузка состоялась — Добавляем настройки по удалению строк таблиц БД перед каждой итерацией загрузки, с помощью DB SQL Executor (чистка «старых» данных) — Добавляем ноду DB Writer для пакетной загрузки данных в БД, выбирая переменные в качестве параметров запуска — Рекомендации по опциям запуска DB Writer — Приступаем к настройкам загрузки фактовых таблиц (заказов и позиций заказа) — Тестовый запуск и исправление ошибок — Добавляем дополнительные механизмы контроля по удалению данных о позициях заказов, прогруженных на предыдущем этапе, перед новой итерации загрузки, с помощью DB SQL Executor — Запускаем загрузку данных и проверяем ее успешность с помощью DB Reader — Создаем аналогичные блоки работ по заказам — Добавляем аннотации ко всем новым блокам работ (продукты, заказы и позиции заказов) — Обсуждение нюансов, связанных с длительностью выгрузки данных о заказах, и возможностью появления новых заказов во время выгрузки — Необходимо поменять порядок сортировки при формировании первичного URL: по возрастанию, а не по убыванию — Запускаем поток работ и проверку отсутствия дубликатов заказов — Добавляем аннотации к ранее созданным блокам работ — Делаем зацикливание потоков выгрузки данных, с учетом значений дат, уже загруженных в БД (блок 4 в общем плане алгоритма) — Исправляем проблемы с цикличностью алгоритма, удаляя ноды с переменными, и корректируя последующий ноды, ведь нет ничего более гарантированного, чем хардкод — Добавляем ноду DB Table Selector, получая таблицу — Добавляем ноду DB GroupBy, с целью получить максимальный номер страницы, уже прогруженной в БД, для каждого из сайтов интернет-магазина — Добавляем ноду DB Reader для получения таблицы на уровне KNIME — Добавляем Variable to Table Row: обработка ситуации пустых таблиц, забираем URL сайта — Добавляем ноду Joiner — Добавляем ноду Cross Joimer — Меняем формат даты и времени с помощью String Manipulation, чтобы ее можно было бы дальше распарсить — Добавляем ноду String to Date&Time, для преобразования к формату дата+время — Добавляем Column Expressions для выбора максимальной из двух дат, и меняем результирующий тип данных на дату и время — Добавляем ноду Date&Time Shift, добавляя смещение во времени — Добавляем Column Filter, убирая ненужные поля — Конвертируем даты в формат строки, с помощью ноды Date&Time to String — Добавляем Column Rename для переименования смещенного времени максимума в period_start — Добавляем Table Row to Variable для конвертации в переменную — Интегрируем две ветки работ — Затем приступаем к модификации переменных стартового периода, заменяем ее: но это не получается без прогона потока работ — Поэтому выполняем поток работ, видим появление переменной max_date — Меняем аналогично по позициям заказов и продуктам — Проверяем корректность работы, начиная с удаления данных и до их прогрузки — Контроль: сбрасываем поток работ, и выполняем его полностью — Меняем аннотацию по блоку работ по подготовке переменной с датой начала периода выгрузки — Резюмируем итоги по общему потоку работ, от первичной загрузки до цикличной загрузки исходя из значений из БД На основе реальной задачи будет построено готовое аналитическое решение, которое: — автоматизирует процесс сбора данных из веб-сервисов WooCommerce и Яндекс.Метрика (причем без написания кода, в KNIME Analytics Platform), — сохраняет полученные и обработанные данные в аналитической СУБД Vertica, — визуализирует данные в виде аналитических отчетов в Tableau. Данное решение будет собрано одним единственным специалистом практически на ваших глазах, что позволит убедиться в реализуемости данной задачи, а также позволит примерно оценить свои собственные силы в создании таких аналитических решений. В состав курса входит солидное домашнее задание, безусловно, с подробным разбором его решения. В качестве реальной задачи выбран интернет-магазин, для которого необходимо построить аналитику по эффективности продаж, а также эффективности рекламных каналов, использующихся для привлечения покупательского трафика. Ни одно из существующих на рынке «коробочных» аналитических решений, таких как встроенные отчеты в «e-commerce движках» или встроенная аналитика по тому или иному маркетинговому каналу (а ведь каждый канал, будь то соцсеть, медийная или контекстная реклама, имеет свой личный кабинет и свой формат встроенной аналитики), не позволяет оценить картину в целом, с возможностью детализации одновременно и до конкретной покупки клиента, и до рекламной кампании. Тем не менее, бизнес зачастую задает вопросы на стыке маркетинга и продаж. Именно поэтому, спрос на подобные аналитические решения существует. И построить их самостоятельно не так и сложно. Оставайтесь с нами до конца, и мы покажем, как это сделать своими собственными руками!