Выгрузка данных из CoMagic при помощи myBI Connect

17 Апреля 2019
Время чтения: 8 минут

В этой статье мы расскажем про выгрузку данных с помощью myBI Connect из сервиса CoMagic. Пройдем по всем шагам настройки и покажем структуру данных, которую вы сможете самостоятельно использовать.

Также доступна видеоинструкция по данной теме:

Сервис myBI Connect предназначен для автоматической выгрузки данных из различных онлайн-источников в облачное хранилище и ежедневного их обновления. При этом данные в хранилище представлены в удобном виде для последующей самостоятельной работы с ними. Это позволяет пользователю взять данные под свой полный контроль, собрать единую модель данных из различных источников подобно конструктору, а после построить отчетность по своим правилам и законам. Для новых пользователей нашего сервиса доступен бесплатный триал на 2 недели работы.

После регистрации в сервисе и создания проекта вы сможете приступать к выгрузке данных.

На данный момент существует несколько способов получения данных с помощью myBI Connect:

  • базовая выгрузка,
  • выгрузка пользовательских отчетов,
  • использование вебхуков.

Сейчас мы рассмотрим базовую выгрузку, а в следующих материалах расскажем про особенности остальных вариантов и работу с этими данными.

Итак, в первую очередь необходимо получить ключ для доступа по API к сервису CoMagic (в сервисе используется Data API).

Это делается на уровне пользователя в меню администратора.

Получение ключа для доступа по API

Здесь вы можете: выбрать тип доступа и активировать использование ключа (1), выбрать время жизни ключа (рекомендуем выбирать постоянный) (2), сгенерировать ключ (3).

Изображение № 7

Доступы к  настройке

Сгенерированный ключ скопируйте.

Далее необходимо открыть доступ к ключу, который по умолчанию закрыт. Для этого нужно прописать IP-адрес хоста, с которого делается запрос на получение данных (адреса наших серверов, на которых обрабатываются данные: 40.115.109.79 и 23.100.57.136). Для этого зайдите в меню администратора,

Открытие доступа к ключу

затем перейдите в раздел «Правила и настройки безопасности» (1) на вкладку «API» (2) и нажмите на кнопку «+ Добавить» (3). После чего вводим IP (4), описание (5) и сохраняем (6).

Правила и настройки безопасности

Также есть возможность открыть доступ всем, написав «0.0.0.0/0» на место IP (7).

Стоит отметить, что возможность выполнять запросы к API осуществляется с тарифа Optimum или на тарифе Start, при условии что вы подключите дополнительный пакет (500 рублей).

Вторым шагом будет настройка выгрузки уже в самом сервисе myBI Connect.

Для этого в разделе «Источники данных» нажимаем на кнопку «Добавить новый +», далее во вкладке «Другое» выбираем «CoMagic» и нажимаем «Подключить».

Настройка выгрузки

Затем задаем любое узнаваемое название и вставляем ключ, который вы скопировали ранее.

Добавление ключа

Теперь остается только выполнить загрузку данных за выбранный период. Для этого в разделе источников данных выбираем действие «Загрузить»,

Загрузка данных

а затем указываем период исторической загрузки (на триале период ограничен одним месяцем).

Период загрузки

Необходимо также сказать о том, что в CoMagic установлены лимиты на обращение к API. Изначально доступно 3000 баллов в день, которые расходуются за каждый успешный запрос. Если вы превысите это значение, то с очередной выгрузкой в сервисе myBI Connect вы увидите ошибку,

Статус ошибки

описание которой можно посмотреть в журнале событий (напротив источника в столбце действий выбираем «Журнал событий»).

Описание ошибки

Чтобы исправить данную ситуацию, нужно в меню аккаунта сервиса CoMagic перейти в раздел «Тариф и опции» и увеличить показатель «Баллов Data API в день» за дополнительную плату.

Баллов Data API в день

Затем следует запустить загрузку данных за тот период, в котором вы получили эту ошибку (на изображении, где описана ошибка, это будет период с 22 по 24 марта).

Взглянуть на выгружаемую модель данных вы можете в настройках источника.

Настройки источника

Здесь представлен список таблиц

Список таблиц

и наглядно изображена сама структура базы данных.

Структура базы данных

Зеленым цветом на схеме выделены таблицы измерений, которые используются только данной выгрузкой, синим — общие таблицы измерений, используемые различными выгрузками, желтым — таблицы фактов и фиолетовым — вспомогательные таблицы. Также вы можете скачать документацию в разделе «Файлы для загрузки», где будут описаны все таблицы с их полями и сведениями, которые в них загружаются.

Файлы

Рассмотрим сначала таблицы измерений. Как правило, они содержат набор описательных атрибутов, характеризующих объект.

СМ Параметры кампаний (comagic_campaigns)

Здесь собрана некоторая информация, касающаяся рекламной кампании, к которой относится звонок.

В таблице, кроме идентификаторов, содержатся сведения:

  • причина окончания звонка,
  • направление звонка,
  • источник звонка,
  • потерянный звонок,
  • номер контакта,
  • виртуальный номер,
  • устройство пользователя,
  • канал,
  • источник перехода.

СМ Параметры звонков (comagic_calls)

Данная таблица описывает качественные характеристики звонка:

  • название кампании,
  • описание кампании,
  • тип кампании,
  • платформа интегрированной кампании,
  • статус,
  • расходы,
  • коэффициент расходов,
  • оператор расчета расходов.

СМ Параметры кампаний (comagic_campaigns)

Здесь собрана некоторая информация, касающаяся рекламной кампании, к которой относится звонок.

В таблице, кроме идентификаторов, содержатся сведения:

  • причина окончания звонка,
  • направление звонка,
  • источник звонка,
  • потерянный звонок,
  • номер контакта,
  • виртуальный номер,
  • устройство пользователя,
  • канал,
  • источник перехода.

СМ Атрибуты звонков (comagic_calls_attributes)

Таблица дает информацию о том, какой системный параметр (атрибут) присвоен обращению:

  • название атрибута.

СМ Теги звонков (comagic_calls_tags)

Здесь вы узнаете, какой тег был поставлен звонку:

  • название тега,
  • тип тега.

Общие таблицы измерений:

SHD Параметры дат (general_dates)

Здесь вы узнаете, когда был совершен звонок:

  • дата,
  • год,
  • квартал,
  • номер месяца,
  • месяц,
  • номер недели,
  • номер дня недели,
  • день недели,
  • день месяца.

SHD Параметры местоположений (general_locations)

Таблица дает сведения о географическом расположении клиента:

  • страна,
  • регион,
  • город,
  • широта,
  • долгота.

SHD Параметры посетителей (general_clientids)

  • идентификатор посетителя сайта,
  • телефон,
  • e-mail.

SHD Параметры сайтов (general_sites)

Здесь отражаются сайты, созданные в сервисе CoMagic

  • доменное имя,
  • описание.

SHD Параметры трафика (general_traffic)

Сюда передаются UTM-метки сессий пользователей, перешедших на ваш сайт:

  • название группы,
  • источник,
  • канал,
  • кампания,
  • объявление,
  • ключевое слово,
  • страница входа.

СМ Звонки (comagic_calls_facts)

Таблица фактов состоит из ссылок на таблицы измерений и статистики по звонкам:

  • длительность ожидания,
  • полная длительность ожидания (учитывает все промежутки, когда абонент не разговаривал с сотрудником),
  • длительность разговора (считается от момента первого разговора абонента с сотрудником до начала постобработки),
  • чистая длительность разговора,
  • общая длительность звонка (учитывает только те промежутки, когда абонент разговаривал с сотрудником),
  • длительность постобработки.

Как вы можете видеть из списка таблиц, в базовой выгрузке реализовано получение сведений по звонкам. Кому-то этого может оказаться недостаточно. Для таких случаев существует возможность использования выгрузки пользовательских отчетов, о которой мы расскажем в следующей публикации.

Все выгружаемые данные помещаются в облачную базу данных Azure и обновляются раз в сутки (начиная с часа ночи по Москве). И после этих шагов вы будете иметь к ней доступ, который можно использовать в Power BI, Qlik или в других инструментах, имеющих возможность подключения к БД.

Хранилище данных

Использование базы данных в качестве промежуточного звена между источником данных и, например, Power BI позволяет получить ряд преимуществ:

  • получение только новых сведений без необходимости полной выгрузки исторических данных;
  • данные могут использоваться многократно (без постоянного извлечения их из источников);
  • быстрая загрузка данных в отчеты по защищенным каналам при работе с Power BI без необходимости использования шлюзов, за счет использования Azure;
  • возможность работы в Power BI как через DirectQuery, так и через импорт данных;
  • представления, создаваемые сервисом, имеют русские названия, что облегчает работу с ними в Power BI;
  • аналитическая структура базы данных позволяет формировать единую модель данных для множества источников за счет общих таблиц измерений. Кстати, именно этот подход ранее описывал наш партнер в своем кейсе аналитики аренды жилья.
Вы эксперт в
интернет-маркетинге?

Опубликуйте материал в нашем блоге

Будем на связи!