Как импортировать данные в Google

Импорт данных о расходах в GoogleAnalytics позволяет расширить возможности стандартных отчетов, а также может служить одним из элементов в построении системы сквозной аналитики.

• Что такое импорт данных о расходах?
• Что нужно сделать чтобы настроить импорт данных о расходах в Google Analytics?
• Как создать набор данных
• Какие наборы данных возможно импортировать
• Автоматическая загрузка данных
• Ручная загрузка данных
• Как проверить выполненные выгрузки
• Результат импорта данных о расходах

Что такое импорт данных о расходах?

В чем заключается смысл импорта данных о расходах? Вы привлекаете на сайт платный трафик, приобретая его на таких площадках как Яндекс Директ, Facebook и других. Посетители, приходящие с этих источников, отправляют с сайта формы обратной связи, становясь лидами, формируют заказs, совершая покупки и выполняют другие, важные для вас действия.

При правильной настройке веб-аналитики мы можем узнать с какого источника/канала, по какой рекламной кампании пришел посетитель и что он совершил, проанализировать эффективность трафика по количественным показателям. Но мы не можем сравнить стоимость привлечения клиента или стоимость заказа в интерфейсе Google Analytics между площадками, т.к. этих данных в нем нет.

Избирательный импорт данных в Гугл.таблицах

Что нужно сделать чтобы настроить импорт данных о расходах в Google Analytics?

Необходимо выполнить две операции:

• создать набор данных в Google Analytics
• передать данные о расходах в Google Analytics

Первый шаг вы можете выполнить самостоятельно, сложностей не должно возникнуть, а вот второй требует пояснения. Поскольку мы несем расходы на привлечения трафика ежедневно, то данные нужно выгружать также ежедневно. Учитывая возможность изменения показателей на рекламных площадках, данные в Google Analytics нужно поддерживать в актуальном состоянии. Как же выполнить импорт данных о расходах в Google Analytics?

Вручную, либо автоматически. Первый вариант: все делаем сами (готовим данные для загрузки, формируем файл, выгружаем руками). Второй: настраиваем связь между рекламной площадкой и Google Analytics, после чего за нас всю работу выполняет сервис, а мы тратим освободившееся время на работу с данными.

Как создать набор данных для импорта данных о расходах в Google Analytics?

Переходим в режим администратора на уровне ресурса (счетчика), выбираем пункт Импорт данных , отображается перечень созданных наборов данных:

Наборы данных в Google Analytics

Часто бывает ошибка, когда у вас есть все необходимые права для работы со счетчиком, но возможности создать набор данных для импорт данных о расходах в Google Analytics нет, а также отображается ошибка: Permission denied . Что делать? Попробуйте в режиме инкогнито посмотреть данный раздел управления счетчиком, должно помочь.

Google Таблицы. Урок 122-2. Как экспортировать данные в календарь

Permission denied Google Analytics

Для создания нового набора нажимаем Create , на первом шаге необходимо указать какой набор данных мы создаем. Для решения задачи импорта расходов необходимо выбрать Cost Data , после чего нажать Continue :

Варианты импорта данных в Google Analytics

Какие наборы данных возможно импортировать в Google Analytics

Существует три типа наборов, которые могут быть использованы при создании нового импорта данных:

• на уровне хита – таким образом можно «дополнить» сведения по собранным обращениям (хитам) с сайта
• расширение данных – дополнение данных Google Analytics, которые он не может получить самостоятельно
• сводные данные – дополняем собранные данные, после того как Google Analytics выполнил их первичную обработку

Доступные типы наборов данных:

• Данные возврата средств
• Данные о пользователях
• Сведения о кампании
• Географические данные
• Данные о контенте
• Сведения о товаре
• Специальные данные
• Данные о расходах (Cost Data)

После выбора Данные о расходах или Cost Data указываем имя набора данных, а также в каких представлениях будут доступны импортированные в Google Analytics данные. Заполнив поля нажимаем Continue :

Создание набора данных для импорта данных о расходах

На третьем этапе необходимо задать параметры набора данных. От этой конфигурации зависит, какую схему (ее шаблон) мы получим для выгрузки. Настройки набора можно условно разделить на несколько блоков:

• обязательные параметры
• количественные показатели
• параметры

Первые три параметра: Дата , Источник , Канал изменить нельзя. Это основные ключи, по которым данные из набора будут сопоставлены с данными по трафику в Google Analytics.

Следующие: Стоимость (или расход) , Число кликов , Число показов являются метриками, которые получат значения в отчетах Google Analytics из набора данных.

Третий блок: параметры, детализирующие источник трафика. Например, кампания, группа объявлений и т.п.

В заключительной части необходимо выбрать то, как сработает выгрузка. Суммирует загружаемые данные с ранее полученными системой или перезапишет. Оставляем значение по умолчанию Summation (Суммирование). После внесения настроек получилось следующая конфигурация, сохраняем ее и завершаем создание:

Результат создания набора для импорта данных в Google Analytics

Автоматическая загрузка данных

Формировать описанные выше выгрузки можно вручную, за каждый прошедший день – но это не лучшее решение, к тому же эта задача может быть автоматизирована. Существуют специальные сервисы, которые можно использовать для решения этой задачи. Как правило стоимость использования зависит от количества потоков данных или количества настроенных импортов данных о расходах в Google Analytics.

Процедура создания интеграции в сервисах практически идентична. Я хочу поделиться с вами инструкций по настройке в сервисе renta.im , о котором рассказывал ранее как ETL системе, помогающей строить системы сквозной аналитики. Я не буду давать оценку этому сервису, как он справляется с импортом данных в Google Analytics, вы можете бесплатно протестировать сами его функционал в течении 14 дней.

После авторизации в сервисе выбираете Cost Upload и создаете новую интеграцию. Процесс выглядит как прохождение инструкции по шагам. Выбираем аккаунт рекламной площадки, из которой импортируем данных. Если его нет в списке через элемент Add добавляем новый аккаунт:

Выбор системы для выгрузки данных в Google Analytics

На следующем этапе необходимо настроить Google Analytics, т.к. в него идет импорт данных о расходах. Выбираем аккаунт, в который будут поступать данные и счетчик (ресурс). После выбора будет загружен список имеющихся наборов данных, укажите нужный:

Настройки выгрузки данных

Далее указываем с какого числа необходимо загрузить данные, а также расписание для последующих обновлений и создаем интеграцию:

Настройка интервала импорта данных о расходах

Если все внесено корректно запускается интеграция и данные выгружаются в Google Analytics.

Пример активной выгрузки

Кроме того, Renta поддерживает динамические параметры в utm метках, а в случае агентских аккаунтов в Яндекс.Директе, есть возможность исключать агентскую скидку или НДС.

Ручная загрузка данных

После создания набора данных переходим к списку доступных наборов, выбираем интересующий нас и получаем схему набора данных для импорта данных о расходах в Google Analytics:

Данные по настроенному набору данных

Загрузим шаблон для работы на свой ПК для внесения в него сведений по рекламных кампаниям:

Шаблон для импорта данных

Шаблон представляет из себя csv файл, который может быть изменен и использован для загрузки данных (Важно! Для каждой новой загрузки используйте новый файл, не дополняйте один данными за все прошедшие дни):

Пример файла с данными

После внесения в него в него данных сохраняем его как CSV файл (разделитель — запятая). Какие данные необходимо внести? Зависит от набора параметров, указанных при конфигурировании набора данных, основные:

• ga:date – дата, к которой относятся расходы, формат ГГГГММДД
• ga:medium – рекламный канал, значение из utm_medium
• ga:source – рекламный источник, значение из utm_source
• ga:adCost – расход в валюте представления Google Analytics, вместо запятой в дробных числах используется точка
• ga:adClicks – количество кликов

Загрузим данные в Google Analytics. Переходим к набору данных и нажимаем Upload File , выбираем файл и загружаем. После загрузки получаем информацию о том, что загрузка завершена:

Загрузка данных о расходах в Google Analytics завершена

Данные в отчетах появляются не сразу. Проанализировать их можно в стандартном отчете, либо использовать необходимые параметры и показатели при формировании кастмного отчета либо в Google Data Studio:

Где отображаются импортированные данные

Не забывайте о том, где вы используете данные с НДС, а где без.

Как проверить выполненные выгрузки

Иногда возникает необходимость проверить, были-ли выгружены данные за некоторый период или возникла ошибка при работе сервиса, который импортирует данные либо в наборе данных, сформированным в ручную. Чтобы выполнить проверку переходим в наборам данных, выбираем необходимый и изучаем таблицу. В поле Дата загрузки должны идти выгрузки без перерывов (день за днем), а в поле Статус отсутствовать сообщения об ошибках:

Для чего настраивать импорт данных о расходах в Google Analytics?

Если вы перейдет в стандартный отчет Анализ расходов, то в нем не будет данных по расходам из рекламных систем. Только после интеграции Google Analytics и Google Ads в нем будут сведения по соответствующей рекламной платформе. Однако ей одной, как правило, не ограничиваются и ведут рекламу в различных системах. Чтобы данные по ним можно было анализировать в отчетах Google Analytics настраивают импорт данных о расходах.

Ниже пример нескольких отчетов, которые могут быть доступны после того, как вы настроили импорт данных о расходах в Google Analytics. На первом из них показаны данные по расходам, стоимости клика и стоимости конверсии:

Пример отчета по различным источникам

Следующий отчет отображает детализации по рекламным кампаниям выбранного источника. Выделенная область — данные, доступные, поле настройки импорта данных о расходах:

Пример отчета по кампаниям

Источник: prometriki.ru

Импорт данных: руководство для разработчиков

Оптимизируйте свои подборки Сохраняйте и классифицируйте контент в соответствии со своими настройками.

В этой статье рассматриваются расширенные возможности для импорта данных в аккаунт Google Analytics с использованием Management API.

Введение

Функция импорта Management API позволяет загружать, получать список, удалять и извлекать импортированные данные в аккаунт Google Analytics. Подробнее о ее преимуществах читайте здесь.

При импорте данных используется два ресурса:

• Пользовательский источник данных (набор данных в веб-интерфейсе), который выступает в качестве контейнера для загружаемых файлов. В коллекции таких ресурсов представлены все источники данных, связанные с ресурсом Google Analytics.
• Ресурс Upload, который представляет загружаемый файл. В коллекции таких ресурсов представлены все файлы, загруженные в пользовательский источник или набор данных.

Подготовка к работе

Доступ ко всем Google Analytics API осуществляется одинаково. Прежде чем начать работу с Management API, ознакомьтесь со следующими материалами:

• Клиентские библиотеки для всех языков программирования, которые поддерживает этот API.
• Справочное руководство по работе с интерфейсом API для доступа к данным без клиентских библиотек.

В каждой библиотеке реализован один служебный объект Google Analytics, который обеспечивает доступ ко всем данным Management API. Чтобы создать такой объект, выполните следующие действия:

1. Зарегистрируйте приложение в Google Developers Console.
2. Разрешите доступ к Google Analytics.
3. Создайте объект службы Google Analytics.

Если вы не выполнили эти действия, перед продолжением прочитайте вводное руководство по Google Analytics API, в котором описывается, с чего нужно начинать создание приложения на его основе. Это поможет вам использовать Google Analytics API для работы с реальными приложениями.

Примеры использования

Функция импорта позволяет интегрировать бизнес-данные с данными Google Analytics. Поддерживаются следующие типы данных:

• Импорт данных обращений

• Данные о возврате средств

• Данные о пользователях
• Данные о кампании
• Геоданные
• Данные о контенте
• Данные о товарах

• Данные о расходах

Импорт данных обращений

Данные о возврате средств

В Google Analytics можно загружать транзакции электронной торговли, по которым частично или полностью выполнялся возврат средств. Это позволяет автоматизировать согласование отчетов по электронной торговле Google Analytics.

Импорт расширенных данных

Данные о пользователях

Анонимные (не позволяющие идентифицировать личность) данные о пользователях из внешних систем управления взаимодействием с клиентами можно использовать для создания списков ремаркетинга Google AdWords по наиболее ценным сегментам.

Данные о кампании

Сведения о кампаниях можно использовать для детального анализа эффективности бизнеса.

Геоданные

Вы можете импортировать идентификаторы геоданных для регионов, чтобы составлять отчеты Google Analytics по отдельным регионам. Например, в Северной Америке это могут быть восточные, центральные и западные штаты или провинции, а в Европе – северные, центральные или южные страны. При импорте данных поддерживаются следующие ключи: ga:regionId, ga:cityId, ga:countryIsoCode , ga:subContinentCode Идентификаторы города и страны ищите в таблице геотаргетинга. Код ISO и субконтинентов представлены соответственно в таблицах ISO-3166-1 alpha-2 и UN M.49.

Подробнее об импорте геоданных читайте здесь.

Данные о контенте

Метаданные и другие сведения о контенте используются в Google Analytics для углубленного анализа статей, опубликованных на сайте.

Данные о товарах

Импортируя такие данные в Google Analytics, вы можете уменьшить объем данных электронной торговли, отправляемых с обращениями, такими как просмотры страниц или события. В качестве параметров и показателей отчетов в этом случае можно использовать идентификаторы или коды отдельных товаров.

Импорт сводных данных

Данные о расходах

Данные о расходах на платные кампании, проводимые вне Google, позволяют оценить рентабельность инвестиций в рекламу и маркетинг в Интернете, а также сравнить эффективность различных кампаний.

Основные понятия

Статус обработки

После загрузки файла ему присваивается статус PENDING , который изменяется на COMPLETED после его обработки и успешного завершения всех проверок.

Если во время обработки возникают проблемы, загрузка получает статус FAILED , и возвращается список всех ошибок, которые необходимо исправить. Пример:

Примечание. Чтобы получить информацию о статусе, вызовите метод list для загрузок и проверьте поле status .

Суммирование и перезапись данных о расходах

При создании пользовательского источника или набора с данными о расходах вы можете задать способ обработки файлов со строками, ключи которых (дата, источник, канал) совпадают с существующими. Доступны следующие варианты:

• summation (по умолчанию) – новые данные добавляются в соответствующую строку, а показатели суммируются.
• overwrite – существующие данные перезаписываются новыми.

Чтобы узнать заданный способ обработки, вызовите метод list для пользовательского источника данных и проверьте значение свойства importBehavior ( OVERWRITE или SUMMATION ).

Суммирование и перезапись данных на уровне строк

Чтобы настроить переопределение для всех загружаемых файлов, добавьте столбец ga:importBehavior в заголовок и укажите в нем для каждой строки значение SUMMATION или OVERWRITE .

Например, следующий код перезаписывает существующие данные о расходах для строк Facebook/cpc и Yahoo/cpc, однако в строку Bing/cpc данные будут добавляться.

ga:date,ga:source, ga:medium,ga:adCost,ga:importBehavior 20140604,facebook,cpc,12.23,OVERWRITE 20140604,bing,cpc,3.23,SUMMATION 20140604,yahoo,cpc,11.23,OVERWRITE

Формат и ограничения для импорта данных

Данные, загружаемые в Google Analytics, должны быть представлены в формате CSV. В этом разделе описываются ограничения, действующие в отношении импорта данных.

Если какие-либо требования не будут соблюдены или не удастся произвести синтаксический анализ файла, запрос на загрузку не будет выполнен. В этом случае вы получите сообщение об ошибке. Чтобы помочь пользователям сократить число недействительных загрузок, в одном ответе API может быть до десяти ошибок.

Требования к файлу

• Кодировка: UTF-8.
• Максимальный размер: 1 ГБ.

Требования к заголовку

• Первая строка считается заголовком столбца и является обязательной.
• В заголовке должны определяться параметры и показатели, содержащиеся в столбце.

Требования к строкам

• Максимальный размер строки: 1 МБ.

Формат ячеек

• Ячейки не должны содержать более 2048 символов.
• Пробелы в начале и конце ячейки будут удалены.
• Чтобы поставить запятую в ячейке, необходимо заключить значение в двойные кавычки: source1,»medium,ether»,group1,100 (значение второй ячейки – medium,ether).
• Чтобы ввести в ячейке двойные кавычки в дополнение к начальным или конечным, поставьте перед двойными кавычками ещё один такой же знак: source1,»medium»»ether»,group1,100 (значение второй ячейки – medium»ether.

Примеры кода

С помощью ресурса upload авторизованный пользователь может загружать, удалять, переносить импортированные данные и выводить их список. Список пользовательских источников данных можно получить с помощью ресурса customDataSource . Для работы с этими методами вам потребуется объект службы Google Analytics , создание которого описывается в этом разделе.

Примеры кода, демонстрирующие работу с загрузками, вы найдете в справке по соответствующим методам.

Загрузки

• list – выводит список доступных пользователю загрузок.
• get – получает доступные пользователю загрузки.
• deleteUploadData – удаляет данные, связанные с предыдущей загрузкой.
• uploadData – загружает данные в пользовательский источник.

Пользовательские источники и наборы данных

• list – выводит список пользовательских источников данных, доступных пользователю.

Если не указано иное, контент на этой странице предоставляется по лицензии Creative Commons «С указанием авторства 4.0», а примеры кода – по лицензии Apache 2.0. Подробнее об этом написано в правилах сайта. Java – это зарегистрированный товарный знак корпорации Oracle и ее аффилированных лиц.

Последнее обновление: 2015-12-03 UTC.

Источник: developers.google.com

Как загрузить данные в Google BigQuery

В этой статье мы рассмотрим варианты загрузки данных в облачное хранилище Google BigQuery. Сюда входят простые способы загрузки данных из CSV/JSON файлов и способы загрузки через API или расширение.

С помощью Google BigQuery (GBQ) можно собирать данные из разных источников и анализировать их с помощью SQL-запросов. Среди преимуществ GBQ — высокая скорость вычислений даже на больших объемах данных и низкая стоимость.

Зачем нужно загружать данные в единое хранилище? Если вы хотите использовать сквозную аналитику, генерировать отчеты из сырых данных и оценивать эффективность вашего маркетинга, то вам нужен Google BigQuery.

Если вам нужно проанализировать терабайты данных за секунды, Google BigQuery — самый простой и доступный выбор. Вы можете узнать больше об этом сервисе, посмотрев короткий видеоролик на YouTube-канале Google Developers.

Создание набора данных и таблицы

Перед загрузкой каких-либо данных, сперва необходимо создать набор данных и таблицу в Google BigQuery. Для этого на главной странице BigQuery выберите ресурс, в котором вы хотите создать набор данных.

Изображения, используемые в статье, предоставлены автором

Укажите в окне «Create dataset» идентификатор набора данных, выберите место обработки данных и установите срок хранения таблицы по умолчанию.
Примечание: Если вы выберете «Never» в качестве истечения срока хранения таблицы, физическое хранилище не будет определено. Для временных таблиц вы можете указать количество дней их хранения.

Затем создайте таблицу в наборе данных.

Готово! Теперь можете начать загрузку данных.

Загрузка данных с помощью Google Таблиц (расширение OWOX BI BigQuery Reports).

Если вам нужно загрузить данные из Google Таблиц в Google BigQuery, самый простой способ сделать это — установить бесплатное расширение OWOX BI BigQuery Reports.

Вы можете установить это расширение прямо из Google Таблиц или из Chrome Web Store.

После его установки появится диалоговое окно с подсказками и запросом разрешений.

Теперь пора вернуться к Google Таблицам. Чтобы загрузить данные в BigQuery, просто выберите «Upload data to BigQuery» в меню «Add-ons» -> «OWOX BI BigQuery Reports».

Укажите проект, набор данных и имя таблицы, в которую нужно загрузить данные. И все 🙂

Неоспоримым преимуществом расширения OWOX BI BigQuery Reports является простота использования. Вы также можете использовать расширение для настройки запланированных отчетов.

Чтобы создавать отчеты на основе точных сырых данных из всех источников и автоматически загружать их в репозиторий Google BigQuery, мы рекомендуем использовать сервис OWOX BI Pipeline.

С помощью Pipeline вы можете настроить автоматический сбор данных из рекламных сервисов, из систем отслеживания звонков и CRM. Это позволяет быстро и легко получать готовые наборы полных данных из выбранных вами источников.

Просто выберите источники данных и разрешите доступ; остальное оставьте OWOX BI.

С OWOX BI вы можете создавать отчеты на любой вкус и цвет, от ROI, ROPO-эффекта и когортного анализа до LTV и RFM анализа.

Загрузка данных из CSV-файлов

Чтобы загрузить данные из CSV-файла, в окне «Create table» нужно выбрать источник данных и использовать опцию «Upload».

Затем выберите файл и его формат.

Далее нужно определить место назначения для данных, указав имя проекта и набор данных.

Примечание: В Google BigQuery вы можете выбрать два типа таблиц: в нативном формате и внешнем (external).

Google BigQuery автоматически определит структуру таблицы, но если вы хотите добавить поля вручную, вы можете использовать либо функцию редактирования текста, либо кнопку + Add field.

Примечание: Если вы хотите вмешаться в процесс парсинга данных из CSV-файла в Google BigQuery, вы можете воспользоваться расширенными параметрами.

Для получения дополнительной информации о формате CSV см. подробную документацию от Internet Society.

Загрузка данных из JSON-файлов

Чтобы загрузить данные из JSON-файла, повторите все шаги, приведенные выше: создайте или выберите набор данных и таблицу, с которыми вы работаете, — только в качестве формата файла выберете JSON.
Вы можете загрузить JSON-файл со своего компьютера, Google Cloud Storage или диска Google Drive.

Примечание: Дополнительную информацию о формате JSON см. в документации Google Cloud.

Загрузка данных из Google Cloud Storage.

Google Cloud Storage позволяет безопасно хранить и передавать данные онлайн.

Полезная информация о работе с этим сервисом:

Вы можете загружать файлы из Google Cloud Storage в Google BigQuery в следующих форматах:

• CSV
• JSON (с разделителями новой строки)
• Avro
• Parquet
• ORC
• Cloud Datastore

Подробнее об использовании Cloud Storage с big data можно прочитать в официальной документации.

Вы также можете узнать об ограничениях на загрузку данных и разрешениях Cloud Storage в справочном центре Google Cloud.

Загрузка данных из других сервисов Google, таких как Google Ads и Google Ad Manager.

Чтобы загрузить данные из различных сервисов Google, сначала необходимо настроить BigQuery Data Transfer Service. Прежде чем вы сможете его использовать, вы должны выбрать или создать проект данных и, в большинстве случаев, включить для него биллинг. Например, биллинг является обязательным для следующих служб:

• Campaign Manager
• Google Ad Manager
• Google Ads
• Google Play (бета)
• YouTube — Channel Reports
• YouTube — Content Owner Reports

Примечание: Подробнее о настройке и изменении оплаты вы можете узнать в справочном центре Google Cloud.

Для того чтобы запустить BigQuery Data Transfer Service, на главной странице BigQuery выберите пункт «Transfers» в меню слева.

Примечание: Вам потребуются права администратора для создания Transfer’а.

В следующем окне все, что вам нужно сделать, это выбрать нужный источник данных.

• сlassic bq_ui
• bq command-line tool
• BigQuery Data Transfer Service API

После настройки служба будет автоматически и регулярно загружать данные в BigQuery. Однако вы не можете использовать ее для выгрузки данных из BigQuery.

Загрузка данных с помощью API

Благодаря Cloud Client Libraries вы можете использовать свой любимый язык программирования для работы с API Google BigQuery.

Примечание: Более подробную информацию о загрузке данных с помощью API можно найти в документации Google Cloud.

Для начала вам необходимо создать или выбрать проект, с которым вы будете работать. Затем на главной странице перейдите в раздел API.

В окне обзора API вы можете подключить API и службы. Нужно выбрать необходимый вам API из библиотеки.

В библиотеке вы можете использовать поиск по полю или отфильтровать API по категории.

Можно использовать набор скриптов на Python из OWOX BI для автоматизации импорта данных в Google BigQuery.
Там есть скрипты для автоматизации импорта данных в Google BigQuery из следующих источников:

Эти Python-скрипты можно загрузить с GitHub.

Примечание: Узнайте, как использовать Python при работе с Google API, из этого видеоурока от Google Developers на YouTube.

Выводы

В этой статье мы рассмотрели наиболее популярные способы загрузки данных в Google BigQuery. От простой загрузки файла с данными до загрузки данных через API — любой пользователь сможет найти подходящий ему вариант.

• Блог компании OTUS
• Администрирование баз данных
• Google Cloud Platform

Источник: habr.com