продуктовая статистика в мобильных приложениях

Логирование статистики использования в мобильных приложениях

Кто пользователь?Что он делает в приложении?Какую статистику собирать, на что смотреть?

Мы залогировали ВСЁ, что теперь делать со всеми этими цифрами?

Кому нужна статистика?

«Кто аудитория?»

• Как часто планировать коммуникацию и что писать?

• Портрет (пол, возраст)

• Интересы

«Что делать?»

• Какова статистика по использованию фичей

• Какие фичи делать?

• Как оценивать фичи?

«Каково качество приложения?»

• Есть ли ошибки и сколько?

• Как они влияют на пользователей?

«Где деньги?»

• Количество активных пользователей

• Время в приложении

• Как часто пользуются

• Как быстро уходят

Инвестору Маркетологу Продуктовойкоманде

Разработчикам

Выбор инструмента сбора статистики

Достоинства Недостатки Как используем

Своя статистика

• Очень гибкая, можно собирать и считать что угодно

• Тяжело визуализировать результаты

• Тяжело поддерживать

• Сомнительная надёжность

• «Сырые» логи (чтобы из них можно было вытащить ответы на нетривиальные вопросы)

• «Карма»

Flurry Analytics

• Просто внедрять• Работает на

уровне пользователя (а не сессии)

• Ограниченные возможности сегментов (мало, негибкие)

• Высокоуровневая статистика по активности пользователей

Google Analytics

• Очень гибкая (можно придумать как логировать что угодно)

• Сложноватая• Работает только с

сессиями (а не с пользователями)

• Основной инструемент сбора статистики

ОТВЕТЫ НА ЧАСТЫЕ ВОПРОСЫЧасть 1

Инвестору Маркетологу Продуктовойкоманде

Разработчикам

Где деньги?

1. Сколько активных пользователей?

2. Как часто пользуются?

3. Как быстро уходят?

1 Инвестору > Сколько активных пользователей?

В отличие от Google Analytics, который плохо работает на уровне пользователя (а не сессии) Flurry прекрасно считает именно пользователей.

Источник данных на графике — images.google.com

1 Инвестору > Как часто пользуются?

Источник данных на графике — images.google.com

1 Инвестору > Как быстро уходят?

Источник данных на графике — images.google.com

Инвестору Маркетологу Продуктовойкоманде

Разработчикам

Кто аудитория?

1. Кто наши пользователи?2. Какие у них интересы?3. Как с ними общаться?

Casual & Social Gamers, Parenting & Education, Sports Fans, Bookworms, Social Influencers, Business Travelers, News & Magazine Readers, Food & Dining Lovers, Personal Finance Geeks, Business Professionals, Auto Enthusiasts, Home & Garden Pros, Entertainment Enthusiasts, Catalog Shopper

Health & Fitness, Newsstand - News & Politics, Games - Board, Sports, Books, Games - Card, Music, Photo & Video, Lifestyle, Utilities, Business, Games

Достоверность — ??

2 Маркетологу > Оценка аудитории

Audience Estimations во Flurry

• Составить вопросы• Выбрать e-mail’ы активных пользователей• Отправить письмо со ссылкой на опрос

(угрожая подарками)

2 Маркетологу > Оценка аудитории

Опрос

Сравнение Flurry estimates с данными опроса

Возраст

Flurry estimates Опрос Flurry estimates Опрос

Пол

Вердикт: годен!

2 Маркетологу > Оценка аудитории

2 Маркетологу > Планирование e-mail рассылок

Карма

• New (первые две недели)• Casual (от 1 до 5 сессий в неделю)• Addicted (>5 сессий в неделю)• Inactive (ни одной сессии за неделю)• Lost (ни одной сессии больше месяца)

Писать, когда пользователь переходит из одной группы в другую.

Какую статистику вообще считать и как делать из неё выводы?

Инвестору Маркетологу Продуктовойкоманде

Разработчикам

Что делать?

3 Продуктовой команде >

Потребление контента

Шаринг

Внесение своего вклада

Настройка под себя

Sign in

$$

Чем выше на лестнице находится нужное действие, тем более сложные методы нужны для того, чтобы его трекать.

Screens (Pageviews)

+ Events

+ Custom Vars

+ E-commerce

Какие события логировать?

3 Продуктовой команде >

Screens (Pageviews)

Какие события логировать?

Достоинства Недостатки

• ДешевизнаПросто внедряются (автоматически — почти бесплатно); защищают от ситуаций, когда сделали новую фичу, а трекинг повесить забыли;

• легко считать тайминги экранов («сколько времени пользователи читают статьи» итд);

• можно смотреть классические веб-метрики (%exits итд).

• Дают мало данных (как правило, нужны параметры).

3 Продуктовой команде >

Screens (Pageviews)

Какие события логировать?

• По возможности использовать автоматический трекинг экранов.

Когда использовать:

Как использовать:

• Отслеживать потребления контента.

3 Продуктовой команде >

Events

Какие события логировать?

Достоинства Недостатки

• Содержат параметры; можно гибко настроить отслеживание важных вещей.

• Не тайминговые;

• Нужно программировать и следить, что они работают правильно.

3 Продуктовой команде >

Events

Какие события логировать?

• Для каждого действия трекать параметры (actions, labels, values).

Когда использовать:

Как использовать:

• Для трекинга важных событий: шаринга, создания контента, настройки приложения, создания аккаунта/логина.

3 Продуктовой команде >

Events: пример использования

Какие события логировать?

Event category: Sharing

Event action: MediaEvent label:

• Article text• Article web

Event action: AuthorEvent label:

• simply miu

Event action: ServiceEvent label:

• Twitter• Facebook• Pocket

3 Продуктовой команде >

Custom variables

Какие события логировать?

Когда использовать:• Для трекинга разных типов пользователей:

залогиненных/не залогиненных, настроивших приложение или нет, платных/бесплатных итд.

• Для трекинга разных режимов использования приложения: portrait/landscape, grid/list итд.

3 Продуктовой команде > Какие события логировать?

Источник данных на графике — images.google.com

3 Продуктовой команде >

E-commerce tracking

Какие события логировать?

Когда использовать:• Для трекинга продаж внутри приложения.

3 Продуктовой команде >

Тонкости: сессии

Какие события логировать?

Использовать ли автоматические сессии?• Автоматически: GA начинает новую сессию если

приложение находилось в фоновом режиме > 30 секунд (этот таймаут можно изменить).

• Вручную: например, после того, как пользователь залогинился или разлогинился.

Инвестору Маркетологу Продуктовойкоманде

Разработчикам

Ошибки есть?

Каково качество приложения?

4 Разработчикам > Логирование ошибок

Начало логирования ошибок

Релиз с фиксами

Апдейт

Логировать ошибки можно как Flurry, так и Google Analytics.(Осторожно, логи ошибок неполные)

КЕЙС-СТАДИ: ОЦЕНКА СУЩЕСТВУЮЩИХ ФИЧ

Часть 2

Способ 1: АБ-тестирование

Что нужно сделать

– Научиться управлять каким-то параметром (например, контентом, страницей, экраном). Удобнее всего, если управлять получается с сервера.

– Присваивать посетителям сегмент А или сегмент Б в зависимости от того, какую версию контента они увидят.

– Логировать название сегмента в кастомную переменную в Google Analytics.

– Смотреть на разницу в поведении между сегментом А и сегментом Б.

Способ 2: сравнение «до» и «после»

Способ 2: сравнение «до» и «после»

Когда нужно сравнить поведение пользователей до и после определённого события (прошли уровень, набрали 100 очков итп).

Что нужно:– Придумать, какие показатели должны меняться в

поведении пользователя «после» по сравнению с «до».– Разбить пользователей на классы активности

относительно этого показателя.– Проверить, мигрируют ли они из одного класса

активности в другой.

Что нужно сделать

– Придумать, за какими действиями будем следить (открытия приложения, лайки, новые заметки итд).

– Разделить активность пользователя по каждому действию на интервалы (1..5 событий, 6..10, 11..20 итд).

– Для каждого пользователя посчитать, в какой интервал он попадал “до” и “после”.

1-3 4-10 11-25 …

1-3

4-10

11-25

…

Для каждого действия строим таблицу

Сколько действий совершали после порогового значения

Сколько действий совершали до порогового значения

— увеличили активность

— не изменили активность

— уменьшили активность

Визуализация результатов

Количество пользователей, перешедших из одной категории активности в другую(1-3 -> 11-25)

Всё :)

Ольга Алексееваolga.v.alekseeva@gmail.com