Игра в цифры. Как аналитика позволяет видеоиграм жить лучше

Если меня спросят (и ведь спрашивают!), какими качествами должен обладать аналитик, то я первым делом назову скептицизм. Да-да, именно скепсис, старый добрый скепсис по отношению ко всему происходящему. И дело не только в том, что аналитик — это человек, который больше любит цифры, чем людей, а в том, что основной задачей аналитика является сомнение: точно ли мы приняли правильное решение? Почему мы решили именно так? Есть ли решение лучше? Как это проверить?

Большинство аналитиков, которых я знаю, весьма материалистичны в своих суждениях, как правило, они не суеверны и доверяют лишь фактам.

Главное, что есть у аналитика, — это критическое мышление, умение задавать правильные вопросы в любой ситуации.

А потому со стороны может показаться, что аналитики мнительны, по крайней мере во всем сомневаются. Смею вас заверить, это не неуверенность в привычном понимании слова. Аналитик не сомневается, он просто задает уточняющие вопросы.

Есть в статистике такой концепт, как теорема Байеса, которая открывает начало целому направлению мысли — байесианству (мы лишь косвенно затронем его в книге). Не вдаваясь в особые подробности, скажу лишь, что теорема Байеса предполагает, что чем больше факторов мы учтем, тем более точным окажется наш прогноз.

Так вот, если аналитик или любой другой человек с аналитическим мышлением вдруг усомнится в вашем решении и засыплет вопросами, имейте в виду: он просто собирает данные для более точного прогноза по Байесу.

В данной главе мы поговорим о том, кто такие хорошие аналитики, откуда они берутся и как они делают свои странные аналитические отчеты.

Профессиональное сообщество все чаще задается вопросом: где взять хороших игровых аналитиков?

На конференции DevGAMM‐2019 в Москве я вел круглый стол на тему игровой аналитики, и одним из вопросов был следующий: «Как вы нанимаете аналитиков?» Один из отвечающих, грустно вздохнув, сказал: «Наем аналитиков — это боль», и зал разразился аплодисментами. Игровая аналитика — ниша достаточно узкая, и пост аналитика достаточно ответственен, чтобы ставить на него человека «с улицы». Поэтому да, давайте признаемся друг другу: это и правда боль.

Другое дело — игровых аналитиков выращивать. Как в фильме Эльдара Рязанова «Карнавальная ночь»: «Бабу-Ягу со стороны брать не будем, воспитаем в своем коллективе». Практика (по крайней мере, моя) показала, что это более эффективный путь, нежели наем.

Делюсь секретами!

В описании вакансии игрового аналитика я всегда размещаю требование «любить игры». Во-первых, если у человека есть предубеждение относительно игрового рынка, то он отсеется сам по себе. Во-вторых, на собеседовании можно спросить, во что человек играет, попросить показать телефон (сколько игр установлено, какие это игры, во что кандидат играет чаще всего). В-третьих, тестовое задание покажет, обладает ли человек достаточно широким игровым кругозором.

Как ни странно, но далеко не все проходят по этому критерию. Как я его проверяю? Опять же, на уровне собеседования. А еще в тестовом задании один из пунктов направлен как раз на проверку общей адекватности. Вопрос, например, звучит так: «Сколько денег компания Blizzard заработала на мобильном рынке за 2017 год?» Казалось бы, Blizzard публикует свою отчетность, надо просто сходить в интернет, найти и «погуглить», плюс добавить знание того, какие из проектов работают на мобильном рынке, а какие нет. Желательно при этом еще оформить ответ красиво и со всеми ссылками, чтобы я понял, на какие источники ссылается кандидат. Но далеко не каждый справляется с этим заданием.

ИСТОРИЯ

Самый классический случай, который был с этим заданием: один из кандидатов прекрасно справился со всеми остальными заданиями, а на этом задании я все о нем понял. Ответ был таким: «Ну, ляма три». У меня к этому ответу есть, прямо скажем, несколько вопросов, и «Ляма три чего?» — лишь один из них.

Все же практика показала, что игровые аналитики получаются из специалистов технического профиля. Это могут быть и инженеры, и математики, и экономисты, и физики. А вот лирики — скорее нет. Лирики у нас, как правило, отваливаются на этапе тестового задания.

При этом, признаюсь, в резюме (CV) кандидатов я не смотрю на образование. Совсем не смотрю. Куда важнее опыт работы, навыки, а также достижения, которыми гордится кандидат. К слову, идеальное резюме — это список достижений с датами и ссылками, которыми эти достижения можно проверить (вплоть до контактов бывших работодателей).

Как проверить наличие технического бэкграунда на этапе тестового задания? Я обычно вставляю задание по SQL. Вообще, SQL — базовый навык аналитика, и даже если напрямую SQL в работе может и не пригодиться (хотя это, конечно, маловероятно), владение этим языком довольно точно показывает, работал ли ранее человек с таблицами и базами данных.

Онбординг — это та последовательность действий, которая ведет к aha! — моменту (в книге мы его разберем довольно подробно). Иначе говоря, это тот набор заданий, с которым сталкивается новоиспеченный аналитик в течение первых месяцев в компании. Как правило, это совпадает с испытательным сроком.

Я всегда стараюсь, чтобы за первые 2–3 месяца аналитик прошел через следующие задания.

— Разбор и анализ конкретной игры. В этом задании аналитику предстоит глубоко погрузиться в игру, разобрать ее по механикам удержания, монетизации, разобрать геймплей по частям и написать рекомендации, как этой игре стать лучше.

— Статистика и данные. Одно дело — смотреть на саму игру, совсем другое — изучать ее данные. Тут-то и пригодятся SQL и табличное мышление. И если при этом аналитик объединяет и свое видение игры, и данные, при этом разграничивая в отчете субъективное и объективное, то аналитик — молодец.

— Подготовка и защита отчета. Про то, как, на мой взгляд, должен выглядеть идеальный отчет аналитика, я напишу чуть позже. Но важно, чтобы и отчет был сделан хорошо, и презентация его заказчику была проведена достаточно четко и уверенно. От аналитика ждут внешней экспертизы, серьезного мнения со стороны, и аналитик, каким бы он ни был, на презентации должен быть уверенным в своих выводах и доводах.

Посмотрите на график функции логнормального распределения (синяя линия).

Должен сказать, это один из моих любимых графиков. За малый промежуток времени функция довольно быстро взлетает, а потом падает гладко и уверенно, как лыжник на трамплине.

Этот график хорош еще и тем, что описывает мое отношение к контролю за аналитиками, с которыми я работаю. Буквально за первую неделю я взваливаю на аналитика большое количество задач и довольно скрупулезно и придирчиво контролирую их выполнение, вплоть до того, какое выравнивание используется в отчете, каким шрифтом оформлены заголовки графиков, как формулируются выводы. На первых порах аналитики получают от меня очень детальный и вдумчивый фидбек. Затем я постепенно ослабляю хватку, оставляя аналитику больше свободы в принятии решений — следовательно, больше доверия. И дальше доверие сводится к максимуму, а контроль — к минимуму.

И да, обращаю внимание, эта линия никогда не уйдет в ноль. Пусть минимально, но я буду контролировать работу аналитика все время, пока мы работаем вместе.

Я считаю, что аналитический отчет — это кратчайший путь между данными и принятием решения на их основе.

Для чего существует аналитика? Чтобы принимать решения. И здесь аналитик наделен довольно серьезными полномочиями, ведь в его руках — действенное оружие.

Я хочу описать несколько признаков, которыми должен обладать отчет аналитика.

Часто у заказчика есть лишь пара минут, чтобы ознакомиться с аналитическим отчетом. Иногда же (реже) заказчик будет вычитывать каждое слово. А поэтому отчет должен удовлетворять пожеланиям обоего типа заказчиков. Что я имею в виду? Что было бы здорово писать основные выводы в начале отчета, а уже потом переходить к тому, как мы к этим выводам пришли.

Для некоторых, особенно для любителей детективов, это будет контринтуитивно, ведь мы привыкли, что все самое интересное — в конце. А здесь детективную часть мы отметаем сразу: убийца — садовник, подробности — далее.

Аналитик — это не просто интерфейс над данными, аналитик — это столь же важный человек для принятия решения, как и продюсер с гейм-дизайнером. Что это значит для отчета? Если отчет просто отвечает на поставленный вопрос — это недоработанный отчет, в идеале он должен сопровождаться рекомендациями (а еще лучше, см. первый пункт, с них начинаться).

За свою практику я завернул (отправил на доработку) большое множество отчетов с комментарием: «Где call to action?» Call to action, или призыв к действию, — это то, что должно быть в каждом отчете аналитика, даже если его об этом не просили.

Пример, как не надо

— Аналитик, посчитай нам распределение пользователей по уровням!

— Хорошо, вот ваше распределение!

Пример, как надо

— Аналитик, посчитай нам распределение пользователей по уровням!

— А зачем вам?

— Мы хотим понять, какие уровни облегчить.

— Хорошо, вот распределение. Обращаю внимание, что больше всего пользователей — на третьем уровне. Я разобрался в причинах и понял, что этот уровень слишком сложен для новичков. Предлагаю облегчить его.

Пример, как идеально

— Вот распределение пользователей по уровням. Обращаю внимание, что больше всего пользователей — на третьем уровне. Я разобрался в причинах и понял, что этот уровень слишком сложен для новичков. Предлагаю облегчить его.

Обратили внимание, чем этот пример отличается от предыдущего? Отсутствием постановки задачи аналитику.

О чем это говорит? О том, что аналитик должен занимать проактивную позицию, он должен постоянно думать о том, как улучшить проект, какие в данный момент существуют точки для улучшения.

Помните, я говорил, что две основные задачи аналитика — это поиск узких мест и точек роста проекта? Всегда держите это в голове! Этим аналитик должен заниматься по умолчанию: это его основная задача каждый день.

В нашем мире, когда ролик на YouTube продолжительностью более одной минуты считается длинным, а текст длиннее твита считается толстовским, мы должны экономить время себе и другим людям.

Отчасти этот вопрос закрывается тем, что выводы и рекомендации мы пишем в начале. Но если заказчик все же добирается до основного тела отчета, мы должны обеспечить ему комфортное чтение.

Как этого добиться?

— Маркированные списки. В аналитических отчетах очень часто идут те или иные перечисления. И если число перечисляемых сущностей равно или больше двух, я рекомендую использовать маркированные списки. Они создают визуальные отсечки, в отличие от сплошного текста, и увеличивают внимание к каждому из пунктов.

— Умеренная игра со шрифтовым выделением. Конечно же, если вы в рамках одного небольшого абзаца будете применять и bold, и italic, и подчеркивание, да еще и сочетать их, то у ваших читателей закружится голова. Но выделить наиболее важный текст (хотя бы тот самый call to action) — почему бы и нет.

— Картинки. Не только графики (о них ниже), но и картинки. Я имею в виду скриншоты из анализируемой игры или (почему нет!) из игр конкурентов. Если вы анализируете конкретный участок игры (скажем, первую сессию), почему бы не показать его прямо в тексте отчета. Даже если вы не хотите обратить внимание читателя на какой-то элемент экрана, вы таким образом сможете привлечь его мысли к этому участку, заставить его подгрузить этот участок игры в свою голову.

— Скринкасты. Иногда, вместо того чтобы писать текст на половину страницы, достаточно вставить в отчет короткое видео с указанием на проблему или просто на конкретный момент в игре.

— Графики. Да, графики должны быть, их должно быть много — так скажем, достаточно, и они должны быть правильно оформлены. Как именно правильно? Давайте-ка я посвящу этому целый раздел.

Если уж аналитический отчет — это кратчайший путь между данными и принятием решения на их основе, то правильно сделанный график — это прямо-таки портал, позволяющий телепортироваться от данных к решению.

Помните игру Portal? Вот о таком портале и речь.

Говоря о визуализации, я прежде всего буду иметь в виду книгу Джина Желязны «Говори на языке диаграмм»^[1] — всячески ее рекомендую, это очень хороший учебник (в прямом смысле слова) по визуализации.

Итак, несколько важных принципов хорошей визуализации.

…а не просто ответ на заданный вопрос. Составляя график, подумайте, о чем именно вы хотите рассказать заказчику? На основе одних и тех же данных можно сделать множество выводов. Допустим, ваша задача — указать на статичность показателя, или же, наоборот, заметили тренд на снижение. Вероятно, вы хотите обратить внимание на сезонность, а может быть, прокомментировать скачок показателя в один из дней. Все это — разного рода основные мысли графика. Поэтому, прежде чем приступать к созданию графика, определите для себя, что вы хотите донести?

Обратите внимание на эту картинку.

Большинство утверждений, которые могут быть визуализированы, сводится к четырем типам.

— Comparison, или сравнение. У нас есть либо несколько показателей, которые мы хотим сравнить друг с другом, либо один показатель, который мы хотим сравнить с самим собой во времени.

— Товар А покупают чаще товара B.

— Распределение по уровням после релиза стало иным.

— Relationship, или взаимосвязь. У нас есть множество наблюдений за несколькими переменными, и мы хотим понять, схоже ли они себя ведут, есть ли между ними корреляция (а быть может, и причинно-следственная связь).

— Корреляция между оттоком на уровне и платежами на нем сильна.

— Чем дольше игрок в игре, тем больше вероятность его платежа.

— Composition, или композиция. У нас есть один или несколько сложных (иногда совсем разнородных) объектов, которые можно разбить на части. И мы хотим понять соотношение между этими частями.

— Наша аудитория на 80 % состоит из игроков из США.

— Структура накопления валют отличается от уровня к уровню.

— Distribution, или распределение. У нас есть один или несколько объектов, и по каждому есть достаточно много наблюдений. Наша задача — описать объект через эти наблюдения.

— Распределение уровней по попыткам прохождения имеет логарифмический характер.

— Более 30 % игроков не могут пройти уровень с первой попытки.

В зависимости от того, к какому типу относится ваше утверждение, и количества переменных, выбирайте нужный вам тип графика.

И да, помните, что круговые диаграммы (pie charts) — это не всегда лучший выбор. Очень многие их любят, их просто строить, они понятны и похожи на Пакмана. Но они, как правило, не несут в себе слишком много смысла. Они лишь показывают распределение какого-то одного показателя. Куда более насыщенным был бы, например, график с областями, где то же распределение можно было бы показать в динамике.

Как правило, когда вы в Excel выбираете какой-то показатель, его название автоматически уходит и в легенду графика, и в его заголовок. По возможности избегайте этого. Заголовок графика — прекрасное место, чтобы сообщить в нем ту самую основную мысль, которую вы хотите донести до заказчика. Также в качестве таких мест можно указать текстовые пометки на отчете, список идей, описанный текстом до или после графика.

Не все знают, но масштаб вертикальной оси можно менять.

Поясню на примере.

В этом графике все правильно.

А вот этот график явно намерен увести нашу мысль куда-то не туда. Во-первых, перевернута горизонтальная шкала, и график мы должны читать справа налево, во‐вторых, перспектива здесь визуально слишком сильно выделяет 2021-й год.

Или вот еще пример.

Допустим, вы работаете менеджером по продажам. И продажи у вас, о горе, упали к концу года. И вы понимаете, что вот такой (справедливый) график показывать руководству нельзя.

Вы идете на хитрость, добавляете в график перспективу — тогда перспективы появляются и у вас на этой должности.

И еще один пример.

В чем разница между этими графиками?

На самом деле здесь показаны одни и те же данные, но на графике слева ось начинается не от нуля, а значит, динамика видна куда более четко. На графике же справа ось начинается от нуля, и разницы в данных мы не видим.

В зависимости от того, какую мысль вы хотите донести, выбирайте масштаб оси.

Легенда на графике — это указание, как именно помечен на графике каждый из показателей.

Мои правила работы с легендой таковы.

1. Если у вас одна переменная, то легенда не нужна, а название переменной лучше вынести в основную мысль, то есть в заголовок графика.

2. Если же у вас два и более показателя, то легенда необходима.

3. Размещать легенду при этом лучше внизу графика. Если размещать ее справа или слева, это сильно сократит основное тело графика.

Тут все просто. Оси надо подписывать. Всегда. И горизонтальную, и вертикальную. Исключение составляет лишь тот случай, когда единица измерения (например, $) вместе с заголовком (например, в заголовке упомянут ARPU) не оставляют нам иных трактовок оси. Или если горизонтальная ось содержит в себе даты, и только даты.

Обратите внимание на этот график. Что с ним не так?

На самом деле все не так. И заголовок дублирует легенду, и легенда справа, а не снизу. И, что самое важное, основной мысли нет никакой.

Тот же график мог бы выглядеть вот так:

Мы придумали основную мысль. Мы поменяли заголовок.

Мы не добавили подписей к осям, но добавили единицу измерения к вертикальной.

Мы добавили тренд и текстовое пояснение.

И еще.

У того же Excel есть отличная функция, которой пользуются далеко не все. Эта функция позволяет разместить график буквально в одной ячейке, при этом, если залезть в настройки, там же можно и выделить минимальные и максимальные значения, вплоть до трендов. Эта функция называется спарклайн, и я очень рекомендую ее использовать буквально (действительно буквально) для каждого показателя.