Мозг компании

Я всегда был мечтателем. И искал работу своей мечты. Тогда в резюме у меня уже была пара компаний, в которых я занимался интернет-продвижением. Это были проекты с анализом данных о клиентах, собранных из многих источников. Но я уже полгода сидел без работы, вообще без какой-либо работы. Не было даже заказов по продвижению в интернет на удаленке, которыми я перебивался в последнее время. Настолько все было плохо, что я ходил к друзьям поесть. Но я не хотел идти на другую работу кроме той, которая была мне интересна. Одна мысль о том, что я буду вынужден тратить время своей жизни на то, что мне совершенно не интересно, приводила меня в ужас. А интересно мне было то, что связано с машинным обучением и автоматизацией работы, которую выполняли люди. С роботами, только в виде программ. Это было будущее, и я жил им в своих мечтах. Я прочитал много литературы по машинному обучению и большим данным. И знал, что на их основе можно автоматизировать принятие решений и много чего еще, что никто не делал. И хотя я не был программистом, мне было интересно вести такие проекты, хотя бы участвовать в них как аналитику. И чем больше я углублялся в тему, тем больше мне нравилось то, что я хотел – заняться проектом с машинным обучением. А для этого надо было найти фирму, где я мог бы заняться тем, что мне интересно.

В резюме у меня не было опыта, я ходил по собеседованиям, но итог всегда был один. Отказ. Когда меня пригласили на собеседование в крупную торговую компанию, которая как раз подходила мне, я решил пойти ва-банк. И сказал, что знаю как автоматизировать работу маркетинга и продаж, что повысит эффективность компании в разы, а многим сотрудникам придется искать другую работу. И рассказал пару примеров, которые из публикаций по теме. Моя уверенность подкупила. На последнем собеседовании мы говорили с генеральным директором. Он задал только один вопрос, глядя в глаза с пристрастием: «Ты сможешь это сделать?». Я ответил уверенно, не выдавая своего блефа, оговорив только, что мне нужна команда, данные от отдела IT и сильный тимлид, которого еще надо найти, так как задача не простая. Компания была крупной, значит, у нее были деньги не только на мою зарплату. Мы оговорили оффер с высокими премиальными в случае успеха. Это было даже больше, чем я ожидал. И первое, что я сделал – занял денег, чтобы купить подарки друзьям, которые кормили меня последнее время.

Компания была федеральная, дистрибьютор всякого-разного оборудования и комплектующих. Огромная база товаров и клиентов, много транзакций и данных. На то время уже существовали облачные рекомендательные сервисы. Но я настаивал, что этого мало и их использование не даст конкурентного преимущества. Надо строить свою систему на базе машинного обучения, так как автоматизация требуется во всем, а не только в рекомендациях. Это было убедительно, и руководство одобрило создание отдела для написания своего софта на базе программ с открытым кодом. Так вместе со мной появился новый отдел, который мне надо было сформировать. И руководить.

Это был настоящий челлендж для меня. Мне было чудовищно интересно, но я тоже не знал, с чего начать. Я никогда этого не делал. Выход был только один – найти тимлида, который лучше всех разбирается в теме. Самый крутой. Иначе я потеряю только что приобретенную работу своей мечты.

Я не был авантюристом. На такую авантюру меня подтолкнули только мечта и безысходность. По характеру я скорее был сангвиником, но мог часами заниматься своим делом в одиночестве. Я любил собирать и систематизировать разные штуки. Коллекционировать. Помню, в детстве мне нравилось переставлять книги в шкафу. То по фамилии автора, то по названию, то по теме. Или собранные монеты раскладывать по размеру, по странам, по материалам. И когда получалось найти систему или логически выстроить ряд, я приходил в восторг. Наверно, я был замкнутым. По этой причине, вероятно, у меня даже не было девушки. Нет, я легко заводил знакомства в компании друзей. У меня появлялись иногда девушки. Но им было скучно со мной. Я мог часами сидеть за своим компом, занимаясь своим нудным, как им казалось, делом. Они слонялись молча вокруг, пытались меня растормошить и куда-нибудь вытащить. Но меня это раздражало, я не мог постоянно куда-то ходить и веселиться. Это напрягало. Одиночество мне нужно было больше, чем компания. И мы расставались. Обычно через месяц. И несколько месяцев я был один в своей квартире, доставшейся от бабушки. Я не страдал от одиночества, наоборот, не понимал тех, кто боялся одиночества. Я месяцами был увлечен своими мыслями, и проблема одиночества не приходила мне в голову. Просто через какое-то время мне хотелось найти девушку.

Я не был прирожденным лидером и ненавидел совещания, которые постоянно собирали другие руководители отделов. Я не пытался создать хайп на важности своего отдела, а просто набирал ребят, с которыми мог работать и которые имели опыт, в отличие от меня. Но того, кто мне был нужен всерьез, я не мог найти на сайтах вакансий. Такие люди не ищут работу сами, она находит их. Я начал смотреть доклады на конференциях по теме, читать Хабр. Но так тоже не удавалось найти. На конференциях не было ни одного доклада с реальными результатами, все говорили о новых методах, но никто не мог продемонстрировать реально работающий проект . Их просто не было. Когда я пытался связаться и задать вопросы, докладчик исчезал, только пара ответили, что реально просто высчитали все это в excel. Переводов западных статей на Хабре были лучшими материалами по теме.

Месяц пролетел незаметно. Руководство уже намекало, что пора бы представить план, а я еще не нашел того, кто знает как это делать. Пока я мог только отнекивался тем, что еще надо время на изучение данных. Но я понимал, что долго на таком аргументе отсутствия плана не продержаться. Персонал нашел девушку, которая умела описывать бизнес-процессы. Это был по всем гайдам первый пункт в цифровизации – сначала алгоритмизировать процессы. Я дал ей задание, а сам продолжал поиски тимлида и ходил на совещания, где продолжал делать умный вид.

Из комментариев я узнал, что есть конкурсы по машинному обучению. И крутые спецы в машобе (так называется машинное обучение самим специалистами) рубятся там не за деньги, а за то, кто круче. Я отписался нескольким призерам близких по теме конкурсов и стал ждать. Некоторые ники мне были уже знакомы по комментариям на Хабре, и я надеялся, что кто-то ответит. Одни оказались сотрудниками больших компаний, повязанными всякими соглашениями, поэтому аккуратно откланялись. Другим была не интересна работа в компании, так как они были аспирантами. Но среди них был самый круто чел, и он не отвечал совсем. Он выиграл самые крутые конкурсы по теме сегментации пользователей, рекомендательным системам и даже расчета сумм продаж с учетом 200 факторов, включая возможную погоду. Это было то, что я искал! Я начал искать его по нику в сети, я видел его упоминание комментариях. Он ни с кем не встречался. Даже реальных фото его в интернете было не найти. Я знал только его ник. Я стал писать прям в комментариях, кто такого знает. И мне ответил один программист, что работал с ним и может у него спросить контакты для меня. И наконец, он вышел на контакт. Его звали Макс.

– Рад, что ты откликнулся. Я хотел бы пригласить тебя тимлидом в команду для создания всяких алгоритмов на машобе. Тебе вроде интересна эта тема. Компания приличная, деньги платит.

– Я не работаю по найму в компаниях, я работаю удаленно на проектах, пока они мне интересны.

– Но речь о большом проекте, нужно плотно взяться за задачу, вряд ли это удастся удаленно.

– Это не вопрос для обсуждения. С теми, кто не умеет работать удаленно, я не работаю. Я не собираюсь тратить время на походы в офис и приходить непременно к определенному времени. Это глупость, а я глупостями не занимаюсь.

– Хорошо, удаленная работа подойдет. Ты готов подписать контракт на постоянную работу удаленно?

– Все зависит от того, что вы там хотите.

– Мне доверили создать отдел, который должен из больших данных на основе машинного обучения сделать полезные проекты для аналитики, управления клиентским опытом, рекомендательную систему там, управление товарными запасами и тому подобное. Я сам пока точно не знаю, что можно сделать. Мне очень нужна помощь такого спеца как ты.

– Понятно, у тебя даже нет задачи. Это неинтересно.

– Но я хотел, чтобы ты сам сказал, что можно сделать!

– Спасибо за предложение. Советую начать с постановки задачи, у меня нет времени на это. Удачи.

Макс вышел из беседы. Это полный факап Я еле нашел его, второго такого крутого спеца в машобе мне не найти. Он не просто лучшим, он был единственным, у кого получилось сделать то, о чем о остальные только говорили, пересказывая истории кремниевой долины. Без него у меня не было шансов остаться в компании. Еще неделя, и генеральный вызовет меня на разговор. Я даже попросил пару дней больничного, чтобы выиграть время и подумать, что делать. Но, скорее всего, придется открывать резюме на хантере.

Макс объявился неожиданно. Он написал в скайпе:

– Привет. Я вижу, ты хороший парень и компания вроде большая. Если идей нет у тебя, тогда ты готов дать реализовать мои идеи?

– Конечно! – даже не задумываясь, сразу ответил я, – А какие идеи?

– Есть идея автоматизировать процессы в компании полностью, все процессы. И в маркетинге, и в логистике, и в закупках. Даже в подборе персонала. То есть сделать полностью самонастраиваемую систему на требуемый результат – прибыль, в которой не нужны люди. Как тебе такая задача?

– Это даже больше, чем я ожидал. Но разве это возможно? Я ни разу еще не видел таких проектов в реализации. Кто-нибудь так уже делал?

– Мне неинтересно делать то, что уже кто-то сделал, даже я сам. Надеюсь, ты это понимаешь.

– Да, конечно, я хотел другое сказать – разве есть разработки, позволяющие это сделать?

– Не важно, есть они или нет. Если я предложил, значит могу сделать. Есть то, что поможет нам. Сейчас появились алгоритмы обучения с подкреплением, может, слышал уже. Они сами обучаются в играх. Если вдуматься и довести их до ума, то это универсальный самообучающийся алгоритм. Ты ставишь цель как подкрепление, и система сама находит способ его достичь в динамических условиях. И не важно, что за задача, если она переведена в набор данных одного формата. Не трудно представить каждый процесс в компании как игру.

– Понял идею. Я читал, конечно, про такие алгоритмы DeepMind. А что потребуется для ее создания кроме твоей удаленной работы? Я даже не представляю, сколько народа понадобится, чтобы сделать такую комплексную систему.

– Немного. Ядро будет одно, это нейронка с памятью. Быстрый кластер в датацентре.

– А людей?

– Нам надо трех программистов на питоне, знающих популярные библиотеки нейронок, дата-саентиста одного, чтобы готовил данные и следил за ними. Нет, парочку, будем сразу по всем направлениям работать. И одного спеца по высокопроизводительным серверам.

– Такой спец вроде есть, в компании свой датацентр.

– Нет, нам нужен такой, кто сможет сделать самый высокопроизводительный кластер с вычислениями in memory. Такого у вас точно нет. Я знаю одного, поговорю с ним, если он не занят. Еще нужен будет один спец по базам данных ему в пару, его же на парсинг в сети посадим. Нам потребуется много информации с других сайтов. Тестеров и аналитиков сам ищи, сколько тебе надо. Пока для начала хватит.

– Постараюсь выбить у руководства такие ресурсы, но, думаю, не будет проблем.

– Я тебе не сказал, что мои условия тоже меняются?

– Нет, что меняется?

– Я хочу процент, процент от роста прибыли.

– Ты меня ставишь в тупик. Они не дадут незнакомому парню на удаленке процент. Мне бы твою удаленку согласовать, и то проблема.

– Я предлагаю электронные мозги компании. Полностью управляющие ею, раздающие задания менеджерам и контролирующие их выполнение. Это будет суперсистема, которая будет сама решать даже, кого уволить, а кто нужен компании. У нее будет только одна цель – прибыль. Она заменит людей и ускорит операции, стоимость транзакций упадет в разы. Прибыль будет расти большими темпами. Без меня они этого не могут сделать. Поэтому процент. Это справедливо.

– Попробую. Давай опишем кратко то, что ты предлагаешь, чтобы я мог как следует презентовать твои амбиции. Наши амбиции. Что главное я должен им сказать, чтобы они согласились на все?

– Что они будут первыми.

Когда я пытался представить, как я скажу это директору, меня охватывал ступор. Я не находил слов. Разве что зачитать написанное Максом по бумажке. Я готовился неделю, директор смотрел на меня настороженно, не понимая, что от меня ожидать. В назначенное время я вошел в комнату совещаний, где уже сидели все директора. Доклад прошел как в тумане. В конце в глазах участников совещания я увидел только один вопрос – это реально или ты начитался фантастики? Первым высказался генеральный:

– И ты можешь все это реализовать? Понимаю, что нужны будут люди и время. Но ты понял мой вопрос.

– Я сам, конечно, не могу. Есть человек, который поможет нам. Он лучший в этом деле, я с трудом его нашел. Он знает себе цену и просто так не согласится сделать такую систему. Придется пойти ему навстречу.

– Давай обсудим. Молодец, доклад превзошел мои ожидания. Верится с трудом, но цель, наверно, и должна быть максимальной.

– Если хотя бы часть из этого удастся реализовать, мы получим огромный эффект, я тут подсчитал.

– Потом покажешь, не будем задерживать остальных. Совещание закончено. Напоминаю директорам о секретности доклада.

Выходя, все по очереди говорили мне комплименты и хлопали по плечу. Оставшись с генеральным, я сразу рассказал ему про условия Макса его же словами. Генеральный задумался на несколько секунд. «Надо составить хороший контракт, поговори с юристами», – сказал он в итоге. Это значило «да»! Еще же он попросил проговорить с каждым директором его часть проекта и составить общий план реализации, желательно со сроками. Он будет презентовать его учредителям. Про ресурсы даже не спросил, выделение их, видимо, подразумевалось вместе с одобрением проекта. Выходя, я испытал восторг от своей крутости – проект утвержден и вместе с условиями Макса! Я сразу написал ему. Он ответил лаконично: «Я не сомневался, что они не откажутся от такой прибыли».

Надо было делать декомпозицию плана по месяцам и ближайшим спринтам. Писать заявки на поиск людей. Мне нужна была статистика от аналитиков, документация по процессам в корпоративной системе от отдела разработки и много чего еще. Все надо было собрать в кучу, чтобы понять, с чего начать и с чем придется иметь дело. Все приветливо отвечали на просьбы, но через неделю я понял, что никто не собирается мои просьбы выполнять. «Было некогда, я посмотрю завтра» – стандартный ответ. И непонятно, это специально или действительно все заняты. В ответ мне самому стали поступать какие-то несуразные просьбы. «Ты не мог бы прислать презентацию по цифровизации нашего взаимодействия с поставщиками, у нас завтра конференция». Я был в растерянности первое время от таких просьб, но в итоге стал спокойно поступать так же, как они с моими просьбами. Игнорировать. Документации никакой не было, данные были только в виде отчетов, а не raw. Единственной программой для аналитики был excel. Ни о каких выгрузках в аналитические программы речи даже не было. Все надо было делать с нуля и самим. Единственно, что удалось сделать быстро – найти людей. И только благодаря тому, что я сам полез на сайт поиска вакансий и вызвал на собеседования ребят с нужными мне компетенциями. Но как договориться с остальными о взаимодействии по проекту, я не представлял.

– Макс, есть проблемы, неделю прошу дать мне данные и документацию, но пока сплошные завтраки. Это не фирма, а какое-то болото. Никому ничего не надо, все заняты своими делами.

– Не переживай, нам никто не нужен, кроме собранной тобой команды. И нужно API к данным по клиентам, товарам и продажам, все транзакции, а также к почте по адресам клиентов и пока все. Добейся этого, иди прямо к директору по айти. Похоже, что в компании проект нужен только руководству.

– Ты, к сожалению, прав, – с грустными смайликами ответил я Максу.

Я работал до этого только в небольших компаниях, где все помещались практически в одной комнате и каждый стремился помочь другому. В больших корпорациях все не так. Менеджеры всех уровней пытаются изобразить активную деятельность количеством поручений другим. Но никто сразу не берется делать то, что просят. Они сначала спросят у других, не могут ли они сделать. И мне показалось, что они соревнуются в том, кто больше всего придумает, как будто им деньги платят за это. О реализации уже никто не думает, главное провести совещание и что-то запланировать. Так как планы никто не сводит и не отслеживает, то 90% таких инициатив просто забывается в потоке новых. За этим самодостаточным потоком внутренней информации, непрерывно порождаемой менеджерами, уже никто не видит клиента. Вместо клиентов отчеты и презентации. Кафка писал, что большое количество бумаг и законов характерно для умирающих империй. Именно тогда мне пришла мысль, что некоторых менеджеров есть за что сократить. Теперь я понимаю, почему Макс не соглашался идти в офис.

Клиентский анализ

Команда собрана, и вот дошло дело до планирования спринтов. По команде айти-директора нам предоставили какую-то документацию и сделали API. Мы развернули с новой командой кластер в ЦОДе и стали получать данные.

– С чего начнем? – уже не без оптимизма написал я Максу.

– С того, что попроще, чтобы сработаться в команде. Будем делать клиентский анализ. Самая понятная пока тема, и данные есть. Как у вас сейчас организована реклама на сайте? Как делается рассылка писем? Про остальное не спрашиваю, вряд ли есть еще что-то.

– Пока до конца сам не понял, на сайтах ставит баннеры вебмастер по заданию того, кто попросит. Баннеры делает маркетинг. Вебмастер сделал себе админку, чтобы хоть как-то вести учет баннеров и быстро их снимать, если попросят. Письма рассылают через облачное приложение, делают выгрузку аналитики с адресами, контент-менеджер пишет текст, менеджер по рекламе отправляет письма после утверждения его руководителем, тот у других утверждает. Как-то так, как я понял.

– Что, все делают руками? И сколько разных писем рассылают в месяц?

– Два-три.

– Я только одного не понимаю, как компания с таким древним подходом заняла значительную долю рынка. Прошлый век. Начнем с этого. Найду подходящий фреймворк на джаве для создания цепочек взаимодействия. За аналог возьмем буржуйский облачный сервис, зарегистрируйся пока и проанализируй, что полезного там для нас есть. Начнем раскраивать на задачи.

– А что будет в ядре системы?

– Машоб, конечно. Я тебе уже говорил, что все будет строиться на одном ядре самообучающейся по целям нейронки. Для маркетинга нужен клиентский анализ, чтобы быстро, прямо в онлайне, кластеризовать пользователей по их параметрам и действиям на сайте или в почте. RFM анализ построим, чтобы стадии отслеживать. Отслеживающие коды поставим в письма и на сайте, будем все писать в базу по каждому клиенту. А дальше накручиваем на это все, что надо для автоматического взаимодействия с клиентом – скрипт построения цепочки взаимодействия drag&drop с автоматическим выбором канала коммуникации с клиентом, смотря где он сидит. Или задачу закрепленному менеджеру отправляем письмом, если совсем глухой клиент.

– Большой план, нам полгода такое делать.

– Нет, я не идиот, чтобы делать все самому. Сделаем быстрее.

Через месяц появился первый прототип. И это была фантастика для маркетинга. В системе можно было делать сотни сегментов по сотням собираемых данных по клиентам, строить к каждому сегменту цепочки взаимодействия гарантированного контакта. Это когда сначала цепочка пытается показать баннер клиенту, если не удается, то посылает письмо, если не открыл, то шлет пуши в приложение, если и там не посмотрел, то отправляет задание закрепленному за клиентом менеджеру с текстом, что надо сделать. Все клиенты, по которым нужны действия, попадали в сеть из таких сегментов. При этом учитывался как динамический признак даже жизненный цикл клиента, новичок он или бывалый, как часто делает покупки, все ли он уже купил и не собирается ли отвалить. И это тоже был признак для сегментирования в цепочки. Действия клиентов в ответ на пока баннера или клик в письме тоже записывались в базу, и он сразу мог попасть в следующую цепочку. Так клиент мог не выходить из цепочек месяцами, главное было не переборщить. Первые welcome-цепочки и по брошенным корзинам мы построили сами.

Единственное, что надо было делать маркетингу, – это построить такие сегменты и цепочки и написать много текстов и нарисовать много сотен баннеров. Что они, конечно, не могли сделать сразу. Макс сказал, что чуть позже сделает систему автоматической генерации текстов писем и товарных баннеров из базы товаров. Но пока надо было напрягать маркетологов. Я отвечал в команде за взаимодействие с другими отделами, а не только руководил проектом.

Но самый фокус системы клиентского анализа был в способностях, основанных на машобе. Макс презентовал их команде лично. Система анализировала поведение и покупки клиента и могла заранее сказать, что клиент может уйти. И посылала задачу менеджеру на удержание. Система лучше менеджеров знала, что клиент уже купил, а что вероятней всего купит, исходя из типовой корзины таких клиентов. Это мы назвали «корзинный подход». Более того, система сама высчитывала, какой баннер или текст письма лучше отправить, так как знала, какой текст вызывает больше отклика из аналогичных. Это было как волшебство для меня, я впервые увидел, что может машоб в реальном бизнесе. Команда завелась, мы работали как бешеные, потому что результаты нас восхищали.

– Данных о клиентах мало в вашей корпоративной системе, вы ничего о них не знаете, кроме компании, должности, отрасли и емейла. Это ничто. Делаем интеграцию с внешними поставщиками данных. Запрашивай договор со СПАРК. А я займусь API с соцсетями.

– Точно. Обогатим данные. Я тут недавно видел еще один сервис, который по комментариям в соцсети определяет психотип человека. Мне кажется, нам это может пригодиться, пока не пойму для чего, но чую, что лишним не будет.

– Будем делать на их основе рекомендации менеджерам. Давай адрес. Только надо проверить, насколько точно определяет. Что-то мало верится, что могут определить без специальных тестов.

– Лучше, чем по тестам, определяют, я читал. Темперамент по крайней мере лучше определяется по реакции на комментарии людей, а этого в сети полно. Статистически причем, а не какое-то настроение. И не подделаешь, как на тестах.

– Хорошо, коннектимся, давай адрес. И СПАРК подтяни, по юрлицам будем брать инфо по количеству в штате, оборотам, учредителям, платежам в бюджет. Много чего интересного там, тоже пригодится. Даже контакты и адреса вашим менеджерам, как оказалось, доверять нельзя. Пишут всякую хрень, только бы не отдавать контакты своих клиентов. Очень грязные данные от них.

Хотя еще много что надо было отладить, через 3 месяца мы сделали чудесную систему для маркетинга, но почему-то никто не спешил ей пользоваться. Я писал письма, через директора по маркетингу собирал совещание, подходил лично, но никто не делал сегменты и цепочки, тем более письма и баннеры. Это был первый саботаж системы, и я не понимал почему. Пока мне не подсказала одна девушка-аналитик, которая работает с маркетологами. Слишком прозрачную систему мы сделали. Клиентский анализ сразу показывал, сколько каждая рассылка принесла продаж, на какой баннер кликают, а какой бесполезен для клиентов. Раньше никто не мог вычислить с ходу эффект от рассылки или от баннера, не было даже статистики кликов. А теперь все как на ладони – на онлайн дашборде, прям видно, как идут продажи по рассылке. Если идут. И в этом проблема – никто не имел практики такого онлайн-маркетинга, и все боялись обнажить свои компетенции. Я написал Максу.

– Я говорил, что их всех надо увольнять, – ожидаемо ответил Макс. – Ничего страшного, придется сделать посложнее, но обойдемся и без них.

– Есть мысли как?

– Кластеризуем клиентов с учетом рода деятельности и контактов перед покупкой так, чтобы все клиенты попадали в какой-то сегмент. И сделаем универсальную цепочку, которая будет работать по всем каналам – в почте, на сайте или в приложении. Учет контактов позволит замкнуть цепочки в цепочки. И включим самые важные предикты – допродажи, рекомендаций по брендам и сериям, отток со скидками для возврата.

– А тексты кто будет писать, они не хотят делать их в таком количестве.