`

СПЕЦІАЛЬНІ
ПАРТНЕРИ
ПРОЕКТУ

Чи використовує ваша компанія ChatGPT в роботі?

BEST CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

Из прочитанного: Superforecasting

В 2010 г. исследовательское крыло разведки США IARPA решило проверить тезис о “мудрости масс“, объявив конкурс на исследовательские гранты. В 2011  г. онлайн-проект The Good Judgement Project, запущенный профессором университета Пенсильвании (и бизнес-школы Уартона) Филипом Тетлоком, получает грант IARPA и по сегодняшний день продолжает привлекать энтузиастов, считающих что они способны предсказать будущее лучше остальных. В процессе работы над проектом Тетлок подметил, что ряд участников проекта демонстрирует показатели весьма и весьма выше среднего. Он окрестил их супер-предсказателями, и эта книга обобщает методы работы, используемые супер-прогнозистами.

Как оценивают пресказателей? Качество прогнозов определяется по шкале Брайера, где 0 является идеалом, а 1 – полным провалом. Т.е. если человек предсказал дождь во второй половине дня, и дождь действительно пошел, прогноз получает 0. Если никаких осадков не было, прогноз получает “кол”. Любые баллы по шкале Брайера – это штраф за неверный прогноз, и чем выше среднее арифметическое прогнозов от одного автора, тем чаще он ошибается (хотя люди, умудрившиеся заработать 1, т.е. всегда дать абсолютно неверный прогноз, тоже полезны по очевидным причинам).

Прогнозы, впрочем, даже в случае погоды редко являются бинарными. Если человек утверждает, что вероятность осадков составляет 70%, и дождь действительно начинается, штраф за 30% анти-прогноза составляет квадрат разницы, т.е. (1 – 0.7)2 = 0.09. Если же дождя так и не было, то разница составляет (1 – 0.3)2 = 0.49. Несмотря на то, что прогноз в 70% отличается от анти-прогноза в 30% в два с копейками раз, штраф за явно неверный прогноз почти в шесть раз превышает штраф анти-прогноза.

В течение некоторого времени IARPA отсылала вопросы, связанные с национальной безопасностью, в Good Judgement Project, попутно работая над аналогичным опросом внутри американской разведки. Среднее арифметическое проекта GJP составило 0.37, среднее арифметическое сотрудников разведки составило 0.33 (здесь можно бы опровергнуть тезис о мудрости масс, но стоит помнить, что аналитики разведслужб имели доступ к большему количеству отфильтрованной и аккуратно категоризированной информации, чем гражданские лица), среднее арифметическое супер-прогнозистов составило 0.25.

Какие черты характера и методы работы присущи супер-прогнозистам?

  • На самом базовом уровне, понимание теоремы Байеса и способность определить базовую вероятность какого-либо события.
  • Быстрый анализ входящей информации на предмет ее влияния на прогноз и пересчет базовой вероятности прогноза по все той же теореме Байеса. Здесь самой трудной задачей является определение собственно дельты, которую новость вносит в прогноз. Скажем, мы делаем первоначальный прогноз, что с базовой вероятностью в 60% Барселона в этом году выиграет Лигу Чемпионов. Неделей спустя появляется новость о том, что Месси на тренировке растянул сухожилие. Понятно, что потенциальное отсутствие Месси в составе потянет наш первоначальный прогноз вниз. Но насколько вниз? Для этого сперва нужно определить максимальный урон – скажем, анализ матчей Лиги BBVA без Месси и анализ матчей против тех же команд с его присутствием показывает, что в его отсутствие команда забивает в целом на 0.6 голов меньше и проигрывает на 0.2 матчей больше (зависимость нелинейная, так как Неймар и Суарез тоже не зря командный хлеб едят). И предположим, что из-за этого мы готовы снизить свой прогноз с 60% до 56%. Максимальный урон определен, теперь как насчет вероятности того, что Месси действительно не будет в финальном составе? Статистика показывает, что с растянутым сухожилием игрок сидит на скамейке в среднем 24 дня (все факты, кстати, придуманы мною на ходу просто для иллюстрации подхода). Поскольку финал Лиги Чемпионов состоится аж в конце мая, планку прогноза можно смело возвращать на 60% – если Месси и не будет в составе команды, то не по вине этого сухожилия.
  • Супер-прогнозисты постоянно выискивают полезную информацию, которая опровергает их постулаты. Т.е. им не интересно вариться в собственном соку, где все поддакивают и восхищаются качеством прогноза – аргументированные мнения против, либо же новая информация (скажем, в среднем игроки с растянутым сухожилием возвращаются в игру 24 дня спустя, но в 5% случаев их карьера останавливается на 5-6 месяцев, а в 0.3% случаев – навсегда) всегда обрабатываются на предмет их воздействия на прогноз с последующим математическим анализом.
  • Супер-прогнозисты в итоге являются активными читателями периодической прессы. Ключевым словом здесь стоит считать “активными” – большинсто СМИ по сути пересказывают одни и те же события и читать 40 статей на тему обстоятельств травмы Месси либо слушать горестные высказывания фанов – пустая трата времени. Супер-прогнозисты не только много читают, но и безжалостно фильтруют поступающие новости на предмет их информативной ценности.

Красной нитью через книгу проходит важность точной постановки вопроса. Составитель прогноза не может дать четкий ответ на вопрос “Какой будет жизнь в 2050 г.?” либо “Есть ли жизнь на Марсе?” Интересные вопросы, которые получают качественные ответы, содержат временные, географические и другие рамки. К примеру – какова вероятность массового убийства (1,000 и больше человек) в Нигерии до 1 января 2017 г.? Наличие временного ограничения также позволяет отметить событие как состоявшееся, после чего предсказатели начинают анализ своего прогноза. При бинарном исходе интересны как полнейшие провалы так и варианты, где эксперт выдал, скажем, прогноз на 75%-25% и оказался прав на 75%. Чем он руководствовался при определении “проигравших” 25%? Была неправильно определена базовая вероятность на начальном этапе? Либо же предсказатель пропустил какую-то новость, которая содержала весомую информативную нагрузку? Либо же наоборот, обработал новость и скорректировал прогноз, но скорректировал слишком агрессивно, т.е. переоценил важность этой новости?

Тетлок нелестно отзывается о прогнозах, которые мы имеем удовольствие слышать в СМИ – каждое появление “экспертов” на ТВ (и других СМИ) изобилует словами-заглушками – “возможно”, “не исключаем”, “вполне можно ожидать”. Телеканалы можно понять – не каждый станет приглашать в студию ботана, который будет расписывать вероятность конкретного события в 52%. Люди реагируют на громкие заголовки и сенсационные предсказания, эксперты не забывают ввернуть “возможно” при всяком удобном случае и в случае неудачи пожимают плечами – дескать, “возможно” в равной степени означает “возможно и нет”. Книга Тетлока – это отчасти манифест требовать от экспертов не только математической вероятности (что вряд ли в политическом дискурсе общего плана), но и ответственности за сделанные ранее прогнозы, этакая шкала Брайера, привязанная к каждому “гостю нашей программы”. Второй проблемой современного общества является подчеркнутая в рецензии The Economist склонность людей доверять авторитету –  громкому имени и должности. В плане финансовых вопросов, скажем, телезрители более склонны уделить внимание вице-президенту банка, а не пенсионеру, хотя последний, ввиду своего свободного времени, имеет доступ к большему количеству информационных ресурсов и заслужил репутацию неплохого предсказателя, но заслужил ее в узких кругах.

Книга полезная, но в целом очень длинная – тезисы легко уместились бы в пару статей. В описании супер-предсказателей автор углубляется в их биографические данные. Понятно, что там будет присутствовать любовь к чтению, математике и поглощению новой информации. И когда это повторяется в очередной раз с новым экспертом, начинаешь пролистывать страницы в поисках чего-то нового. Поиск на YouTube по названию книги дает несколько лекций и интервью автора и в принципе вполне заменит ознакомление с ней. Если видео-ролики пробудили интерес, то книгу, наверное, все же стоит прочитать.

Рецензент The Wall Street Journal считает, что это “самая важная книга в плане осмысления и принятия решений” после “Thinking, Fast and Slow” Дэниела Канемана. Сам Канеман ставит Superforecasting на первое место, считая ее учебником по систематическому мышлению.

Из прочитанного: Superforecasting

Из прочитанного: How We Learn

Типичная для таких книг карьера автора – научный обозреватель Los Angeles Times, научный обозреватель New York Times, в результате чего собранного материала хватает на полноценную книгу. Вначале How We Learn описывает миф об эффективной учебе, с которым знаком каждый – нужно найти тихий уголок, отключить телефон, сказать домашним не приставать и зубрить-зубрить-зубрить, изредка делая перерывы на подкрепление и туалет. Между тем, те скудные научные исследования, которые сегодня публикуют психологи, интересующиеся практической педагогикой, рекомендуют другие подходы к процессу обучения. О них и книга.

Из прочитанного How We LearnВ качестве заправки для полноценной дискуссии читателя знакомят с кривой обучаемости Эббингхауса – тот заставлял себя учить и повторять бессмысленные слоги, после чего аккуратно записывал свои возможности в плане вспоминания заученных слогов и зависимости памяти от количества повторений, которые приходились на тот или иной слог. Основной тезис Эббингхауса в плане практической педагогики можно сформулировать как “Повторенье – мать ученья“, но материал при этом заучивается небольшими порциями а повторяется часто.

На этом фоне исследователь Филип Босвуд Баллард решил поэкспериментировать с материалом не столь абстрактным, предоставив для ознакомления группе подопытных школьников стихотворение-балладу. После чего он проверяет их каждый день на предмет знания баллады без предоставления доступа к книжкам. Выясняется, что отсутствие повторения, но наличие экзамена напрягает краткосрочную память – на второй день школьники вспомнили больше деталей из стихотворения, на третий – еще больше. За отсутствием оригинала, с которого можно было подучить, уровень закрепления информации начинает падать к четвертому дню и стабильно падает после этого. Что, впрочем, вводит интересную коррекцию в тезис Эббингхауса. Заученный материал можно не повторять сразу же на следующий день. Гораздо лучше себя просто перепроверить, предоставив подсознательным информационным потокам возможность выяснить, какая информация закрепилась хорошо, а какую стоит подучить. По этому принципу, кстати, функционируют многие приложения для заучивания материала – первоначальная SuperMemo и многочисленные адаптации (для меня самой удобной оказалась Memrise) работают по примерному правилу “20% нового материала, 80% проверочного материала, упор на небольшие сессии каждый день”.

Следующий набор исследований – влияние окружающей среды на закрепление информации. Опыт показывает, что учить можно и в тихой комнате, и в шумных условиях общежитиях, и в кофейне, и на природе, и в университетском коридоре непосредственно перед экзаменом. Какой же из этих вариантов лучше? Исследования, процитированные автором, сходятся в том, что для оптимального закрепления следует часто менять обстановку, делая ее максимально разнообразной. Здесь у автора своя теория – память лучше всего функционирует в условиях синестезии, и заучивание в одних и тех же белых стенах в полной тишине – это ее полная противоположность. Смена места учебы, звуковой гаммы вокруг, положения тела либо его состояния (сидячее, в процессе прогулки, на велосипеде, на пробежке), какие-то новые ощущения в плане обоняния, даже смена настроения – все это положительно повышает индикаторы закрепления материала.

Влиянию сна на работу памяти посвящено много исследований, и все они в основном сходятся в своих выводах – сон положительно влияет как на процесс закрепления заученного материала, так и на энергоемкость мозга и готовность усваивать новый материал на следующий день. Идиома английского языка “sleep on it” в целом верна и применима не только в ночное время – исследования, цитируемые Кери, показывают, что уровень закрепления материала возрастает даже в случае небольших перерывов на дневной сон. А вот специфика глубокого сна и деление его на несколько фаз вносит свои нюансы – похоже, что закрепление памяти происходит на более поздних фазах сна, и часто прерываемый ночной сон приводит к понижению усвояемости.

Еще одна глава обсуждает масштабные проекты, которые никак не начать. Кто помнит методику Getting Things Done Дэвида Аллена, тот знает его принцип продуктивности – что-то недоделанное сидит в памяти и гложет мозг, отнимая умственную энергию своим постоянным индикатором оповещений. Если вы хотите о чем-то забыть (и этим самым успокоить свой мозг), то GTD рекомендует принцип “с глаз долой – из сердца вон” – задачу нужно либо решить, либо делегировать, либо перенести в папку задач для решения с конкретной датой. Кери же по сути придумал анти-хак – если какой-то масштабный проект (типа диссертации или книги) начать даже с минимальным рвением и кое-как поддерживать в рабочем состоянии, посвящая ему пускай даже минимальное количество времени, то мозг сам начнет втягиваться в проект и напоминать о его незавершенности. Более того, минимальное вовлечение в него начнет заводить в мозг мысли по теме, и к каждой новой такой сессии субъект уже будет подходить более готовым. Главное в этом анти-хаке – постоянство. Кое-как поддерживать проект в рабочем состоянии нужно каждый день. Это, впрочем, вряд ли является чем-то сенсационным – многочисленные учебники по авторскому мастерству советуют писать каждый день. Пусть страничку, но каждый день, и в какой-то момент отработанный навык превратится в музу и вдохновение.

В целом книга читается довольно быстро и написана неплохо – видно подготовленную руку журналиста. Несколько глав посвящено физиологии мозга и физиологическому эффекту сна – я их тут пропустил, иначе рецензия получилась бы просто пересказом. Автор вроде как и обнародовал известные истины, закрепленные в народном творчестве и фольклоре в виде поговорок и присказок, но привел научное обоснование каждому тезису, заодно развенчав мифы. Есть и практические советы, типа как лучше структурировать учебу, если экзамен через неделю, месяц, несколько месяцев, год и т.д. Что лучше – оттянуть сон и подучить в ночь перед экзаменом, либо же выспаться и подучить на следующее утро? Особенно интересно будет тем, кто разочарован в методах современной педагогики после собственного опыта либо опыта детей – сегодняшний школьный экспериенс все же больше склоняется к “сидим в классе, молчим, и слушаем, что говорит учитель” чем к различным методам, описываемым автором.

Из прочитанного: How We Learn

Из прочитанного: Elon Musk: Tesla, SpaceX, and the Quest for a Fantastic Future

Эшли Вэнс (весьма плодовитый журналист Business Week) в своей работе немало внимания уделял компаниям Tesla Motors, SpaceX и SolarCity. В какой-то момент материала хватило для полноценной бизнес-биографии, но вместо очередных “15 секретов бизнеса от …” и “Путь к успеху: как зарождалась …” автор подошел к объекту своего творчества весьма критично, уделив немало времени бизнес-прошлому Маска и договорившись с Из прочитанного Elon Musk Tesla, SpaceX, and the Quest for a Fantastic Futureпоследним о вычитке финального черновика книги – не для “одобрямса” (или наоборот, запрета на публикацию), а для возможности высказать свою точку зрения в тех местах, где его нещадно поливали критикой оппоненты.

Уроженец ЮАР и студент канадского университета Квинс никогда особо не сомневался, что конечной точкой его скитаний станет Кремниевая долина, и когда после второго курса ему представилась возможность сменить канадскую студенческую визу на американскую, он так и сделал, доучившись на бакалавра в университете штата Пенсильвания. Первым его проектом после университета был Zip2 – инновационная (для того времени) платформа “желтых страниц” для малого бизнеса, позволяющая клиентам создать сайт-визитку с базовой информацией. Подобной базы данных для интернета тогда не существовало, интернет-стратегию компании Yellow Pages на тот момент можно было обобщить фразой “подождем и посмотрим”, по мере пополнения базы данных пользователю можно было предлагать релевантный поиск или же маршрут с пошаговой инструкцией – вот примерно и бизнес-модель. Все это звучит весьма тривиально сегодня, но локальная ниша в 1995-ом году пустовала – кроме Zip2 на нее претендовал проект CitySearch, с которым Zip2 даже собирался объединиться. В феврале 1999 г. Zip2 нашла своего богатого буратино в лице Compaq, который выкупил проект за $300 с копейками млн, из которых Маску досталось примерно $22 млн.

Уже в марте 1999 г. Маск основывает компанию X.com, в которой кроме ролей гендиректора и основателя он играет роль основного инвестора, снабдив новое детище капиталом в $10 млн.

Глава, посвященная X.com (которая после поглощения развивалась внутри PayPal) развеивает миф о том, что изобретатель редко интересуется деталями ведения бизнеса, предпочитая витать в облаках своего внутреннего мира. Маск глаз не сводит с показателей валовой выручки, расходов, убытков и баланса на банковском счету.

Благодаря его упорству форма PayPal’a до сих пор (весьма назойливо, надо сказать) по умолчанию снимает деньги с расчетного счета (цена транзакции – 10-20 центов), а не с кредитной карты (цена транзакции – 2,5% + 20 центов). Его же идеей (по крайней мере, так утверждает он, и никто из плеяды PayPal это не оспорил) PayPal запустил дебитную карту – компании стремилась максимально попридержать баланс клиента у себя, и единственным способом предотвратить моментальный перевод на личный расчетный счет был выпуск карточки, которую принимал любой банкомат. Когда клиент все же продолжал снимать деньги со счета в Paypal на сберегательный счет, где ему капал более высокий процент, PayPal начинает работу над созданием своего сберегательного счета с весьма конкурентноспособным процентом.

Глава о SpaceX упоминает письмо Маска персоналу компании, где он объясняет основы премирования. SpaceX, как и многие другие стартапы, в рамках одного из раундов финансирования позволил сотрудникам продать часть своих акций. Предвосхищая кучу вопросов по этому поводу Маск посоветовал сотрудникам продать ровно столько, сколько необходимо для комфортабельной жизни и выкупить оставшиеся опционы по сегодняшней цене, что уменьшит налоговое бремя на них в будущих раундах.

В рамках компании Tesla Motors Маск в какой-то момент ввязался в публичную передрягу с Генри Фискером, авто-дизайнером, завершившим пару проектов для Tesla Motors и затем запустившим собственного производителя Fisker Automotive. После весьма субъективной тирады по поводу дизайна автомобиля (не так уж все там ужасно, скажем прямо) Маск высказывает сомнения в финансовой эффективности проекта Фискера:

“He outsourced the engineering and manufacturing. But the fact is…that’s the crux of the problem. And he’s outsourcing to people who don’t know how to solve the problem.”

Если из книги и можно извлечь какой-то урок для бизнеса, то это упор на вертикальную интеграцию a la Apple. Это впервые проявилось в SpaceX, которая вынужденно взаимодействовала с ворохом компаний из военно-промышленного комплекса, где цены начинались с пяти цифр, а сроки доставки исчислялись годами. SpaceX приходилось менять свою стратегию на ходу, и во многом рекордно низкая стоимость запуска ракеты Falcon является такой из-за вертикальной интеграции SpaceX.

Подобный подход, как видно из цитаты выше, применяется и в Tesla. В самом начале своей жизнедеятельности компания экспериментировала с шасси от Lotus, но дизайн и производство своего шасси дало возможность распланировать оптимальное размещение батарей по периметру автомобиля, что увеличило стабильность на дороге. В условиях, где шасси покупается у одного вендора, батареи – у другого, а ПО – у третьего генерировать подобное ноу-хау весьма трудно, и такой продукт станет “посредственным и дорогим” (именно таким эпитетом Маск и наградил Fisker Karma). Следующий шаг в плане вертикальной интеграции – производство собственных батарей, которое, по словам Вэнса, для Tesla является вынужденным шагом. Производители батарей не хотят выстраивать масштабное производство, пока нет масштабных заказов – крупные автопроизводители не хотят делать масштабные заказы, поскольку нет вендоров, способных обеспечить поток батарей.

Аналогично Solar City (где основателями и руководителями являются его двоюродные братья, а Маск занимает роль председателя правления) закупала солнечные панели у китайских компаний ровно до того момента, пока с объемами Solar City производить их в США не стало дешевле.

Масштабная вертикальная интеграция стоит немалых денег, и стартапы Маска нередко нагружены приличным объемом долга – не проходит и года, чтобы торгуемые публично Tesla Motors и SolarCity не подняли очередную кредитную линию. Приватной SpaceX дороги на приличные кредитные рынки пока прикрыты и она чаще поднимает деньги через продажу своих акций. Этим отчасти и объясняется безбашенный оптимизм и постоянное медиа-присутствие Маска, которое так раздражает его критиков – Маск копирует стратегию Дональда Трампа (застройщика, телезвезды, а сегодня – претендента в кандидаты в президенты США от Республиканской партии). Известное имя – это актив, который весьма полезен при поднятии денег. Инвесторы и покупатели облигаций, вкладывающие деньги в проекты с высоким риском, в день получают десятки предложений и выигрывает тот, чье имя не придется гуглить.

В книге немало внимания уделяется стилю работы Маска. Здесь никакой романтики нет – из людей выжимают по максимуму (80-часовые недели и проведенные в офисе субботы и воскресенья считаются частью эфемерного “долга”) после чего многие находят себя на обочине без ожидаемых в таких случаях слов признаний и благодарности. Вэнс уделяет несколько страниц психологическому анализу Маска, считая того подверженного в какой-то степени синдрому Аспергера и неспособного к эмпатии в адрес сотрудников. Самые энергичные люди обычно начали работать в Tesla или SpaceX лишь недавно. После этого к темпу привыкают, но по завершению карьеры там (SpaceX основана в 2002 г., Tesla Motors – в 2003 г., поэтому и в Долине, и в Лос-Анджелесе есть немало экс-сотрудников) люди чувствуют себя выжатыми.

Самое трудное, как объяснил автору в собеседовании один из экс-сотрудников – это не высокий объем требований со стороны Маска. Начальника, который тупо требует нереально сжатых сроков, игнорировать либо спускать на тормозах легко. Маск же, видя сомнения со стороны сотрудника, скажет “Хорошо, с сегодняшнего дня этим проектом занимаюсь я, это на 100% мой проект, а ты просто смотри со стороны”. И он завершает проект в выставленные им же сроки, быстро вникая в детали, как будто всю жизнь только этим и занимался. Это больше, чем требовательность в плане срока. Это мачизм, но с результатом. И чувство собственной неадекватности на этом фоне угнетает.

В целом книга интересная. В ней собраны многочисленные “истории из жизни” (сказ о том, как Маск да коллеги у НПО Лавочкина ракету пытались купить), подробности жизнедеятельности компаний Маска (где фигурируют в основном истории и мнения экс-сотрудников, согласившихся дать автору материал), обзор рынка в целом (сказывается обширный опыт автора в Business Week) и попытка проанализировать, что же есть такого уникального в Tesla, SpaceX и Solar City, что позволило им делать деньги на весьма гиблых (до этого) рынках.

Из прочитанного: Elon Musk: Tesla, SpaceX, and the Quest for a Fantastic Future

Criteo о рынке мобильной коммерции

Рынок мобильной рекламы растет приличными темпами, но пока ограничен разработчиками приложений, покупающими загрузки у других разработчиков приложений. Что представляет из себя неплохой бизнес для тех, кто в нынешних условиях может продавать эти загрузки.

Criteo о рынке мобильной коммерции

Но подвержен сезонным колебаниям и зависит от входа новых игроков, так как возможности брать денег за повторную загрузку продукта в условиях сегодняшних магазинов приложений нет.

На этом фоне мобильная коммерция выглядит как весьма неплохая платформа для развития мобильной рекламы, так как купив один переход, торговая площадка завтра вернется за вторым. Проблема лишь состоит в низкой конвертации торгового трафика на мобильные сайты, где покупатели вроде как и рады были бы чего-то приобрести, но в рамках своего мобильного браузера и экранной клавиатуры вынуждены заново вводить всю личную и всю платежную информацию.

Свет в конце тоннеля есть – мобильные браузеры вроде как в последнее время предпринимают такие шаги как запоминание паролей и их синхронизацию между мобильными устройствами и компьютерами, да и разработчики мобильных платформ явно нацелились на рынок платежей – ситуация, где через Apple Pay и Android Pay можно рассчитаться в оффлайновом магазине, но нельзя в Web-форме на мобильном сайте продавца, продлится недолго.

Criteo опубликовала свой анализ и прогноз рынка мобильной коммерции. Тезисы следующие:

  • Для некоторых ниш мобильная торговля более интуитивна, чем для других
    Criteo о рынке мобильной коммерции
  • Рекомендация из разряда “также неплохо, чтобы сайт работал” – те, кто оптимизируют под мобильные экраны, получают более чем вдвое высокий коэффициент конверсии
    Criteo о рынке мобильной коммерции
  • Несмотря на то, что большинство предпочитает мобильный бразуер приложению от онлайн-торговца (которое надо еще найти и загрузить), приложения конвертируются лучше. Оно и понятно – пользователь его уже загрузил (и может быть не спрятал сразу в папку подальше) и иконка служит как напоминанием, так и визуальным стимулом. В особо оптимистичных сценариях пользователь может даже залогинился, чем избавился от необходимости вводить платежную информацию каждый раз, что резко ускоряет процесс покупки
    Criteo о рынке мобильной коммерции
  • Наличие приложения и логина в него немаловажно еще и по другой причине – в 40% случаев пользователь начинал проявлять свой покупательский интерес на одном устройстве и заканчивал его на другом:
    Criteo о рынке мобильной коммерции
  • Данные по покупкам с планшетов и телефонов варьируются по странам:
    Criteo о рынке мобильной коммерции

Criteo о рынке мобильной коммерции

«О потенциальных пузырях», номер за июль

Предсказывать экономические пузыри легко – как подметил Марк Андриссен, постоянный негатив приведет к последовательности «неправ, неправ, неправ, неправ, прав!, неправ, неправ», фанаты выберут из этой обширной последовательности один момент и создадут себе кумира, которого потом и преподнесут населению как ясновидца.

В этом контексте интересны мнения сторон, которые не извергают негатив на постоянной основе. Например, мнения венчурных капиталистов о технологическом рынке, так как случайный набор заголовков по этим терминам чаще всего выдает 99%-ный оптимизм. First Round Capital опубликовал свое ежеквартальное письмо вкладчикам фонда, в котором описывает легкий пессимизм касательно ситуации на рынке. Фонд попробовал проанализировать существующую динамику стартапов и с оговоркой на «мы не умеем видеть будущее, но мы умеем пользоваться калькулятором» подметил следующее:

  • самые важные критерии для оценки венчурного фонда – это цена входа и цена выхода;
  • выходы в количественном плане слегка поднялись в 2014 г., но статистика сильно искажена WhatsApp;
  • входы в количественном плане поднялись, причем не слегка, а в 10 раз;
  • арифметика венчурных фондов на этом плане выглядит весьма блекло – по аналогии First Round Capital представьте себе стол для блекджека, где вероятность выигрыша для игрока составляет 42%. Казино в процессе игры увеличило минимальные ставки, но оставило призовые выплаты на прежнем уровне, что снизило привлекательность блекджека для игрока до 20%. Если игрок понимает новую динамику и чувствует себя уверенно даже с таким процентом вероятности – ему и карты в руки. Большая часть игроков, впрочем, все еще думает, что игра проводится по старым правилам. Особенно если эти игроки не являются профессионалами блекджека.

Сэм Лессин в своей статье на The Information акцентирует внимание на следующих макро-событиях:

  • Закон Sarbanes-Oxley (2002) усложнил выходы;
  • Закон JOBS Act (2012) упростил входы;
  • 15 лет назад инвестиционные банки продавали своим богатым клиентам доступ к акциям в момент IPO, обеспечивая ликвидность рынка в первый день торгов;
  • Сегодня инвестиционные банки продают своим богатым клиентам доступ к частным компаниям, перспектива выхода которых на IPO все еще в далеком будущем;
  • Кто выстроится в очередь за акциями в день выхода этих компаний на IPO еще не совсем понятно, так как даже такие монстры публичных рынков как Fidelity и T.Rowe Price уже закупают акции задолго до их первичной эмиссии на публику;
  • В итоге мы можем стать свидетелями, где целый класс компаний с рабочей бизнес-моделью, доходами и прибылями, поднявшими в процессе роста кучу капитала, так и не станет публичным, опасаясь отсутствия интереса и жесткого дисконтирования со стороны публичных рынков:

      Companies that are private are getting really big and really highly valued. The relevance of the public market and the equality of access that it stands for is sadly declining. There are interesting questions about where liquidity for investors will come from in the future. The lower multiples in the public market vs. the private market make it hard for a lot of these companies to consider IPOs, and even harder for public companies to acquire private technology companies. Perhaps the answer is that these companies will stay private effectively forever.

«О потенциальных пузырях», номер за июль 2015 г.

Рынок бритвенных изделий резко мигрировал в онлайн

Все уходит в онлайн, причем гораздо быстрее, чем кто-либо мог ожидать.

Именно к такому выводу приходит Wall Street Journal анализируя рынок продуктов для бритья в контексте очередного раунда Dollar Shave Club, который оценил компанию в $615 млн (я участвовал в предыдущем раунде, что раскрыло доступ к внутренним документам, поэтому комментировать за исключением публично доступных материалов не могу).

Web sales of men’s shaving gear in the U.S. have nearly doubled in the 12 months through May to $263 million, according to estimates from Slice Intelligence, a market research firm. That is about 8% of the roughly $3 billion market and a big surprise to people who follow the market. The pace continues to quicken. In the first five months of 2015, online sales amounted to $141 million, more than double that a year ago,

И Harry’s, и Dollar Shave Club позиционируют свои продукты как более качественные и при этом более привлекательные в плане цен. Оба проекта поддерживают режим подписки, т.е. человек практически забывает о необходимости ходить в магазин и покупать картриджи, обе компании вычислили оптимальную упаковку и варианты продвижения дополнительных продуктов (как смежные продукты, типа крема для бритья или лосьона после, так и новые вертикали типа мокрых салфеток, заменяющих туалетную бумагу).

WSJ рассматривает специфику гиганта Gillette, который вынужден теперь соревноваться с онлайн-поставщиками, и запустил свою программу подписки. Компания доминирует на рынке оффлайн-продаж в основном из-за специфики своих отношений с торговыми партнерами, которым доплачивает за “правильное” расположение своих продуктов на полке. Gilette также старается убедить торговые сети не прятать картриджи (которые входят в категорию часто воруемых продуктов) за закрытыми прилавками, так как это отпугивает потенцальных покупателей.

В общем, компания досконально знает правила игры в оффлайне, в онлайн самостоятельно не выходила (даже ежемесячная подписка на продукты Gilette запущена с рядом торговых партнеров типа Амазона), держит маржу, позволяющую обеспечивать дальнейшее превалирование на оффлайн-рынке (где за последний квартал продажи упали на 3%, но только ввиду заморочек с курсом доллара, который ушел в рост), но не может работать с таким же уровнем прибыли в онлайне, где бойкие конкуренты акцентируют внимание на коэффициенте “цена-качество”. Снижать цены только в онлайне – тоже не вариант, так как львиная доля продаж все-таки приходится на оффлайн-партнеров. Снижать цены в глобальном масштабе – тоже проблематично, так как это вгрызается как в собственную маржу, так и маржу торговых партнеров.

Вполне возможно, лет через десять этот сценарий будет рассматриваться как еще один классический пример дилеммы инноватора.

Из прочитанного: The Shallows

Имхо, Николас Карр (Nicholas Carr) является самым интересным интеллектуалом современности. Я путаюсь в бесконечных историях из жизни, примерах и примерах к примерам Нассима Николаса Талеба, дочитывая его книги примерно до середины. Мне противен слащавый псевдо-интеллектуализм Мальколма Глэдвелла с его упором на количество печатных знаков и отсутствие аналитического подхода к научному методу (несмотря на обильное цитирование удобных цитат из подходящей для сюжета научной литературы).

Когда Глэдвелла прижали с его правилом в 10,000 часов из книги «Outliers», подчеркнув, что мало того, что есть куча вариантов где люди, посвятившие 10,000 часов конкретному занятию, успехов в нем не добиваются, так еще и есть статистически значимая группа людей, которая достигла отличных результатов за значительное более короткие отрезки времени, Глэдвелл отписался, что дескать, да, интересное наблюдение, спасибо, что подметили.

Когда его прижали во второй раз касательно тезисов книги «David and Goliath», которые мало того, что были основаны на результатах одного (не самого идеального) научного эксперимента, так еще и не содержали ссылок на другие эксперименты, противоречащие тому, первому, Глэдвелл выдал литературный эквивалент ролика «отстаньте от Бритни», заявив, что все эти научные танцы-шмансы с цифрами, статистикой, повторением экспериментов и пр. ему не интересны, так как Маэстро пишет литературу с большой буквы, и сам факт того, что своим произведением он заставил простой люд задуматься над вопросом уже достоин аплодисментов:

The kinds of people who read books in America seem to have no problem with my writing. But I am clearly a bee in the bonnet of some of the kinds of people who review books in America. I think this has to do with the way in which my books are written. I write in the genre of what might be called «intellectual adventure stories.» Books like David and Goliath combine narratives and ideas from academic research in an attempt to get people to look at the world a little differently.

Но я отвлекся. Карр умеет подать идеи, которые долгое время витают в воздухе, но еще не получили конкретного наименования либо четких очертаний. Более того, некоторое время спустя эти самые идеи кажутся настолько очевидными, что подача их в книжном виде кажется тривиальным способом срубить немного денег на волне интереса. Так получилось с книгой «Does IT Matter?» и соответствующей статьей в Harvard Business Review, которая вызвала бурю эмоций со стороны корпоративных СТО, так как под сомнение ставились бюджеты на IT-инфраструктуру и серверные контракты, но в целом оказалась предвестником тенденций на IT-рынке (на момент публикации, т.е. 2003 г.).

Из прочитанного The ShallowsThe Shallows («Поверхностное») за основу берет следующий тезис – активное пользование интернетом влияет на структуру нашего мозга, и влияние это не сказать, чтобы очень позитивное. Карр не бабка, пытающаяся отогнать своего внука от компьютера или игровой приставки и не депутат, считающий своей целью запретить все и вся, что не поддается контролю. Лейтмотивом книги служат научные исследования в двух смежных областях:

  • физиологическое влияние интернета на головной мозг
  • психологическое влияние интернета на память

В первом случае исследователи, цитируемые Карром, чаще всего подключают к подопытному кучу электродов, после чего начинают следить за активными и пассивными участками мозга. Во второй сфере применяются в основном тесты, где контрольная группа проводит время за чтением статьи либо книги в бумажном варианте, а подопытная группа читает ту же статью либо книгу в броузере, после чего все проходят единый тест. Для создания контекста автор углубляется в историю обмена информацией, затрагивает изобретение письма (и упоминания того, что древние греки опасались печатного слова, так как наличие глиняных плит и впоследствии папирусов вроде как способствовало поверхностным, а не глубоким, знаниям), печатный станок Гутенберга, массовое распространение книжной культуры, появление первых газет и журналов, первых электронных читалок и других вех. Карр уделяет немало времени и последним исследованиям в области нейрологии, где его больше всего интересует нейропластика, т.е. способность человеческого мозга «вспоминать» о конечностях и симулировать сенсорное восприятие даже если эти конечности отсутствуют.

Чем дольше плотник использует свой молоток, а хирург – свой скальпель, тем легче становится их работа в следующий раз. Мозг реагирует на процесс вовлечения в ремесло, генерирует нужные нервные клетки и объединяет их в новые нейронные сети. Самым цитируемым исследованием в этой области является работа (пардон) британских ученых, которые исследовали гиппокампы лондонских таксистов и выяснили, что по мере приобретения стажа гиппокамп таксиста (которому для получения лицензии нужно заучить улицы Лондона) приобретал в размере, а в целом срез населения «лондонские таксисты» обладает гиппокампом значительно более крупным, чем среднестатистический гражданин. Т.е. не только человек влияет на свои инструменты, но и инструменты влияют на человека.

Интернет в этом плане не очень-то обнадеживает. Исследования Якоба Нильсена о том, что мы сканируем, а не читаем текст, обычно цитируются в любом учебнике по Web-дизайну на странице примерно пятой, из чего делается вывод, что важны короткие дерзкие заголовки, небольщое количество текста и визуальная приманка типа фотографии (за примерами можно сходить на любой сайт СМИ). В то же самое время, интернет дает доступ к немеряному объему информации, для доступа к которой нужно потратить минимальное количество времени, т.е. вроде как способствует чтению, усвоению и запоминанию информации. Карр обращается ко второму тезису и исследованиям, пытающимся доказать его на практике, и находит его ошибочным:

  • группа лиц, прочитавшая ту же самую статью или новеллу в интернет-броузере, демонстрирует меньший процент усвоения информации, чем группа, потратившая время на эту же статью либо новеллу в книжном варианте
  • ученые, которые для цитирования своих работ прибегали к бумажным научным журналам, в целом цитировали больше работ как в количественном, так и в качественном плане (здесь имеется в виду выборка чужих научных работ для цитирования – те, кто использовал для исследованией бумажные варианты, уделяли больше страничного места противоречащим и конфликтным работам)
  • эксперименты в плане концентрации, где человека просят прочитать какого-то Дикенса, приносят больше результатов в случае бумажных книг, чем в случае их электронных вариантов – люди, читающие на бумаге, более усидчивы

Почему так? Ученые уже некоторое время используют термины «короткая» и «длинная» память. Прочитанный материал ложится в короткую память, известный всем с детства лозунг «повторение – мать ученья» закладывает его в длинную. Интернет, с его постоянными искушениями кликнуть куда-то еще, посмотреть на эту рекламку, заценить входящее сообщение или проверить почту, запускает короткую память в овердрайв. Естественная реакция мозга – это адаптироваться под нужды «хозяина», увеличивая краткосрочную память за счет клеток памяти длинной. Человек не может сконцентрироваться на чем-то одном, когда сидит за компьютером, но в долгосрочной перспективе способность концентрироваться и управлять своим вниманием пропадает даже вдали от компьютера – короткая память требует стимуляции, человек хватается за телефон или планшет и открывает любимое приложение с заголовками, визуальной приманкой и короткими абзацами.

Отсутствие способности концентрировать внимание и посвятить свой мысленный процесс одному конкретному вопросу сказывается в других психологических факторах – внутреннем разочаровании собой, мысленном покрикивании на самого себя, что дескать «не отвлекайся», покупке кучи книг по «повышению эффективности», «повышению продуктивности», записи на курсы медитации, хотя к этому моменту мозг уже не натренирован хранить концентрацию дольше нескольких секунд.

Книгу легко проигнорировать из-за конфронтационного стиля публицистических статей Карра (например, его статья, приуроченная к выходу этой книги, называлась «Делает ли Google нас тупее?»), где он приводит отрывки из книги, свидетельствующие о постепенной потере способности концентрироваться у ряда авторов (т.е. людей не то чтобы далеких от литературного жанра):

When I mention my troubles with reading to friends and acquaintances – literary types, most of them – many say they’re having similar experiences. The more they use the Web, the more they have to fight to stay focused on long pieces of writing. Some of the bloggers I follow have also begun mentioning the phenomenon. Scott Karp, who writes a blog about online media, recently confessed that he has stopped reading books altogether. «I was a lit major in college, and used to be [a] voracious book reader,» he wrote. «What happened?» He speculates on the answer: «What if I do all my reading on the web not so much because the way I read has changed, i.e. I’m just seeking convenience, but because the way I THINK has changed?»

Bruce Friedman, who blogs regularly about the use of computers in medicine, also has described how the Internet has altered his mental habits. «I now have almost totally lost the ability to read and absorb a longish article on the web or in print,» he wrote earlier this year. A pathologist who has long been on the faculty of the University of Michigan Medical School, Friedman elaborated on his comment in a telephone conversation with me. His thinking, he said, has taken on a «staccato» quality, reflecting the way he quickly scans short passages of text from many sources online. «I can’t read War and Peace anymore,» he admitted. «I’ve lost the ability to do that. Even a blog post of more than three or four paragraphs is too much to absorb. I skim it.»

Неплохую рецензию на книгу можно найти на сайте PBS. Рецензию в New York Times читать не стоит, так как написана она наспех – она критикует «The Shallows», упоминая в противовес известное исследование UCLA, где люди, поигравшие в компьютерные игры, показали в целом более высокие когнитивные показатели. В книге именно этому исследованию посвящена не одна страница, и Карр обращает внимание на то, что авторы эксперимента исследовали «короткую», а не «длинную» память. Обзорную статью автор написал в журнал Wired (где, по иронии судьбы, ее обвешали баннерами и ссылками на другие статьи, которые могут быть интересны).

Из прочитанного: The Shallows

OpenBazaar пробует торговую площадку без посредников

Стартап OB1, разрабатывающий открытый рынок OpenBazaar, поднял $1 млн от ряда именитых инвесторов и на сайте журнала Fortune получил боевое крещение «самого опасного стартапа». Благо, на американском континтенте – страшно даже представить, кто возглавляет этот список в глобальном масштабе. Проект ранее был известен как DarkMarket и позиционировал себя как улучшенный вариант Silk Road в плане децентрализации контроля, что невольно заставляет проводить параллели между Napster (с его центральными серверами) и BitTorrent (с отсутствием оных).

Основная задача любой торговой площадки (помимо привлечения пользователей) – это разрешение конфликтов. В свое время в этот список входило обеспечение платежей (из-за чего eBay на пике своего роста была практически вынуждена купить PayPal), но в ситуации, где все расплачиваются биткоинами, и удостовериться в существовании транзакции можно просто заглянув на blockchain, остаются следующие конфликты:

  • Честный покупатель, нечестный продавец. Скажем, человек покупает седьмой айфон, а в посылке получает кирпич аналогичного веса.
  • Честный продавец, нечестный покупатель. Получив (и расписавшись за) седьмой айфон, покупатель тем не менее заполняет жалобу с заявлением, что в присланном пакете был кирпич.

Площадка (типа eBay или Alixpress) в этом случае выступит арбитром конфликта, потребовав нужных доказательств у обеих сторон, на основе чего и будет вынесен приговор. Эта проблема частично решена для OpenBazaar усилиями программистов bitcoin, которые внедрили криптографический multisig на уровне протокола. Деньги переводятся на созданный для транзацкии escrow-кошелек, и в самом простом варианте будут отправлены по адресу, когда будут получены необходимые две подписи от покупателя и продавца. Вариант с двумя сторонами, впрочем, будет не самым рабочим, так как в случае отказа одной из сторон деньги зависнут в escrow-кошельке, и тогда у каждой стороны возникают свои мотивации для шантажа.

Варианты, где к multisig-кошельку подключается третья сторона, более интересны и практичны. Третьей стороной, к слову, может быть запрограммированное условие, такое как «наступило 1 января» либо «Барселона выиграла Лигу Чемпионов», что делает базовые случаи, где нужен escrow (возврат долга, спортивная ставка) поддерживаемыми на уровне протокола. Это, кстати, не означает полного исчезновения спортивных площадок, принимающих BTC, так как для заключения спора требуется участие двух сторон, а эту вторую сторону нужно еще где-то найти.

В случае OpenBazaar третьей стороной являются нотариусы – третейские судьи, разруливающие стороны в случае конфликта. Это, похоже, пока и будет ахиллесовой пятой торговой площадки – модерация и разрешение конфлита аутсорсятся стороне, которой должны доверять как покупатель, так и продавец. Без доверия не будет транзакций, без транзакций не будет конфликтов, без конфликтов не будет их решения, без разруливания оных нотариусу трудно заработать репутацию честного и беспристрастного судьи. Попутно присутствие нотариусов вносит свои, новые, проблемы:

  • Поскольку нотариус зарабатывает на каждой транзакции, в случае конфликта он заинтересован вынести решение в пользу наиболее активного участника системы, будь то продавец или покупатель, в надежде на долгосрочное сотрудничество в дальнейшем.
  • Нотариус и сторона могут либо сформировать альянс (и прибыль поделить), либо в реальной жизни быть одним и тем же человеком.

Пока самое элегантное решение от создателей OpenBazaar – это увеличение пула нотариусов. Вместо участия трех сторон, где первые две – покупатель и продавец, а третья – нотариус, контракт (который на программном уровне представляет из себя все тот же кошелек с поддержкой multisig) раздувается до 7 участников, из которых 5 – нотариусы. Для мелкой транзакции стороны могут остановиться на 4 подписях, наличие которых отсылает деньги продавцу, более дорогие продукты могут требовать наличия 5 сторон (требование подписей от всех семи сторон, снова-таки, нереалистично, так как произошел конфликт, и в итоге как минимум одна сторона останется неудовлетворенной и может отказаться внести свою подпись. Наличие шести подписей вроде как лучше, чем наличие пяти, но поднимает и риск того, что одна из сторон как-то связана с нотариусом).

OpenBazaar пробует торговую площадку без посредников

Китай как будущее розничного рынка

Через несколько лет появятся люди, которым придется объяснять, что из себя представляет оффлайновый магазин, в который со склада доставляют товары, и куда каждый должен ездить самостоятельно за своей отдельной покупкой вместо того, чтобы доверить это курьеру. И вроде как нигде тенденция пока себя не проявляет как в Китае (который, надо сказать, на госуровне сделал немало для того, чтобы обеспечить логистические службы качественной транспортной системой).

Первый график отсюда – это рост продаж в оффлайне против роста продаж в онлайне (заодно похвалим безымянного дизайнера China Chain Store & Franchise Association за отличную цветовую гамму, от бирюзово-синей до бирюзово-зеленой):

Китай как будущее розничного рынка

Резкий спад интереса к оффлайновым магазинам вызван ростом урбанизации – «село» еще ходит во всякие оффлайновые лавки, в то время как «город» уже шибко покупает в онлайне (ну и стоимость доставки легче масштабировать в условиях крупного города):

Китай как будущее розничного рынка

Подобного расклада, мягко говоря, не ожидали производители CPG, которых тенденция застала врасплох:

Swiss food company Nestlé SA has been burning instant coffee it couldn’t sell in stores. It recently told The Wall Street Journal it failed to fathom the extent of how quickly and broadly retail was changing in China. Colgate-Palmolive Co. and Germany’s Beiersdorf AG, which makes Nivea skin cream, have also cited problems with overstocking.

И несколько цифр из той же статьи:

  • В онлайне закупаются 461 млн китайцев, что делает рынок онлайн-торговли КНР крупнейшим;
  • При этом рынок онлайн-торговли вырос на 49% за год (хотя тут неизвестно, если речь идет сугубо о внутренних продажах – ресурсы типа Aliexpress или DealExtreme успешно продают по всему миру);
  • Половина всех онлайн-покупателей закупается там и продуктами, этот показатель намного превышает положение дел в остальных странах.

Обычно когда речь заходит об уходе торговли из оффлайна в онлайн, поднимается два контр-аргумента:

  1. Это будет процессом постепенным, а не внезапным;
  2. Некоторые категории (типа книг и DVD) в онлайне продавать легко, а некоторые другие (свежие продукты и одежду) «хочется пощупать».

Китайский опыт показывает, что сомнению подлежит и то, и другое.

  1. Онлайн-торговец, снимающий склад на окраине города (вместо дорогой торговой точки в его пределах) может взять на работу ограниченный штат упаковщиков и курьера (вместо этих же людей, плюс кассиров и прочий персонал торговой точки) и получает ценовое преимущество. Категория покупателей, которая переметнется к этому онлайн-торговцу ради низких цен, заставит продажи расти, что только увеличит ценовое преимущество, так как теперь появляется возможность заключать более крупные оптовые контракты. В какой-то момент ценовое преимущество онлайн-торговца становится настолько значительным, что туда уходят остальные категории покупателей;
  2. Решение конфликта в пользу клиента (что чаще всего заключается в возможности вернуть товар бесплатно) и контроль за качеством (что актуально для свежих продуктов, типа яиц и молока) развязывает руки клиентам, которых беспокоит рубашка не того размера или кислое молоко. Свидетельство тому – закрытие ряда фирменных магазинов американской компанией Gap, торгующей вроде как в категории товаров, которые не должны быстро улетучиться в онлайн. Цитата из статьи: «Your biggest competitor used to be your neighbor in the mall. Right now your biggest competitor is the infinite number of random start-up websites. You just don’t need as many bricks and mortar locations».

Китай как будущее розничного рынка

Финансовая состоятельность социально-мобильных стартапов

VentureBeat в статье о предполагаемой продаже Yelp предлагает задаться вопросом – а как собственно зарабатывать на социальной волне за счет рекламы?

Там же еще есть вариации: solomo – это social+local+mobile, lomo – это local+mobile, somo – social+mobile и т.д. Кто вот из известных вышел на прибыль в долгосрочной перспективе?

FourSquare? Ой, да ладно, очень смешно. Snapchat? Пока не слышно громких рапортов о финансовых успехах, возможно, их просто заглушают новости об очередной финансовой инъекции. Yelp? Компания публичная и финансовые результаты публикует регулярно, но выхода на прибыль за все это время еще не достигла.

Кто остался? Facebook, YouTube и LinkedIn. Но LinkedIn получает такой обьем выручки от продажи платных аккаунтов рекрутерам, что в списке площадок, где можно размещать свою рекламу, ее обычно забывают упомянуть (показательно, что на данный момент первой новостью о LNKD на сайте Seeking Alpha стоит “Как LinkedIn может решить проблему низкой рекламной выручки”). YouTube? $4 миллиарда выручки, но прибыли пока нет.

Итого принцип “главное – аудитория, а прибыли придут сами” стоит поставить под сомнение. Он сработал для одной-единственной компании, которая более исключение, чем правило.

 

Ukraine

 

  •  Home  •  Ринок  •  IТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Мережі  •  Безпека  •  Наука  •  IoT