Весьма интересно. Как вообще, так и в разрезе вопроса "есть ли хоть какие-то исследования, как всё это влияет на hash-и и рандомизированные алгоритмы".

https://vk.com/abacabadabacabaeabacabadabacaba?w=wall6_53888 Собственно текст (Н.Дурова)

Нассим Николя Талеб (Nassim Nicholas Taleb), трилогия "Одураченные случайностью" / "Чёрный лебедь" / "Антихрупкость" ("Fooled by Randomness" / "The Black Swan" / "Antifragile").

Признаюсь, эти книги произвели на меня очень сильное впечатление. Именно поэтому я не стал писать о них сразу после прочтения — хотелось немного обдумать и утрясти в голове, отделить более важное от менее важного — а подождал несколько месяцев.

Изначально эти книги не задумывались как единое целое, однако в предисловии к третьей из них автор предлагает рассматривать их как трилогию, посвящённую роли случайности в нашей жизни.

Первая книга — "Одураченные случайностью" ("Fooled by Randomness", 2001), посвящена в первую очередь тому, что люди, оказывается, очень неадекватно воспринимают случайность, вероятности и статистику. В более широком плане это книга о когнитивных искажениях в этой и других сферах.

По всей видимости, устройство нашего мозга неадекватно необходимости восприятия вероятностной картины мира, учёта большого количества маловероятных и слабозависимых факторов, и т.д. Ему гораздо более удобно оперировать жесткими причинно-следственными связями, реально существующими или самостоятельно выводимыми исходя из недостаточного (с точки зрения статистики) объёма исходных данных.

Сюда же относится и склонность людей всё жестко категорифицировать, а также придумывать задним числом "объяснения" и "истории" для событий, которые на самом деле могут быть никак не связаны либо объясняться чистой случайностью. В эту категорию, кстати, подпадает большое количество литературы — от учебников истории (Талеб вспоминает, как в детстве ему в руки попался изданный кем-то дневник очевидца событий 30-х — начала 40-х годов в Германии — и он понял, что то, что потом задним числом выдумывают в учебниках истории, представляется современникам совсем не так) до историй успеха выдающихся бизнесменов (грубо говоря, если один из тысячи предпринимателей добьётся успеха, даже чисто случайно, к нему придёт какой-нибудь журналист, и в процессе поиска секрета успеха выяснит, что, оказывается, пациент каждый день ест спаржу — объяснение найдено, можно писать книгу о пользе спаржи!).

Приводятся интересные примеры, иллюстрирующие тот факт, что во многих "историях успеха" просто недоучитываются факторы везения и случайности. Скажем, пусть у нас изначально есть тысяча инвесторов, у каждого есть по тысяче долларов. Каждый год каждый из них как-то инвестирует все свои деньги, с вероятностью 50% к концу года они удваиваются, с вероятностью 50% инвестиция теряется и инвестор разоряется. Тогда каждый год половина инвесторов будет отсеиваться, и про них никто не будет писать книги — они будут вне общественного внимания. Зато через десять лет останется (примерно) один инвестор, который задним числом окажется настолько гениальным, что десять лет подряд безошибочно угадывал, как именно лучше вложить свои деньги, и заработал миллион долларов!

Вот к нему-то и придёт журналист писать книгу про историю успеха и выяснит какие-нибудь несущественные подробности — например, что пациент ел спаржу перед принятием важных решений...

Талеб настаивает, что надо рассматривать всю исходную выборку, а не только её незначительную подвыборку по параметру "итоговой успешности", тогда многих когнитивных ошибок можно избежать.

Вторая книга — "Чёрный лебедь" ("The Black Swan", 2007) — посвящена априори маловероятным событиям, которые, как кажется нам (и даже не только нам, но и многомудрым экспертам), ни за что не могут происходить, но почему-то то и дело происходят. Такие события и названы автором "Чёрными лебедями". При этом важно, что зачастую не только вероятность наступления такого события оказывается недооценена, но и само по себе событие вообще не рассматривается до тех пор, пока не случится.

"Чёрные лебеди" бывают позитивными (скажем, когда какая-то книга неожиданно для своего ранее неизвестного автора становится бестселлером) и негативными (скажем, когда финансовый рынок и рынок ипотеки внезапно обрушивается, хотя аналитики до этого говорили, что вероятность этого исчезающе мала — "шесть сигма", то есть что-то вроде одной миллиардной).

В наше время этих "чёрных лебедей" становится всё больше и больше, и потому хочется познакомиться с ними получше, узнать, почему они возникают, и по возможности — их прикормить и приручить (впрочем, это рассматривается уже в третьей книге).

Если очень кратко, феномен чёрных лебедей связан с тем, что многие случайные величины в нашем мире оказываются распределены не по "нормальному закону" (когда сильные отклонения от среднего значения крайне маловероятны), а согласно "распределениям с длинным хвостом", в качестве основного примера каковых Талеб рассматривает показательное распределение. Простой пример такого распределения — распределение людей по богатству: скажем, 80% всех доходов приходится на 20% самых обеспеченных людей; если, в свою очередь, взять 20% самых-самых богатых из этих 20%, то на них придётся 80% от доходов этой группы, и так далее.

Аналогично устроено и, скажем, распределение авторов по объёмам продаж их книг, хотя конкретные цифры могут быть другими. Скажем, 90% продаж всех книг приходятся на 10% всех авторов; при этом 90% от этих 90% приходятся на 10% от этих 10% авторов (т.е. 1% наиболее успешных авторов продают 81% книг), и т.д.

Именно распределения такого рода и приводят к возникновению сверхбогатых людей, сверхуспешных авторов и прочих "чёрных лебедей".

Другой способ описать такие "распределения с длинным хвостом" (вроде распределения по богатству) в отличие от обычных для природы "нормальных распределений" (вроде распределения по росту) таков.

Если мы соберём на стадионе тысячу человек и вычислим их средний рост (скажем, 1.75 метра), то добавление 1001-го человека, даже если он окажется карликом или гигантом, не сможет сильно изменить результат. Таким образом, мы в состоянии предсказывать, что будет дальше, и рассуждать о том, какой бывает у людей рост, на основании уже имеющихся данных.

Если же мы соберём на стадионе тысячу человек и вычислим их средний годовой доход (скажем, 20000$), то добавление ещё одного человека может изменить это среднее значение очень радикально — вдруг нам попадётся Билл Гейтс?

Мы видим, что для "распределений с длинным хвостом" никакое количество уже имеющихся данных не даёт возможности уверенно предсказывать, что мы можем увидеть в будущем, а что нет. Это и есть объяснение того, почему такие распределения приводят к "чёрным лебедям".

Далее возникает вопрос — а почему в наше время всё больше и больше величин описываются распределениями такого рода?

Ответ примерно таков. Когда интересующая нас величина является суммой большого числа независимых случайных величин (например, рост человека зависит от большого числа независимых факторов, каждый из которых привносит небольшой вклад в результат), она будет распределена по "нормальному закону". Это так для большинства величин, встречающихся в природе.

Если же величина является суммой большого числа пусть даже слабо зависимых небольших случайных величин, то итоговое распределение очень даже может оказаться "с длинным хвостом" и привести к появлению "чёрных лебедей". Скажем, если то, какие книги я читаю (или: куплю ли я книгу данного автора) зависит от решений других людей (если книгу читает кто-то из моих друзей, то я куплю её с большей вероятностью, чем купил бы иначе), то в итоге общее количество продаваемых книг одного автора будет распределяться по распределению "с длинным хвостом", и вероятно возникновение супербестселлеров.

Не могу не добавить от себя — похожие механизмы влияют на распространённость социальных сетей, приложений, игр и прочих IT-артефактов.

По мере роста глобализации мировой экономики, концентрации медиасферы и униформизации мировой повестки дня подобные эффекты становятся всё более и более сильными, и люди по всему миру начинают, например, играть именно в Angry Birds (хотя есть ещё сотня аналогичных игр, не хуже и не лучше). Это и есть объяснение того, почему чёрных лебедей становится всё больше и больше.

Третья книга — "Антихрупкость" ("Antifragile", 2012) — посвящена тому, как жить в мире, где есть чёрные лебеди и прочие непредсказуемые случайные события.

Если кратко, основная идея здесь — "опциональность", а с технической точки зрения — "выпуклость".

Очень хорошо, когда вы делаете нечто, что в самом худшем для вас исходе приведёт к небольшому заранее ограниченному убытку, но если повезёт, может дать огромную прибыль. Примером такого действия в финансовой сфере является покупка пут-опциона — обязательства продавца продать вам в указанный момент в будущем определённое количество акций некой компании по заранее оговоренной цене. Предположим, некто продаёт вам за 1$ опцион на покупку одной акции Гугла за 100$ 1-го февраля следующего года. Вы думаете, что акции Гугла будут стоить дороже — скажем, 120$ — и тогда 1-го февраля следующего года вы купите акцию за 100$ у продавца опциона, сразу же продадите её за 120$ на бирже и заработаете 19$. Если же вдруг акции Гугла будут стоить 80$, вы просто не воспользуетесь своим опционом и потеряете 1$.

Это, конечно, не рецепт успешной игры на бирже (хотя, говорят, Талеб обеспечил себя на жизнь подобными операциями — пусть и не заработал огромного состояния), потому что опцион не совсем бесплатный, и те, кто его продают, довольно хитро вычисляют его цену, исходя из тщательно рассчитываемых вероятностей того, какой может быть цена акции в данный момент в будущем. Это скорее иллюстрация принципа опциональности — убыток заведомо ограничен сверху, а вот потенциальная прибыль неограниченна.

(Тем не менее, с точки зрения Талеба, лучше покупать пут-опционы, чем продавать их, и лучше покупать страховку, чем продавать её. Поведение тех, кто зарабатывает на жизнь сомнительными операциями вроде продажи опционов, он сравнивает с бегом перед катком ради подбирания мелких монеток прямо перед ним.)

Однако, если вам предложат очень дешёвый или тем более бесплатный опцион, его нужно обязательно брать! Таких "опционов" в нашей жизни довольно много, особенно если вы живёте в достаточно большом городе, общаетесь с разными людьми и т.д. Таким образом, "опциональность" не ограничивается исключительно финансами и является потенциальным компонентом жизненной философии.

"Выпуклость", которую я упомянул ранее — это один из вариантов математической формулировки "опциональности". Нужно, чтобы целевая функция (то, что мы хотим максимизировать, например, наш доход), зависела от неподконтрольных нам случайных параметров (например, от будущей цены акции Гугла) выпуклым образом (т.е. с графиком, изогнутым книзу, вроде "школьной" параболы y=x^2). Тогда всё будет хорошо. Талеб называет такие системы "антихрупкими", поскольку они только выгадывают и становятся более устойчивыми от любых случайных колебаний.

А если зависимость, наоборот, вогнута, хотя бы по одному из важных случайных параметров, то система называется "хрупкой". Такая система рано или поздно поломается.

Пример хрупкой системы — финансово-банковская система с частичным резервированием и с центробанком в качестве кредитора последней инстанции.

Лично я сравниваю такие вещи с брелком для ключей: штука удобная, позволяет не терять ключи, но зато если всё-таки потеряешь, то все ключи сразу!

Другой пример хрупкой системы — система международной безопасности, основанная на доктрине гарантированного взаимного уничтожения (ядерным оружием). Она очень "хрупкая" и "неустойчивая" (выход одного из многочисленных параметров из зоны комфорта — скажем, если сойдёт с ума лидер какой-нибудь ядерной державы — может привести к уничтожению всего живого на планете).

Такие дела.

Ищите в вашей жизни "опционы", особенно бесплатные, не упускайте их, и стройте "антихрупкие" системы, а не "хрупкие".