Июль 2009
Распределение вероятности
Если распределения вероятностей Р и Q различны, то эта величина всегда положительна. Она обращается в нуль только тогда, когда наблюдение оставляет распределение Р неизменным. Величина I(Q\P) гораздо более определенно характеризует прирост информации, нежели разность энтропии Н (Q) —Н (Р) , которая может быть как положительной, так и отрицательной. Последняя величина представляет собой разность двух средних значений, и поэтому ее информативность в отношении отдельного события очень ограничена. В величине I(Q\P), напротив, результат наблюдения для каждого отдельного события сравнивается с вероятностью этого события до наблюдения, и лишь после этого делается усреднение по всем отдельным значениям. Таким образом, эта величина как среднее значение разностей более адекватно отражает истинный прирост информации, отнесенный к отдельному событию, чем разность средних значений. Учитывая важность этого понятия для эволюционного учения, дадим еще один пример, иллюстрирующий его отличие от более употребительного в теории информации понятия энтропии.
В заключительную стадию конкурса по архитектуре прошли три проекта. Имена авторов неизвестны жюри. Известно только, что среди них — архитектор А, который пользуется международным признанием и которому жюри охотнее всего доверило бы строительство. В одном из проектов по некоторым деталям вроде бы узнают «почерк» А. Конечно, полной уверенно-
Энтропия, как усредненная величина, в действительности очень мало отрая^ает изменепие информации,, проистекающее из отдельных наблюдений, и это демонстрирует дальнейший ход конкурса.
Осталось два проекта, которым раньше уделялось не очень-то много внимания. Но теперь их изучают более детально. Результатом будет модифицированное распределение вероятностей (Р’) того, что определенный проект принадлежит А:
Р* = 0,8,
Ръ = 0,2,-Я(Р’) ^0,72 бита.
Теперь остаются две возможности.
а) Предположение Р’ было верным, т. е. вскрытие конверта 2 показывает, что автором этого проекта является А. Тогда
д’г = 1,
q’z = 0.
б) Опять ошибка: А — автор не второго, а третьего проекта. В этом случае
q’z - 0,
g 3 = 1-
Так как решение означает полную определенность, в обоих случаях энтропия будет равна нулю. Таким образом, эти два очень разных результата не отличаются по энтропии. Изменепие энтропии в обоих случаях составляет
Н = II{Q) —Н{Р) ж —0,72 бита.
Значение I{Q’\P’), напротив, дает возможность дифференцировать эти случаи. Случай а) означает лишь подтверждение гипотезы, т. е. сравнительно небольшой прирост информации:
Случай б), наоборот, дает новые сведения. Соответственно прирост информации получается много больше:
Распределение вероятностей совсем не исключало возможности ошибки (случай б). Нужно следить за тем, чтобы событию никогда ие приписывалась нулевая вероятность, пока существует конечный интервал ошибок, т. е пока ошибка еще возможна. Учет средних ошибок всегда приводит к конечным положительным значениям ри Это особеппо важно для возникновения информации в природе, ибо все естественные элементарные процессы сопровождаются флуктуация-ми конечной величины.
В рассмотренном примере информация «возникает» только в мозгу наблюдателя. Отдельные наблюдения используются для того, чтобы последовательно сужать неопределенность, пока, наконец, не будет достигнуто исчерпывающее знание ситуации, которая сама по себе остается неизменной.
Не может ли то, что совершается вторично в мозгу «информируемого», происходить первично в системе, способной к самоорганизации и, следовательно, к последовательным сужениям (сначала произвольного) распределения вероятностей? Источником, производящим информацию, при этом может быть статистический флуктуациопный процесс, т. е. «генератор шума». Такая система, несомненно, должна обладать известной способностью к фильтрации, или к отбору. Это означает, что появление «нестабильпостей» делает невозможным возврат к первоначальному распределе-иию вероятностей.
В своей монографии «Наука и теория ипформации» Леон Бриллюэн отмстил, что рассмотрение семантического аспекта информации делает необходимым введение параметра ценности. Такой параметр должен пметь физическую интерпретацию. Оценивание равнозначно отбору, а способность к отбору как материальное свойство должна найти свое обоснование в динамических критериях. Ее нельзя объяснить, оставаясь в рамках одной лишь теории вероятностей. Возникновение и исчезновение, т. е. временность существования, является необходимой предпосылкой любой самоорганизации, основанной на отборе, а также предпосылкой возникновения информации. Но, кроме этого, нужны
еще особые закономерности, обусловленные природой * системы.
Здесь перед нами встает фундаментальный вопрос: а может ли информация вообще возникать? Или же она лишь выявляется? Не сводится ли в конечном сче-!*| те вся семантика к прасемаптике, и не определяется ли она в таком случае неотъемлемыми свойствами материи? На этот вопрос — кореппой вопрос для па-стоящей работы — мы сможем дать ответ только в четвертой главе. Сначала нужно рассмотреть еще несколько предпосылок *). I
*) Как указано в Предисловии, вопрос о смысле, содержа-? нии или ценности информации особенно существен для биологии и требует специального рассмотрения. Очень важен также вопрос о возникновении информации, поставленный авторами I (см. далее). (Прим. ред.) j
Игра жизни
И. ЭЙГЕН, Р. ВИНКЛЕР
Перевод с немецкого В. М. АНДРЕЕВА
под редакцией М. В. ВОЛЬКЕНШТЕЙНА
Игра жизни. Э й г e в М., В и н к л е р Р. Перевод с немецкого Андреева В. М. под ред. Волькенштенна М. В. Издательство «Наука», Главная редакция физико-математической литературы, 1979 г.
Книга посвящена одному из интереснейших вопросов современной теоретической биофизики — соотношению случайного и закономерного в возникновении упорядоченности живой материи на разных уровнях организации. Все вопросы рассмотрены на высоком научном уровне при ярком и образном изложении.
Нелинейный механизм
При нелинейном механизме условие монотонного роста функции ценности становится необязательным — в известных случаях система может перемещаться вверх и вниз. Однако связи, проявляющиеся в нели-нейностях, накладывают иные ограничения на возможные пути эволюции.
Лишь состояние истинного равновесия является абсолютным экстремумом (максимумом энтропии или минимумом свободной энергии), независимо от пути: здесь микроскопически обратимый процесс всегда приводит к одному и тому же результату (это моделировала также первая «игра в бисер»). Для предельного случая больших чисел установление равновесия является детерминистическим процессом, который можно было бы вычислить заранее, зная параметры системы. Это не имеет места в случае эволюционного процесса оптимизации, который характеризуется соотношением Е(t) —>W opt и на путь которого наложены ограничения — дополнительные условия, заданные в виде неравенств.
Теперь мы можем ответить на фундаментальный вопрос, поставленный в конце предыдущей главы. Процесс эволюции в «малонаселенном информационном пространстве» из-за взаимодействия закона и случая действительно означает возникновение информации, а не только выявление информации, потому что он допускает альтернативы с различными целями. Что такое «малонаселенное информационное пространство»? Пространство — это множество всех возможных
расположений, «Малонаселенное» означает, что в этом пространстве число занятых состояний очень мало по сравнению с общим числом всех состояний. Это справедливо уя*е в случае множества возможных расположений для молекулы белка. Из 10 130 возможных расположений аминокислот в полипептидной цепи в земных масштабах можно было бы реализовать лишь псчезающе малую долю.. Это тем более справедливо для клетки в целом, которая является мельчайшей единицей живых организмов, или для объединения клеток — такого, как сеть нейронов в мозгу. Поэтому макромолекулярную эволюцию, морфогенез, основанный на избирательных межклеточных взаимодействиях, и, наконец, деятельность нашего духа, которая складывается из специфически отфильтрованного и скомбинированного друг с другом функционирования различных нервных клеток, нельзя больше описывать детерминистическим образом *). Итак, Бог играет в кости?
Конечно! Однако и Он следует своим правилам игры.
Это дополнение в большой степени нейтрализует постановку вопроса, которая кажется сначала провокационной. Необходимо также уточнить, что Он — это Бог философов, синоним Природы, а не индивидуальный Бог, отражение человека, Бог сострадания, который находится за пределами всякой обсуягдавшейся здесь тематики**).
*) Создапие новой информации есть запоминание случайного выбора (Кастлер). В этом смысле модель Эйгена распадается на две части. Выбор «малонаселенного» участка фазового пространства («ящик Эйгена») означает возникновение информации. Но судьба макромолекул в этом «ящике», отбор цепей с максимальной селективной ценностью, есть выявление информации. (Прим. ред.).
**) Авторы употребляют слово «Бог» так же, как Эйнштейн, а до него Спиноза. Бог — это реально существующая Природа, познанием которой заняты естественные пауки. (Прим. ред.)
Физические процессы
Конечно, в случае физических процессов, доступных нашему наблюдению, мы имеем дело с очень большими числами, которые по порядку величины сравнимы с числом Авогадро ( ~ 10 24 ). Для таких больших чисел флуктуации еле заметны. Законы равновесной термодинамики (например химический закон действия масс) можно поэтому с хорошим приближением считать детерминистическими. Можно считать, что два ящика в игре Эренфестов представляют собой различные состояния, между которыми идут взаимопревращения, например химическая реакция. Эта игра непосредственно обобщается на большое число различных состояний (или «ящиков») с различными вероятностями их заселенности. Такая игра совершенно аналогичным образом описывает установление равновесного распределения и флуктуационное поведение. Результаты справедливы для любых реакций, идущих вблизи равновесия, независимо от того, насколько слоясен их механизм. Нумерация шаров существенна только для проведения игры. Она гарантирует эквивалентность всех шаров в статистическом процессе превращения. В остальном индивидуальность шаров нас не интересует — молекулы, находящиеся в одном и том же состоянии, неразличимы. Различимыми являются отдельные состояния — химические формы или индивидуальные макромолекулярные последовательности, а в случае нашей игры — ящики.
Чему моя^ет научить нас эта игра в связи с про-* блемой возникновения информации? Для любой материальной системы вблизи равновесия флуктуации имеют саморегулируемый характер. Этот самоконтроль является неотъемлемым свойством флуктуационного процесса, и поэтому равновесие является устойчивым состоянием. Распределение населенностей удерживается в рамках определенных флуктуационных границ энергетическим параметром, присущим системе. Эта игра ясно показывает, что возвращение системы в состояние равновесия тем более вероятно, чем более она отклонилась от равновесия. Экстремальные флуктуации, например вымирание сильно населенного в среднем состояния, едва ли будут реализоваться в пределах разумных пространственных и временных масш-
Рис. 11. «Орел» или «решка». Игра иллюстрирует неконтролируемый флуктуационный процесс, а) При выпадении «орла» шар переходит из левого ящика в правый, при выпадении «решки» « наоборот, из правого в левый, б) Распределение вероятностей теперь совершенно равномерно, т. е. любое отклонение п от равнораспределения (N/2 в
каждом ящике) одинаково вероятно 8
табов. Даже в том случае, когда имеется большое число альтернативных состояний и вероятность того, что какое-то определенное состояние населено, очень мала, система будет беспорядочно пробегать через эти состояния снова и снова, так что для такой эргоди-ческой системы при усреднении во времени будут выполняться детерминистические законы физики. Для того, что мы называем возникновением информации, подобное поведение «противопоказано». Информация здесь не изменяется вследствие неизменности распределения вероятностей. Она зависит от характера внутренних взаимодействий, которые определяют усредненное поведение системы.
Вторая игра (рис. 11), которая будет служить контрпримером, иллюстрирует полностью недетерминированный флуктуационный процесс. Здесь можно обойтись сравнительно кратким разбором, потому что мы снова придем к выводу, что на этом пути, как к в первой игре, невозможно возникновение информации.
Нам снова понадобятся два ящика (в общем случае к ящиков) и некоторое количество шаров, которые следует распределить по разным ящикам. На этот раз мы будем исходить из равномерного распределения. Итак, в простейшем случае мы имеем два ящика, каждый из которых содержит сначала N/2 шаров. Для этой игры шары не нужно нумеровать и можно пользоваться лотерейной машиной, которая способна лишь выдавать решения типа «да — нет»; для монеты это будет «орел или решка», а для игральной кости — четные или нечетные числа. При выпадении «решки» будем переносить один шар из ящика 1 в ящик 2, при выпадении «орла» — наоборот. Каким здесь окажется результат?
Чтобы его найти, нуяшо долго играть. Вместо этого мы попытаемся его предсказать. Перед нами снова азартная игра, в которой отдельный результат непредсказуем. Но здесь утрачена существенная для первой игры способность к регулированию — зависимость вероятности переноса от населенности ящика. Результат одного бросания, «орел» или «решка», и, следовательно, вероятность определенного переноса полностью независимы от населенности ящиков, т. е. от предыстории флуктуации. До тех пор, пока в ящике останется хоть один шар, эта вероятность неизменно равняется 50% для любого бхюсапия.
Существует по теперешним временам не такая уж веселая история о человеке, который всегда брал с собой бомбу, когда ему приходилось летать. Оп верил, что при этом увеличивается его безопасность: ведь две бомбы в одном самолете — событие куда менее вероятное, чем одна, его бомба. Этот человек перепутал, очевидно, правила обеих игр. Сотрудники органов безопасности вряд ли удовлетворились бы подобным объяснением.
Итак, когда при не зависимых друг от друга флуктуа-пиях пет саморегулирования, никакое состояние не будет предпочтительнее любого другого. Это означает, что распределение вероятностей представляется прямоугольником (см. рис. 11): при усреднении по времени все состояния оказываются равноценными или равновероятными. Система беспорядочно «дрейфует» по всем возможным состояниям. В отличие от модели Эренфестов, экстремальное состояние здесь легко достижимо — в среднем примерно уже через /V 2 бросаний. Если перейти к к ящикам (состояниям), то результат в принципе не меняется. Поскольку теперь имеется к(к —1) возможностей переноса, то для проведения игры требуется несколько более хитроумная лотерейная машина. Как и раньше, система будет пробегать через все состояния в процессе случайного блуждания.
Вывод: если никакое состояние ничем не выделяется, то в процессе ненаправленного дрейфа не может порождаться информация, понятие информации теряет здесь всякий смысл.