Архив рубрики «Как возникает информация?»

Распределение вероятности

Если распределения вероятностей Р и Q различны, то эта величина всегда положительна. Она обращается в нуль только тогда, когда наблюдение оставляет распределение Р неизменным. Величина I(Q\P) гораздо более определенно характеризует прирост информации, нежели разность энтропии Н (Q) —Н (Р) , которая может быть как положительной, так и отрицательной. Последняя величина представляет собой разность двух средних значений, и поэтому ее информативность в отношении отдельного события очень ограничена. В величине I(Q\P), напротив, результат наблюдения для каждого отдельного события сравнивается с вероятностью этого события до наблюдения, и лишь после этого делается усреднение по всем отдельным значениям. Таким образом, эта величина как среднее значение разностей более адекватно отражает истинный прирост информации, отнесенный к отдельному событию, чем разность средних значений. Учитывая важность этого понятия для эволюционного учения, дадим еще один пример, иллюстрирующий его отличие от более употребительного в теории информации понятия энтропии.

В заключительную стадию конкурса по архитектуре прошли три проекта. Имена авторов неизвестны жюри. Известно только, что среди них — архитектор А, который пользуется международным признанием и которому жюри охотнее всего доверило бы строительство. В одном из проектов по некоторым деталям вроде бы узнают «почерк» А. Конечно, полной уверенно-

Энтропия, как усредненная величина, в действительности очень мало отрая^ает изменепие информации,, проистекающее из отдельных наблюдений, и это демонстрирует дальнейший ход конкурса.

Осталось два проекта, которым раньше уделялось не очень-то много внимания. Но теперь их изучают более детально. Результатом будет модифицированное распределение вероятностей (Р’) того, что определенный проект принадлежит А:

Р* = 0,8,

Ръ = 0,2,-Я(Р’) ^0,72 бита.

Теперь остаются две возможности.

а) Предположение Р’ было верным, т. е. вскрытие конверта 2 показывает, что автором этого проекта является А. Тогда

д’г = 1,

q’z = 0.

б) Опять ошибка: А — автор не второго, а третьего проекта. В этом случае

q’z - 0,

g 3 = 1-

Так как решение означает полную определенность, в обоих случаях энтропия будет равна нулю. Таким образом, эти два очень разных результата не отличаются по энтропии. Изменепие энтропии в обоих случаях составляет

Н = II{Q) —Н{Р) ж —0,72 бита.

Значение I{Q’\P’), напротив, дает возможность дифференцировать эти случаи. Случай а) означает лишь подтверждение гипотезы, т. е. сравнительно небольшой прирост информации:

Случай б), наоборот, дает новые сведения. Соответственно прирост информации получается много больше:

Распределение вероятностей совсем не исключало возможности ошибки (случай б). Нужно следить за тем, чтобы событию никогда ие приписывалась нулевая вероятность, пока существует конечный интервал ошибок, т. е пока ошибка еще возможна. Учет средних ошибок всегда приводит к конечным положительным значениям ри Это особеппо важно для возникновения информации в природе, ибо все естественные элементарные процессы сопровождаются флуктуация-ми конечной величины.

В рассмотренном примере информация «возникает» только в мозгу наблюдателя. Отдельные наблюдения используются для того, чтобы последовательно сужать неопределенность, пока, наконец, не будет достигнуто исчерпывающее знание ситуации, которая сама по себе остается неизменной.

Не может ли то, что совершается вторично в мозгу «информируемого», происходить первично в системе, способной к самоорганизации и, следовательно, к последовательным сужениям (сначала произвольного) распределения вероятностей? Источником, производящим информацию, при этом может быть статистический флуктуациопный процесс, т. е. «генератор шума». Такая система, несомненно, должна обладать известной способностью к фильтрации, или к отбору. Это означает, что появление «нестабильпостей» делает невозможным возврат к первоначальному распределе-иию вероятностей.

В своей монографии «Наука и теория ипформации» Леон Бриллюэн отмстил, что рассмотрение семантического аспекта информации делает необходимым введение параметра ценности. Такой параметр должен пметь физическую интерпретацию. Оценивание равнозначно отбору, а способность к отбору как материальное свойство должна найти свое обоснование в динамических критериях. Ее нельзя объяснить, оставаясь в рамках одной лишь теории вероятностей. Возникновение и исчезновение, т. е. временность существования, является необходимой предпосылкой любой самоорганизации, основанной на отборе, а также предпосылкой возникновения информации. Но, кроме этого, нужны

еще особые закономерности, обусловленные природой * системы.

Здесь перед нами встает фундаментальный вопрос: а может ли информация вообще возникать? Или же она лишь выявляется? Не сводится ли в конечном сче-!*| те вся семантика к прасемаптике, и не определяется ли она в таком случае неотъемлемыми свойствами материи? На этот вопрос — кореппой вопрос для па-стоящей работы — мы сможем дать ответ только в четвертой главе. Сначала нужно рассмотреть еще несколько предпосылок *). I

*) Как указано в Предисловии, вопрос о смысле, содержа-? нии или ценности информации особенно существен для биологии и требует специального рассмотрения. Очень важен также вопрос о возникновении информации, поставленный авторами I (см. далее). (Прим. ред.)  j

Как возникает информация?

Понятие информации имеет два аспекта, которые объединяются друг с другом только вопросом, помещенным в заглавии. Во-первых, это количественный аспект абсолютной информации, игнорирующий смысл и значение сообщения. Предполагается только, что сообщение отличается от других содержащимся, в нем смыслом и что расположение символов в сообщении характерно для него. При передаче сообщения должно обеспечиваться сохранение расположения символов — в рамках допустимых отклонений. Этим аспектом занимается теория информации, или теория связи, развитая Шенноном [7], Винером [8] п Колмогоровым [9]. Она представляет собой математическую дисциплину — это прикладная теория вероятностей.

Второй аспект связан с оценкой сообщения, т. е. с его смыслом. Его называют также семантическим аспектом. Любая семантика зависит от известных соглашений, или, в более широком смысле, предполагает существование дополнительной информации (например, наличие определенной окружающей среды), которая локализуется вне сообщения и селективно взаимодействует* с информацией, содержащейся в сообщении. Карл Фридрих фон Вайцзекер [10] выразил эту ситуацию посредством двух взаимно дополнительных тезисов:

1. Информацией является лишь то, что понимается.

2. Информацией является лишь то, что производит информацию.

Обратные утверждения неверны. Например, из второго тезиса нельзя сделать вывод, что информацию можно .производпть только из информации. Сохранение

около 10~ 4 с. За такими реакциями удается непосред-^ ственно следить лишь с помощью современных мето-j дов измерения, таких, как метод магнитного резонанса и релаксационные методы! Скорость химической реак^: цни почти всегда достигает предельного значения, ко-i торое определяется законами физики. Во всех случаям: обнаруживают оптимальное соотношение тенденции; «как можно быстрее» и «настолько точно, как это нужно». Для создания такого оптимального функционирования не потребовалось участия никакого «демона Максвелла» — однако для нас, вторгающихся в микрокосмос со своим опытом и предубеждениями, сформированными окружающей средой, все выглядит так^ как будто все это было «спланировано» каким-то гениальным конструктором. Впечатляющий пример дает упоминавшееся уже выше размножение кишечной палочки: весь план строения, т. е. «книга с 1500 страницами мелкого текста», последовательно прочитывается в течение двадцати минут, и одновременно выполняются все содержащиеся в ней предписания для синтезов. Кишечная палочка может репродуцироваться за двадцать минут. При этом информация, содержащаяся в каждой букве «плана строения», полностью перерабатывается за время, меньшее 10 _3 секунды.

Подведем итог: макромолекулярные структуры, которые мы находим в ныне живущих организмах, являются уникальными — не столько в смысле неповторимости выбора из необозримого множества возможных альтернатив, сколько в смысле их оптимальной пригодности для выполнения соответствующей функции — «цели». Возникновение жизни, возникновение биологической информации — это проблема макромолекуляр-ной самоорганизации.

Понятие информации: имеет два аспекта, которые объединяются друг с другом только вопросом, помещенным в заглавии. Во-первых, это количественный аспект абсолютной информации, игнорирующий смысл и значение сообщения. Предполагается только, что сообщение отличается от других содержащимся в нем смыслом и что расположение символов в сообщении характерно для него. При передаче сообщения должно обеспечиваться сохранение расположения символов —• в рамках допустимых отклонений. Этим аспектом занимается теория информации, или теория связи, развитая Шенноном [7], Винером [8] и Колмогоровым [9]. Она представляет собой математическую дисциплину— это прикладная теория вероятностей.

Второй аспект

Второй аспект связан с оценкой сообщения, т. е. с его смыслом. Его называют также семантическим аспектом. Любая семантика зависит от известных соглашений, пли, в более широком смысле, предполагает существование дополнительной информации (например, наличие определенной окружающей среды), которая локализуется вне сообщения и селективно взаимодействует* с информацией, содержащейся в сообщении. Карл Фридрих фон Вайцзекер [10] выразил эту ситуацию посредством двух взаимно дополнительных тезисов:

1. Информацией является лишь то, "что понимается.

2. Информацией является лишь то, что производит информацию.

Обратные утверждения неверны. Например, из второго тезиса нельзя сделать вывод, что информацию можно.производить только из информации. Сохранение количества или непрерывность информации исключали бы любую форму эволюции.

Если мы хотим понять, как возникает информация— и особенно биологическая информация,— то нам придется более подробно рассмотреть оба аспекта понятия информации. Ибо мы должны, собственно говоря, формулировать свои вопрос следующим образом: как возникает семантика? Нас интересует не столько расположение символов само по себе (ограниченное определенным распределением вероятностей), сколько функциональное значение, инструктированное этим расположением символов.

Пра-семантика биологической информации основа-па на функциональной упорядоченности, которая обеспечивает сохранение и дальнейшее развитие состояния жизни.

Абсолютная информация характеризуется множеством символов и их распределением. Символы должны быть представляемы сигналами, которые могут передаваться физическими способами. Для этого нужен однозначный код, т. е. однозначное соответствие между множеством символов и множеством элементарных знаков, или сигналов. На рис. 8 и 9 даны два примера: генетический код и телеграфный код. Они имеют совершенно различное происхождение. Первый (рис. 8) возник на раннем этапе существования Земли в результате самоорганизации вещества, второй (рис. 9) придуман только в нашем веке. Оба они, однако, построены по очень сходным логическим принципам. Они равномерны, т. е. все комбинации символов имеют одну н ту же длину: триплеты в генетическом коде я квинтеты в телеграфном коде. Код Морзе, наоборот, неравномерен. Добиться воспроизводимого функционирования такой схемы на молекулярном уровне было бы очень трудно из-за необходимости постоянно изменять «длину кадра».

В телеграфном коде все возможности используются взаимно однозначным образом. При двоичной системе квинтетный код дает 2 5 = 32 комбинации. В немецком алфавите имеется 26 букв. Остаются шесть комбинаций, которые можно использовать для сигналов переключения. Генетический код состоит из 4 3 = 64 три-плетных комбинаций. Эта концепция была более подробно рассмотрена в первой главе. Использование в

Рис. 8. Генетический код (значение штриховки см. на рис. 5). Терм — сигнал терминации, индекс «а» — сигнал инициации, если этот символ

стоит в начале цистрона.

качестве элементарных знаков кода не двух, а четырех нуклеотидов дает богатую палитру феиотипических возможностей выражения уже на уровне генных структур. Это проявляется прежде всего в высокой динамической гибкости двухцепочечных структур во время копирования. Использование только двух элементарных знаков в генетическом алфавите сделало бы необходимым — как и в случае телеграфного кода — введение квинтетов или даже секстетов. Передача информации, зависящая от взаимодействий между отдельными нук-леотндами, происходила бы слишком медленно в случае пяти или шести центров взаимодействия (комплементарных пар нуклеотидов на один ко дон). Из кинетических исследований различных комбинаций нуклеотидов с определенным составом мы знаем [11], что триплет-ный код представляет собой оптимальное решение, найденное природой, не только с точки зрения его рациональности, но и с точки зрения динамической стабильности и гибкости.

Количество абстрактной информации в данном множестве символов можно выразить через распределение вероятности?! всех возможных расположений. Обозначим через v число элементарных знаков в данном множестве, а через X — число различных классов знаков. Тогда число всех возможных расположений (последовательностей) будет X v , Для белковой молекулы типа дитохрома (см. пример из первой главы) это число получилось порядка 10 130 . Если бы все последовательности были равноценны, т. е. априорно равновероятны, то это число уже можно было бы использовать для задания количества информации. Действительно, в случае равномерного распределения вероятностей, чтобы встретить заданную последовательность, потребовалось бы перебрать и испытать все 10 130 возможных последовательностей. При таком просмотре мы не располагаем, конечно, никакой информацией, которая могла бы вести нас к цели. «Красный свет» вспыхивает только тогда, когда появляется совершенно правильная последовательность. Таким «красным светом» может быть, например, тест на ферментативную активность, которая оказывается положительной только в том случае, когда реализована правильная последовательность.

Вероятности имеют свойство мультипликативности

Это значит, что" вероятность одновременной реализации (например, V). Таким образом, Н — это среднее значение всех информационных вкладов Id р и Величины p t являются одновременно весовыми множителями для этих отдельных вкладов. Если все они равны, то получается простое выражение Н = —Id р; Н обращается в нуль, если из п возможных расположения все, кроме одного, имеют вероятность нуль. При этом состояние с единичной вероятностью не будет иметь альтернатив, т. е. для его идентификации не требуется более никакой информации.

Примером такой ситуации может служить молекулярная структура, которая воспроизводимо обхзазуется из стехиометрической смеси предшественников, специфично взаимодействующих друг с другом, причем тепловые флуктуации практически не могут помешать этому процессу. Для низкомолекулярных соединений этот случай реализуется очень часто. Другой пример — это пространственная укладка полипептидной цепи или цепи рибонуклеиновой кислоты, которая во многих случаях однозначно определяется последовательностью соответствующих элементов. Такой процесс укладки поэтому не включает в себя никакого изменения информации.

Рассмотрим теперь, чем могут быть обусловлены отклонения от равномерного распределения априорных вероятностей,— мы будем называть эти отклонения избыточностью. Имеются две принципиальные причины избыточности [12].

1. Символы различного сорта могут встречаться с различной частотой. Это означает, что в суммарном множестве символов v символы различного сорта представлены не в равных количествах v/X.

2. Могут существовать предпочтительные последовательности символов. Специфичные взаимодействия между символами вызывают отклонения от случайного расположения. Эти взаимодействия не обязательно должны ограничиваться лишь ближайшими соседями. Так, например, в молекуле белка могут возникать очень сложные «условия соседства» по сравнению с линейной последовательностью (см. рис. 4—6).

Действие обоих этих факторов отчетливо выражено также в нашем языке. Здесь между ними имеется даже причинная связь: поскольку определенные комбинации букв встречаются чаще, чем другие, соответст-

Таблица 1

Относительная частота букв в немецком языке


Символ

Р г

-Р . . 1 г

1 пробел

0,1515

0,4125

2 Е

0,1470

0,4066

3 N

0,0884

0,3093

4 R

0,0686

0,2651

5 Г

0,0638

0,2532

6 S

0,0539

0,2271

7 Т

0,0473

0,2082

8 D

0,0439

0,1978

9 Н

0,0436

0,1969

10 А

0,0433

0,1962

11 и

0,0319

0,1585

12 L

0,0293

0,1493

-13 G

0,0267

0,1397

14 G

0,0267

0,1395

15 М

0,0213

0,1184

16 О

0,0177

0,1039

17 В

0,0160

0,0959

18 Z

0,0142

0,0873

19 W

0,0142

0,0872

20 F

0,0136

0,0843

21 К

0,0096

0,0641

22 V

0,0073

0,0521

23 U

0,0058

0,0431

24 Р

0,0050

0,0382

25- Д

0,0049

0,0376

26 0

0,0025

0,0219

27 J

0,0016

0,0152

28 Y

0,0002

0,0022

29 Q

0,0001

0,0018

30 X

0,0001

0,0017

2р* = 1,0000  Н = 4,1146 битов

При равных частотах всех символов (/jf = l/30) эитрошш на один символ была бы Я = 4,9069 битов.

я у ющ iits буквы используются с разными вероятностями. Дешифровка закодированных сообщений на языке с известной структурой основана на принципе такого сопоставления. Относительные частоты букв в немецком языке приведены в табл. 1.

Можно привести также много примеров часто встречающихся последовательностей определенных букв: употребительные окончания, как -en, -ig, -lich, или же помещение гласной между двумя согласными и т. д. Множество всех избыточностей практически необозримо. Они распространяются на тончайшие особенности структуры языка и вовсе не ограничиваются ближним порядком в расположении букв. Значимость различных комбинаций букв также очень различна. Так, иапример, смысл искаженной телеграммы часто можно восстановить однозначно. С другой стороны, существуют ошибки, которые совершенно изменяют смысл, хотя они состоят в замене всего лишь одной буквы *).

В поисках связи между статистическим и семантическим аспектами информации мы прежде всего сталкиваемся с проблемой прироста информации (der Informationsgewinn). Здесь можно опираться непосредственно на теорию вероятностей.

Энтропия множества символов максимальна, когда все расположения символов равновероятны. Любое отклонение от равномерного распре деления вероятностей означает ограничение неопределенности — количество информации, необходимое для полной идентификации ситуации или сообщения, уменьшается. Любое изменение распределения вероятностей в результате наблюдения или в результате того, что становятся известны какие-либо дополнительные условия, означает прирост информации.

*) В одной книге, изданной в 1947 г., было написано: «Не считая вопросы приоритета существенными для истории науки, я все же должен отметить роль великого ученого…». Автора подвергли критике за недостаточное внимание к вопросам приоритета. Оправдываясь, автор сослался на опечатку. Р. рукописи, по его словам, значилось: «Но считая…» и т. д. (Прим. ред.)