Концептуальные значения математической теории коммуникации

2.2 Концептуальные (абстрактные) значения математической теории коммуникации (пере-дачи данных)

Для математической теории коммуникации (MTК), информация – это выбор одного символа из ряда возможных символов, простой способ понять, как MTC определяет информацию, рассмотривая целый ряд вопросов да/нет, требующих определения понятия источника коммуникации. Достаточно одного вопроса, чтобы определить выход симметричной монеты, которая, как говорят, производит 1 бит информации. 2 симметричная монетная система производит 4 упорядоченных вывода: , , ,  и, поэтому, требует по крайней мере двух вопросов, каждый вывод, содержащий 2 бита информации, и так далее. Этот erotetic (греческое слово для "вопроса") анализ разъясняет две важные точки зрения. Во-первых, MTК не теория информации в обычном смысле слова. В MTК информация имеет техническое значение. Рассмотрим несколько примеров. Согласно MTК, два равновероятных "да" со-держат одинаковое количество информации, независимо от того какие соответствующие вопросы, "го-рят ли огни Вашего автомобиля, оставленные включенными надолго, без перезаряжения батареи?” или “Вы женились бы на мне?”. Если бы мы знали, что метод направит нас, с равными вероятностями, или к этой статье или к Стэнфордской Философской Энциклопедии, получая один, или другой мы получим совсем другое количество байтов данных, но фактически только один бит информации значения слова в МТК. 1 июня 1944, Би-би-си (Англия) передала по радио шифровку Verlaine's: “Les sanglots longs des (длинную шифровку) violons de Autumne (атомная)”. Сообщение содержало почти 1 бит информации, более вероятное "да" к вопросу, был ли день начала вторжения неизбежным. Би-би-си тогда передала вторую линию “понедельник Blessent coeur d'une затянулась монотонноно”. Другая почти бессмыслен-ная последовательность писем, но почти другой бит информации, так как это было другое долгождан-ное "да" к вопросу, должно ли было быть немедленное вторжение. Немецкая разведка знала о шифров-ках, перехватывала эти сообщения и даже уведомляла Берлин, но верховное командование было не в состоянии привести в готовность Седьмой Армейский Корпус, размещенный в Нормандии. Гитлер имел всю информацию о значении слов Шаннона, но был не в состоянии понять (или верить в) первостепенная важность тех двух маленьких битов данных. Что касается нас, мы не удивлены заключением предыдущего раздела, что максимальное количество информации (снова о значении слова в MTК) предоставленное текстом, где каждый символ одинаково определен, является совершенно случайной последовательностью. Согласно MTК, беспорядочное надавливание клавиш пишущей машинки действительно производит много информации. Во-вторых, так как MTК это теория информации без смысла (не в смысле бессмысленного, а в смысле имеющая много значений), и как мы видели, что [информация − значение = данные], “матема-тическая теория передачи данных” является намного более подходящим описанием этой раздела чем “информационная теория”. Это не простой вопрос обозначений. Информация, как семантическое со-держание (сущность, значение) может также быть описана erotetically как данные + вопросы. Пред-ставьте часть (логической) информации: “у земли есть только одна луна”. Легко поляризовать почти всю семантическую сущность, преобразовывая это в [вопрос + двойной ответ], такой как [у земли есть только одна луна? + да]. Вычтите "да" — которое больше 1 бита информации, в равновероятном случае да либо нет ответа — и Вас оставят фактически со всем семантическим содержанием (сущностью), полностью de-alethicised (от aletheia - греческого слова правда; вопрос не ни верен, ни ложен). Чтобы использовать выражение Fregean, семантическое значение - неопределенная информация - это семантическая информация, которая представляла собой “eroteticised” (данные + вопросы) и из этого количества информации было вычтено −log P (да), где P -  вероятность ответа да. Данная величина "да" является ключом, чтобы открыть информацию, содержавшуюся в вопросе. MTК изучает кодирование и передачу информации, рассматривая это как ключи данных, то есть, как набор подробностей в сигнале или сообщении или месте в памяти, необходимом, чтобы наполнить не-определенную информацию. Так Вевер [1949] отмечал “слово информация затрагивает не так много того, что Вы говорите, по сравнению с тем, что Вы могли бы сказать. Математическая теория коммуникации (передачи данных) имеет дело с переносом информации, символов и сигналов, а не с информацией непосредственно. Таким образом, информация - мера Вашей свободы выбора, когда Вы выбираете сообщение (блок некоторой информации)” (p. 12). Начиная рассматривать MTК не с семантической информации непосредственно, а с данными, которые ее определяют, то есть, с сообщениями, включающими закодированные символы, закодированные правильно построенные последовательности сигналов, это обычно описывается как исследование информации на синтаксическом уровне. MTК может быть успешно применена в ICT (информация и коммуникационные технологии), потому что компьютеры - синтаксические устройства. Остается разъяснить то, как должен интерпретироваться H в уравнении [9]. H также известен в MTК как энтропия. Кажется, что мы обязаны этому запутанный понятию Джону ван Неймону, который направляет к Шаннону:“ Вы должны назвать это энтропией по двум причинам: во-первых, эта функция уже используется в термодинамике под тем же самым названием; во-вторых, что более важно, большинство людей не знают что энтропия действительно существует, и если Вы используете слово энтропия в аргументе (доказательстве), то Вы всегда победите” (цитировал Голан [2002]). К сожалению Ван Нейман был прав. Принимая идеальный случай бесшумного канала коммуникации, H - мера трех эквивалентных величин: a. среднее количество информации за символ, произведенный информатором, или b. соотношение среднего количества дефицита данных (неуверенность Шаннона), которые име-ются перед осмотром информатором выходных данных, или c. соответствующая информационная потенциальная возможность того же самого источника, то есть, его информационная энтропия. H может одинаково означать (a) или (b), потому что, выбирая специфический алфавит, информа-тор автоматически создает нехватку данных (неуверенность) в informee, которая может быть решена информатором. Вспомним erotetic(вопрос) игру. Если у Вас одна симметричная монета, я оказываюсь в затруднительном положении нехватки в 1 бит: я не знаю, является ли это головой или хвостом. Используйте две симметричные монеты, и моя нехватка удвоится, но использовав поглощение, мой дефицит становится пустым. Мой пустой стакан (пункт (b)) является точной мерой Вашей способности заполнить его (пункт (a)). Конечно, имеет смысл говорить об информации как определенной H (энтропией), когда можно определить вероятностное распределение. Относительно (c) MTК рассматривает информацию как физическую величину, такую как масса или энергия, и близость между уравнением [9] и формулировкой понятия энтропии в статистической механике была уже обсуждена Шанноном. Информационное и термодинамическое понятие энтропии связаны через понятия вероятность и случайность ("случайность" лучше чем "беспорядок", так как прежнее – это синтаксическое понятие, последующее - сторого семантическое значение, то есть, это легко связано с интерпретациями (трактовкой), поскольку когда я был молод я пытался объяснить моим родителям). Энтропия - мера количества "путаницы" в процессах и системах, имеющих энергию или информацию. Энтропия может также быть замечена как индикатор обратимости: если нет никакого из-менения энтропии тогда, процесс обратим. Чрезвычайно структурированное, отлично организованное сообщение содержит более низкую степень энтропии или хаотичности, меньшего количества информа-ции в смысле Шаннона, и, следовательно, это вызывает меньший дефицит данных, который может быть близок к нулю (вспомните поглощение). В отличие от этого, чем выше потенциальная хаотичность символов в алфавите, тем больше битов информации может быть произведено устройством. Энтропия имеет наибольшее значение в случае однородного распределения, которое гласит, что стакан воды с кубом льда содержит меньше энтропии чем стакан воды, как только куб начал таять, и несимметричная монеты имеет меньше энтропии чем симметричная монета. Из термодинамики мы знаем, что чем больше энтропия, тем меньше доступной энергии. Это означает, что высокая энтропия соответствует высокому дефициту энергии, поэтому энтропия в MTК определяется так: чем больше значения H тем больше дефицит данных.