кодирование появляется при передаче каких сообщений

Кодирование появляется при передаче каких сообщений

В процессах восприятия, передачи и хранения информации живыми организмами, человеком и техническими устройствами происходит кодирование информации. В этом случае информация, представленная в одной знаковой системе, преобразуется в другую. Каждый символ исходного алфавита представляется конечной последовательностью символов кодового алфавита. Эта результирующая последовательность называется информационным кодом (кодовым словом, или просто кодом).

Примерами кодов являются последовательность букв в тексте, цифр в числе, двоичный компьютерный код и др.

Код состоит из определенного количества знаков (имеет определенную длину), которое называется длиной кода. Например, текстовое сообщение состоит из определенного количества букв, число — из определенного количества цифр.

Преобразование знаков или групп знаков одной знаковой системы в знаки или группы знаков другой знаковой системы называется перекодированием.

При кодировании один символ исходного сообщения может заменяться одним или несколькими символами нового кода, и наоборот — несколько символов исходного сообщения могут быть заменены одним символом в новом коде. Примером такой замены служат китайские иероглифы, которые обозначают целые слова и понятия.

Кодирование может быть равномерным и неравномерным. При равномерном кодировании все символы заменяются кодами равной длины; при неравномерном кодировании разные символы могут кодироваться кодами разной длины (это затрудняет декодирование). Неравномерный код называют еще кодом переменной длины.

Примером неравномерного кодирования является код азбуки Морзе. Длительное время он использовался для передачи сообщений по телеграфу. Кодовый алфавит включал точку, тире и паузу. При передаче по телеграфу точка означала кратковременный сигнал, тире — сигнал в 3 раза длиннее. Между сигналами букв одного слова делалась пауза длительностью одной точки, между словами — длительностью трех точек, между предложениями — длительностью семи точек.

Вначале код Морзе был создан для букв английского алфавита, цифр и знаков препинания. Принцип этого кода заключался в том, что часто встречающиеся буквы кодировались более простыми сочетаниями точек и тире. Это делало код компактным. Позже код был разработан и для символов других алфавитов, включая русский.

Коды Морзе для некоторых букв.

Чтобы избежать неоднозначности, код Морзе включает также паузы между кодами разных символов.

Декодирование информации

В зависимости от системы кодирования информационный код может или не может быть декодирован однозначно. Равномерные коды всегда могут быть декодированы однозначно.

Для однозначного декодирования неравномерного кода важно, имеются ли в нем кодовые слова, которые являются одновременно началом других, более длинных кодовых слов.

Закодированное сообщение можно однозначно декодировать с начала, если выполняется условие Фано: никакое кодовое слово не является началом другого кодового слова.

Закодированное сообщение можно однозначно декодировать с конца, если выполняется обратное условие Фано: никакое кодовое слово не является окончанием другого кодового слова.

Неравномерные коды, для которых выполняется условие Фано, называются префиксными. Префиксный код — такой неравномерный код, в котором ни одно кодовое слово не является началом другого, более длинного слова. В таком случае кодовые слова можно записывать друг за другом без разделительного символа между ними.

Например, код Морзе не является префиксным — для него не выполняется условие Фано. Поэтому в кодовый алфавит Морзе, кроме точки и тире, входит также символ–разделитель — пауза длиной в тире. Без разделителя однозначно декодировать код Морзе в общем случае нельзя.

Конспект урока по информатике «Кодирование и декодирование информации».

Источник

Кодирование для чайников, ч.1

Не являясь специалистом в обозначенной области я, тем не менее, прочитал много специализированной литературы для знакомства с предметом и прорываясь через тернии к звёздам набил, на начальных этапах, немало шишек. При всём изобилии информации мне не удалось найти простые статьи о кодировании как таковом, вне рамок специальной литературы (так сказать без формул и с картинками).

Статья, в первой части, является ликбезом по кодированию как таковому с примерами манипуляций с битовыми кодами, а во второй я бы хотел затронуть простейшие способы кодирования изображений.

0. Начало

Давайте рассмотрим некоторые более подробно.

1.1 Речь, мимика, жесты

1.2 Чередующиеся сигналы

В примитивном виде кодирование чередующимися сигналами используется человечеством очень давно. В предыдущем разделе мы сказали про дым и огонь. Если между наблюдателем и источником огня ставить и убирать препятствие, то наблюдателю будет казаться, что он видит чередующиеся сигналы «включено/выключено». Меняя частоту таких включений мы можем выработать последовательность кодов, которая будет однозначно трактоваться принимающей стороной.

1.3 Контекст

2. Кодирование текста

Текст в компьютере является частью 256 символов, для каждого отводится один байт и в качестве кода могут быть использованы значения от 0 до 255. Так как данные в ПК представлены в двоичной системе счисления, то один байт (в значении ноль) равен записи 00000000, а 255 как 11111111. Чтение такого представления числа происходит справа налево, то есть один будет записано как 00000001.

Итак, символов английского алфавита 26 для верхнего и 26 для нижнего регистра, 10 цифр. Так же есть знаки препинания и другие символы, но для экспериментов мы будем использовать только прописные буквы (верхний регистр) и пробел.

Тестовая фраза «ЕХАЛ ГРЕКА ЧЕРЕЗ РЕКУ ВИДИТ ГРЕКА В РЕЧКЕ РАК СУНУЛ ГРЕКА РУКУ В РЕКУ РАК ЗА РУКУ ГРЕКУ ЦАП».

2.1 Блочное кодирование

Информация в ПК уже представлена в виде блоков по 8 бит, но мы, зная контекст, попробуем представить её в виде блоков меньшего размера. Для этого нам нужно собрать информацию о представленных символах и, на будущее, сразу подсчитаем частоту использования каждого символа:

Источник

Электронная библиотека

Информационный процесс кодирования информации встречается в нашей жизни на каждом шагу. Любое общение между людьми происходит именно благодаря тому, что они научились выражать образы, чувства и эмоции с помощью специально предназначенных для этого знаков и сигналов – звуков, жестов, букв и пр.

Одну и ту же информацию мы можем выразить разными способами.

Каким образом можно сообщить об опасности?

1. Если на вас напали, вы можете просто крикнуть «Караул!» (англичанин крикнет «Help me!»).

2. Если имеется прибор под высоким напряжением, то требуется оставить предупреждающий знак (рисунок черепа или молнии).

В каждом из этих примеров необходимо знать правило, по которому отображается информация, правило кодирования. Такое правило назовем кодом.

Код (фр. code – кодекс, свод законов). Начиная с середины XIX века это слово, помимо основного значения, означало книгу, в которой словам естественного языка сопоставлены группы цифр или букв.

Чаще всего кодирование – это процесс представления информации в виде знаков (поскольку дискретные сигналы воспринимать и обрабатывать проще, чем непрерывные).

Знак вместе с его смыслом называют символом.

Используемый для кодирования конечный набор отличных друг от друга знаков называется алфавитом. Существует множество алфавитов.

· алфавит кириллических букв <А, Б, В, Г, Д, Е, …>;

· алфавит латинских букв <А, В, С, D, E, F, …>;

· алфавит знаков зодиака;

· набор знаков азбуки Брайля для слепых;

· набор китайских идеограмм;

· набор знаков генетического кода <А, Ц, Г, Т>.

Важнейшие технические коды для кодирования текстов, записанных на естественных языках, возникли с появлением электрического телеграфа, например:

· набор знаков второго международного телеграфного кода (телекс).

Алфавит, состоящий из двух знаков, называют двоичным, а каждый знак из этого алфавита – двоичным знаком.

Кодирование используется для представления информации в виде, удобном для хранения и передачи.

Передача сообщений всегда осуществляется во времени. Процесс кодирования также требует определенного количества времени, которым зачастую нельзя пренебрегать. При кодировании могут ставиться определенные цели и применяться различные методы. Наиболее распространенные цели кодирования:

· экономность (уменьшение избыточности сообщения, повышение скорости передачи или обработки);

· надежность (защита от случайных искажений);

· сохранность (защита от нежелательного доступа к информации);

· удобство физической реализации (двоичное кодирование информации в ЭВМ);

· удобство восприятия (схемы, таблицы).

Одно и то же сообщение можно закодировать разными способами, то есть выразить на разных языках. В процессе развития человеческого общества люди выработали большое число языков кодирования. К ним относятся:

· разговорные языки (русский, английский, хинди и др., всего более 2000);

· язык мимики и жестов;

· язык рисунков и чертежей;

· языки науки (языки математики, химии и т. д.);

· языки искусства (языки музыки, живописи, скульптуры);

· специальные языки (эсперанто, морской семафор, азбука Морзе, азбука Брайля для слепых и т. д.);

Для получения исходных символов по кодам символов применяют процедуру декодирования. При этом обязательно соблюдение условия: код должен быть однозначным, то есть одному исходному знаку должен соответствовать точно один код и наоборот.

Кодирование – это представление сигнала в определенной форме.

Декодирование – это получение исходных символов по кодам символов.

Виды кодирования зависят от поставленной цели.

Кодирование по образцу – каждый знак дискретного сигнала представляется знаком или набором знаков того алфавита, в котором выполняется кодирование. Кодирование по образцу используется, например, для ввода информации в компьютер с целью ее внутреннего представления.

Для перевода символов, вводимых с клавиатуры, в числовой код, хранящийся в памяти компьютера, используется кодовая таблица ASCII (American Standard Code for Information Interchange – американский стандартный код для обмена информацией), в которой каждому символу алфавита, а также множеству специальных управляющих команд соответствует числовой код.

Криптографическое кодирование, или шифрование, используется тогда, когда нужно защитить информацию от несанкционированного доступа.

Существует два основных широко применяющихся сегодня способа криптографического кодирования: симметричное кодирование с закрытым ключом и асимметричное кодирование с открытым ключом. При симметричном кодировании с закрытым ключом для кодирования и декодирования данных применяется один и тот же ключ. Этот ключ должен быть по безопасным каналам доставлен стороне, осуществляющей декодирование, что делает шифрование с симметричным ключом уязвимым. Напротив, при шифровании с асимметричным ключом сторона, осуществляющая декодирование, публикует так называемый открытый ключ (public key), который применяется для кодирования сообщений, а декодирование осуществляется другим – закрытым ключом (private key), известным только принимающей стороне. Такая схема делает асимметричный способ кодирования высоконадежным. По этой причине в последнее время он приобрел массовую популярность.

Во множестве шпионских фильмов-боевиков основным вопросом при захвате агента противника было получение ключей к шифрам. Получение ключа давало возможность прочесть все перехваченные ранее сообщения и сразу получить множество полезной информации. Но эта возможность достижима только тогда, когда речь идет о симметричных ключах. Получение публичного асимметричного ключа в этом смысле не дает никаких преимуществ, поскольку открытый ключ позволяет кодировать сообщения, но не может применяться для их декодирования.

Оптимальное кодирование служит для устранения избыточности данных путем снижения среднего числа символов кодового алфавита, предназначенных для представления одного исходного символа. Оптимальное кодирование обычно используется в архиваторах. В большинстве современных программ, предназначенных для оптимального кодирования (сжатия) данных, применяются одни и те же базовые алгоритмы.

Статистическое кодирование базируется на предварительном вычислении частоты повторения одних и тех же кодов в сообщении и составлении таблицы кодирования, позволяющей оптимальным образом расположить результирующий код. Таблица кодирования в этом случае должна стать неотъемлемой частью закодированных данных (методы Хаффмена, Шэннона-Фано, арифметическое кодирование).

Словарное кодирование основано на нахождении повторяющихся последовательностей символов в сообщении (слов) и замене каждого повторяющегося слова ссылкой на его первое вхождение.

В этом случае вместе с закодированным сообщением необходимо хранить (передавать) словарь. К алгоритмам словарного кодирования относятся LZ77, LZ78, LZSS, LZW.

Во многих современных программах-архиваторах применяется последовательное (двухшаговое) использование методов статистического и словарного кодирования, позволяющее достигнуть наилучшей степени сжатия данных.

Помехозащищенное кодирование служит для передачи данных по каналам связи и учитывает возможность возникновения помех и связанного с этим искажения или утраты части данных. При помехозащищенном кодировании избыточность не снижается, а, наоборот, увеличивается, тем самым обеспечивается возможность определения факта потери или искажения информации. Существует два основных типа помехозащищенного кодирования:

· кодирование с фиксацией ошибок обладает сравнительно небольшой избыточ¬ностью, позволяющей зафиксировать на приемной стороне факт появления в сообщении ошибки. В случае обнаружения ошибки сообщение передается повторно;

· кодирование с коррекцией ошибок еще более избыточно, что позволяет не только обнаружить возникшую при передаче по каналу связи ошибку, но и исправить ее. Недостатком этого вида кодирования является значительное (примерно в 3 раза) увеличение объема передаваемых данных. По этой причине оно используется гораздо реже, чем кодирование с фиксацией ошибок.

Срочно?
Закажи у профессионала, через форму заявки
8 (800) 100-77-13 с 7.00 до 22.00

Источник

Кодирование передаваемых сообщений

В большинстве радиоэлектронных систем передача сообщения сопровождается кодированием. Поэтому рассмотрим подробнее данный вопрос.

Кодом называется правило однозначного преобразования элемен­тарных символов алфавита А в символы алфавита В. Процесс такого преобразования называется кодированием, а обратный ему процесс, связанный с переходом от алфавита В к А, — декодированием.

Максимальное количество составных сигналов или комбинаций А/кода при основании т и значности n.

При двоичном полном коде

гдезначность n = log₂N есть число разрядов или бит в одном составном сигнале или в одной кодовой комбинации.

Процесс передачи и приема кодовых комбинаций может сопро­вождаться ошибками, что связано с трансформацией одних эле­ментарных символов в другие, например, в приеме вместо символа 1 символа 0 или наоборот. Коды, обнаруживающие и исправляю­щие ошибки, называются корректирующими. Такой код обязательно является неполным, т.е. имеющим число кодовых комбинаций меньше числа, определяемого согласно (1.6) или (1.7).

В любом корректирующем коде исправление ошибок достигает­ся за счет его избыточности, т.е. путем добавления к смысловым символам контрольных. К таким кодам относятся, например, груп­повые или блоковые коды [24, 30].

В групповом корректирующем двоичном коде значностью п все символы разбиваются на две группы: информационные (смысло­вые) и контрольные (избыточные). Каждая кодовая комбинация или слово, состоящая из п бит, имеет к информационных и (п-к ) кон­трольных символов.

Таким образом, в групповом коде из общего числа N = 2 n используютсятолько К= 2 к комбинаций. В целом групповой код обо­значаетсякак (n, к).

Пусть имеется семь строк кодированной информации в один байт с последним битом контроля четности. Добавим к этим семи строкам восьмую и помимо проверки контроля четности по строкам будем производить проверку четности по столбцам (табл. 1.2), что позволит обнаружить одиночную ошибку не только в строке, но и в том или ином столбце.

В результате в 64-битовом блоке удастся обнаружить ошибоч­ный бит, лежащий на пересечении строки и столбца, не отвечаю­щих правилу четности. Найденный ошибочный бит подлежит ис­правлению. Таким образом, корректирующий код при 64-битовом блоке за счет небольшого увеличения его избыточности помимо свойства обнаружения ошибки приобретает дополнительное каче­ство по исправлению одиночных ошибок в каждой из семи строк.

Другой простой, но весьма надежный метод обнаружения ошиб­ки состоит в подсчете общего числа символов 1 и 0 в передаваемом сообщении и включении в конец этого сообщения полученного числа. В принятом сообщении вновь производится подсчет сумм 1 и 0. Рас­хождение данных сумм, называемых контрольными, в переданном и принятом сообщениях является признаком обнаружения ошибки.

При кодировании сообщения необходимо его представление в дискретной форме (см. рис. 1.1,б). Поэтому рассмотрим, как аналого­вый сигнал преобразовать в дискретный. Возможны три способа та­кого преобразования: путем квантования по уровню, по времени и одновременно по уровню и времени, и соответственно получение трех видов сигналов: релейного (рис. 1.3,а), импульсного (рис. 1.3,б) и цифрового (рис. 1.3,б). Заметим, что в релейном элементе сигнал на выходе меняется скачком при прохождении входным сигналом некоторого фиксированного значения. Поэтому сигнал со скачкооб­разным изменением амплитуды называется релейным (рис. 1.3,а).

Теперь вновь обратимся к рис. 1.3,в, поясняющему преобразова­ние аналогового сообщения u(t) в цифровое s(t). Сначала произве­дем отсчеты функции u(t) через равные интервалы дискретизации Т.

В результате вместо аналогового сообщения u(t) получим циф­ровое s(f). На рис. 1.3,д показаны измеренные значения амплитуды сигнала в десятичной и двоичной системах счисления.

Временной шаг дискретизации устанавливается равным

Из (1.9) получим для скорости передаваемого сообщения, пре­образованного в цифровую форму:

Именно такова скорость передачи речевых и иных сообщений в стандартном цифровом проводном канале связи.

Источник

Передача и кодирование информации

Основы передачи информации

Общая схема передачи информации в линии связи

Ранее источник информации был определен как объект или субъект, порождающий информацию и имеющий возможность представить ее в виде сообщения, т.е. последовательности сигналов в материальном носителе. Другими словами, источник связывает информацию с ее материальным носителем. Передача сообщения от источника к приемнику всегда связана с некоторым нестационарным процессом, происходящим в материальной среде. Это условие является обязательным, поскольку сама информация материальным объектом или формой существования материи не является. Способов передачи информации существует множество: почта, телефон, радио, телевидение, компьютерные сети и пр. Однако при всем разнообразии конкретной реализации способов связи в них можно выделить общие элементы, представленные на схеме (рис. 9).

Возможна ситуация, когда кодирующее устройство оказывается внешним по отношению к источнику информации, например, телеграфный аппарат или компьютер по отношению к работающему на нем оператору. Далее коды должны быть переведены в последовательность материальных сигналов, т. е. помещены на материальный носитель — эту операцию выполняет преобразователь. Преобразователь может быть совмещен с кодирующим устройством (например, телеграфный аппарат),

Рис. 9. Общая схема передачи информации

связи может являться и самостоятельным элементом линии связи (например, модем, преобразующий электрические дискретные сигналы с частотой компьютера в аналоговые сигналы с частотой, на которой их затухание в телефонных линиях будет наименьшим). К преобразователям относят также устройства, которые переводят сообщение с одного носителя на другой, например, мегафон или телефонный аппарат, преобразующие голосовые сигналы в электрические; радиопередатчик, преобразующий голосовые сигналы в радиоволны; телекамера, преобразующая изображение в последовательность электрических импульсов. В общем случае при преобразовании выходные сигналы не полностью воспроизводят все особенности сообщения на входе, а лишь его существенные стороны, т. е. при преобразовании часть информации теряется. Например, полоса пропускания частот при телефонной связи от 300 до 3400 Гц, в то время как частоты, воспринимаемые человеческим ухом, лежат в интервале — 16—20 000 Гц (т. е. телефонные линии «обрезают» высокие частоты, что приводит к искажениям звука); в черно-белом телевидении при преобразовании теряется цвет изображения. Именно в связи с этим встает задача выработки такого способа кодирования сообщения, который обеспечивал бы возможно более полное представление исходной информации при преобразовании и в то же время был бы согласован со скоростью передачи информации по данной линии связи.

После преобразователя сигналы поступают и распространяются по каналу связи. Понятие «канал связи» включает в себя материальную среду, а также физический или иной процесс, посредством которого осуществляется передача сообщения, т. е. распространение сигналов в пространстве с течением времени. В таблице 10 приведены примеры некоторых каналов связи.

Любой реальный канал связи подвержен внешним воздействиям, в нем также могут происходить внутренние процессы, в результате которых искажаются передаваемые сигналы и, следовательно, связанное с ними сообщение. Такие воздействия называются шумами (помехами). Источники помех могут быть внешними,

Процесс, используемый для передачи сообщений

Среда обитания человека

Механическое перемещение носителя

Телефон, компьютерные сети

Перемещение электрических зарядов

Распространение электромагнитных волн

Распространение световых волн

Распространение звуковых волн

Объект, воздействующий на органы осязания

например, так называемые «наводки» от мощных потребителей электричества или атмосферных явлений, приводящие к появлению нарушений в радиосвязи; одновременное действие нескольких близкорасположенных однотипных источников (одновременный разговор нескольких человек). К помехам могут приводить и внутренние особенности данного канала, например, физические неоднородности носителя; паразитные явления в шинах; процессы затухания сигнала в линии связи из-за большой удаленности. Если уровень помех оказывается соизмерим с интенсивностью несущего сигнала, то передача информации по данному каналу оказывается вообще невозможной. Однако и при относительно низких уровнях шумов они могут вызывать искажения передаваемого сигнала. Существуют и применяются методы защиты от помех: например, экранирование электрических линий связей, улучшение избирательности приемного устройства и т. д. Другим способом защиты от помех является использование специальных методов кодирования информации (о чем речь пойдет ниже).

После прохождения сообщения по каналу связи сигналы с помощью приемного преобразователя переводятся в последовательность кодов, которые декодирующим устройством представляются в форме, необходимой приемнику информации. На этапе приема, как и при передаче, преобразователь может быть совмещен с декодирующим устройством (например, радиоприемник или телевизор) или существовать самостоятельно (например, модем).

Понятие «линия связи» объединяет все элементы, представленные на схеме, — от источника до приемника информации. Характеристиками любой линии связи являются скорость, с которой возможна передача сообщения в ней, а также степень искажения сообщения в процессе передачи. Из этих параметров вычленим те, что относятся непосредственно к каналу связи, т. е. характеризуют среду и процесс передачи.

Характеристики канала связи

Далее рассмотрим каналы связи, передача сообщений по которым осуществляется за счет электрических импульсов. С практической точки зрения, а также для компьютерных линий связи эти каналы представляют наибольший интерес.

Ширина полосы пропускания

Любой преобразователь, работа которого основана на использовании колебаний (электрических или механических) может формировать и пропускать сигналы из ограниченной области частот. (Пример с телефонной связью приводился выше.) То же следует отнести к радио и телевизионной связи: весь частотный спектр разделен на диапазоны (ДВ, СВ, KBI, КВП, УКВ, ДМ В), в пределах которых каждая станция занимает свой поддиапазон, чтобы не мешать вещанию других.

Интервал частот, используемый данным каналом связи для передачи сигналов, называется шириной полосы пропускания.

Для построения теории важна не сама ширина полосы пропускания, а максимальное значение частоты из данной полосы (v_m), поскольку именно ей определяется возможная скорость передачи информации по каналу.

Длительность элементарного импульса

Длительность элементарного импульса может быть определена из следующих соображений. Если параметр сигнала меняется синусоидально, то, как видно из рисунка, за один период колебания Т сигнал будет иметь одно максимальное значение и одно минимальное.

Рис. 10. Длительность элементарного импульса

Если аппроксимировать синусоиду прямоугольными импульсами и сместить начало отсчета на уровень минимального значения, получится, что сигнал принимает всего два значения: максимальное (обозначим его «1») — импульс, минимальное (можно обозначить «О») — пауза. Импульс и паузу можно считать элементарными сигналами; при выбранной аппроксимации их длительности очевидно одинаковы и равны:

Если же импульсы порождаются тактовым генератором, имеющим частоту v_m, то

Таким образом, каждое т₀ секунд можно передавать импульс или паузу, связывая с их последовательностью определенные коды. Использовать сигналы большей длительности, чем т₀, в принципе, возможно (например, 2т₀) — это не приведет к потере информации, хотя снизит скорость ее передачи по каналу. Использование же сигналов более коротких, чем т₀, может привести к информационным потерям, поскольку сигналы тогда будут принимать какие-то промежуточные значения между минимальным и максимальным, что затруднит их интерпретацию.

Таким образом, v_m определяет длительность элементарного сигнала т₀, используемого для передачи сообщения.

Пропускная способность канала связи

Если с передачей одного импульса связано количество информации 1._тр, а передается оно за время т₀, отношение I к т₀, очевидно, будет отражать среднее количество информации, передаваемое по каналу за единицу времени, — эта величина является характеристикой канала связи и называется пропускной способностью канала С:

Если Г_тр выражено в битах, а т₀ — в секундах, то единицей измерения С будет бит/с. Раньше такая единица называлась бод, однако название не прижилось, и по этой причине пропускная способность канала связи измеряется в бит/с. Производными единицами являются:

Скорость передачи информации

Пусть по каналу связи за время t передано количество информации I. Можно ввести величину, характеризующую быстроту передачи информации, — скорость передачи информации J:

3. 5 т. е. информация опыта равна среднему значению количества информации, содержащейся в каком-либо одном его исходе.

Легко получить следствие формулы для случая, когда

все п исходов равновероятны. В этом случае все и, следовательно,

Эта формула была выведена в 1928 г. американским инженером Р. Хартли и носит его имя. Она связывает количество равновероятных состояний (п) и количество информации в сообщении (/), что любое из этих состояний реализовалось. Ее смысл в том, что, если некоторое множество содержит п элементов и х принадлежит данному множеству, то для его выделения (однозначной идентификации) среди прочих требуется количество информации, равное log₂«.

Известны вероятности , с которыми система принимает одно из своих состояний

— формула Шеннона — энтропия системы — формула измерения количества информации.

1.

2. . (Формула Хартли)

Это случай максимальной энтропии.

Первая теорема Шеннона.

При отсутствии помех всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.

Вторая теорема Шеннона.

При передаче информации по каналу с шумом всегда имеется способ кодирования, при котором сообщение будет передаваться со сколь угодно высокой достоверностью, если скорость передачи не превышает пропускной способности канала.

Источник