Інформації теорія, математична дисципліна, що досліджує процеси зберігання, перетворення і передачі інформації . І. т. — істотна частина кібернетики . У основі І. т. лежить певний спосіб виміру кількості інформації, що міститься в яких-небудь даних («повідомленнях»). І. т. виходить з уявлення про тому, що повідомлення, призначені для збереження в пристрої, що запам'ятовує, або для передачі по каналу зв'язку, не відомі заздалегідь з повною визначеністю. Заздалегідь відома лише безліч, з якої можуть бути вибрані ці повідомлення, і в кращому разі — те, як часто вибирається те або інше з цих повідомлень (тобто вірогідність повідомлень). У І. т. показується, що «невизначеність», з якою стикаються в подібній обстановці, допускає кількісне вираження і що саме цей вираз (а не конкретна природа самих повідомлень) визначає можливість їх зберігання і передачі. Як така «міра невизначеності» в І. т. приймається число двійкових знаків, необхідне для фіксації (записи) довільного повідомлення даного джерела. Точніше — розглядаються всі можливі способи позначення повідомлень ланцюжками символів 0 і 1 (двійкові коди) що задовольняють умовам: а) різним повідомленням відповідають різні ланцюжки і б) по запису деякої послідовності повідомлень в кодованій формі ця послідовність повинна однозначно відновлюватися. Тоді як міра невизначеності набувають середнього значення довжини кодового ланцюжка, відповідного найекономнішому способу кодування ; один двійковий знак служить одиницею виміру (див. Двійкові одиниці ).
Приклад. Хай деякі повідомлення x 1 , x 2 , x 3 з'являються з вірогідністю, рівною відповідно 1 / 2 , 3 / 8 , 1 / 8 . Який-небудь дуже короткий код, скажемо
x 1 = 0, x 2 = 1, x 3 = 01,
непридатний, оскільки порушується вищезазначена умова б). Так, ланцюжок 01 може означати x 1 , x 2 або x 3 . Код
x 1 = 0, x 2 = 10, x 3 = 11,
задовольняє умовам а) і б). Йому відповідає середнє значення довжини кодового ланцюжка, рівне
Неважко зрозуміти, що жодною інший код не може дати меншого значення, тобто вказаний код — найекономніший. Відповідно до вибору міри невизначеності, невизначеність даного джерела повідомленні слід прийняти рівній 1,5 двійкової одиниці.
Тут доречно підкреслити, що терміни «повідомлення», «канал зв'язку» і тому подібне розуміють в І. т. дуже широко. Так, з точки зору І. т., джерело повідомлень описується перерахуванням безлічі x 1 , x 2 ... можливих повідомлень (які можуть бути словами якої-небудь мови, результатами вимірів, телевізійними зображеннями і т. п.) і відповідної ним вірогідності p 1 , p 2 ...
Немає жодної простої формули, що виражає точний мінімум H’ середнього числа двійкових знаків, необхідного для кодування повідомленні x 1 , x 2 ..., x n через вірогідність p 1 , p 2 ..., p n цих повідомлень. Проте вказаний мінімум не менше величини
(де log 2 а позначає логарифм числа а при підставі 2) і може перевершувати її не більше ніж на одиницю. Величина Н (ентропія безлічі повідомлень) володіє простими формальними властивостями, а для всіх виходів І. т., які носять асимптотичний характер, відповідаючи випадку H’ ® ¥, різниця між H і H’ абсолютно неістотна. Тому саме ентропія приймається як міра невизначеності повідомлень даного джерела. У наведеному вище прикладі ентропія рівна
З викладеної точки зору, ентропія безконечної сукупності виявляється, як правило, безконечною. Поетому у вживанні до безконечних совокупностям поступають інакше. Саме, задаються певним рівнем точності і вводять поняття e — ентропії, як ентропії повідомлення, записуваного з точністю до e якщо повідомлення є безперервною величиною або функцією (наприклад, часу); детальніше за див.(дивися) в ст. Ентропія .
Так само як і поняття ентропії, поняття кількості інформації, що міститься в одному випадковому об'єкті (випадковій величині, випадковому векторі, випадковій функції і т. д.) відносно іншого, вводиться спочатку для об'єктів з кінцевим числом можливих значень. Потім загальний випадок вивчається за допомогою граничного переходу. На відміну від ентропії, кількість інформації, наприклад, в одній безперервно розподіленій випадковій величині відносно іншої безперервно розподіленої величини дуже часто виявляється кінцевим.
Поняття каналу зв'язку (див. Канал ) в І. т. носить вельми загальний характер. По суті справи, канал зв'язку задається вказівкою безліч «допустимих повідомлень» на «вході каналу», безліччю «повідомлень на виході» і набором умовної вірогідності здобуття того або іншого повідомлення на виході при даному вхідному повідомленні. Ця умовна вірогідність описує вплив «перешкод», що спотворюють передавані повідомлення, «Приєднуючи» до каналу яке-небудь джерело повідомлень, можна розрахувати кількість інформації відносно повідомлення на вході, що міститься в повідомленні на виході. Верхня грань таких кількостей інформації, узята за всіма допустимими джерелами, називається пропускною спроможністю (ємкістю) каналу. Ємкість каналу — його основна інформаційна характеристика не дивлячись на вплив (можливо сильне) перешкод в каналі, при певному співвідношенні між ентропією повідомлень, що поступають, і пропускною спроможністю каналу можлива майже безпомилкова передача (при належному кодуванні, див.(дивися) Шенона теорема ).
І. т. відшукує оптимальні, в сенсі швидкості і надійності, способи передачі інформації, встановлюючи теоретичні межі досяжної якості. Як видно з попереднього, І. т. носить істотно статистичний характер, і тому значна частина її математичних методів запозичується з теорії вірогідності.
Основи І. т. були закладені в 1948—49 американським ученим До. Шеноном. У її теоретичні розділи внесений вклад радянським ученими А. Н. Колмогоровим і А. Я. Хинчиним, а в розділи, дотичні з вживаннями, — Ст А. Котельниковим, А. А. Харкевічем і ін.
Літ.: Яглом А. М., Яглом І. М., Вірогідність і інформація, 2 видавництва, М., 1960; Шеннон К., Статистична теорія передачі електричних сигналів, в кн.: Теорія передачі електричних сигналів за наявності перешкод. Сб. переведень, М., 1953; Голдман С., Теорія інформації пер.(переведення) з англ.(англійський), М., 1957; Теорія інформації і її застосування. Сб. переведень, М., 1959; Хинчин А. Я., Поняття ентропії в теорії вірогідності, «Успіхи математичних наук», 1953, т. 8, ст 3; Колмогоров А. Н., Теорія передачі інформації, М., 1956 (АН СРСР. Сесія по наукових проблемах автоматизації виробництва. Пленарне засідання); Пітерсон В. В., Коди, що виправляють помилки, пер.(переведення) з англ.(англійський), М., 1964.
