Канал в теорії інформації, всякий пристрій, призначений для передачі інформації. На відміну від техніки, інформації теорія відволікається від конкретної природи цих пристроїв, подібно до того як геометрія вивчає об'єми тіл, відволікаючись від матеріалу, з якого вони виготовлені (ср. Канал інформаційний). Різні конкретні системи зв'язку розглядаються в теорії інформації лише з точки зору кількості інформації, яке може бути надійно передане з їх допомогою. Т. о. приходять до поняття К.: канал задається безліччю «допустимих» повідомлень (або сигналів) x на вході, безліччю повідомлень (сигналів) в на виході і набором умовної вірогідності р (у|х) здобуття сигналу в на виході при вхідному сигналі х. Умовну вірогідність р (у|х) описують статистичні властивості «шумів» (перешкод), що спотворюють сигнали в процесі передачі. У разі, коли р (у|х) = 1 при в = х і р (y|x) = 0 при в ¹ х, До. називають каналом без «шумів». Відповідно до структури вхідних і вихідних сигналів виділяють До. дискретні і К. безперервні. У дискретних До. сигнали на вході і на виході є послідовностями «букв» з одного і того ж або різних «алфавітів» (див. Код ) . В безперервних До. вхідний і вихідний сигнали суть функції безперервного параметра t — часу. Можливі також змішані випадки, але зазвичай як ідеалізація вважають за краще розглядати один з вказаних двох випадків.
Здатність До. передавати інформацію характеризується деяким числом — пропускною спроможністю, або ємкістю, До., яке визначається як максимальна кількість інформації відносно сигналу на вході, що міститься в сигналі на виході (з розрахунку на одиницю часу).
Точніше: хай вхідний сигнал x набуває деяких значень х з вірогідністю р ( х ) . Тоді по формулах теорії вірогідності можна розрахувати як вірогідність q ( в ) того, що сигнал h на виході набуде значення в:
так і вірогідність р (х, в) поєднання подій x = х, h = в:
р (х, в) = р (х) р (у|х).
По цих останніх обчислюється кількість інформації (у двійкових одиницях) і його середнє значення
,
де T — тривалість x. Верхній кордон З величин R, узята по всіх допустимих сигналах на вході, називають ємкістю К. Вичисленіє ємкості, подібно до обчислення ентропії, легше в дискретному випадку і значно складніше в безперервному, де воно грунтується на теорії стаціонарних випадкових процесів.
Найпростіше положення в разі дискретного До. без «шумів». У теорії інформації встановлюється, що в цьому випадку загальне визначення ємкості З рівносильно наступному:
де N ( T ) — число допустимих сигналів тривалістю Т.
Приклад 1. Хай «алфавіт» До. без «шумів» складається з двох «букв» — 0 і 1 тривалістю t сік кожна. Допустимі сигнали тривалістю Т = nt представляються послідовностями символів 0 і 1. Їх число N (Т) = 2 n . Відповідно
— двійкових едініц/ сік .
Приклад 2. Хай символи 0 і 1 мають тривалість t і 2t сік відповідно. Тут допустимих сигналів тривалістю Т = nt буде менший, ніж в прикладі 1. Так, при n = 3 їх буде всього 3 (замість 8). Можна підрахувати тепер
двійкових едініц/ сік .
При необхідності передачі записаних за допомогою деякої коди повідомлень по даному До. доводиться перетворювати ці повідомлення в допустимі сигнали До., тобто виробляти належне кодування . Після передачі треба виробити операцію декодування, тобто операцію зворотного перетворення сигналу в повідомлення. Природно, що кодування доцільно виробляти так, щоб середній час, що витрачається на передачу, був можливий менше. При однаковій тривалості символів на вході До. це означає, що треба вибирати найбільш економний код з «алфавітом», співпадаючим з вхідним «алфавітом» До.
При описаній процедурі «узгодження» джерела з До. виникає специфічне явище затримки (запізнювання), яке може пояснити наступний приклад.
Приклад 3. Хай джерело повідомлень посилає через проміжки часу завдовжки 1/u (тобто із швидкістю u) незалежні символи, що набувають значень x 1 , x 2 , x 3 , x 4 с вірогідністю, рівною відповідно 1 / 2 , 1 / 4 , 1 / 8 , 1 / 8 . Хай До. без «шумів» такий же, як в прикладі 1, і кодування здійснюється миттєво. Отриманий сигнал або передається по До., якщо останній вільний, або чекає (поміщається в «пам'ять») до тих пір, поки До. не звільниться. Якщо тепер вибраний, наприклад, код x 1 = 00 , x 2 = 01 , x 3 = 10 , x 4 = 11 і u £ 1 / 2 t (тобто 1/u ³ 2t ), то за час між появою двох послідовних значень х кодове позначення встигає передатися і К. звільняється. Т. о., тут між появою якої-небудь «букви» повідомлення і передачею її кодового позначення по До. проходіт проміжок часу 2t. Інша картина спостерігається при u > 1 / 2 t ; n -а «буква» повідомлення з'являється у момент (n — 1) /u і її кодового позначення буде передано по До. у момент 2nt. Отже, проміжок часу між появою n -ої «букви» повідомлення і моментом її здобуття після декодування переданого сигналу буде більший, ніж n (2t — 1/u) , що прагне до нескінченності при n ® ¥. Таким чином, в цьому випадку передача вестиметься з необмеженим запізнюванням. Отже, для можливості передачі без необмеженого запізнювання при даному коді необхідно і достатнє виконання нерівності u £ 1 / 2 t . Вибором вдалішої коди можна збільшити швидкість передачі, зробивши її скільки завгодно близькою до ємкості До., але цей останній кордон неможливо перевершити (зрозуміло, зберігаючи вимогу обмеженості запізнювання). Сформульоване твердження має абсолютно загальний характер і називається основною теоремою про До. без «шумів».
Спеціально відносно прикладу 3 доречно додати наступне. Для даних повідомлень двійковий код x 1 = 0 , x 2 = 10 , x 3 = 110 , x 4 = 111 оптимальний. Через різну довжину кодових позначень час w n запізнювання для n- й «букви» первинного повідомлення буде випадковим величиною. При u < 1/t ( 1/t — ємкість До.) і n ® ¥ його середнє значення наближається до деякої межі m(u), залежному від u. З наближенням u до критичного значення 1/t значення m(u) зростає пропорційно (t -1 — u) -1 . Це знову-таки відображає загальне положення: прагнення зробити швидкість передачі можливо ближче до максимальної супроводиться зростанням часу запізнювання і необхідного об'єму «пам'яті» кодуючого пристрою.
Затвердження «основної теореми» (із заміною безпомилкової передачі на «майже безпомилкову») справедливе і для До. з «шумами». Цей факт, по суті основної для всієї теорії передачі інформації, називають теоремою Шенона (див. Шенона теорема ) . Можливість зменшення вірогідності помилкової передачі через До. з «шумами» досягається вживанням так званих перешкодостійких код.
Приклад 4. Хай вхідний «алфавіт» До. складається з двох символів 0 і 1 і дія «шумів» зводиться до того, що кожен з цих символів при передачі може з невеликою (наприклад, рівною 1 / 10 ) вірогідністю р перейти в іншій або з вірогідністю q = 1 — р залишитися неспотвореним. Вживання перешкодостійкої коди зводиться, по суті справи, до вибору нового «алфавіту» на вході К. Его «буквами» є n-членниє ланцюжки символів 0 і 1, що відрізняються одна від одної достатнім числом D знаків. Так, при n = 5 і D = 3 новими «буквами» можуть бути 00000, 01110, 10101, 11011. Якщо вірогідність більш ніж однієї помилки на групу з п'яти знаків мала, то навіть спотворені ці нові «букви» майже не переплутуються. Наприклад, якщо отриманий сигнал 10001, то він майже напевно виник з 10101. Виявляється, що при належному підборі чималих n і D такий спосіб значно ефективніший за просте повторення (тобто використання «алфавітів» типа 000, 111). Проте можливе на цій дорозі поліпшення процесу передачі неминуче зв'язане з сильно зростаючою складністю кодуючих і декодуючих пристроїв. Наприклад, підраховано, що якщо спочатку р = 10 -2 і потрібно зменшити це значення до p 1 = 10 -4 те слід вибирати довжину n кодового ланцюжка не менше 25 (або 380) залежно від того, чи бажають використовувати ємкість. на 53% (або на 80%).
