Шенона теорема
 
а б в г д е ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ы ь э ю я
 

Шенона теорема

Шенона теорема, одна з основних теорем теорії інформації про передачу сигналів по каналах зв'язку за наявності перешкод, що приводять до спотворень. Хай належить передати послідовність символів, що з'являються з певною вірогідністю, причому є деяка вірогідність того, що передаваний символ в процесі передачі буде спотворений. Простий спосіб, що дозволяє надійно відновити вихідну послідовність по отримуваній, полягає в тому щоб кожен передаваний символ повторювати велике число ( N ) разів. Проте це приведе до зменшення швидкості передачі в N разів, тобто зробить її близькою до нуля. Ш. т. стверджує, що можна вказати таке, залежне лише від даної вірогідності позитивне число v , що при скільки завгодно малому e>0 існують способи передачі із швидкістю v'' ( v'' < v ), скільки завгодно близькою до v , що дають можливість відновлювати вихідну послідовність з вірогідністю помилки, меншою e. В той же час при швидкості передачі v'' , більшою v , це вже неможливо. Згадані способи передачі використовують належні «перешкодостійкі» коди. Критична швидкість v визначається із співвідношення Hv = C , де Н — ентропія джерела на символ, З — ємкість каналу в двійкових одиницях в секунду.