Повідомлення в теорії інформації, всякий носій інформації . При цьому теорія інформації цікавиться лише кількісною стороною інформації, в С, що міститься. Поняття С. в теорії інформації має істотно імовірнісний характер: кожне джерело інформації (або джерело С.) задається перерахуванням можливих С. і відповідної ним вірогідності. Хай x 1 , х 2 ..., x n — можливі С., а p 1 , p 2 ..., p n — відповідна вірогідність. Тоді кількість інформації в С. x i приймають рівним . Середня кількість інформації в С. даного джерела (його ентропія ), тобто сума
є найважливішою характеристикою джерела. Саме величина ентропії визначає можливості передачі і зберігання С., вироблюваних джерелом.
Приклад. Хай джерелом С. є результати N послідовних вимірів з точністю до 0,1 деякої фізичної величини, рівномірно розподіленої в інтервалі від нуля до одиниці. Тоді, якщо вказувати лише число десятих (з недоліком), можливими результатами окремого виміру будуть числа 0,1....,9. Вірогідність появи кожного з них рівна 0,1. С. в даному прикладі представляються N -членнимі послідовностями цифр. Вірогідність кожного С. рівна (0,1) N . Кількість інформації в кожному С. і ентропія джерела рівні N log 2 10 = 3,32 N двійкових одиниць . Можна сказати, що джерелом С. в даному прикладі є випадкова послідовність десяткових знаків (цифр) довжини N. Саме такий форму випадкових послідовностей знаків (або загальнішим чином — форму випадкових процесів) мають джерела С.. що розглядаються в теорії інформації.
При вивченні конкретних типів С., таких, як письмова мова, телеграфні, телефонні або телевізійні сигнали, зазвичай будується та або інша наближена імовірнісна модель джерела С. Так, з достатній для цілей теорії інформації точністю як модель російської письмової мови може бути прийнята т.з. складний ланцюг Марков. Для безперервних С. як моделі використовуються стаціонарні випадкові процеси. Побудова подібних моделей спирається на обширні статистичні дані, що стосуються даних процесів.
