Что означают обозначения I(X, Y) и I(Y, Y)?

Ответ от Дмитрий Аверкиев[гуру]
В теории информации обозначение I(X, Y) означает взаимную информацию между двумя случайными величинами X и Y. Это количество информации, которое содержится в одной величине относительно другой, показывающее, насколько знание переменной X уменьшает неопределенность переменной Y. Обозначение I(Y, Y) описывает взаимную информацию величины самой с собой. Поскольку переменная полностью определяет себя, эта величина в точности равна энтропии дискретной случайной величины Y. Энтропия в данном контексте измеряет среднюю степень неопределенности или хаотичности системы до получения сообщения. Аббревиатура д. с. в. расшифровывается как дискретная случайная величина. Это переменная, которая может принимать только отдельные изолированные значения, например число выпавших очков на игральной кости, в отличие от непрерывной величины, способной принимать любые значения в заданном интервале.