Теория вероятностей – это математическая основа. Как и в случае с любой математической структурой, существует некоторый словарь и важные аксиомы, необходимые для полного использования теории в качестве инструмента машинного обучения.
Вероятность — это возможность различных результатов. Набор всех возможных исходов называется пространством выборки . Примерное пространство для подбрасывания монеты: {орла, решка}. Пространство для образца для температуры воды — это все значения от точки замерзания до точки кипения. Одновременно возможен только один результат в пространстве выборки, и пространство выборки должно содержать все возможные значения теории вероятностей. www.evkova.org/teoriya-veroyatnosti
Пространство выборки часто в теории вероятности обозначается как Ω (заглавная омега), а конкретный результат — как ω (строчная омега). Представим вероятность события ω как P (ω).
Вероятность случайного события
Говоря простым языком, вероятность любого события должна быть от 0 (невозможно) до 1 (наверняка), а сумма вероятностей всех событий должна быть 1. Это следует из того факта, что пространство выборки должно содержать все возможные результаты. Следовательно, мы уверены (вероятность 1), что произойдет один из возможных исходов.
Случайная величина х является переменной, которая случайным образом принимает значения из выборочного пространства. Мы часто указываем курсивом конкретное значение, которое может принимать x. Например, если x представляет результат подбрасывания монеты, мы можем обсудить конкретный результат как x = орел. Случайные переменные могут быть дискретными, как монета, или непрерывными (могут принимать бесчисленное количество возможных значений).
Чтобы описать вероятность каждого возможного значения случайной величины x, мы задаем распределение вероятностей . Мы пишем x ~ P (x), чтобы указать, что x — случайная величина, полученная из распределения вероятностей P (x). Распределения вероятностей описываются по-разному в зависимости от того, является ли случайная величина дискретной или непрерывной.
Дискретные распределения
Дискретные случайные величины описываются функцией масс вероятности (PMF). PMF сопоставляет каждое значение в пространстве выборки переменной с вероятностью. Одной из таких PMF является равномерное распределение по n возможным исходам: P (x = x ) = 1 / n . Это читается как «Вероятность того, что x примет значение x, равна 1, деленному на количество возможных значений». Это называется равномерным распределением, потому что каждый результат одинаково вероятен (вероятность равномерно распределена по всем возможным значениям).
Справедливые броски кубиков моделируются равномерным распределением, так как каждая грань кубика одинакова. Загруженный кубик моделируется категориальным распределением, где каждому исходу присваивается разная вероятность.
Другое распространенное дискретное распределение — это распределение Бернулли. Распределение Бернулли определяет вероятность случайной величины, которая может принимать одно из двух значений (1/0, орел / решка, истина / ложь, дождь / без дождя и т. Д.). PMF распределения Бернулли равна P ( x ) = { p, если x = 1, и 1- p, если x = 0}.
Следовательно, мы можем указать все распределение с помощью одного параметра p — вероятности положительного исхода. Для честной монеты p = 0,5, поэтому вероятность орла или решки одинакова. В качестве альтернативы, если мы говорим, что вероятность дождя завтра будет p = 0,2, то мы можем сделать вывод, что вероятность отсутствия дождя равна 0,8.
Непрерывное распространение
Непрерывные случайные величины описываются функциями плотности вероятности (PDF), которые могут быть немного сложнее для понимания. Обычно мы указываем PDF для случайной величины x как f ( x ). PDF-файлы отображают бесконечное пространство выборки в значения относительного правдоподобия. Чтобы понять это, давайте рассмотрим пример с одним из самых известных непрерывных распределений, гауссовым (нормальным) распределением.
Распределение Гаусса (в просторечии называемое колоколообразной кривой) можно использовать для моделирования нескольких природных явлений. Например, рост каждого пола приблизительно распределен по Гауссу. Гауссово распределение параметризуется двумя значениями: средним μ (мю) и дисперсией σ² (квадрат сигмы). Среднее значение указывает центр распределения, а дисперсия определяет ширину распределения. Возможно, вы также слышали о стандартном отклонении σ, которое представляет собой квадратный корень из дисперсии. Чтобы указать, что x является случайной величиной, взятой из гауссиана со средним μ и дисперсией σ², мы пишем:
X взят из нормального распределения со средним значением μ и дисперсией σ².
Функциональная форма PDF для гауссиана на первый взгляд может показаться пугающей. Обещаю, что после работы с гауссовыми распределениями в приложениях страх уйдет!
Совместные распределения вероятностей
Распределение по нескольким случайным величинам называется совместным распределением вероятностей . Мы можем записать набор случайных величин в виде вектора x . Совместное распределение по x определяет вероятность любого конкретного набора всех случайных величин, содержащихся в x.
Чтобы прояснить это, давайте рассмотрим две случайные величины x и y. Мы записываем совместную вероятность как P (x = x , y = y ) или просто P ( x , y ) для краткости. Я говорю это вслух: «Вероятность того, что x = x и y = y». Если обе случайные величины дискретны, мы можем представить совместное распределение в виде простой таблицы вероятностей. Например, давайте рассмотрим совместное распределение верхней одежды, которую я ношу, с погодными условиями (во вселенной, где это единственные варианты):
Совместная раздача одежды и погоды (в странной вселенной)
Этот игрушечный пример подчеркивает несколько важных моментов. Во-первых, я плохо умею делать игрушечные примеры. Во-вторых, обратите внимание, что таблица соответствует требованиям, изложенным в наших аксиомах. Мы можем сразу ответить на вопросы формы P (одежда = футболка, погода = солнечно), но совместные раздачи дают нам гораздо больше!
