Principal Component Analysis (PCA) : Mathematical Derivation

Q & A

Что такое метод анализа главных компонент (PCA) в машинном обучении?

PCA — это метод снижения размерности, который используется в машинном обучении для преобразования высокоразмерных данных в более низкоразмерные с сохранением наиболее важной информации.

Почему в PCA используется концепция собственных значений и собственных векторов?

Собственные значения и собственные векторы используются в PCA для нахождения направлений, по которым данные имеют наибольшее разбросание, что позволяет максимально эффективно снизить размерность данных.

Что означает проекция данных на одномерное пространство в контексте PCA?

Проекция данных на одномерное пространство в PCA означает нахождение линейной комбинации всех исходных измерений данных, которая имеет максимальное возможное отклонение, позволяя сохранить как можно больше информации при уменьшении размерности.

Что представляет собой переменная u1 в контексте проекта PCA?

u1 — это вектор направления проекции данных в одномерное пространство. Этот вектор выбирается таким образом, чтобы максимизировать дисперсию проекций данных.

Как вычисляется дисперсия проекций данных в PCA?

Дисперсия проекций данных вычисляется по стандартной формуле дисперсии для скаляров, после чего через матричные преобразования находят дисперсию проекций вдоль выбранного направления.

Что такое матрица ковариации SX в контексте PCA?

Матрица ковариации SX — это мера взаимной зависимости между различными признаками данных. Она используется для вычисления собственных значений и собственных векторов, которые затем помогают в снижении размерности.

Какой процесс используется для нахождения направления проекции, которое максимизирует дисперсию?

Для нахождения такого направления используется метод множителей Лагранжа, который позволяет максимизировать дисперсию проекций данных, одновременно ограничив величину вектора проекции.

Что происходит, если число выбранных компонент в PCA равно числу исходных признаков (m = d)?

Если количество выбранных компонент равно числу исходных признаков (m = d), то результатом будет просто поворот исходных данных в новое базисное пространство, но размерность не изменится.

Какие проблемы возникают при вычислении собственных значений и собственных векторов, когда количество признаков значительно больше количества данных?

Когда количество признаков значительно больше числа данных (d > n), вычисление собственных значений и собственных векторов становится вычислительно дорогим, так как требуется вычислить собственные значения для матрицы размерности d x d.

Как можно уменьшить вычислительные затраты при вычислении собственных значений в PCA, если d значительно больше n?

Чтобы уменьшить вычислительные затраты, можно вычислить собственные значения для матрицы размером n x n, используя преобразование данных, что существенно снижает количество вычислений с d^3 до n^3, где n — количество данных.