PCA Algorithm | Principal Component Analysis Algorithm | PCA in Machine Learning by Mahesh Huddar

Takeaways

• 😀 PCA (Principal Component Analysis) используется для уменьшения размерности данных путём выявления главных компонент.
• 😀 Важной задачей при работе с данными является удаление избыточных и нерелевантных признаков, что и решается с помощью PCA.
• 😀 Алгоритм PCA начинается с определения набора данных и представления его в матричной форме, где каждый столбец — это отдельная характеристика.
• 😀 Следующим шагом является вычисление средних значений для каждого признака, что необходимо для дальнейших вычислений.
• 😀 Для вычисления ковариационной матрицы используется специальная формула, учитывающая отклонения каждого признака от его среднего значения.
• 😀 После вычисления ковариационной матрицы следует шаг нахождения собственных значений и собственных векторов этой матрицы.
• 😀 Собственные значения (lambda) помогают определить важность каждого признака, а собственные векторы представляют собой направление главных компонент.
• 😀 Каждый собственный вектор необходимо нормализовать, для чего вычисляется его длина и затем все компоненты делятся на эту длину.
• 😀 После нормализации собственных векторов они сортируются по величине собственных значений, от наибольшего к наименьшему.
• 😀 Для уменьшения размерности выбираются топ-P собственных векторов, где P — количество выбранных главных компонент.
• 😀 Наконец, данные умножаются на матрицу нормализованных собственных векторов, что приводит к новому набору данных с уменьшенной размерностью.