All Learning Algorithms Explained in 14 Minutes

Summary

Dieses Skript bietet eine umfassende Übersicht über maschinelles Lernen, indem es verschiedene Algorithmen erklärt. Es umfasst lineare Regression, Support Vector Machine, Naive Bayes, logistische Regression, K-Nächste-Nachbarn, Entscheidungsbäume, Random Forest, Gradient Boosting, K-Means-Clustering, DBSCAN und PCA. Jeder Algorithmus wird anhand seiner Anwendung, Vorteile und Einschränkungen kurz erläutert, um den Zuhörer einen Einblick in die Welt des maschinellen Lernens zu geben.

Takeaways

• 🤖 Ein Algorithmus ist eine endliche Menge von Anweisungen, die in einer bestimmten Reihenfolge ausgeführt werden, um eine bestimmte Aufgabe auszuführen.
• 📈 Lineare Regression ist ein überwachter Lernalgorithmus, der die Beziehung zwischen einer kontinuierlichen Zielvariable und einer oder mehreren unabhängigen Variablen modelliert.
• 🏠 Support Vector Machine (SVM) ist ein überwachter Lernalgorithmus, der hauptsächlich für Klassifizierungsaufgaben verwendet wird und auch für Regressionsaufgaben geeignet ist.
• 🤖 Naive Bayes ist ein überwachter Lernalgorithmus für Klassifizierungsaufgaben, der auf der Annahme beruht, dass Merkmale unabhängig voneinander sind.
• 📊 Logistic Regression ist ein überwachter Lernalgorithmus, der hauptsächlich für binäre Klassifizierungsprobleme verwendet wird und die Sigmoid-Funktion nutzt, um eine Klassifizierung durchzuführen.
• 👫 K-Nächste-Nachbarn (KNN) ist ein überwachter Lernalgorithmus, der sowohl für Klassifizierung als auch für Regressionsaufgaben eingesetzt werden kann und die Werte von Datenpunkten anhand der umliegenden Datenpunkte bestimmt.
• 🌳 Entscheidungsbäume arbeiten durch iteratives Fragen, um Daten zu partitionieren und versuchen, die Klassifizierbarkeit zu maximieren.
• 🌲 Random Forest ist eine Ensemble-Methode aus vielen Entscheidungsbäumen, die das Bagging-Verfahren verwendet, um eine höhere Genauigkeit zu erreichen als ein einzelner Entscheidungsbaum.
• 🌟 Gradient Boosted Decision Trees (GBDT) ist ein Ensemble-Algorithmus, der Boosting-Methoden verwendet, um einzelne Entscheidungsbäume zu kombinieren und einen starken Lernenden aus vielen schwachen Lernenden zu erstellen.
• 🔢 K-Means-Clustering ist eine unüberwachte Lernmethode, die Datenpunkte in K Gruppen partitioniert, sodass Datenpunkte in derselben Gruppe ähnlich sind und in verschiedenen Gruppen unterschiedlich sind.
• 🌐 DBSCAN ist eine dichte basierte Clustering-Technik, die beliebig geformte Cluster und Rauschen erkennen kann, ohne eine voreingestellte Anzahl von Clustern anzugeben.
• 📉 PCA (Principal Component Analysis) ist ein Dimensionsreduktionsalgorithmus, der neue Merkmale aus vorhandenen Merkmalen ableitet, um die Varianz im ursprünglichen Datensatz so gut wie möglich zu erklären.

Q & A

Was ist ein Algorithmus?

Ein Algorithmus ist eine endliche Menge von Anweisungen, die in einer bestimmten Reihenfolge ausgeführt werden, um eine bestimmte Aufgabe auszuführen. Es ist nicht ein vollständiges Programm oder Code, sondern einfache Logik zu einem Problem.

Was versucht ein lineares Regressionsmodell?

Ein lineares Regressionsmodell versucht, eine lineare Beziehung zwischen einer kontinuierlichen Zielvariable und einer oder mehreren unabhängigen Variablen durch Anpassung einer linearen Gleichung an die Daten zu modellieren.

Wie wird die beste Regressionslinie in einem linearen Regressionsmodell bestimmt?

Die beste Regressionslinie wird durch Minimierung der Summe der Quadrate der Abstände zwischen den Datenpunkten und der Regressionslinie bestimmt.

Was ist Support Vector Machine (SVM) und wofür wird es verwendet?

Support Vector Machine (SVM) ist ein überwachter Lernalgorithmus, der hauptsächlich für Klassifizierungsaufgaben verwendet wird, ist aber auch für Regressionsaufgaben geeignet. SVM unterscheidet Klassen, indem sie eine Entscheidungsgrenze zeichnet.

Wie wird die Entscheidungsgrenze in SVM bestimmt?

Die Entscheidungsgrenze in SVM wird so bestimmt, dass die Distanz zu den Support-Vektoren maximiert wird, um eine gute Allgemeinheit und Robustheit gegenüber Rauschen zu gewährleisten.

Was ist der Unterschied zwischen Naive Bayes und anderen Klassifikatoren?

Naive Bayes ist ein Klassifikator, der annimmt, dass alle Merkmale voneinander unabhängig sind. Dies ist im Gegensatz zu anderen Klassifikatoren, die möglicherweise Korrelationen zwischen Merkmalen berücksichtigen.

Was ist die Basis des Logistic Regression?

Die Basis des Logistic Regression ist die Logistic-Funktion, auch Sigmoid-Funktion genannt, die einen reellen Zahlenwert in einen Wert zwischen 0 und 1 abbildet und für binäre Klassifizierungsaufgaben verwendet wird.

Wie funktioniert K-Nächste-Nachbarn (KNN)?

K-Nächste-Nachbarn ist ein Algorithmus, der bei Klassifikations- und Regressionsaufgaben verwendet wird. Der Wert eines Datenpunktes wird durch die Werte seiner K nächsten Nachbarn bestimmt, entweder durch Mehrheitsabstimmung (Klassifikation) oder durchschnittliche Werte (Regression).

Was ist der Hauptvorteil von Entscheidungsbäumen?

Entscheidungsbäume haben den Vorteil, dass sie iterativ Fragen stellen, um Daten zu partitionieren, was es einfach macht, die Datenpartitionierung visuell zu repräsentieren und zu verstehen.

Was ist Random Forest und wie unterscheidet es sich von einzelnen Entscheidungsbäumen?

Random Forest ist ein Ensemble aus vielen Entscheidungsbäumen, die mit der Methode des Baggings erstellt werden. Im Gegensatz zu einzelnen Entscheidungsbäumen reduziert Random Forest das Risiko des Überanpassens und bietet in der Regel eine höhere Genauigkeit.

Was ist Gradient Boosted Decision Trees (GBDT) und wie funktioniert es?

GBDT ist ein Ensemble-Algorithmus, der Boosting-Methoden verwendet, um einzelne Entscheidungsbäume zu kombinieren. Jeder Baum versucht, die Fehler des vorherigen Baumes zu minimieren, was zu einem hocheffizienten und genauen Modell führt.

Was ist K-Means-Clustering und wie funktioniert es?

K-Means-Clustering ist eine unüberwachte Lernmethode, die Datenpunkte in K Cluster partitioniert, so dass Datenpunkte im selben Cluster ähnlich sind und diejenigen in verschiedenen Clustern weiter auseinander liegen.

Was ist DBSCAN und wie unterscheidet es sich von K-Means?

DBSCAN, für Density-Based Spatial Clustering of Applications with Noise, ist in der Lage, beliebig geformte Cluster und Rauschen zu erkennen. Im Gegensatz zu K-Means muss die Anzahl der Cluster nicht vorab bekannt sein und es ist robust gegenüber Ausreißern.

Was ist Principal Component Analysis (PCA) und was ist ihr Hauptzweck?

PCA ist ein Dimensionsreduktionsalgorithmus, der neue Features aus vorhandenen ableitet, um die Varianz im ursprünglichen DataSet so gut wie möglich beizubehalten, während die Anzahl der Features reduziert wird.

Outlines

00:00

🤖 Maschinelles Lernen: Grundlegende Algorithmen

Dieses Abschnitt erklärt grundlegende Konzepte des maschinellen Lernens, darunter die Bedeutung von Algorithmen, die Art der Supervised Learning-Algorithmen wie Lineare Regression, Support Vector Machine (SVM), Naive Bayes und Logistic Regression. Es geht auch auf die K-Nearest Neighbors (KNN) ein, die für Klassifizierungs- und Regressionsaufgaben eingesetzt werden. Jeder Algorithmus wird anhand seiner Funktionsweise und Anwendungsfälle detailliert beschrieben.

05:01

🌳 Entscheidungsbäume und Ensemble-Methoden

In diesem Abschnitt werden Entscheidungsbäume als iteratives Fragen-Stellen-Verfahren vorgestellt, das zur Datenpartitionierung verwendet wird. Es wird erklärt, wie Entscheidungsbäume anhand von Splits zunehmend informativ werden und wie man sie vermeiden kann, in Overfitting zu geraten. Der Abschnitt führt auch in Random Forests und Gradient Boosted Decision Trees (GBDT) als Ensemble-Methoden ein, die mehrere Entscheidungsbäume verwenden, um eine robustere Vorhersage zu erzielen. Dabei werden die Vor- und Nachteile dieser Methoden diskutiert.

10:02

🔍 Clustering und Dimensionsreduktion

Der dritte Abschnitt konzentriert sich auf Clustering- und Dimensionsreduktion-Techniken. K-Means-Clustering, ein Partitionsbasiertes Verfahren, das Datenpunkte in Cluster gruppiert, wird erläutert. Es folgen DBSCAN und andere Techniken, die für Daten mit nicht-linearer Struktur oder zur Detektion von Ausreißern geeignet sind. Schließlich wird die Prinzipal-Komponenten-Analyse (PCA) als Methode zur Reduktion der Datendimensionalität vorgestellt, die neue Features ableitet, um die Varianz im Datensatz zu maximieren.

Keywords

💡Algorithmus

Ein Algorithmus ist eine endliche Menge von Anweisungen, die in einer bestimmten Reihenfolge ausgeführt werden, um eine bestimmte Aufgabe auszuführen. Im Video wird erläutert, dass ein Algorithmus nicht das gesamte Programm oder Code ist, sondern die zugrunde liegende Logik zu einem Problem. Er ist zentral für das Verständnis der künstlichen Intelligenz und Machine Learning, da er die Grundlage für die meisten Lernalgorithmen bildet.

💡Lineare Regression

Lineare Regression ist ein überwachter Lernalgorithmus, der versucht, die Beziehung zwischen einer kontinuierlichen Zielvariable und einer oder mehreren unabhängigen Variablen durch Anpassen einer linearen Gleichung an die Daten zu modellieren. Im Video wird das Konzept veranschaulicht, indem ein Regressionslinien, die die Datenpunkte am besten repräsentiert, durch Minimierung der Summe der quadrierten Abstände zwischen den Datenpunkten und der Linie gefunden wird.

💡Support Vector Machine (SVM)

SVM ist ein überwachter Lernalgorithmus, der hauptsächlich für Klassifizierungsaufgaben verwendet wird, ist aber auch für Regressionsaufgaben geeignet. Im Video wird erklärt, dass SVM Klassen durch Zeichnen einer Entscheidungsgrenze unterscheidet, wobei die Art und Weise, wie die Entscheidungsgrenze gezogen wird, der kritischen Komponente des Algorithmus ist.

💡Naive Bayes

Naive Bayes ist ein überwachter Lernalgorithmus für Klassifizierungsaufgaben, der auf der Annahme beruht, dass Merkmale voneinander unabhängig sind. Im Video wird dieses Konzept durch den Begriff 'naiv' hervorhegt, da in der Realität oft Korrelationen zwischen Merkmalen vorliegen. Der Algorithmus berechnet die Wahrscheinlichkeit einer Klasse gegebene eine Reihe von Merkmalswerten.

💡Logistische Regression

Logistische Regression ist ein überwachter Lernalgorithmus, der hauptsächlich für binäre Klassifizierungsprobleme verwendet wird. Im Video wird gezeigt, dass die Basis der logistischen Regression die sogenannte Sigmoid-Funktion ist, die eine lineare Gleichung in einen Wert zwischen 0 und 1 umwandelt, um binäre Klassifizierungen durchzuführen.

💡K-Nächste-Nachbarn (KNN)

KNN ist ein überwachter Lernalgorithmus, der sowohl für Klassifizierungs- als auch für Regressionsaufgaben eingesetzt werden kann. Im Video wird das Konzept erläutert, dass der Wert einer Klasse oder eines Datenpunktes durch die umliegenden Datenpunkte bestimmt wird, wobei die Klassifizierung durch das Prinzip der Mehrheitsabstimmung erfolgt.

💡Entscheidungsbaum

Entscheidungsbäume arbeiten durch iteratives Stellen von Fragen, um Daten zu partitionieren. Im Video wird gezeigt, wie Entscheidungsbäume visuelle Darstellungen verwenden, um die Partitionierung von Daten zu veranschaulichen, und wie sie durch das Hinzufügen von Fragen zunehmend spezifischer werden, um die Klassifizierungsprobleme zu lösen.

💡Random Forest

Random Forest ist ein Ensemble aus vielen Entscheidungsbäumen, der zur Reduzierung des Überanpassungsrisikos verwendet wird. Im Video wird erklärt, dass Random Forest durch das parallele Ausführen der Bäume Zeitengpässe vermeiden kann und durch das Bootstrapping und die Feature-Zufälligkeit unabhängige Entscheidungsbäume erzeugt.

💡Gradient Boosted Decision Trees (GBDT)

GBDT ist ein Ensemble-Algorithmus, der Boosting-Methoden verwendet, um einzelne Entscheidungsbäume zu kombinieren. Im Video wird beschrieben, dass jedes Baum im Boosting auf die Fehler des vorherigen Baumes abzielt, um einen starken Lernenden aus vielen schwachen Lernenden in Serie zu erzeugen.

💡K-Means-Clustering

K-Means-Clustering ist eine Methode des unsupervised Learning, die darauf abzielt, Datenpunkte in eine Weise zu gruppieren, dass ähnliche Datenpunkte zusammengefasst werden. Im Video wird das iterative Verfahren des K-Means-Algorithmus beschrieben, bei dem Zentroide zufällig ausgewählt, Datenpunkte den nächsten Zentroiden zugeordnet und neue Zentroide berechnet werden, bis alle Punkte konvergieren.

💡DBSCAN

DBSCAN steht für Density-Based Spatial Clustering of Applications with Noise und ist in der Lage, beliebig geformte Cluster und Noise in den Daten zu erkennen. Im Video wird das Konzept erläutert, dass ein Punkt zu einem Cluster gehört, wenn er in der Nähe vieler Punkte aus diesem Cluster liegt, und wie DBSCAN mit den Parametern EPS und MinPts arbeitet, um die Dichte und die Mindestanzahl von Punkten zu definieren.

💡Prinzipalkomponentenanalyse (PCA)

PCA ist ein Algorithmus zur Dimensionsreduktion, der neue Merkmale aus den vorhandenen ableitet, um so viel Informationen wie möglich beizubehalten. Im Video wird beschrieben, dass PCA die Varianz im ursprünglichen Datensatz so gut wie möglich mit weniger Merkmalen als im ursprünglichen Datensatz erklärt, indem es sogenannte Hauptkomponenten findet und diese nach der erklärten Varianz ordnet.

Highlights

Algorithms are defined as a finite set of instructions to perform a specific task.

Linear regression models the relationship between a continuous target variable and one or more independent variables.

Support Vector Machine (SVM) is used for classification and regression tasks by drawing a decision boundary.

Naive Bayes classifier assumes feature independence and uses Bayes' theorem for classification.

Logistic regression is used for binary classification problems using the logistic or sigmoid function.

K-Nearest Neighbors (KNN) determines the class of a data point based on the majority class of its neighbors.

Decision trees partition data by asking questions that increase the purity of nodes.

Random Forest is an ensemble of decision trees that reduces the risk of overfitting.

Gradient Boosted Decision Trees (GBDT) combines decision trees sequentially to minimize errors of previous trees.

K-means clustering groups data points into clusters based on similarities.

DBSCAN clustering finds arbitrary shaped clusters and is robust to outliers.

Principal Component Analysis (PCA) is a dimensionality reduction technique that derives new features from existing ones.

SVM is effective when the number of dimensions exceeds the number of samples.

Naive Bayes is fast due to its independence assumption but less accurate for correlated features.

Logistic regression maps any real-valued number to a value between 0 and 1 for binary classification.

KNN's performance is sensitive to the choice of K, affecting its generalization and sensitivity to noise.

Decision trees are prone to overfitting and benefit from ensemble methods like Random Forest.

GBDT is efficient for both classification and regression, requiring careful hyperparameter tuning.

K-means requires a predetermined number of clusters and may not be suitable for nonlinear data structures.

DBSCAN does not require a predefined number of clusters and can detect outliers.

PCA retains significant variance of the original dataset using fewer features.

Transcripts

every single machine learning algorithm

explained in case you don't know an

algorithm is a set of commands that must

be followed for a computer to perform

calculations or like other

problemsolving operations according to

its formal definition an algorithm is a

finite set of instructions carried out

in a specific order to perform a

particular task it's not an entire

program or code it is simple logic to a

problem linear regression is a

supervised learning algorithm and tries

to model their relationship between a

continuous Target variable and one or

more independent VAR variables by

fitting a linear equation to the data

take this chart of dots for example a

linear regression model tries to fit a

regression line to the data points that

best represents the relations or

correlations with this method the best

regression line is found by minimizing

the sum of squares of the distance

between the data points and the

regression line so for these data points

the regression line Looks like this

support Vector machine or svm for short

is a supervised learning algorithm and

is mostly used for classification tasks

but is also suitable for regression R

tasks svm distinguishes classes by

drawing a decision boundary how to draw

or determine the decision boundary is

the most critical part in svm algorithms

before creating the decision boundary

each observation or data point is

plotted in N dimensional space with n

being the number of features used for

example if we use length and width to

classify different cells observations

are plotted in a two-dimensional space

and decision boundary is a line if we

use three features decision boundary is

a plane in three-dimensional space if we

use more than three features decision

boundary becomes a hyper plane which is

really hard to visualize decision

boundary is drawn in a way that the

distance to support vectors are

maximized if the decision boundary is

too close to a support Vector it'll be

highly sensitive to noises and not

generalize well even very small changes

to independent variables may cause a

misclassification svm is especially

effective in cases where number of

dimensions are more than the number of

samples when finding the decision

boundary svm uses a subset of training

points rather than all points which

makes it memory efficient on the other

hand training time increases for large

data sets which negatively affects the

performance Nave Bas is a supervised

learning algorithm used for

classification tasks hence it is also

called Nave Bas classifier Nave Bas

assumes that features are independent of

each other and there is no correlation

between features however this is not the

case in real life this Nave Assumption

of features being uncorrelated is the

reason why this algorithm is called

naive the intuition behind naive Bay

algorithm is the Bas theorem p a is the

probability of event a given event B has

already occurred PBA is probability of

event B given event a has already

occurred PA is the probability of event

a and PB is the probability of event B

naive Bas classifier calculates the

probability of a class given a set of

feature values the the assumption that

all features are independent makes knif

based algorithm very fast when compared

to complicated algorithms in some cases

speed is preferred over higher accuracy

but on the other hand the same

assumption makes knife Bas algorithm

less accurate than complicated

algorithms logistic regression is a

supervised learning algorithm which is

mostly used for binary classification

problems logistic regression is a simple

yet very effective classification

algorithm so it is commonly used for

many binary classification tasks things

like customer turn spam email website or

ad click predictions are some examples

of the areas where logistic regression

offers a powerful solution the basis of

logistic regression is the logistic

function also called the sigmoid

function which takes any real value

number and Maps it to a value between 0o

and 1 Let's consider we have the

following linear equation to solve

logistic regression model takes a linear

equation as input and uses logistic

function and log odds to perform a

binary classification task then we will

get the f famous shaped graph of

logistic regression we can use the

calculated probability as is for example

the output can be the probability that

this email is Spam is 95% or the

probability that the customer will click

on the ad is 70% however in most cases

probabilities are used to classify data

points for example if the probability is

greater than 50% the prediction is

positive class or one otherwise the

prediction is negative class or zero K

nearest Neighbors or K&N for short is a

supervised learning algorithm that can

be used to solve both classification and

regression tasks the main idea behind

KNN is that the value of a class or of a

data point is determined by the data

points around it KNN classifier

determines the class of a data point by

majority voting principle for instance

if K is set to five the classes of five

closest points are checked prediction is

done according to the majority class

similarly K&N regression takes the mean

value of five CL closest points let's go

over an example consider the following

data points that belong to four

different classes and let's see how the

predicted classes change according to

the K value it is very important to

determine an optimal K value if K is too

low the model is too specific and not

generalized well it also tends to be too

sensitive to noise the model

accomplishes a high accuracy on train

set but will be a poor predictor on new

previously unseen data points therefore

we are likely to end up with an overfit

model on the the other hand if K is too

large the model is too generalized and

is not a good predictor on both train

and test sets this situation is known as

underfitting KNN is simple and easy to

interpret it does not make any

assumption so it can be implemented in

nonlinear tasks KNN does become very

slow as number of data points increases

because the model needs to store all

data points thus it is not memory

efficient another downside of KNN is

that it is sensitive to outliers

decision trees work by iteratively

asking questions to partition data it is

easier to conceptualize the partitioning

data with a visual representation of a

decision tree this represents a decision

tree to predict customer CH first split

is based on monthly charges amount then

the algorithm keeps asking questions to

separate class labels the question get

more specific as the tree gets deeper

the aim is to increase the

predictiveness as much as possible at

each partitioning so that the model

keeps gaining information about the data

set randomly splitting the feature does

not usually give us the valuable insight

into the data set it's the splits that

increase purity of nodes that are most

informative the purity of a node is

inversely proportional to the

distribution of different classes in

that node the questions to ask are

chosen in a way that increases Purity or

decreases impurity but how many

questions do we ask when do we stop when

is our tree sufficient to solve our

classification problem the answer to all

of these questions leads us to one of

the most important Concepts in machine

learning overfitting the model can keep

asking questions until all nodes are

pure however this would be a two

specific model and would not generalize

will it achieves high accuracy with

training set but performs poorly on new

previously unseen data points which

indicates overfitting decision tree

algorithm usually does not require to

normalize or scale features it is also

suitable to work on a mixture of feature

data types on the negative side it is

prone to overfitting and needs to be

ensembled in order to generalize well

random Forest is an ensemble of many

decision trees random forests are built

using a method called bagging in which

decision trees are used as par parel

estimators if used for a classification

problem the result is based on majority

vote of the results received from each

decision tree for regression the

prediction of a leaf node is the mean

value of the target values in that leaf

random Forest regression takes mean

values of results from decision trees

random forests reduce the risk of

overfitting and accuracy is much higher

than a single decision tree furthermore

decision trees in a random forest run in

parallel so that the time does not

become a bottleneck the success of a

random Forest highly depends on using

uncorrelated decision trees if we use

the same or very similar trees the

overall result will not be much

different than the result of a single

decision tree random forests achieve to

have uncorrelated decision trees by

bootstrapping and feature Randomness

bootstrapping is randomly selecting

samples from training data with

replacement they are called the

bootstrap samples feature Randomness is

achieved by selecting features randomly

for each decision Tree in a random

Forest the number of features used for

each tree in a random Forest can be

controlled with maxcore features

parameter random Forest is a highly

accurate model on many different

problems and does not require

normalization or scaling however it is

not a good choice for high dimensional

data sets compared to fast linear models

gradient boosted decision trees or gbdt

for short is an ensemble algorithm which

uses boosting methods to combine

individual decision trees boosting means

combining a learning algorithm in series

to achieve a strong learner from many

sequentially connect weak Learners in

the case of gbdt the weak Learners are

the decision trees each tree attempts to

minimize the errors of previous tree

trees in boosting are weak learners but

adding many trees in series and each

focusing on the errors from the previous

one make boosting a highly efficient and

accurate model unlike bagging boosta

does not involve bootstrap sampling

every time a new tree is added it fits

on a modified version of the initial

data set since trees are added

sequentially boosting algorithms learn

slowly in statistical learning models

that learn slowly perform better gbdt is

very efficient on both classification

and regression tasks and provides more

accurate predictions compared to random

Forest it can handle mixed type of

features and no pre-processing is needed

gbdt does require careful tuning of

hyperparameters in order to prevent the

model from overfitting K means

clustering clustering is a way to group

a set of data points in a way that

similar data points are grouped together

therefore clustering algorithms look for

similarities or dissimilarities among

data points clustering is an

unsupervised learning method so there is

no label associated with data points

clustering algorithms try to find the

underlying structure of the data

observations or data points in a

classification task have labels each

observation is classified according to

some measurements classification

algorithms try to model the relationship

between measurements on observations and

their assigned class then the model

predicts the class of new observations K

means clustering aims to partition data

into K clusters in a way that data

points in the same cluster are similar

and data points in different clusters

are further apart thus it is a partition

based clustering technique similarity of

two points is determined by the distance

between them consider the following 2D

visualization of a data set it can be

partied into four different clusters now

real life data sets are much more

complex in which clusters are not

clearly separated however the algorithm

works in the same way K means is an

iterative process it is built on

expectation maximization algorithm after

the number of clusters are determined it

works by executing the following steps

number one it randomly selects the

centroids or the center of cluster for

each cluster then it calculates the

distance of all data points to the

centroids it assigns the data points to

the closest cluster it finds the new

centroids of each cluster by taking the

mean of all data points in the cluster

and it repeats steps 2 3 and four until

all points converge and cluster Center

stop moving K means clustering is

relatively fast and easy to interpret it

is also able to choose the positions of

initial centroids in a smart way that

speeds up the convergence the one

challenge with K means is that the

number of clusters must be predetermined

cayman's algorithm is not able to guess

how many clusters exist in the data if

there is a nonlinear structure

separating groups in the data K means

will not be a good choice DB scan

clustering partition based and

hierarchical clustering techniques are

highly efficient with normal shaped

clusters however when it comes to

arbitrary shaped clusters or detecting

outliers density based techniques are

more efficient DB scan stands for

density based spatial clustering of

applications with noise it is able to

find arbitrary shaped clusters and

clusters with noise the main idea behind

DB scan is that a point belongs to a

cluster if it is close to many points

from that cluster there are two key

parameters of DB scan EPS which is the

distance that specifies the neighborhood

two points are considered to be

neighbors if the distance between them

are less than or equal to EPs and Min

pts which is the minimum number of data

points to define a cluster based on

these two parameters points are

classified as score Point border point

or outlier a point is a core point if

there are at least Min pts number of

points including the point itself in its

surrounding area with radius EPS a point

is a border point if it is unreachable

from a core point and there are less

than Min pts number of points within its

surrounding area and a point is an

outlier if it is not a core point and

not reach from any core points DB scan

does not require to specify a number of

clusters beforehand it is robust to

outliers and able to detect the outliers

in some cases determining an appropriate

distance of neighborhood EPS is not easy

and it requires domain knowledge

principle components analysis or PCA is

a dimensionally reduction algorithm

which basically derives new features

from the existing ones with keeping as

much information as possible PCA is an

unsupervised learning algorithm but it

is also widely used as a pre-processing

step for supervised learning algorithms

PCA deres new features by finding the

relations among features in a data set

the aim of PCA is to explain the

variance within the original data set as

much as possible by using less features

the new derived features are called

principal components the order of

principal components is determined

according to the fraction of variance of

original data set they explain the

advantage of PCA is that a significant

amount of variance of the original data

set is retained using much smaller

number of features than the original

data set principal components are

ordered according to the amount of

variants that they explain and that is

every common machine learning algorithm

explained