4.1.1 Kmeans

La función kmeans() agrupa las observaciones en K clusters distintos, donde el número K lo determina el analista antes de ejecutar del algoritmo. El método K-means clustering (MacQueen, 1967) encuentra los K mejores clusters, entendiendo como mejor cluster aquel cuya varianza interna (intra-cluster variation) sea lo más pequeña posible. Se trata por lo tanto de un problema de optimización, en el que se reparten las observaciones en K clusters de forma que la suma de las varianzas internas de todos ellos sea lo menor posible. Para poder solucionar este problema es necesario definir un modo de cuantificar la varianza interna.

Cargamos los datos y nos quedamos unicamente con las 11 columnas que definen a cada vino

x <- wine_data[,2:14]

Para la selección del número de clústers también existen criterios objetivos los cuales están basados en la optimización de un criterio de ajuste.

Los criterios de ajustes en el kmeans() se basan en los conceptos de sumas de cuadrados entre grupos (betweens) y dentro de grupos (withins). Hay que tener en cuenta que la suma de cuadrados entre grupos (betweenss) más las sumas de cuadrados dentro de grupos (tot.withinss) nos proporciona la suma de cuadrados totales (tots).

Una segmentación ‘óptima’ es aquella donde los individuos pertenecientes a un mismo grupo son lo más homogéneos posible y los individuos pertenecientes a distintos grupos son lo más heterogéneos posible. Dicha segmentación coincidirán con aquella que, teniendo un número de grupos razonable, posee una suma de cuadrados entre suficientemente grande y, por tanto, una suma de cuadrados dentro lo suficientemente pequeña. Es decir, la varianza dentro de grupos debe ser reducida (individuos dentro de un mismo grupo tiene que ser similares) y la varianza entre grupos debe ser grande (individuos de distintos grupos tienen que ser distintos). También, tenemos que tener en cuenta que a medida que el número de grupos aumenta la suma de cuadrados entre aumenta y, por tanto, la suma de cuadrados dentro disminuye, por tanto, el analista a de decidir cuando el aumento de la suma de cuadrados entre o, alternativamente, la disminución de la suma de cuadrados dentro no son lo suficientemente pronunciados.

Como inicialmente no conocemos el número óptimo de clústers, probamos con varios valores

Mostramos en un gráfica los valores de las siluetas media de cada prueba para comprobar que número de clústers es el mejor

El mejor valor que se obtiene es k=2.

Otro forma de evaluar cual es el mejor número de clústers es considerar el mejor modelo, aquel que ofrece la menor suma de los cuadrados de las distancias de los puntos de cada grupo con respecto a su centro (withinss), con la mayor separacion entre centros de grupos (betweenss). Como se puede comprobar es una idea conceptualmente similar a la silueta. Una manera común de hacer la selección del número de clústers consiste en aplicar el método elbow (codo), que no es más que la selección del número de clústers en base a la inspección de la gráfica que se obtiene al iterar con el mismo conjunto de datos para distintos valores del número de clústers. Se seleccionará el valor que se encuentra en el “codo” de la curva

En este caso el número óptimo de clústers son 4 que es cuando la curva comienza a estabilizarse.

También se puede usar la función kmeansruns del paquete fpc que ejecutá el algoritmo kmeans con un conjunto de valores y selecciona el valor del número de clústers que mejor funcione de acuerdo a dos criterios la silueta media (“asw”) y Calinski-Harabasz (“ch”).

Podemos comprobar el valor con el que se ha obtenido el mejor resultado y también mostrar el resultado obtenido para todos los valores de k usando ambos criterios

## [1] 10

## [1] 2

Los resultados son muy parecidos a los que hemos obtenido anteriormente. Con el criterio de la silueta media se obtienen dos clústers y con el Calinski-Harabasz se obtienen 10.

Como se ha comprobado, conocer el número óptimo de clústers no es un problema fácil. Tampoco lo es la evaluación de los modelos de agregación.

Como en el caso que estudiamos sabemos que los datos pueden ser agrupados en 3 clases, vamos a ver como se ha comportado el kmeans en el caso de pedirle 5 clústers. Para eso comparamos visualmente los campos dos a dos, con el valor real que sabemos está almacenado en el campo “quality” del dataset original.

##  [1] "Clase"                "Alcohol"              "Malic acid"
##  [4] "Ash"                  "Alcalinity of ash"    "Magnesium"
##  [7] "Total phenols"        "Flavanoids"           "Nonflavanoid phenols"
## [10] "Proanthocyanins"      "Color intensity"      "Hue"
## [13] "OD280"                "Proline"

Esta última gráfica, que volveremos a mostrar a continuación, muestra como se puede ordenar los datos más corelacionados con la clase de vino en diferentes grupos diferenciados. Los otros grupos sin embargo se entremezclan algo más.

Una vez finalizado, sacamos la tabla de resultados

##
##      1  2  3
##   1  9 16 24
##   2  0 29  2
##   3 23  0  0
##   4  0 22 21
##   5 27  4  1

Ahora vamos a evaluar cada una de las clasificación acorde a su valor en Purity (la pureza es una medida del grado en que los grupos contienen una sola clase) y su Rand index calcula cuán similares son los grupos (devueltos por el algoritmo de agrupamiento) a las clasificaciones de referencia

## [1] "NUMERO DE CLUSTERS"

##  [1]  2  3  4  5  6  7  8  9 10 11 12 13 14

## [1] "PUREZA"

##  [1] 0.9213483 0.7022472 0.5955056 0.4494382 0.4157303 0.3651685 0.3314607
##  [8] 0.3314607 0.3033708 0.2584270 0.2584270 0.2808989 0.2471910

## [1] "Rand index"

##  [1] 0.3694075 0.3711137 0.3028973 0.2431718 0.2414768 0.2161288 0.1903763
##  [8] 0.2104945 0.1690028 0.1551428 0.1462680 0.1755417 0.1375397

Como se puede observar, si vamos nuestra evaluación con el grado de pureza de los grupos, la división en dos clústers es la que ha obtenido un mejor resultado. En cambio si utilizamos Rand index obtenemos un mejor resultado con 3 Clusters.

Con toda la información recopilada, puedo afirmar que la clasificación planteada no ha obtenido buenos resultados. La información recopilada no permite crear un modelo para predecir la calidad de un vino. Según la pureza de los resultados, intentar clasificar los vinos en buenos y malos dependiendo si su calidad es mayor o menos a 5 sería una opción más factible pero como he planteado el ejercicio no se puede realizar una predicción aceptable.

4.1.2 Método de partición en intervalos de la misma amplitud

El método de partición en intervalos de igual amplitud es el método más sencillo que consiste en el algoritmo siguiente.

Dado un atributo X numérico con valor mínimo y máximo , se siguen los pasos siguientes:

1. Fijar un número k de intervalos que hay que alcanzar.

2. Dividir el rango de valores ( , ) en k intervalos {( ), …, ( , ) tales que y

Se trata de hacer que la distancia entre el máximo y el mínimo de cada intervalo sea la misma: ( - )/k.

A partir de los datos obtenidos de las frecuencias agrupadas, para dividir las diferentes clases debemos saber

## [1] "Máximo"

## [1] 3

## [1] "Mínimo"

## [1] 1

Con esta distribución podemos realizar un intervalo de 1 obteniendo la siguiente información:

Comentar que el primer intervalo corresponde a valores de 1 a 2 el dos no inclusivo. Respecto a los datos, únicamente comentar que es la mejor agrupación posible. El resto de agrupaciones no son viables ya que no tendrián una distribución tan equitativa.

Si realizo la agrupación de por ejemeplo el Alcohol en 8 unidades me encuentro la siguiente gráfica.

## [1] "Máximo"

## [1] 162

## [1] "Mínimo"

## [1] 70

## [1] 11.5

4.1.3 Método de partición en intervalos de igual frecuencia

A pesar de que R no posee una función para realizar una tabla de frecuencias agrupadas, nos brinda todas las herramientas para el diseño de una función que realice o supla esta eventual necesidad. La función creada en este trabajo la nombramos como Tabla.F (), la cual posee dos argumentos, el primero es un vector de datos cualquiera y el segundo es el punto medio de unidad de medida; la función genera los gráficos de histograma, el polígono de frecuencias absolutas y la ojiva para la distribución. La función fue probada con 4 vectores aleatorios de distribución normal, arrojando las salidas deseadas.

##    Var1 Freq  Fa        fr        Fr  MC
## 1 [0,1)    0   0 0.0000000 0.0000000 0.5
## 2 [1,2)   59  59 0.3314607 0.3314607 1.5
## 3 [2,3)   71 130 0.3988764 0.7303371 2.5
## 4 [3,4)   48 178 0.2696629 1.0000000 3.5
## 5 [4,5)    0 178 0.0000000 1.0000000 4.5
## 6 [5,6)    0 178 0.0000000 1.0000000 5.5
## 7 [6,7)    0 178 0.0000000 1.0000000 6.5
## 8 [7,8)    0 178 0.0000000 1.0000000 7.5

##        Var1 Freq  Fa          fr        Fr  MC
## 1   [69,81)    9   9 0.050561798 0.0505618  75
## 2   [81,93)   54  63 0.303370787 0.3539326  87
## 3  [93,105)   61 124 0.342696629 0.6966292  99
## 4 [105,117)   33 157 0.185393258 0.8820225 111
## 5 [117,129)   15 172 0.084269663 0.9662921 123
## 6 [129,141)    4 176 0.022471910 0.9887640 135
## 7 [141,153)    1 177 0.005617978 0.9943820 147
## 8 [153,165)    1 178 0.005617978 1.0000000 159

4.1.4 Método de distribución lineal. Análisis Discriminante Lineal

Análisis Discriminante Lineal (ADL, o LDA por sus siglas en inglés) es una generalización del discriminante lineal de Fisher, un método utilizado en estadística, reconocimiento de patrones y aprendizaje de máquinas para encontrar una combinación lineal de rasgos que caracterizan o separan dos o más clases de objetos o eventos. La combinación resultante puede ser utilizada como un clasificador lineal, o, más comúnmente, para la reducción de dimensiones antes de la posterior clasificación.

En el ADL para dos clases se considera un conjunto de observaciones {}{} (también llamadas características, atributos, variables o medidas) para cada muestra de un objeto o evento con clase conocida y. Este conjunto de muestras es conocido como conjunto de entrenamiento. El problema de clasificación consiste en encontrar a un buen estimador para la clase y de cualquier ejemplo con la misma distribución (no necesariamente del conjunto de entrenamiento) dada solamente una observación {}{}.6:338

ADL enfrenta el problema asumiendo que las funciones de densidad de las probabilidades condicionales { p({}|y=0)}{p({} |y=0)} y {p({}|y=1)}{p({}|y=1)} siguen una distribución normal con parámetros de media y covarianza {({}{0 },{0})}{({}{0},{0})}{({}{1},{ 1})}{({}{1},{1})}, respectivamente

## Call:
## lda(wine_data$Clase ~ ., data = wine_data)
##
## Prior probabilities of groups:
##         1         2         3
## 0.3314607 0.3988764 0.2696629
##
## Group means:
##    Alcohol `Malic acid`      Ash `Alcalinity of ash` Magnesium
## 1 13.74475     2.010678 2.455593            17.03729  106.3390
## 2 12.27873     1.932676 2.244789            20.23803   94.5493
## 3 13.15375     3.333750 2.437083            21.41667   99.3125
##   `Total phenols` Flavanoids `Nonflavanoid phenols` Proanthocyanins
## 1        2.840169  2.9823729               0.290000        1.899322
## 2        2.258873  2.0808451               0.363662        1.630282
## 3        1.678750  0.7814583               0.447500        1.153542
##   `Color intensity`       Hue    OD280   Proline
## 1          5.528305 1.0620339 3.157797 1115.7119
## 2          3.086620 1.0562817 2.785352  519.5070
## 3          7.396250 0.6827083 1.683542  629.8958
##
## Coefficients of linear discriminants:
##                                 LD1           LD2
## Alcohol                -0.403399781  0.8717930699
## `Malic acid`            0.165254596  0.3053797325
## Ash                    -0.369075256  2.3458497486
## `Alcalinity of ash`     0.154797889 -0.1463807654
## Magnesium              -0.002163496 -0.0004627565
## `Total phenols`         0.618052068 -0.0322128171
## Flavanoids             -1.661191235 -0.4919980543
## `Nonflavanoid phenols` -1.495818440 -1.6309537953
## Proanthocyanins         0.134092628 -0.3070875776
## `Color intensity`       0.355055710  0.2532306865
## Hue                    -0.818036073 -1.5156344987
## OD280                  -1.157559376  0.0511839665
## Proline                -0.002691206  0.0028529846
##
## Proportion of trace:
##    LD1    LD2
## 0.6875 0.3125

##         LD1       LD2
## 1 -4.700244 1.9791383
## 2 -4.301958 1.1704129
## 3 -3.420720 1.4291014
## 4 -4.205754 4.0028715
## 5 -1.509982 0.4512239
## 6 -4.518689 3.2131376

En este caso, y según muestra las gráficas, el análisis discriminante ha podido encontrar un patrón dentro de los datos y clasificarlos eficazmente.