K-medias

K-medias es un método de agrupamiento, que tiene como objetivo la partición de un conjunto de n observaciones en k grupos en el que cada observación pertenece al grupo cuyo valor medio es más cercano. Es un método utilizado en minería de datos.

La agrupación del conjunto de datos puede ilustrarse en una partición del espacio de datos en celdas de Voronoi.

El problema es computacionalmente difícil (NP-hard). Sin embargo, hay eficientes heurísticas que se emplean comúnmente y convergen rápidamente a un óptimo local. Estos suelen ser similares a los algoritmos esperanza-maximización de mezclas de distribuciones gausianas por medio de un enfoque de refinamiento iterativo empleado por ambos algoritmos. Además, los dos algoritmos usan los centros que los grupos utilizan para modelar los datos, sin embargo k-medias tiende a encontrar grupos de extensión espacial comparable, mientras que el mecanismo expectation-maximization permite que los grupos tengan formas diferentes.

Descripción

Dado un conjunto de observaciones (x₁, x₂, …, x_n), donde cada observación es un vector real de d dimensiones, k-medias construye una partición de las observaciones en k conjuntos (k ≤ n) a fin de minimizar la suma de los cuadrados dentro de cada grupo (WCSS): S = {S₁, S₂, …, S_k}

${\displaystyle {\underset {\mathbf {S} }{\operatorname {arg\,min} }}\sum _{i=1}^{k}\sum _{\mathbf {x} _{j}\in S_{i}}\left\|\mathbf {x} _{j}-{\boldsymbol {\mu }}_{i}\right\|^{2}}$

donde µ_i es la media de puntos en S_i.

Historia

El término "k-medias" fue utilizado por primera vez por James MacQueen en 1967,^[1]​ aunque la idea se remonta a Hugo Steinhaus en 1957.^[2]​ El algoritmo estándar fue propuesto por primera vez por Stuart Lloyd en 1957 como una técnica para modulación por impulsos codificados, aunque no se publicó fuera de los laboratorios Bell hasta 1982.^[3]​ En 1965, E. W. Forgy publicó esencialmente el mismo método, por lo que a veces también se le nombra como Lloyd-Forgy.^[4]​ Una versión más eficiente fue propuesta y publicada en Fortran por Hartigan y Wong en 1975/1979.^[5]​^[6]​

Algoritmos

Algoritmo estándar

El algoritmo más común utiliza una técnica de refinamiento iterativo. Debido a su ubicuidad a menudo se llama el algoritmo k-medias, también se le conoce como algoritmo de Lloyd, sobre todo en la comunidad informática.

Dado un conjunto inicial de k centroides m₁⁽¹⁾,…,m_k⁽¹⁾ (ver más abajo), el algoritmo continúa alternando entre dos pasos:^[7]​

Paso de asignación: Asigna cada observación al grupo con la media más cercana (es decir, la partición de las observaciones de acuerdo con el diagrama de Voronoi generado por los centroides).

${\displaystyle S_{i}^{(t)}={\big \{}x_{p}:{\big \|}x_{p}-m_{i}^{(t)}{\big \|}\leq {\big \|}x_{p}-m_{j}^{(t)}{\big \|}\ \forall \ 1\leq j\leq k{\big \}}}$

Donde cada ${\displaystyle x_{p}}$ va exactamente dentro de un ${\displaystyle S_{i}^{(t)}}$, incluso aunque pudiera ir en dos de ellos.

Paso de actualización: Calcular los nuevos centroides como el centroide de las observaciones en el grupo.

${\displaystyle \mathbf {m} _{i}^{(t+1)}={\frac {1}{|S_{i}^{(t)}|}}\sum _{\mathbf {x} _{j}\in S_{i}^{(t)}}\mathbf {x} _{j}}$

El algoritmo se considera que ha convergido cuando las asignaciones ya no cambian.

Los métodos de inicialización de Forgy y Partición Aleatoria son comúnmente utilizados.^[8]​ El método Forgy elige aleatoriamente k observaciones del conjunto de datos y las utiliza como centroides iniciales. El método de partición aleatoria primero asigna aleatoriamente un clúster para cada observación y después procede a la etapa de actualización, por lo tanto calcular el clúster inicial para ser el centro de gravedad de los puntos de la agrupación asignados al azar. El método Forgy tiende a dispersar los centroides iniciales, mientras que la partición aleatoria ubica los centroides cerca del centro del conjunto de datos. Según Hamerly y compañía,^[8]​ el método de partición aleatoria general, es preferible para los algoritmos tales como los k-medias armonizadas y fuzzy k-medias. Para expectation maximization y el algoritmo estándar el método de Forgy es preferible.

• Demostración del algoritmos estándar
• 
  1) k centroides iniciales (en este caso k=3) son generados aleatoriamente dentro de un conjunto de datos (mostrados en color).
• 
  2) k grupos son generados asociándole el punto con la media más cercana. La partición aquí representa el diagrama de Voronoi generado por los centroides.
• 
  3) EL centroide de cada uno de los k grupos se recalcula.
• 
  4) Pasos 2 y 3 se repiten hasta que se logre la convergencia.

Como se trata de un algoritmo heurístico, no hay ninguna garantía de que convergen al óptimo global, y el resultado puede depender de los grupos iniciales. Como el algoritmo suele ser muy rápido, es común para ejecutar varias veces con diferentes condiciones de partida. Sin embargo, en el peor de los casos, k-medias puede ser muy lento para converger: en particular, se ha demostrado que existen conjuntos de determinados puntos, incluso en 2 dimensiones, en la que k-medias toma tiempo exponencial, es decir 2^O(n), para converger.^[9]​ Estos conjuntos de puntos no parecen surgir en la práctica: esto se ve corroborado por el hecho de que en la mayoría de los casos el tiempo de ejecución de k-medias es polinomial.^[10]​

El "paso de asignación" también se le conoce como paso expectativa, la "etapa de actualización", como paso maximización, por lo que este algoritmo una variante del algoritmo generalizado expectation-maximization.

Complejidad

Respecto a la complejidad computacional, el agrupamiento k-medias para problemas en espacios de d dimensiones es:

• NP-hard en un espacio euclidiano general d incluso para 2 grupos^[11]​^[12]​
• NP-hard para un número general de grupos k incluso en el plano^[13]​
• Si k y d son fijados, el problema se puede resolver en un tiempo ${\displaystyle O(n^{dk+1}log(n))}$, donde ${\displaystyle n}$ es el número de entidades a particionar^[14]​

Por lo tanto, una gran variedad de heurísticas son usadas generalmente.

• El algoritmo ${\displaystyle k}$-means que se discute debajo tiene orden polinomial para la mayoría de los casos. Se ha demostrado que^[10]​ para un conjunto arbitrario de ${\displaystyle n}$ puntos en ${\displaystyle [0,1]^{d}}$,

si cada punto es perturbado independientemente por una distribución normal con media ${\displaystyle 0}$ y varianza ${\displaystyle \sigma ^{2}}$, entonces el tiempo de ejecución del algoritmo ${\displaystyle k}$-means está acotado por ${\displaystyle O(n^{34}k^{34}d^{8}log^{4}(n)/\sigma ^{6})}$, que es un tiempo polinomial en ${\displaystyle n}$, ${\displaystyle k}$, ${\displaystyle d}$ y ${\displaystyle 1/\sigma }$.

• Se han demostrado mejores cotas para casos simples. Por ejemplo,^[15]​ demuestra que el tiempo de corrida del algoritmo ${\displaystyle k}$-means está acotado por ${\displaystyle O(dn^{4}M^{2})}$ para ${\displaystyle n}$ puntos enteros en la rejilla ${\displaystyle \{1,\dots ,M\}^{d}}$.

Variaciones

• Fuzzy C-Means Clustering es una versión difusa del k-medias, donde cada punto tiene un grado difuso de pertenecía a cada grupo.
• Modelos de mezclas gausianas entrenadas con el algoritmo Algoritmo esperanza-maximización presentan una asignación probabilística a cada grupo, en vez de asignaciones deterministas.
• Se han presentado varios métodos para elegir mejor los centroides iniciales. Una propuesta reciente es k-medias++.
• Algoritmos de filtrado utilizan kd-trees para mejorar la eficiencia en cada paso del algoritmo.^[16]​
• Algunos métodos también intentan acelerar el algoritmo usando coresets^[17]​ or the triangle inequality.^[18]​
• Se puede escapar de óptimos locales intercambiando puntos entre los grupos.^[6]​
• El algoritmo Spherical k-medias es bastante usado para datos direccionales.^[19]​
• El algoritmo Minkowski metric weighted k-medias trata el problema del ruido asignando pesos a las componentes de los vectores por grupos^[20]​

Discusión

ELKI]]. Los centroides de los grupos son marcados usando símbolos semitransparentes un poco más grandes.

agrupamiento k-medias y agrupamiento EM en un conjunto de datos artificial ("mouse"). La tendencia del k-medias a producir grupos con tamaños parecidos nos lleva a obtener malos resultados, mientras que EM se beneficia de la distribución gausiana presente en el conjunto de datos.

Las dos características claves del k-medias, las que lo hacen eficiente vienen a convertirse en su principal problema:

• La distancia euclidiana se usa como una métrica y la varianza es usada como una medida de la dispersión de los grupos.
• El número de grupos k es un parámetro de entrada: una elección inapropiada puede acarrear malos resultados. Por eso es muy importante cuando corremos el k-medias tener en cuenta la importancia de determinar el número de grupos para un conjunto de datos.
• La convergencia a óptimos locales puede traer malos resultados(ver ejemplo en Fig.).

Una limitación clave del k-medias es su modelo de agrupamiento. El concepto se basa en grupos esféricos que son separables de una forma en que el valor de la media converge hacia el centro del grupo. Se espera que los grupos tengan igual tamaño, por lo que la asignación al grupo más cercano es la asignación correcta. Cuando por ejemplo aplicamos k-medias con un valor de ${\displaystyle k=3}$ al conjunto de datos Iris flower, el resultado no es el esperado incluso habiendo tres especies en el conjunto de datos. Con ${\displaystyle k=2}$, los dos grupos visibles(uno conteniendo dos especies) se pueden observar, mientras que con ${\displaystyle k=3}$ uno de los dos grupos se divide en dos partes iguales. De hecho, ${\displaystyle k=2}$ es más apropiado para este conjunto de datos, aunque este último contenga 3 clases. Como con cualquier otro algoritmo de agrupamiento, el resultado de k-medias depende del conjunto de datos para satisfacer las necesidades del algoritmo. Simplemente trabaja bien en algunos conjuntos de datos mientras que falla en otros.

El resultado del k-medias se puede ver como las celdas de Voronoi de los centroides de los grupos. Como los datos se separan en cierta forma por la media de los grupos, esto puede llevarnos a óptimos locales como se puede ver en el conjunto "mouse". Los modelos gausianos usados por el algoritmo Expectation-maximization (que puede ser visto como una generalización del k-medias) son más flexibles ya que controlan varianzas y covarianzas. El resultado de EM crea grupos con tamaño variable más fácilmente que k-medias tanto como grupos correlacionados (no en este ejemplo).

Aplicaciones del algoritmo

Agrupamiento k-medias cuando se usan heurísticas como el algoritmo de Lloyd es fácil de implementar incluso para grandes conjuntos de datos. Por lo que ha sido ampliamente usado en muchas áreas como segmentación de mercados, visión por computadoras, geoestadística,^[21]​ astronomía y minería de datos en agricultura. También se usa como preprocesamiento para otros algoritmos, por ejemplo para buscar una configuración inicial.

Una aplicación más avanzada es la de su uso en el marketing y el análisis geográfico, para hacerlo primero se deben recopilar datos de latitud y longitud de los puntos que se requieren a estudiar, luego por medio de algoritmos no supervisados de machine learning como K-Means en conjunto con Voronoi se pueden obtener los clusters de los datos pero con la diferencia de que estos estarán delimitados por una región de Voronoi, entonces se puede obtener la "dominancia del cluster". Caso similar también aplica para el marketing, por ejemplo, en lugar de tener «latitud» o «longitud» de datos geoespaciales podríamos tener una relación entre ingresos de un grupo de usuarios y lo que suelen gastar, de forma que se pueda optimizar la publicidad de forma más eficiente usando la región de Voronoi como una ayuda extra para delimitar una publicidad de marketing a un grupo de usuarios.^[22]​

K-medoides

Se trata de una alternativa del algoritmo K-medias. Si ${\displaystyle (X,d)}$ es un espacio métrico, el medoide de los puntos ${\displaystyle x_{1},...,x_{n}\in X}$ es el punto ${\displaystyle x_{i}}$ que minimiza la expresión ${\displaystyle \sum _{j=1}^{n}d(x_{i},x_{j})}$. El algoritmo empieza con ${\displaystyle k}$ centros, escogidos entre las observaciones. Cada observación se agrupa con el centro más próximo. Formados los ${\displaystyle k}$ grupos se calculan sus respectivos medoides que serán los nuevos centros. El algoritmo se repite hasta que los grupos se estabilizan.

Nótese que los centros, en este caso, siempre forman parte de las observaciones. Asimismo, este algoritmo, a diferencia de K-medias, funciona para nociones de métrica (o similitud) que no permite calcular medias. En particular, funciona para espacios métricos no euclidianos.

Software

Libre

• Apache Mahout k-medias
• CrimeStat implementa dos algoritmos espaciales de k-medias, uno de ellos permite al usuario definir los puntos iniciales.
• ELKI contiene k-medias (con iteracionesd de Lloyd and MacQueen, as'i como diferente inicializaciones, por ejemplo k-medias++) y otros algoritmos de agrupamientos más avanzados.
• MLPACK contiene una implementación del k-medias
• R kmeans implementa una variedad de algoritmos^[1]​^[3]​^[6]​
• SciPy vector-quantization
• Silverlight widget mostrando el algoritmo k-medias
• extensiones PostgreSQL para k-medias
• CMU's GraphLab Clustering library Implementación eficiente para varios processadores.
• Weka contiene k-medias y algunas variantes, como k-medias++ y x-means.
• Spectral Python contiene métodos para la clasificación no supervisada incluyendo el algoritmo k-medias.
• KNIME [1] contiene nodos para la aplicación del algoritmo Kmeans de forma ágil y controlada, así como muchos otros algoritmos de segmentación y minería de datos.

Comercial

• IDL Cluster, Clust_Wts
• Mathematica ClusteringComponents function
• MATLAB kmeans
• SAS FASTCLUS
• VisuMap kMeans Clustering Archivado el 1 de febrero de 2013 en Wayback Machine.

Código fuente

• ELKI and Weka está escrito en Java y contiene implementaciones del k-medias
• k-medias en PHP,^[23]​ using VB,^[24]​ using Perl,^[25]​ using C++,^[26]​ using Matlab,^[27]​ using Ruby,^[28]​^[29]​ using Python with scipy,^[30]​ using X10^[31]​
• Una implementación en C^[32]​
• Una colección de algoritmos de agrupamientos incluido k-medias, implementado en Javascript.^[33]​ Online demo.^[34]​
• Aplicación de k-medias con Voronoi para obtener la delimitación de la dominancia de los clusters.

Referencias

1. MacQueen, J. B. (1967). Some Methods for classification and Analysis of Multivariate Observations. Proceedings of 5th Berkeley Symposium on Mathematical Statistics and Probability 1. University of California Press. pp. 281-297. MR 0214227. Zbl 0214.46201. Consultado el 7 de abril de 2009. 
2. Steinhaus, H. (1957). «Sur la division des corps matériels en parties». Bull. Acad. Polon. Sci. (en francés) 4 (12): 801-804. MR 0090073. Zbl 0079.16403. 
3. Lloyd, S. P. (1957). «Least square quantization in PCM». Bell Telephone Laboratories Paper.  Publicado mucho más tarde en la revista: Lloyd., S. P. (1982). «Least squares quantization in PCM». IEEE Transactions on Information Theory 28 (2): 129-137. doi:10.1109/TIT.1982.1056489. Consultado el 15 de abril de 2009. 
4. E.W. Forgy (1965). «Cluster analysis of multivariate data: efficiency versus interpretability of classifications». Biometrics 21: 768-769. 
5. J.A. Hartigan (1975). Clustering algorithms. John Wiley & Sons, Inc. 
6. Hartigan, J. A.; Wong, M. A. (1979). «Algorithm AS 136: A k-medias Clustering Algorithm». Journal of the Royal Statistical Society, Series C (Applied Statistics) 28 (1): 100-108. JSTOR 2346830. 
7. MacKay, David (2003). «Chapter 20. An Example Inference Task: Clustering». Information Theory, Inference and Learning Algorithms. Cambridge University Press. pp. 284-292. ISBN 0-521-64298-1. MR 2012999. 
8. Hamerly, G. and Elkan, C. (2002). «Alternatives to the k-medias algorithm that find better clusterings». Archivado desde el original el 1 de febrero de 2013. Consultado el 3 de enero de 2013. 
9. Vattani., A. (2011). «k-medias requires exponentially many iterations even in the plane». Discrete and Computational Geometry 45 (4): 596-616. doi:10.1007/s00454-011-9340-1. 
10. Arthur, D.; Manthey, B.; Roeglin, H. (2009). «k-medias has polynomial smoothed complexity». Proceedings of the 50th Symposium on Foundations of Computer Science (FOCS). 
11. Aloise, D.; Deshpande, A.; Hansen, P.; Popat, P. (2009). «NP-hardness of Euclidean sum-of-squares clustering». Machine Learning 75: 245-249. doi:10.1007/s10994-009-5103-0. 
12. Dasgupta, S. and Freund, Y. (julio de 2009). «Random Projection Trees for Vector Quantization». Information Theory, IEEE Transactions on 55: 3229-3242. arXiv:0805.1390. doi:10.1109/TIT.2009.2021326. 
13. Mahajan, M.; Nimbhorkar, P.; Varadarajan, K. (2009). «The Planar k-medias Problem is NP-Hard». Lecture Notes in Computer Science 5431: 274-285. doi:10.1007/978-3-642-00202-1_24. 
14. Inaba, M.; Katoh, N.; Imai, H. (1994). Applications of weighted Voronoi diagrams and randomization to variance-based k-clustering. Proceedings of 10th ACM Symposium on Computational Geometry. pp. 332-339. doi:10.1145/177424.178042. 
15. Arthur; Abhishek Bhowmick (2009). A theoretical analysis of Lloyd's algorithm for k-medias clustering. 
16. Kanungo, T.; Mount, D. M.; [[Nathan Netanyahu|Netanyahu, N. S.]]; Piatko, C. D.; Silverman, R.; Wu, A. Y. (2002). «An efficient k-medias clustering algorithm: Analysis and implementation». IEEE Trans. Pattern Analysis and Machine Intelligence 24: 881-892. doi:10.1109/TPAMI.2002.1017616. Consultado el 24 de abril de 2009. 
17. Frahling, G.; Sohler, C. (2006). «A fast k-medias implementation using coresets». Proceedings of the twenty-second annual symposium on Computational geometry (SoCG). 
18. Elkan, C. (2003). «Using the triangle inequality to accelerate k-medias». Proceedings of the Twentieth International Conference on Machine Learning (ICML). 
19. Dhillon, I. S.; Modha, D. M. (2001). «Concept decompositions for large sparse text data using clustering». Machine Learning 42 (1): 143-175. 
20. Amorim, R. C.; Mirkin, B (2012). «Minkowski metric, feature weighting and anomalous cluster initializing in k-medias clustering». Pattern Recognition 45 (3): 1061-1075. doi:10.1016/j.patcog.2011.08.012. 
21. Honarkhah, M and Caers, J, 2010, Stochastic Simulation of Patterns Using Distance-Based Pattern Modeling, Mathematical Geosciences, 42: 487 - 517
22. «▷ Análisis geoespacial en Python: Cluster K-Means, Voronoi y Open Street Map». 16 de enero de 2024. Consultado el 1 de marzo de 2024. 
23. https://web.archive.org/web/20080208213306/http://www25.brinkster.com/denshade/kmeans.php.htm
24. k-medias Clustering Tutorial: Download
25. «Perl script for Kmeans clustering». Archivado desde el original el 18 de junio de 2012. Consultado el 3 de enero de 2013. 
26. Antonio Gulli's coding playground: k-medias in C
27. k-medias Clustering Tutorial: Matlab Code
28. AI4R :: Artificial Intelligence for Ruby
29. reddavis/k-medias · GitHub
30. k-medias clustering and vector quantization (scipy.cluster.vq) — SciPy v0.11 Reference Guide (DRAFT)
31. «Copia archivada». Archivado desde el original el 9 de julio de 2012. Consultado el 3 de enero de 2013. 
32. https://web.archive.org/web/20120302183933/http://www.cs.princeton.edu/~wdong/kmeans/
33. http://code.google.com/p/figue/ FIGUE
34. https://web.archive.org/web/20130212004526/http://web.science.mq.edu.au/~jydelort/figue/demo.html