K均值聚类
# -*- coding=utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt
# 从sklearn中直接生成聚类数据
from sklearn.datasets import make_blobs
#100个样本点，6个中心点(即聚6个类)
x, y = make_blobs( n_samples=100, centers=6, random_state=1234, cluster_std=0.6 )
# print(x) 100*2的矩阵，每一行就是一个样本点
# print(y) y可以不管
plt.figure(figsize=(6,6))
plt.scatter(x[:,0], x[:,1], c=y)
plt.show()
from scipy.spatial.distance import cdist
class K_Means(object):
# 初始化，参数 n_clusters（K）、迭代次数max_iter、初始质心 centroids
def __init__(self, n_clusters=5, max_iter=300, centroids=[]):
self.n_clusters = n_clusters
self.max_iter = max_iter
self.centroids = np.array(centroids, dtype=np.float)
# 训练模型方法，k-means聚类过程，传入原始数据就是x
def fit(self, data):
# 假如没有指定初始质心，就随机选取data中的点作为初始质心
if (self.centroids.shape == (0,)):
# 从data中随机生成0到data行数的6个整数，作为索引值
self.centroids = data[np.random.randint(0, data.shape[0], self.n_clusters), :]
# 开始迭代
for i in range(self.max_iter):
# 1. 计算距离矩阵，得到的是一个100*6的矩阵
distances = cdist(data, self.centroids)#每一行代表每个样本点到所有质心的距离
# 2. 对距离按有近到远排序，选取*近的质心点的类别，作为当前点的分类
c_ind = np.argmin(distances, axis=1)#取完后变成100*1的矩阵，代表每行中的*小值，c_ind就代表*小值的下标（就是类别）
# 3. 对每一类数据进行均值计算，更新质心点坐标
for i in range(self.n_clusters):
# 排除掉没有出现在c_ind里的类别
if i in c_ind:
# 选出所有类别是i的点，取data里面坐标的均值，更新第i个质心
self.centroids[i] = np.mean(data[c_ind == i], axis=0)
# 实现预测方法
def predict(self, samples):
# 跟上面一样，先计算距离矩阵，然后选取距离*近的那个质心的类别
distances = cdist(samples, self.centroids)
c_ind = np.argmin(distances, axis=1)
return c_ind
def plotKMeans(x, y, centroids, subplot, title):
# 分配子图，121表示1行2列的子图中的*个
plt.subplot(subplot)
plt.scatter(x[:,0], x[:,1], c=’r’)
# 画出质心点
plt.scatter(centroids[:,0], centroids[:,1], c=np.array(range(5)), s=100)
plt.title(title)
kmeans = K_Means(max_iter=300, centroids=np.array([[2,1],[2,2],[2,3],[2,4],[2,5]]))
plt.figure(figsize=(16, 6))
plotKMeans( x, y, kmeans.centroids, 121, ‘Initial State’ )
# 开始聚类
kmeans.fit(x)
plotKMeans( x, y, kmeans.centroids, 122, ‘Final State’ )
# 预测新数据点的类别
x_new = np.array([[0,0],[10,7]])
y_pred = kmeans.predict(x_new)
print(kmeans.centroids)
print(y_pred)
plt.scatter(x_new[:,0], x_new[:,1], s=100, c=’black’)
# 五行数据就是五个样本点，四列就是4个质心
# dist = np.array([[121,221,32,43], *个点分别到4个质心的距离
# [121,1,12,23], 第二个点分别到4个质心的距离
# [65,21,2,43], 第三个点分别到4个质心的距离
# [1,221,32,43], 第四个点分别到4个质心的距离
# [21,11,22,3],]) 第五个点分别到4个质心的距离
# c_ind = np.argmin( dist, axis=1 )
# print(c_ind) [2,1,2,0,3] 每个点的分类
# x_new=x[0:5]
# print(x_new)
# print(c_ind==2)
# print(x_new[c_ind==2])
# np.mean(x_new[c_ind==2], axis=0)
1
