参考書はこちら
- 作者: 小西貞則
- 出版社/メーカー: 岩波書店
- 発売日: 2010/01/27
- メディア: 単行本（ソフトカバー）
- 購入: 14人 クリック: 347回
- この商品を含むブログ (9件) を見る
今までは全て線形SVMでしたが、今回は非線形のSVMとなります。非線形SVMでは特徴空間次元の内積計算が多数必要になり、それを避けるためにカーネル法という手法が用いられます。カーネル法にも種類は様々あるのですが今回は最も一般的なガウスカーネルを用います。データはソフトマージンSVMのときと同じデータです。
from matplotlib import pyplot as plt import numpy as np import pandas as pd import cvxopt from cvxopt import matrix class NonLinearSoftMarginSVM(): def __init__(self, X, y, lam, sigma): self.X = X self.y = y self.lam = lam self.sigma = sigma #ガウスカーネル def kernel(self, x, y): return np.exp(np.dot(x - y, x - y) / (-2 * self.sigma)) def fit(self): num_of_data = self.X.shape[0] label = self.y * 2.0 - 1.0 #ラベルを-1と1に変換する #2次計画問題を解く alpha = np.zeros((num_of_data, 1)) q = matrix(np.ones((num_of_data ,1))) P = np.zeros((num_of_data, num_of_data)) for i in range(num_of_data): for j in range(num_of_data): P[i,j] = label.iloc[i] * label.iloc[j] * self.kernel(self.X.iloc[i], self.X.iloc[j]) P = matrix(P) A = matrix(np.array(label), (1, num_of_data)) b = matrix(0.0, (1,1)) #条件緩和によって変化した部分 G_1 = (-1) * np.identity(num_of_data) G_2 = np.identity(num_of_data) G = matrix(np.vstack((G_1, G_2))) h_1 = np.zeros((num_of_data, 1)) h_2 = np.ones((num_of_data, 1)) * self.lam h = matrix(np.vstack((h_1, h_2))) sol = cvxopt.solvers.qp(P, -q, G, h, A, b) alpha = sol["x"] #2次計画問題終了 #パラメータを求める w = 0 for i in range(num_of_data): w = w + alpha[i] * label.iloc[i] * self.X.iloc[i] #切片bを求めるためのサポートベクター集合S epsilon = 0.00001 #これより小さいものを0とみなす Sup_index = [] for i in range(num_of_data): if alpha[i] < epsilon or alpha[i] > self.lam: #条件緩和によって変化した部分 continue Sup_index.append(i) b = 0 temp = 0 print(Sup_index) for i in range(len(Sup_index)): #分離超平面より上と下の個数を数える if label.iloc[Sup_index[i]] == 1: temp = temp + 1 for j in range(num_of_data): b = b + alpha[j] * label.iloc[j] * self.kernel(self.X.iloc[j], self.X.iloc[Sup_index[i]]) b = ((temp - (len(Sup_index) - temp)) - b) / len(Sup_index) return [w, b, Sup_index, alpha]
前回のソフトマージンSVMと比べて変化しているのは、内積計算が全てカーネルによる計算に置き換えられているという点だけです。続いて、ここにデータを入れてみます。
lam = 1.0 sigma = 1.0 X = data[["x", "y"]] y = data["c"] label = data["c"] * 2 - 1 svm = NonLinearSoftMarginSVM(X , y, lam, sigma) [w, b, Sup_index, alpha] = svm.fit()
ここまでは実はさほど計算時間はかかりません。決定境界をプロットしてみましょう。
def f(x, alpha, Sup_index, b, X, label): result = b for i in range(len(Sup_index)): j = Sup_index[i] result = result + alpha[j] * label[j] * svm.kernel(X.iloc[j], x) return result #色の設定 col = [] for i in range(len(data["c"])): if data["c"].iloc[i] == 1: col.append("red") else: col.append("blue") #メッシュグリッドを作成して決定境界をプロット seq = np.linspace(0, 10, 50) X1, X2 = np.meshgrid(seq, seq) Z = [] x1 = X1.reshape(-1, 1) x2 = X2.reshape(-1, 1) for i in range(X1.size): Z.append(f(np.array([x1[i][0], x2[i][0]]), alpha, Sup_index, b, X, label)) plt.title("Non Lnear Soft Margin SVM") plt.xlabel("x") plt.ylabel("y") Z = np.array(Z).reshape(X1.shape) plt.contour(X1, X2, Z, colors = "black", levels = [0.0]) plt.scatter(data["x"], data["y"], c = col)
このように非線形の決定境界となります。SVM自体の話はここまでで、あとはどうやってモデルを良いものにしていくかが難しいところです。例えば今回はソフトマージンなので正則化係数、さらにはガウスカーネルなので分散を事前に設定する必要があります。他には多項式カーネルであれば2つのハイパーパラメータを設定しなければなりません。クロスバリデーションなどを適用しながらこれらを適切に設定することが求められます。
参考
非線形の決定境界を書く際に参考になりました。
python で等高線を描くなら meshgrid して contour | コード７区
