KNN中不同距離度量對比和介紹（2）

我使用的數據集是乳腺癌數據集，可以在kaggle上直接下載
這個數據集是機器學習和數據挖掘中廣泛使用的基準數據集，用于二元分類任務。它是由威廉·h·沃爾伯格(William H. Wolberg)博士及其合作者在20世紀90年代從麥迪遜的威斯康星大學醫院收集的。該數據集可通過UCI機器學習存儲庫公開獲取。
Breast Cancer Wisconsin數據集包含569個實例，每個實例有32個屬性。這些屬性是:
ID number:每個樣本的唯一標識符。Diagnosis:目標變量有兩個可能的值——“M”(惡性)和“B”(良性)。
剩下的是30個從乳腺腫塊的細針抽吸(FNA)的數字化圖像中計算出來的特征。它們描述了圖像中細胞核的特征。對每個細胞核計算每個特征，然后求平均值，得到10個實值特征:

• Radius:從中心到周邊點的平均距離。
• Texture:灰度值的標準偏差。
• Perimeter:細胞核的周長。
• Area:細胞核的面積。
• Smoothness:半徑長度的局部變化。
• Compactness:周長2/面積- 1.0。
• Concavity:輪廓中凹部分的嚴重程度。
• Concave points:輪廓的凹部分的數目。
• Symmetry:細胞核的對稱性。
• Fractal dimension:“Coastline approximation”- 1

對每張圖像計算這十個特征的平均值、標準誤差和最小或最大值(三個最大值的平均值)，總共得到30個特征。數據集不包含任何缺失的屬性值。
由于數據集包含30個特征，我們需要對數據集進行特征選擇。這種方法的主要目的是通過選擇與目標變量具有強線性關系的較小的特征子集來降低數據集的維數。通過選擇高相關性的特征，目的是保持模型的預測能力，同時減少使用的特征數量，潛在地提高模型的性能和可解釋性。這里需要注意的是，該方法只考慮特征與目標變量之間的線性關系，如果底層關系是非線性的，或者特征之間存在重要的交互作用，則該方法可能無效。
讀取數據并計算相關系數：

 df = pd.read_csv('/kaggle/input/breast-cancer-wisconsin-data/data.csv') corr = df.corr() corr_threshold = 0.6 selected_features = corr.index[np.abs(corr['diagnosis']) >= corr_threshold] new_cancer_data = df[selected_features]

訓練代碼：

X_train_np = np.array(X_train) X_test_np = np.array(X_test)
 # Convert y_train and y_test to numpy arrays y_train_np = np.array(y_train) y_test_np = np.array(y_test)
 k_values = list(range(1, 15)) accuracies = []
 for k in k_values:     y_pred = knn_euclidean_distance(X_train_np, y_train_np, X_test_np, k)     accuracy = accuracy_score(y_test_np, y_pred)     accuracies.append(accuracy)
 # Create a data frame to store k values and accuracies results_df = pd.DataFrame({'k': k_values, 'Accuracy': accuracies})
 # Create the interactive plot using Plotly fig = px.line(results_df, x='k', y='Accuracy', title='KNN Accuracy for Different k Values', labels={'k': 'k', 'Accuracy': 'Accuracy'}) fig.show()
 # Get the best k value best_k = k_values[accuracies.index(max(accuracies))] best_accuracy = max(accuracies) print("Best k value is:", best_k , "where accuracy is:" ,best_accuracy)

 # Run the KNN algorithm on the test set for different k and p values k_values = list(range(1, 15)) p_values = list(range(1, 6)) results = []
 for k in k_values:     for p in p_values:         y_pred = knn_minkowski_distance(X_train_np, y_train_np, X_test_np, k, p)         accuracy = accuracy_score(y_test_np, y_pred)         results.append((k, p, accuracy))
 # Create a data frame to store k, p values, and accuracies results_df = pd.DataFrame(results, columns=['k', 'p', 'Accuracy'])
 # Create the 3D plot using Plotly fig = go.Figure(data=[go.Scatter3d(     x=results_df['k'],     y=results_df['p'],     z=results_df['Accuracy'],     mode='markers',     marker=dict(         size=4,         color=results_df['Accuracy'],         colorscale='Viridis',         showscale=True,         opacity=0.8    ),     text=[f"k={k}, p={p}, Acc={acc:.2f}" for k, p, acc in results] )])
 fig.update_layout(scene=dict(     xaxis_title='k',     yaxis_title='p',     zaxis_title='Accuracy' ))
 fig.show()

為了進一步改善我們的結果，我們還可以數據集進行縮放。應用特征縮放的主要目的是確保所有特征具有相同的尺度，這有助于提高基于距離的算法(如KNN)的性能。在KNN算法中，數據點之間的距離對確定它們的相似度起著至關重要的作用。如果特征具有不同的尺度，則算法可能會更加重視尺度較大的特征，從而導致次優預測。通過將特征縮放到均值和單位方差為零，算法可以平等地對待所有特征，從而獲得更好的模型性能。

本文將使用StandardScaler()和MinMaxScaler()來擴展我們的數據集。StandardScaler和MinMaxScaler是機器學習中兩種流行的特征縮放技術。這兩種技術都用于將特征轉換為公共尺度，這有助于提高許多機器學習算法的性能，特別是那些依賴于距離的算法，如KNN或支持向量機(SVM)。
使用不同的尺度和不同的距離函數訓練KNN，可以進行比較并選擇最適合數據集的技術。我們得到了以下結果:

可以使用柱狀圖表示來更好地分析和理解這些結果。

根據上面的結果，我們可以得到以下的結論：
在不進行特征縮放時，歐幾里得距離和閔可夫斯基距離都達到了0.982456的最高精度。
曼哈頓離在所有情況下的精度都比較低，這表明歐幾里得或閔可夫斯基距離可能更適合這個問題。當閔可夫斯基距離度量中的p值為2時，它等于歐幾里得距離。在我們這個實驗中這兩個指標的結果是相同的，也證明了這是正確的。
對于歐幾里得和閔可夫斯基距離度量，不應用任何特征縮放就可以獲得最高的精度。而對于曼哈頓距離，與非縮放數據相比，StandardScaler和MinMaxScaler都提高了模型的性能。這表明特征縮放的影響取決于所使用的距離度量。
最佳k值:最佳k值取決于距離度量和特征縮放技術。例如，k=11是不應用縮放并且使用歐幾里得距離或閔可夫斯基距離時的最佳值，而k=9是使用曼哈頓距離時的最佳值。當應用特征縮放時，最佳k值通常較低，范圍在3到11之間。
最后，該問題的最佳KNN模型使用歐式距離度量，無需任何特征縮放，在k=11個鄰居時達到0.982456的精度。這應該是我們這個數據集在使用KNN時的最佳解。
如果你想自己實驗，完整代碼和數據都可以在這里找到：https://www.kaggle.com/code/kane6543/knn-with-euclidean-minkowski-manhattan-distance?scriptVersionId=128083261作者：Abdullah Siddique