Numpy和Pandas簡介

推薦：使用NSDT場景編輯器快速搭建3D應用場景

如果您正在從事數據科學項目，Python 包將簡化您的生活，因為您只需要幾行代碼即可執行復雜的操作，例如操作數據和應用機器學習/深度學習模型。

在開始你的數據科學之旅時，建議從學習兩個最有用的Python包開始：NumPy和Pandas。在本文中，我們將介紹這兩個庫。讓我們開始吧！

NumPy代表Numeric Python，用于在機器學習模型的幕后對數組和矩陣進行有效的計算。Numpy 的構建塊是數組，它是一種與列表非常相似的數據結構，不同之處在于它提供了大量的數學函數。換句話說，Numpy 數組是一個多維數組對象。

我們可以使用列表或列表列表來定義 NumPy 數組：

import numpy as np
l = [[1,2,3],[4,5,6],[7,8,9]]
numpy_array = np.array(l)
numpy_array

array([[1, 2, 3],
       [4, 5, 6],
       [7, 8, 9]])

與列表列表不同，我們可以可視化矩陣 3X3，每行之間都有一個縮進。此外，NumPy提供了40多個用于數組創建的內置函數。

要創建一個充滿零的數組，有函數 np.zeros ，您只需要在其中指定所需的形狀：

zeros_array = np.zeros((3,4))
zeros_array

array([[0., 0., 0., 0.],
       [0., 0., 0., 0.],
       [0., 0., 0., 0.]])

同樣，我們可以創建一個充滿 1 的數組：

ones_array = np.ones((3,4))
ones_array

array([[1., 1., 1., 1.],
       [1., 1., 1., 1.],
       [1., 1., 1., 1.]])

還可以創建單位矩陣，它是一個方陣，主對角線上有 1，非對角線元素為 0：

identity_array = np.identity(3)
identity_array

array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])

此外，NumPy提供了不同的函數來創建隨機數組。要創建一個由 [0，1] 上的均勻分布的隨機樣本填充的數組，我們只需要函數 np.random.rand ：

random_array = np.random.rand(3,4)
random_array

array([[0.84449279, 0.71146992, 0.48159787, 0.04927379],
       [0.03428534, 0.26851667, 0.65718662, 0.52284251],
       [0.1380207 , 0.91146148, 0.74171469, 0.57325424]])

與前面的函數類似，我們可以定義一個帶有隨機值的數組，但這次時間取自標準正態分布：

randn_array = np.random.randn(10)
randn_array

array([-0.68398432, -0.25466784,  0.27020797,  0.29632334, -0.20064897,
        0.7988508 ,  1.34759319, -0.41418478, -0.35223377, -0.10282884])

如果我們有興趣用屬于區間 [low，high] 的隨機整數構建一個數組，我們只需要函數 np.random.randint ：

randint_array = np.random.randint(1,20,20)
randint_array

array([14,  3,  1,  2, 17, 15,  5, 17, 18,  9,  4, 19, 14, 14,  1, 10, 17,
       19,  4,  6])

除了用于創建數組的內置函數之外，NumPy 的另一個優點是可以使用一組方括號從數組中選擇元素。例如，我們可以嘗試取矩陣的第一行：

a1 = np.array([[1,2,3],[4,5,6]])
a1[0]

array([1, 2, 3])

假設我們要選擇第一行的第三個元素。在這種情況下，我們需要指定兩個索引，行的索引和列的索引：

print(a1[0,2]) #3

另一種方法是使用 a1[0][2]，但它被認為是低效的，因為它首先創建包含第一行的數組，然后從該行中選擇元素。

此外，我們可以從矩陣中獲取切片，語法 start：stop：step 在括號內，其中不包括停止索引。例如，我們想再次選擇第一行，但我們只選擇前兩個元素：

print(a1[0,0:2])

[1 2]

如果我們更喜歡選擇所有行，但我們想提取每行的第一個元素：

print(a1[:,0])

[1 4]

除了整數數組索引之外，還有布爾數組索引，用于從數組中選擇元素。假設我們只需要符合以下條件的元素：

a1>5

array([[False, False, False],
       [False, False,  True]])

如果我們根據此條件過濾數組，輸出將僅顯示 True 元素：

a1[a1>5]

array([6])

在數據科學項目中工作時，經常會在不更改數據的情況下將數組重塑為新形狀。

例如，我們從一個維度為 2X3 的數組開始。如果我們不確定數組的形狀，有屬性形狀可以幫助我們：

a1 = np.array([[1,2,3],[4,5,6]])
print(a1)
print('Shape of Array: ',a1.shape)

[[1 2 3]
 [4 5 6]]
Shape of Array:  (2, 3)

要將數組重塑為 3X2 維度，我們可以簡單地使用函數 reshape：

a1 = a1.reshape(3,2)
print(a1)
print('Shape of Array: ',a1.shape)

[[1 2]
 [3 4]
 [5 6]]
Shape of Array:  (3, 2)

另一種常見的情況是將多維數組轉換為單維數組。這可以通過將 -1 指定為形狀來實現：

a1 = a1.reshape(-1)
print(a1)
print('Shape of Array: ',a1.shape)

[1 2 3 4 5 6]
Shape of Array:  (6,)

也可能需要獲取轉置數組：

a1 = np.array([[1,2,3,4,5,6]])
print('Before shape of Array: ',a1.shape)
a1 = a1.T
print(a1)
print('After shape of Array: ',a1.shape)

Before shape of Array:  (1, 6)
[[1]
 [2]
 [3]
 [4]
 [5]
 [6]]
After shape of Array:  (6, 1)

同樣，您可以使用 np.transpose（a1） 應用相同的轉換。

如果您嘗試從頭開始構建機器學習算法，則肯定需要計算兩個數組的矩陣乘積。當數組具有超過 1 個維度時，可以使用函數 np.matmul 執行此操作：

a1 = np.array([[1,2,3],[4,5,6]])
a2 = np.array([[1,2],[4,5],[7,8]])
print('Shape of Array a1: ',a1.shape)
print('Shape of Array a2: ',a2.shape)
a3 = np.matmul(a1,a2) 
# a3 = a1 @ a2
print(a3)
print('Shape of Array a3: ',a3.shape)

Shape of Array a1:  (2, 3)
Shape of Array a2:  (3, 2)
[[30 36]
 [66 81]]
Shape of Array a3:  (2, 2)

@ 可以是 np.matmul 的較短替代品。

如果將矩陣與標量相乘，np.dot 是最佳選擇：

a1 = np.array([[1,2,3],[4,5,6]])
a3 = np.dot(a1,2)
# a3 = a1 * 2
print(a3)
print('Shape of Array a3: ',a3.shape)

[[ 2  4  6]
 [ 8 10 12]]
Shape of Array a3:  (2, 3)

在這種情況下，* 是 np.dot 的較短替代項。

NumPy提供了各種各樣的數學函數，如三角函數，舍入函數，指數，對數等。您可以在此處找到完整列表。我們將展示您可以應用于問題的最重要的功能。

指數和自然對數肯定是最流行和已知的變換：

a1 = np.array([[1,2,3],[4,5,6]])
print(np.exp(a1))

[[  2.71828183   7.3890561   20.08553692]
 [ 54.59815003 148.4131591  403.42879349]]

a1 = np.array([[1,2,3],[4,5,6]])
print(np.log(a1))

[[0.         0.69314718 1.09861229]
 [1.38629436 1.60943791 1.79175947]]

如果我們想在一行代碼中提取最小值和最大值，我們只需要調用以下函數：

a1 = np.array([[1,2,3],[4,5,6]])
print(np.min(a1),np.max(a1))  # 1 6

我們還可以從數組的每個元素計算平方根：

a1 = np.array([[1,2,3],[4,5,6]])
print(np.sqrt(a1))

[[1.         1.41421356 1.73205081]
 [2.         2.23606798 2.44948974]]

Pandas建立在Numpy之上，對于操作數據集很有用。有兩種主要的數據結構：系列和數據幀。序列是一系列值，而數據幀是包含行和列的表。換句話說，序列是數據幀的一列。

要構建序列，我們只需將值列表傳遞給方法：

import pandas as pd
type_house = pd.Series(['Loft','Villa'])
type_house

0     Loft
1    Villa
dtype: object

我們可以通過傳遞對象字典來創建數據幀，其中鍵對應于列名，值是列的條目：

df = pd.DataFrame({'Price': [100000, 300000], 'date_construction': [1960, 2010]})
df.head()

創建數據幀后，我們可以檢查每列的類型：

type(df.Price),type(df.date_construction)

(pandas.core.series.Series, pandas.core.series.Series)

應該清楚的是，列是系列類型的數據結構。

從現在開始，我們將通過使用Kaggle上提供的自行車共享數據集來展示Pandas的潛力。我們可以通過以下方式導入 CSV 文件：

df = pd.read_csv('/kaggle/input/bike-sharing-demand/train.csv')
df.head()

Pandas不僅允許讀取CSV文件，還允許讀取Excel文件，JSON，Parquet和其他類型的文件。您可以在此處找到完整列表。

從輸出中，我們可以可視化數據幀的前五行。如果我們想顯示數據集的最后四行，我們使用 tail（） 方法：

df.tail(4)

很少的行不足以很好地了解我們擁有的數據。開始分析的一個好方法是查看數據集的形狀：

df.shape                    #(10886, 12)

我們有 10886 行和 12 列。是否要查看列名？這樣做非常直觀：

df.columns

有一種方法可以將所有這些信息可視化為唯一的輸出：

df.info()

如果我們想顯示每列的統計信息，可以使用 describe 方法：

df.describe()

從分類字段中提取信息也很重要。我們可以找到季節列的唯一值和唯一值的數量：

df.season.unique(),df.season.nunique()

輸出：

(array([1, 2, 3, 4]), 4)

我們可以看到值為 1、2、3、4。然后，有四個可能的值。這種驗證對于理解分類變量和防止色譜柱中包含的可能噪聲至關重要。

要顯示每個級別的頻率，我們可以使用 value_counts（） 方法：

df.season.value_counts()

最后一步應該是檢查每列上的缺失值：

df.isnull().sum()

幸運的是，我們在這些字段中沒有任何缺失值。

與在 Numpy 中一樣，有基于索引的選擇來從數據結構中選擇數據。有兩種主要方法可以從數據幀中獲取條目：

• ILOC 根據整數位置選擇元素

• LOC 根據標簽或布爾數組獲取項目。

要選擇第一行，iloc 是最佳選擇：

df.iloc[0]

如果我們想選擇所有行，只選擇第二列，我們可以執行以下操作：

df.iloc[:,1]

也可以同時選擇更多列：

df.iloc[0:3,[0,1,2,5]]

根據索引選擇列變得很復雜。最好指定列名。這可以使用 loc：

df.loc[0:3,['datetime','season','holiday','temp']]

與 Numpy 類似，可以根據條件過濾數據幀。例如，我們要返回天氣等于 1 的所有行：

df[df.weather==1]

如果我們想返回包含特定列的輸出，我們可以使用 loc：

df.loc[df.weather==1,['season','holiday']]

新變量的創建對從數據中提取更多信息和提高可解釋性具有巨大影響。我們可以根據工作日的值創建一個新的分類變量：

df['workingday_c'] = df['workingday'].apply(lambda x: 'work' if x==1 else 'relax')
df[['workingday','workingday_c']].head()

如果有多個條件，最好使用字典和方法映射來映射值：

diz_season = {1:'winter',2:'spring',3:'summer',4:'fall'}
df['season_c'] = df['season'].map(lambda x: diz_season[x])
df[['season','season_c']].head()

您可能希望根據分類列對數據進行分組。這可以使用分組方式：

df.groupby('season_c').agg({'count':['median','max']})

對于季節的每個級別，我們都可以觀察到租用自行車的中位數和最大值。如果不根據列進行排序，此輸出可能會令人困惑。我們可以使用 sort_values（） 方法做到這一點：

df.groupby('season_c').agg({'count':['median','max']}).reset_index().sort_values(by=('count', 'median'),ascending=False)

現在，輸出更有意義。我們可以推斷，租用自行車數量最多的是夏季，而冬季則不是租用自行車的好月份。

就是這樣！我希望您發現本指南對學習NumPy和Pandas的基礎知識很有用。它們通常是分開研究的，但首先了解NumPy，然后理解Pandas，這是建立在NumPy之上的，這可能是有見地的。

當然，有些方法我沒有在本教程中介紹，但目標是介紹這兩個庫中最重要和最流行的方法。代碼可以在Kaggle上找到。感謝您的閱讀！有好的一天！

原文鏈接：Numpy和Pandas簡介 (mvrlink.com)