本文最后更新于:2020年12月16日 晚上
第一章 预备知识
一、Python基础
1. 列表推导式与条件赋值
在生成一个数字序列的时候,在 Python
中可以如下写出:
In [1]: L = []
In [2]: def my_func(x):
...: return 2*x
...:
In [3]: for i in range(5):
...: L.append(my_func(i))
...:
In [4]: L
Out[4]: [0, 2, 4, 6, 8]
事实上可以利用列表推导式进行写法上的简化: [* for i in *]
。其中,第一个 *
为映射函数,其输入为后面 i
指代的内容,第二个 *
表示迭代的对象。
In [5]: [my_func(i) for i in range(5)]
Out[5]: [0, 2, 4, 6, 8]
列表表达式还支持多层嵌套,如下面的例子中第一个 for
为外层循环,第二个为内层循环:
In [6]: [m+'_'+n for m in ['a', 'b'] for n in ['c', 'd']]
Out[6]: ['a_c', 'a_d', 'b_c', 'b_d']
除了列表推导式,另一个实用的语法糖是带有 if
选择的条件赋值,其形式为 value = a if condition else b
:
In [7]: value = 'cat' if 2>1 else 'dog'
In [8]: value
Out[8]: 'cat'
等价于如下的写法:
a, b = 'cat', 'dog'
condition = 2 > 1 # 此时为True
if condition:
value = a
else:
value = b
下面举一个例子,截断列表中超过5的元素,即超过5的用5代替,小于5的保留原来的值:
In [9]: L = [1, 2, 3, 4, 5, 6, 7]
In [10]: [i if i <= 5 else 5 for i in L]
Out[10]: [1, 2, 3, 4, 5, 5, 5]
2. 匿名函数与map方法
有一些函数的定义具有清晰简单的映射关系,例如上面的 my_func
函数,这时候可以用匿名函数的方法简洁地表示:
In [11]: my_func = lambda x: 2*x
In [12]: my_func(3)
Out[12]: 6
In [13]: multi_para_func = lambda a, b: a + b
In [14]: multi_para_func(1, 2)
Out[14]: 3
但上面的用法其实违背了“匿名”的含义,事实上它往往在无需多处调用的场合进行使用,例如上面列表推导式中的例子,用户不关心函数的名字,只关心这种映射的关系:
In [15]: [(lambda x: 2*x)(i) for i in range(5)]
Out[15]: [0, 2, 4, 6, 8]
对于上述的这种列表推导式的匿名函数映射, Python
中提供了 map
函数来完成,它返回的是一个 map
对象,需要通过 list
转为列表:
In [16]: list(map(lambda x: 2*x, range(5)))
Out[16]: [0, 2, 4, 6, 8]
对于多个输入值的函数映射,可以通过追加迭代对象实现:
In [17]: list(map(lambda x, y: str(x)+'_'+y, range(5), list('abcde')))
Out[17]: ['0_a', '1_b', '2_c', '3_d', '4_e']
3. zip对象与enumerate方法
zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象,它返回了一个 zip
对象,通过 tuple, list
可以得到相应的打包结果:
In [18]: L1, L2, L3 = list('abc'), list('def'), list('hij')
In [19]: list(zip(L1, L2, L3))
Out[19]: [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
In [20]: tuple(zip(L1, L2, L3))
Out[20]: (('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))
往往会在循环迭代的时候使用到 zip
函数:
In [21]: for i, j, k in zip(L1, L2, L3):
....: print(i, j, k)
....:
a d h
b e i
c f j
enumerate
是一种特殊的打包,它可以在迭代时绑定迭代元素的遍历序号:
In [22]: L = list('abcd')
In [23]: for index, value in enumerate(L):
....: print(index, value)
....:
0 a
1 b
2 c
3 d
用 zip
对象也能够简单地实现这个功能:
In [24]: for index, value in zip(range(len(L)), L):
....: print(index, value)
....:
0 a
1 b
2 c
3 d
当需要对两个列表建立字典映射时,可以利用 zip
对象:
In [25]: dict(zip(L1, L2))
Out[25]: {'a': 'd', 'b': 'e', 'c': 'f'}
既然有了压缩函数,那么 Python
也提供了 *
操作符和 zip
联合使用来进行解压操作:
In [26]: zipped = list(zip(L1, L2, L3))
In [27]: zipped
Out[27]: [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
In [28]: list(zip(*zipped)) # 三个元组分别对应原来的列表
Out[28]: [('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]
二、Numpy基础
1. np数组的构造
最一般的方法是通过 array
来构造:
In [29]: import numpy as np
In [30]: np.array([1,2,3])
Out[30]: array([1, 2, 3])
下面讨论一些特殊数组的生成方式:
【a】等差序列: np.linspace, np.arange
In [31]: np.linspace(1,5,11) # 起始、终止(包含)、样本个数
Out[31]: array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])
In [32]: np.arange(1,5,2) # 起始、终止(不包含)、步长
Out[32]: array([1, 3])
【b】特殊矩阵: zeros, eye, full
In [33]: np.zeros((2,3)) # 传入元组表示各维度大小
Out[33]:
array([[0., 0., 0.],
[0., 0., 0.]])
In [34]: np.eye(3) # 3*3的单位矩阵
Out[34]:
array([[1., 0., 0.],
[0., 1., 0.],
[0., 0., 1.]])
In [35]: np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
Out[35]:
array([[0., 1., 0.],
[0., 0., 1.],
[0., 0., 0.]])
In [36]: np.full((2,3), 10) # 元组传入大小,10表示填充数值
Out[36]:
array([[10, 10, 10],
[10, 10, 10]])
In [37]: np.full((2,3), [1,2,3]) # 通过传入列表填充每列的值
Out[37]:
array([[1, 2, 3],
[1, 2, 3]])
【c】随机矩阵: np.random
最常用的随机生成函数为 rand, randn, randint, choice
,它们分别表示0-1均匀分布的随机数组、标准正态的随机数组、随机整数组和随机列表抽样:
In [38]: np.random.rand(3) # 生成服从0-1均匀分布的三个随机数
Out[38]: array([0.33475955, 0.95078732, 0.05285509])
In [39]: np.random.rand(3, 3) # 注意这里传入的不是元组,每个维度大小分开输入
Out[39]:
array([[0.1188322 , 0.51993935, 0.73054809],
[0.97169376, 0.72724319, 0.84687781],
[0.18001319, 0.8011098 , 0.05113275]])
对于服从区间 aa 到 bb 上的均匀分布可以如下生成:
In [40]: a, b = 5, 15
In [41]: (b - a) * np.random.rand(3) + a
Out[41]: array([ 9.67438882, 12.49445466, 6.51381903])
randn
生成了 N(0,I)N(0,I) 的标准正态分布:
In [42]: np.random.randn(3)
Out[42]: array([ 0.91321097, -0.02203455, 0.44235296])
In [43]: np.random.randn(2, 2)
Out[43]:
array([[ 0.49897634, -1.57842429],
[-0.09213398, 0.00613158]])
对于服从方差为 σ2σ2 均值为 μμ 的一元正态分布可以如下生成:
In [44]: sigma, mu = 2.5, 3
In [45]: mu + np.random.randn(3) * sigma
Out[45]: array([5.89540275, 2.56563403, 1.56208693])
randint
可以指定生成随机整数的最小值最大值(不包含)和维度大小:
In [46]: low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
In [47]: np.random.randint(low, high, size)
Out[47]:
array([[ 7, 9],
[13, 7]])
choice
可以从给定的列表中,以一定概率和方式抽取结果,当不指定概率时为均匀采样,默认抽取方式为有放回抽样:
In [48]: my_list = ['a', 'b', 'c', 'd']
In [49]: np.random.choice(my_list, 2, replace=False, p=[0.1, 0.7, 0.1 ,0.1])
Out[49]: array(['b', 'd'], dtype='<U1')
In [50]: np.random.choice(my_list, (3,3))
Out[50]:
array([['a', 'c', 'd'],
['d', 'b', 'c'],
['d', 'c', 'a']], dtype='<U1')
当返回的元素个数与原列表相同时,等价于使用 permutation
函数,即打散原列表:
In [51]: np.random.permutation(my_list)
Out[51]: array(['d', 'c', 'a', 'b'], dtype='<U1')
最后,需要提到的是随机种子,它能够固定随机数的输出结果:
In [52]: np.random.seed(0)
In [53]: np.random.rand()
Out[53]: 0.5488135039273248
In [54]: np.random.seed(0)
In [55]: np.random.rand()
Out[55]: 0.5488135039273248
2. np数组的变形与合并
【a】转置: T
In [56]: np.zeros((2,3)).T
Out[56]:
array([[0., 0.],
[0., 0.],
[0., 0.]])
【b】合并操作: r_, c_
对于二维数组而言, r_
和 c_
分别表示上下合并和左右合并:
In [57]: np.r_[np.zeros((2,3)),np.zeros((2,3))]
Out[57]:
array([[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.],
[0., 0., 0.]])
In [58]: np.c_[np.zeros((2,3)),np.zeros((2,3))]
Out[58]:
array([[0., 0., 0., 0., 0., 0.],
[0., 0., 0., 0., 0., 0.]])
一维数组和二维数组进行合并时,应当把其视作列向量,在长度匹配的情况下只能够使用左右合并的 c_
操作:
In [59]: try:
....: np.r_[np.array([0,0]),np.zeros((2,1))]
....: except Exception as e:
....: Err_Msg = e
....:
In [60]: Err_Msg
Out[60]: ValueError('all the input arrays must have same number of dimensions, but the array at index 0 has 1 dimension(s) and the array at index 1 has 2 dimension(s)')
In [61]: np.r_[np.array([0,0]),np.zeros(2)]
Out[61]: array([0., 0., 0., 0.])
In [62]: np.c_[np.array([0,0]),np.zeros((2,3))]
Out[62]:
array([[0., 0., 0., 0.],
[0., 0., 0., 0.]])
【c】维度变换: reshape
reshape
能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式,分别为 C
模式和 F
模式,分别以逐行和逐列的顺序进行填充读取。
In [63]: target = np.arange(8).reshape(2,4)
In [64]: target
Out[64]:
array([[0, 1, 2, 3],
[4, 5, 6, 7]])
In [65]: target.reshape((4,2), order='C') # 按照行读取和填充
Out[65]:
array([[0, 1],
[2, 3],
[4, 5],
[6, 7]])
In [66]: target.reshape((4,2), order='F') # 按照列读取和填充
Out[66]:
array([[0, 2],
[4, 6],
[1, 3],
[5, 7]])
特别地,由于被调用数组的大小是确定的, reshape 允许有一个维度存在空缺,此时只需填充-1即可:
In [67]: target.reshape((4,-1))
Out[67]:
array([[0, 1],
[2, 3],
[4, 5],
[6, 7]])
下面将 n*1
大小的数组转为1维数组的操作是经常使用的:
In [68]: target = np.ones((3,1))
In [69]: target
Out[69]:
array([[1.],
[1.],
[1.]])
In [70]: target.reshape(-1)
Out[70]: array([1., 1., 1.])
3. np数组的切片与索引
数组的切片模式支持使用 slice
类型的 start:end:step
切片,还可以直接传入列表指定某个维度的索引进行切片:
In [71]: target = np.arange(9).reshape(3,3)
In [72]: target
Out[72]:
array([[0, 1, 2],
[3, 4, 5],
[6, 7, 8]])
In [73]: target[:-1, [0,2]]
Out[73]:
array([[0, 2],
[3, 5]])
此外,还可以利用 np.ix_
在对应的维度上使用布尔索引,但此时不能使用 slice
切片:
In [74]: target[np.ix_([True, False, True], [True, False, True])]
Out[74]:
array([[0, 2],
[6, 8]])
In [75]: target[np.ix_([1,2], [True, False, True])]
Out[75]:
array([[3, 5],
[6, 8]])
当数组维度为1维时,可以直接进行布尔索引,而无需 np.ix_
:
In [76]: new = target.reshape(-1)
In [77]: new[new%2==0]
Out[77]: array([0, 2, 4, 6, 8])
4. 常用函数
为了简单起见,这里假设下述函数输入的数组都是一维的。
【a】 where
where
是一种条件函数,可以指定满足条件与不满足条件位置对应的填充值:
In [78]: a = np.array([-1,1,-1,0])
In [79]: np.where(a>0, a, 5) # 对应位置为True时填充a对应元素,否则填充5
Out[79]: array([5, 1, 5, 5])
【b】 nonzero, argmax, argmin
这三个函数返回的都是索引, nonzero
返回非零数的索引, argmax, argmin
分别返回最大和最小数的索引:
In [80]: a = np.array([-2,-5,0,1,3,-1])
In [81]: np.nonzero(a)
Out[81]: (array([0, 1, 3, 4, 5], dtype=int64),)
In [82]: a.argmax()
Out[82]: 4
In [83]: a.argmin()
Out[83]: 1
【c】 any, all
any` 指当序列至少 存在一个 `True` 或非零元素时返回 `True` ,否则返回 `False
all` 指当序列元素 全为 `True` 或非零元素时返回 `True` ,否则返回 `False
In [84]: a = np.array([0,1])
In [85]: a.any()
Out[85]: True
In [86]: a.all()
Out[86]: False
【d】 cumprod, cumsum, diff
cumprod, cumsum
分别表示累乘和累加函数,返回同长度的数组, diff
表示和前一个元素做差,由于第一个元素为缺失值,因此在默认参数情况下,返回长度是原数组减1
In [87]: a = np.array([1,2,3])
In [88]: a.cumprod()
Out[88]: array([1, 2, 6], dtype=int32)
In [89]: a.cumsum()
Out[89]: array([1, 3, 6], dtype=int32)
In [90]: np.diff(a)
Out[90]: array([1, 1])
【e】 统计函数
常用的统计函数包括 max, min, mean, median, std, var, sum, quantile
,其中分位数计算是全局方法,因此不能通过 array.quantile
的方法调用:
In [91]: target = np.arange(5)
In [92]: target
Out[92]: array([0, 1, 2, 3, 4])
In [93]: target.max()
Out[93]: 4
In [94]: np.quantile(target, 0.5) # 0.5分位数
Out[94]: 2.0
但是对于含有缺失值的数组,它们返回的结果也是缺失值,如果需要略过缺失值,必须使用 nan*
类型的函数,上述的几个统计函数都有对应的 nan*
函数。
In [95]: target = np.array([1, 2, np.nan])
In [96]: target
Out[96]: array([ 1., 2., nan])
In [97]: target.max()
Out[97]: nan
In [98]: np.nanmax(target)
Out[98]: 2.0
In [99]: np.nanquantile(target, 0.5)
Out[99]: 1.5
对于协方差和相关系数分别可以利用 cov, corrcoef
如下计算:
In [100]: target1 = np.array([1,3,5,9])
In [101]: target2 = np.array([1,5,3,-9])
In [102]: np.cov(target1, target2)
Out[102]:
array([[ 11.66666667, -16.66666667],
[-16.66666667, 38.66666667]])
In [103]: np.corrcoef(target1, target2)
Out[103]:
array([[ 1. , -0.78470603],
[-0.78470603, 1. ]])
最后,需要说明二维 Numpy
数组中统计函数的 axis
参数,它能够进行某一个维度下的统计特征计算,当 axis=0
时结果为列的统计指标,当 axis=1
时结果为行的统计指标:
In [104]: target = np.arange(1,10).reshape(3,-1)
In [105]: target
Out[105]:
array([[1, 2, 3],
[4, 5, 6],
[7, 8, 9]])
In [106]: target.sum(0)
Out[106]: array([12, 15, 18])
In [107]: target.sum(1)
Out[107]: array([ 6, 15, 24])
5. 广播机制
广播机制用于处理两个不同维度数组之间的操作,这里只讨论不超过两维的数组广播机制。
【a】标量和数组的操作
当一个标量和数组进行运算时,标量会自动把大小扩充为数组大小,之后进行逐元素操作:
In [108]: res = 3 * np.ones((2,2)) + 1
In [109]: res
Out[109]:
array([[4., 4.],
[4., 4.]])
In [110]: res = 1 / res
In [111]: res
Out[111]:
array([[0.25, 0.25],
[0.25, 0.25]])
【b】二维数组之间的操作
当两个数组维度完全一致时,使用对应元素的操作,否则会报错,除非其中的某个数组的维度是 m×1m×1 或者 1×n1×n ,那么会扩充其具有 11 的维度为另一个数组对应维度的大小。例如, 1×21×2 数组和 3×23×2 数组做逐元素运算时会把第一个数组扩充为 3×23×2 ,扩充时的对应数值进行赋值。但是,需要注意的是,如果第一个数组的维度是 1×31×3 ,那么由于在第二维上的大小不匹配且不为 11 ,此时报错。
In [112]: res = np.ones((3,2))
In [113]: res
Out[113]:
array([[1., 1.],
[1., 1.],
[1., 1.]])
In [114]: res * np.array([[2,3]]) # 扩充第一维度为3
Out[114]:
array([[2., 3.],
[2., 3.],
[2., 3.]])
In [115]: res * np.array([[2],[3],[4]]) # 扩充第二维度为2
Out[115]:
array([[2., 2.],
[3., 3.],
[4., 4.]])
In [116]: res * np.array([[2]]) # 等价于两次扩充
Out[116]:
array([[2., 2.],
[2., 2.],
[2., 2.]])
【c】一维数组与二维数组的操作
当一维数组 AkAk 与二维数组 Bm,nBm,n 操作时,等价于把一维数组视作 A1,kA1,k 的二维数组,使用的广播法则与【b】中一致,当 k!=nk!=n 且 k,nk,n 都不是 11 时报错。
In [117]: np.ones(3) + np.ones((2,3))
Out[117]:
array([[2., 2., 2.],
[2., 2., 2.]])
In [118]: np.ones(3) + np.ones((2,1))
Out[118]:
array([[2., 2., 2.],
[2., 2., 2.]])
In [119]: np.ones(1) + np.ones((2,3))
Out[119]:
array([[2., 2., 2.],
[2., 2., 2.]])
6. 向量与矩阵的计算
【a】向量内积: dot
a⋅b=∑iaibia⋅b=∑iaibi
In [120]: a = np.array([1,2,3])
In [121]: b = np.array([1,3,5])
In [122]: a.dot(b)
Out[122]: 22
【b】向量范数和矩阵范数: np.linalg.norm
在矩阵范数的计算中,最重要的是 ord
参数,可选值如下:
ord | norm for matrices | norm for vectors |
---|---|---|
None | Frobenius norm | 2-norm |
‘fro’ | Frobenius norm | – |
‘nuc’ | nuclear norm | – |
inf | max(sum(abs(x), axis=1)) | max(abs(x)) |
-inf | min(sum(abs(x), axis=1)) | min(abs(x)) |
0 | – | sum(x != 0) |
1 | max(sum(abs(x), axis=0)) | as below |
-1 | min(sum(abs(x), axis=0)) | as below |
2 | 2-norm (largest sing. value) | as below |
-2 | smallest singular value | as below |
other | – | sum(abs(x)ord)(1./ord) |
In [123]: martix_target = np.arange(4).reshape(-1,2)
In [124]: martix_target
Out[124]:
array([[0, 1],
[2, 3]])
In [125]: np.linalg.norm(martix_target, 'fro')
Out[125]: 3.7416573867739413
In [126]: np.linalg.norm(martix_target, np.inf)
Out[126]: 5.0
In [127]: np.linalg.norm(martix_target, 2)
Out[127]: 3.702459173643833
In [128]: vector_target = np.arange(4)
In [129]: vector_target
Out[129]: array([0, 1, 2, 3])
In [130]: np.linalg.norm(vector_target, np.inf)
Out[130]: 3.0
In [131]: np.linalg.norm(vector_target, 2)
Out[131]: 3.7416573867739413
In [132]: np.linalg.norm(vector_target, 3)
Out[132]: 3.3019272488946263
【c】矩阵乘法: @
[Am×pBp×n]ij=∑k=1pAikBkj[Am×pBp×n]ij=∑k=1pAikBkj
In [133]: a = np.arange(4).reshape(-1,2)
In [134]: a
Out[134]:
array([[0, 1],
[2, 3]])
In [135]: b = np.arange(-4,0).reshape(-1,2)
In [136]: b
Out[136]:
array([[-4, -3],
[-2, -1]])
In [137]: a@b
Out[137]:
array([[ -2, -1],
[-14, -9]])
三、练习
Ex1:利用列表推导式写矩阵乘法
一般的矩阵乘法根据公式,可以由三重循环写出:
In [138]: M1 = np.random.rand(2,3)
In [139]: M2 = np.random.rand(3,4)
In [140]: res = np.empty((M1.shape[0],M2.shape[1]))
In [141]: for i in range(M1.shape[0]):
.....: for j in range(M2.shape[1]):
.....: item = 0
.....: for k in range(M1.shape[1]):
.....: item += M1[i][k] * M2[k][j]
.....: res[i][j] = item
.....:
In [142]: ((M1@M2 - res) < 1e-15).all() # 排除数值误差
Out[142]: True
请将其改写为列表推导式的形式。
Ex2:更新矩阵
设矩阵 Am×nAm×n ,现在对 AA 中的每一个元素进行更新生成矩阵 BB ,更新方法是 Bij=Aij∑k=1n1AikBij=Aij∑k=1n1Aik ,例如下面的矩阵为 AA ,则 B2,2=5×(14+15+16)=3712B2,2=5×(14+15+16)=3712 ,请利用 Numpy
高效实现。
A=⎡⎣⎢147258369⎤⎦⎥A=[123456789]
Ex3:卡方统计量
设矩阵 Am×nAm×n ,记 Bij=(∑mi=1Aij)×(∑nj=1Aij)∑mi=1∑nj=1AijBij=(∑i=1mAij)×(∑j=1nAij)∑i=1m∑j=1nAij ,定义卡方值如下:
χ2=∑i=1m∑j=1n(Aij−Bij)2Bijχ2=∑i=1m∑j=1n(Aij−Bij)2Bij
请利用 Numpy
对给定的矩阵 AA 计算 χ2χ2 。
In [143]: np.random.seed(0)
In [144]: A = np.random.randint(10, 20, (8, 5))
Ex4:改进矩阵计算的性能
设 ZZ 为 m×nm×n 的矩阵, BB 和 UU 分别是 m×pm×p 和 p×np×n 的矩阵, BiBi 为 BB 的第 ii 行, UjUj 为 UU 的第 jj 列,下面定义 R=∑i=1m∑j=1n∥Bi−Uj∥22ZijR=∑i=1m∑j=1n‖Bi−Uj‖22Zij ,其中 ∥a∥22‖a‖22 表示向量 aa 的分量平方和 ∑ia2i∑iai2 。
现有某人根据如下给定的样例数据计算 RR 的值,请充分利用 Numpy
中的函数,基于此问题改进这段代码的性能。
In [145]: np.random.seed(0)
In [146]: m, n, p = 100, 80, 50
In [147]: B = np.random.randint(0, 2, (m, p))
In [148]: U = np.random.randint(0, 2, (p, n))
In [149]: Z = np.random.randint(0, 2, (m, n))
In [150]: def solution(B=B, U=U, Z=Z):
.....: L_res = []
.....: for i in range(m):
.....: for j in range(n):
.....: norm_value = ((B[i]-U[:,j])**2).sum()
.....: L_res.append(norm_value*Z[i][j])
.....: return sum(L_res)
.....:
In [151]: solution(B, U, Z)
Out[151]: 100566
Ex5:连续整数的最大长度
输入一个整数的 Numpy
数组,返回其中递增连续整数子数组的最大长度。例如,输入 [1,2,5,6,7],[5,6,7]为具有最大长度的递增连续整数子数组,因此输出3;输入[3,2,1,2,3,4,6],[1,2,3,4]为具有最大长度的递增连续整数子数组,因此输出4。请充分利用 Numpy
的内置函数完成。(提示:考虑使用 nonzero, diff
函数)
本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!