数据分析-01 Numpy

时间：2020-10-05 09:04:50 阅读：25 评论：0 收藏：0 [点我收藏+]

一、概述

数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律

数据分析三剑客：Numpy,Pandas,Matplotlib

NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

一、创建ndarray

1. 使用np.array()创建

1. 使用np.array()创建
1.1 一维数据创建
import numpy as np
np.array([1,2,3,4,5])

输出#array([1, 2, 3, 4, 5])


1.2 二维数组创建
np.array([[1,2,3],[4,‘a‘,6],[6,7,8]])

输出#array([[‘1‘, ‘2‘, ‘3‘],
       [‘4‘, ‘a‘, ‘6‘],
       [‘6‘, ‘7‘, ‘8‘]], dtype=‘<U11‘)

1.3 使用matplotlib.pyplot获取一个numpy数组，数据来源于一张图片
import matplotlib.pyplot as plt
img_arr = plt.imread(‘2.jpg‘)
plt.imshow(img_arr)
#输出图片

plt.imshow(img_arr-50)
#输出图片


img_arr.shape #数组的形状

#输出(626, 413, 3)

注意：
numpy默认ndarray的所有元素的类型是相同的
如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>int

2. 使用np的routines函数创建

包含以下常见创建方法：

1) np.ones(shape, dtype=None, order=‘C‘)

np.ones(shape=(20,30))

#array([[1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.],
       [1., 1., 1., 1., 1.]])

2) np.zeros(shape, dtype=None, order=‘C‘)

np.zeros(shape=(20,30))

#array([[0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0.]])

3) np.full(shape, fill_value, dtype=None, order=‘C‘)

np.full(shape=(5,6),fill_value=100)

#array([[100, 100, 100, 100, 100, 100],
       [100, 100, 100, 100, 100, 100],
       [100, 100, 100, 100, 100, 100],
       [100, 100, 100, 100, 100, 100],
       [100, 100, 100, 100, 100, 100]])

4) np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None) 等差数列　　

np.linspace(1,100,num=20)

#array([  1.        ,   6.21052632,  11.42105263,  16.63157895,
        21.84210526,  27.05263158,  32.26315789,  37.47368421,
        42.68421053,  47.89473684,  53.10526316,  58.31578947,
        63.52631579,  68.73684211,  73.94736842,  79.15789474,
        84.36842105,  89.57894737,  94.78947368, 100.        ])

5) np.arange([start, ]stop, [step, ]dtype=Non　　

np.arange(0,100,step=2)# step 步长

#array([ 0,  2,  4,  6,  8, 10, 12, 14, 16, 18, 20, 22, 24, 26, 28, 30, 32,
       34, 36, 38, 40, 42, 44, 46, 48, 50, 52, 54, 56, 58, 60, 62, 64, 66,
       68, 70, 72, 74, 76, 78, 80, 82, 84, 86, 88, 90, 92, 94, 96, 98])

6) np.random.randint(low, high=None, size=None, dtype=‘l‘)　　

np.random.seed(1580)  #固定时间种子,产生的随机数就固定下来了
np.random.randint(0,100,size=(5,7)) # size 和 上面 shape 都是 表示行和列

#array([[16, 11, 57, 60, 61, 89, 43],
       [59, 11, 93, 56, 75, 56, 70],
       [77, 49, 37, 39, 72, 74, 57],
       [99, 74, 74, 25,  8, 90, 65],
       [61, 91, 76, 87, 69, 22, 48]])

7) np.random.randn(d0, d1, ..., dn)　　标准正太分布

np.random.randn(4,5)

8) np.random.random(size=None)　　生成0到1的随机数，左闭右开 np.random.seed(3)

np.random.random(size=(3,4))

#array([[0.77207179, 0.5938135 , 0.24532484, 0.7030762 ],
       [0.32825035, 0.48246052, 0.05012008, 0.29706247],
       [0.06038725, 0.84977251, 0.15752808, 0.47555816]])

二、ndarray的属性

4个必记参数： ndim：维度 shape：形状（各维度的长度） size：总长度

dtype：元素类型

arr=np.random.randn(4,5)

arr.ndim

#输出 2

arr.size
#输出20

arr.shape
#输出(4, 5)

arr.dtype
#输出dtype(‘float64‘)

type(arr)
#输出numpy.ndarray

三、ndarray的基本操作 (重点)

1. 索引

一维与列表完全一致多维时同理

arr[1][2]
#1.3573290321523972

arr[1][2] = 100
arr
#array([[ 9.43684801e-02, -1.52239055e-01,  7.17868476e-01,
         1.30136312e-01,  7.17857627e-01],
       [ 1.96574192e-01, -6.53794570e-01,  1.00000000e+02,
         1.03918118e+00,  1.19612578e+00],
       [-8.51661056e-01,  1.37786734e+00,  1.36855812e+00,
         3.85244530e-01,  1.30599562e+00],
       [ 1.45730225e+00, -8.37586307e-01, -2.18472420e-02,
         5.25547396e-01,  1.19648120e+00]])

2. 切片

一维与列表完全一致多维时同理

arr = np.random.randint(60,120,size=(6,4))
arr
#array([[ 83, 105,  62,  94],
       [110, 111,  71,  64],
       [108,  91,  65,  73],
       [107, 101, 109, 106],
       [ 67, 101,  80, 113],
       [119,  74,  89, 109]])

#获取二维数组前两行
arr[0:2]
#array([[ 83, 105,  62,  94],
       [110, 111,  71,  64]])

#获取二维数组前两列
arr[:,0:2]   #,左边表示的是行,右边是列
#array([[ 83, 105],
       [110, 111],
       [108,  91],
       [107, 101],
       [ 67, 101],
       [119,  74]])

#获取二维数组前两行和前两列数据
arr[0:2,0:2]
#array([[ 83, 105],
       [110, 111]])

将数据反转，例如[1,2,3]---->[3,2,1]
::进行切片

arr
#array([[ 83, 105,  62,  94],
       [110, 111,  71,  64],
       [108,  91,  65,  73],
       [107, 101, 109, 106],
       [ 67, 101,  80, 113],
       [119,  74,  89, 109]])

#将数组的行倒序
arr[::-1]
#array([[119,  74,  89, 109],
       [ 67, 101,  80, 113],
       [107, 101, 109, 106],
       [108,  91,  65,  73],
       [110, 111,  71,  64],
       [ 83, 105,  62,  94]])

#列倒序
arr[:,::-1]
#array([[ 94,  62, 105,  83],
       [ 64,  71, 111, 110],
       [ 73,  65,  91, 108],
       [106, 109, 101, 107],
       [113,  80, 101,  67],
       [109,  89,  74, 119]])

#全部倒序
arr[::-1,::-1]
#array([[109,  89,  74, 119],
       [113,  80, 101,  67],
       [106, 109, 101, 107],
       [ 73,  65,  91, 108],
       [ 64,  71, 111, 110],
       [ 94,  62, 105,  83]])

#将图片进行全倒置操作
img_arr = plt.imread(‘./3.jpg‘)
plt.imshow(img_arr)

img_arr.shape
#(456, 730, 3)

plt.imshow(img_arr[:,:,::-1])
#输出图片

3. 变形

使用arr.reshape()函数，注意参数是一个tuple！

基本使用

1.将一维数组变形成多维数组

arr1 = arr.reshape(24)


arr1.reshape(2,4,3)
#array([[[ 83, 105,  62],
        [ 94, 110, 111],
        [ 71,  64, 108],
        [ 91,  65,  73]],

       [[107, 101, 109],
        [106,  67, 101],
        [ 80, 113, 119],
        [ 74,  89, 109]]])

arr1.reshape(3,-1) #-1表示自动计算行数/列数
#array([[ 83, 105,  62,  94, 110, 111,  71,  64],
       [108,  91,  65,  73, 107, 101, 109, 106],
       [ 67, 101,  80, 113, 119,  74,  89, 109]])

　　2.将多维数组变形成一维数组

# 图片倒置
img_arr.shape
#(456, 730, 3)

#将三维的图片变形成一维的
arr_1_img = img_arr.reshape(456*730*3)
v_arr_1 = arr_1_img[::-1]#对一位数组中所有的元素倒置
plt.imshow(v_arr_1.reshape(456,730,3))

4. 级联

np.concatenate()

1.一维，二维，多维数组的级联，实际操作中级联多为二维数组

axis=0:轴向   0表示的是竖直的轴向 1水平的轴向

np.concatenate((arr,arr),axis=1) #axis=0:轴向 0表示的是竖直的轴向 1水平的轴向
#array([[ 83, 105,  62,  94,  83, 105,  62,  94],
       [110, 111,  71,  64, 110, 111,  71,  64],
       [108,  91,  65,  73, 108,  91,  65,  73],
       [107, 101, 109, 106, 107, 101, 109, 106],
       [ 67, 101,  80, 113,  67, 101,  80, 113],
       [119,  74,  89, 109, 119,  74,  89, 109]])

arr1 = np.random.randint(0,100,size=(3,4))
arr1
#array([[47, 58, 97, 30],
       [16, 15,  4, 63],
       [ 0, 15, 73, 95]])

np.concatenate((arr,arr1),axis=0)
#array([[ 83, 105,  62,  94],
       [110, 111,  71,  64],
       [108,  91,  65,  73],
       [107, 101, 109, 106],
       [ 67, 101,  80, 113],
       [119,  74,  89, 109],
       [ 47,  58,  97,  30],
       [ 16,  15,   4,  63],
       [  0,  15,  73,  95]])

2.合并两张照片

arr1 = np.concatenate((img_arr,img_arr,img_arr),axis=1)
arr = np.concatenate((arr1,arr1,arr1),axis=0)
plt.imshow(arr)

3.np.hstack与np.vstack

a = np.vstack((arr,arr))
plt.imshow(a)

级联需要注意的点：

级联的参数是列表：一定要加中括号或小括号
维度必须相同
形状相符:在维度保持一致的前提下，如果进行横向（axis=1）级联，必须保证进行级联的数组行数保持一致。如果进行纵向（axis=0）级联，必须保证进行级联的数组列数保持一致。
可通过axis参数改变级联的方向

5. 切分

与级联类似，三个函数完成切分工作：

np.split(arr,行／列号，轴):参数2是一个列表类型
np.vsplit
np.hsplit

np.random.seed(10)
num_arr = np.random.randint(60,100,size=(5,6))
num_arr
#array([[69, 96, 75, 60, 88, 85],
       [89, 89, 68, 69, 60, 96],
       [76, 96, 71, 84, 93, 68],
       [96, 74, 73, 65, 73, 85],
       [73, 88, 82, 90, 90, 85]])

np.split(num_arr,[2,3],axis=1)
# 这里切分的行和列 axis 和上面刚好相反
#[array([[69, 96],
        [89, 89],
        [76, 96],
        [96, 74],
        [73, 88]]), array([[75],
        [68],
        [71],
        [73],
        [82]]), array([[60, 88, 85],
        [69, 60, 96],
        [84, 93, 68],
        [65, 73, 85],
        [90, 90, 85]])]

切分照片
plt.imshow(img_arr)
imgs = np.split(img_arr,[100,300],axis=0)
plt.imshow(imgs[1])
img_data = np.split(imgs[1],[100,600],axis=1)[1]
plt.imshow(img_data)

6. 副本 Copy

所有赋值运算不会为ndarray的任何元素创建副本。对赋值后的对象的操作也对原来的对象生效。

arr = np.array([1,2,3,4,5])
a = arr.copy()
a[1] = 10
可使用copy()函数创建副本

四、ndarray的聚合操作

1. 求和np.sum

arr = np.array([1,2,3,4,5])
arr.sum()

2. 最大最小值平均值：np.max/ np.min

arr = np.array([1,2,3,4,5])
a = arr.copy()
a[1] = 10

np.max(a)

np.min(a)

np.mean(a)

3. 其他聚合操作

Function Name    NaN-safe Version    Description
np.sum    np.nansum    Compute sum of elements
np.prod    np.nanprod    Compute product of elements
np.mean    np.nanmean    Compute mean of elements
np.std    np.nanstd    Compute standard deviation
np.var    np.nanvar    Compute variance
np.min    np.nanmin    Find minimum value
np.max    np.nanmax    Find maximum value
np.argmin    np.nanargmin    Find index of minimum value
np.argmax    np.nanargmax    Find index of maximum value
np.median    np.nanmedian    Compute median of elements
np.percentile    np.nanpercentile    Compute rank-based statistics of elements
np.any    N/A    Evaluate whether any elements are true
np.all    N/A    Evaluate whether all elements are true
np.power 幂运算

五、广播机制

【重要】ndarray广播机制的三条规则:缺失维度的数组将维度补充为进行运算的数组的维度。缺失的数组元素使用已有元素进行补充。

规则一：为缺失的维度补1(进行运算的两个数组之间的维度只能相差一个维度)
规则二：缺失元素用已有值填充
规则三：缺失维度的数组只能有一行或者一列

例1： m = np.ones((2, 3)) a = np.arange(3) 求m+a

m=np.ones((2,3))
m
#array([[1., 1., 1.],
       [1., 1., 1.]])

a=np.arange(3)
a
#array([0, 1, 2])

m+a
#array([[1., 2., 3.],
       [1., 2., 3.]])



c =np.arange(3).reshape((3,1))
c
#array([[0],
       [1],
       [2]])

d =np.arange(3)
d
#array([0, 1, 2])

c+d
#array([[0, 1, 2],
       [1, 2, 3],
       [2, 3, 4]])

六、ndarray的排序

1. 快速排序

np.sort()与ndarray.sort()都可以，但有区别：

np.sort()不改变输入
ndarray.sort()本地处理，不占用空间，但改变输入

arr=np.array([3,8,7,6,4])
arr

#array([3, 8, 7, 6, 4])

np.sort(arr)
#array([3, 4, 6, 7, 8])

2. 部分排序

np.partition(a,k)

有的时候我们不是对全部数据感兴趣，我们可能只对最小或最大的一部分感兴趣。

当k为正时，我们想要得到最小的k个数
当k为负时，我们想要得到最大的k个数

np.partition(arr,kth=3) # 取出最小的3个数,没有单独返回给我,整体返回过来

#array([3, 4, 6, 7, 8])

数据分析-01 Numpy

原文：https://www.cnblogs.com/TodayWind/p/13768902.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年09月23日 (328)
2021年09月24日 (313)
2021年09月17日 (191)
2021年09月15日 (369)
2021年09月16日 (411)
2021年09月13日 (439)
2021年09月11日 (398)
2021年09月12日 (393)
2021年09月10日 (160)
2021年09月08日 (222)

数据分析-01 Numpy

一、概述

数据分析：是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律

数据分析三剑客：Numpy,Pandas,Matplotlib

NumPy(Numerical Python) 是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库。

一、创建ndarray

1. 使用np.array()创建

2. 使用np的routines函数创建

二、ndarray的属性

4个必记参数： ndim：维度 shape：形状（各维度的长度） size：总长度

dtype：元素类型

三、ndarray的基本操作 (重点)

1. 索引

2. 切片

3. 变形

4. 级联

级联需要注意的点：

级联的参数是列表：一定要加中括号或小括号

维度必须相同

形状相符:在维度保持一致的前提下，如果进行横向（axis=1）级联，必须保证进行级联的数组行数保持一致。如果进行纵向（axis=0）级联，必须保证进行级联的数组列数保持一致。

可通过axis参数改变级联的方向

5. 切分

与级联类似，三个函数完成切分工作：

np.split(arr,行／列号，轴):参数2是一个列表类型

np.vsplit

np.hsplit

6. 副本 Copy

四、ndarray的聚合操作

1. 求和np.sum

2. 最大最小值平均值：np.max/ np.min

3. 其他聚合操作

五、广播机制

六、ndarray的排序

1. 快速排序

2. 部分排序