动手学深度学习v2：数据操作+数据预处理

import torch
x=torch.arange(12)
# x的output为 tensor([0,1,2,3,4,5,6,7,8,9,10,11])

# 可以通过张量的shape属性来访问张量的形状和张量中元素的总数
x.shape
# output: torch.Size([12])
x.numel()
# output: 12

# 如果只想知道张量中元素的总数，即形状的所有元素乘积，可以检查它的大小（size）
x.size
# output: 12

# 想改变一个张量的形状而不改变元素数量和元素值，可以调用reshape函数
X=x.reshape(3,4)
# output: tensor([[0,1,2,3], [4,5,6,7], [8,9,10,11]])
''' 我们不需要通过手动指定每个维度来改变形状。 也就是说，如果我们的目标形状是（高度,宽度）， 那么在知道宽度后，高度会被自动计算得出，不必我们自己做除法。 在上面的例子中，为了获得一个3行的矩阵，我们手动指定了它有3行和4列。 幸运的是，我们可以通过-1来调用此自动计算出维度的功能。 即我们可以用x.reshape(-1,4)或x.reshape(3,-1)来取代x.reshape(3,4)。'''

''' 有时，我们希望[使用全0、全1、其他常量，或者从特定分布中随机采样的数字]来初始化矩阵。 我们可以创建一个形状为（2,3,4）的张量，其中所有元素都设置为0。'''
torch.zeros((2, 3, 4))
''' tensor([[[0., 0., 0., 0.],
         [0., 0., 0., 0.],
         [0., 0., 0., 0.]],

        [[0., 0., 0., 0.],
         [0., 0., 0., 0.],
         [0., 0., 0., 0.]]]) '''

# 同样，我们可以创建一个形状为(2,3,4)的张量，其中所有元素都设置为1
torch.ones((2,3,4))

''' 我们还可以[通过提供包含数值的Python列表（或嵌套列表），来为所需张量中的每个元素赋予确定值]。 在这里，最外层的列表对应于轴0，内层的列表对应于轴1。 '''
torch.tensor([[2, 1, 4, 3], [1, 2, 3, 4], [4, 3, 2, 1]])
''' tensor([[2, 1, 4, 3],
        [1, 2, 3, 4],
        [4, 3, 2, 1]]) '''

x = torch.tensor([1.0, 2, 4, 8])
y = torch.tensor([2, 2, 2, 2])
x + y, x - y, x * y, x / y, x ** y  # **运算符是求幂运算
''' output: (tensor([ 3.,  4.,  6., 10.]),
 tensor([-1.,  0.,  2.,  6.]),
 tensor([ 2.,  4.,  8., 16.]),
 tensor([0.5000, 1.0000, 2.0000, 4.0000]),
 tensor([ 1.,  4., 16., 64.])) '''

''' [我们也可以把多个张量连结（concatenate）在一起]， 把它们端对端地叠起来形成一个更大的张量。 我们只需要提供张量列表，并给出沿哪个轴连结。 下面的例子分别演示了当我们沿行（轴-0，形状的第一个元素） 和按列（轴-1，形状的第二个元素）连结两个矩阵时，会发生什么情况。 我们可以看到，第一个输出张量的轴-0长度（ 6 ）是两个输入张量轴-0长度的总和（ 3+3 ）； 第二个输出张量的轴-1长度（ 8 ）是两个输入张量轴-1长度的总和（ 4+4 ） '''
X=torch.arange(12, dtype=torch.float32).reshape((3,4))
Y=torch.tensor([[2.0,1,4,3], [1,2,3,4], [4,3,2,1]])
torch.cat((X,Y),dim=0), torch.cat((X,Y),dim=1)
''' output: (tensor([[ 0.,  1.,  2.,  3.],
         [ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.],
         [ 2.,  1.,  4.,  3.],
         [ 1.,  2.,  3.,  4.],
         [ 4.,  3.,  2.,  1.]]),
 tensor([[ 0.,  1.,  2.,  3.,  2.,  1.,  4.,  3.],
         [ 4.,  5.,  6.,  7.,  1.,  2.,  3.,  4.],
         [ 8.,  9., 10., 11.,  4.,  3.,  2.,  1.]])) '''

''' 有时，我们想[通过逻辑运算符构建二元张量]。 以X == Y为例： 对于每个位置，如果X和Y在该位置相等，则新张量中相应项的值为1。 这意味着逻辑语句X == Y在该位置处为真，否则该位置为0。 '''
X == Y
''' output: tensor([[False,  True, False,  True],
        [False, False, False, False],
        [False, False, False, False]]) '''

# 对张量中的所有元素进行求和，会产生一个单元素张量。
X.sum()
# output: tensor(66.)

a = torch.arange(3).reshape(3, 1)
b = torch.arange(2).reshape(1, 2)
a, b
''' output: (tensor([[0],
         [1],
         [2]]),
 tensor([[0, 1]])) '''

''' 由于a和b分别是 3×1 和 1×2 矩阵，如果让它们相加，它们的形状不匹配。 我们将两个矩阵广播为一个更大的 3×2 矩阵，如下所示：矩阵a将复制列， 矩阵b将复制行，然后再按元素相加。 '''

a+b
''' output: array([[0., 1.],
       [1., 2.],
       [2., 3.]]) '''

X, X[-1], X[1:3]
''' output: (tensor([[ 0.,  1.,  2.,  3.],
         [ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.]]),
 tensor([ 8.,  9., 10., 11.]),
 tensor([[ 4.,  5.,  6.,  7.],
         [ 8.,  9., 10., 11.]])) '''

# 除读取外，我们还可以通过指定索引来将元素写入矩阵。
X[1, 2] = 9
X
''' output: array([[ 0.,  1.,  2.,  3.],
       [ 4.,  5.,  9.,  7.],
       [ 8.,  9., 10., 11.]]) '''

''' 如果我们想[为多个元素赋值相同的值，我们只需要索引所有元素，然后为它们赋值。] 例如，[0:2, :]访问第1行和第2行，其中“:”代表沿轴1（列）的所有元素。 虽然我们讨论的是矩阵的索引，但这也适用于向量和超过2个维度的张量。 '''
X[0:2, :] = 12
X
''' output: array([[12., 12., 12., 12.],
       [12., 12., 12., 12.],
       [ 8.,  9., 10., 11.]]) '''

before = id(Y)
Y = Y + X
id(Y) == before
# output: False

# 执行原地操作
Z = torch.zeros_like(Y)
print('id(Z):', id(Z))
Z[:] = X + Y
print('id(Z):', id(Z))

before = id(X)
X[:] = X + Y
id(X) == before
# output: True, 写成X=X+Y就是False

A = X.numpy()
B = torch.tensor(A)
type(A), type(B)
# output: (numpy.ndarray, torch.Tensor)

a = torch.tensor([3.5])
a, a.item(), float(a), int(a)
# output: (tensor([3.5000]), 3.5, 3.5, 3)

import os

os.makedirs(os.path.join('..', 'data'), exist_ok=True)
data_file = os.path.join('..', 'data', 'house_tiny.csv')
with open(data_file, 'w') as f:
    f.write('NumRooms,Alley,Price\n')  # 列名
    f.write('NA,Pave,127500\n')  # 每行表示一个数据样本
    f.write('2,NA,106000\n')
    f.write('4,NA,178100\n')
    f.write('NA,NA,140000\n')

import pandas as pd

data = pd.read_csv(data_file)
print(data)
''' output:
   NumRooms Alley   Price
0       NaN  Pave  127500
1       2.0   NaN  106000
2       4.0   NaN  178100
3       NaN   NaN  140000 '''

inputs, outputs = data.iloc[:, 0:2], data.iloc[:, 2]
inputs = inputs.fillna(inputs.mean())
print(inputs)
''' output: 
   NumRooms Alley
0       3.0  Pave
1       2.0   NaN
2       4.0   NaN
3       3.0   NaN ''' 

inputs = pd.get_dummies(inputs, dummy_na=True)
print(inputs)
''' output: 
   NumRooms  Alley_Pave  Alley_nan
0       3.0           1          0
1       2.0           0          1
2       4.0           0          1
3       3.0           0          1 ''' 

import torch

X, y = torch.tensor(inputs.values), torch.tensor(outputs.values)
X, y

''' output: 
(tensor([[3., 1., 0.],
         [2., 0., 1.],
         [4., 0., 1.],
         [3., 0., 1.]], dtype=torch.float64),
 tensor([127500, 106000, 178100, 140000])) '''