当将大型CSV文件拆分成较小的文件时，您可以使用Python的Pandas库来处理
导入必要的库
import pandas as pd
定义拆分函数
当定义拆分函数时，我们将在以下步骤中处理CSV文件的拆分
def split_csv(input_file, chunk_size): # 读取CSV文件 dtype_options = {'column9': str, 'column26': str, 'column27': str, 'column28': str} df = pd.read_csv(input_file, dtype=dtype_options, low_memory=False)
首先，我们使用pd.read_csv()函数从指定的CSV文件中读取数据。在这个例子中，我们还为某些列指定了数据类型选项，以确保正确解析这些列的内容。您可以根据实际情况调整这些选项。
接下来，我们需要计算拆分数据框的次数：
num_chunks = len(df) // chunk_size + 1
我们使用len(df)获取数据框中的总行数，并通过将其除以拆分大小并向上取整来计算拆分的次数。
然后，我们进行实际的拆分操作，并将每个拆分后的数据框保存为单独的CSV文件：
for i in range(num_chunks): start_idx = i * chunk_size end_idx = (i + 1) * chunk_size chunk_df = df.iloc[start_idx:end_idx] output_file = f'output_chunk_{i + 1}.csv' chunk_df.to_csv(output_file, index=False)
在循环中，我们按照拆分大小切片数据框，并将切片后的数据框保存为一个命名为 output_chunk_{i + 1}.csv 的CSV文件。这里使用了格式化字符串以便为每个拆分文件指定一个唯一的编号。
调用拆分函数
if __name__ == "__main__": # 定义输入文件和拆分大小 input_file = r'C:\Users\Administrator\Desktop\数据核对\Result_19.csv' chunk_size = 500000 # 调用拆分函数 split_csv(input_file, chunk_size)
完整代码
import pandas as pd def split_csv(input_file, chunk_size): # 读取CSV文件 dtype_options = {'column9': str, 'column26': str, 'column27': str, 'column28': str} df = pd.read_csv(input_file, dtype=dtype_options, low_memory=False) # 计算拆分的次数 num_chunks = len(df) // chunk_size + 1 # 拆分数据框并保存为多个CSV文件 for i in range(num_chunks): start_idx = i * chunk_size end_idx = (i + 1) * chunk_size chunk_df = df.iloc[start_idx:end_idx] output_file = f'output_chunk_{i + 1}.csv' chunk_df.to_csv(output_file, index=False) if __name__ == "__main__": # 替换以下行中的文件名和拆分大小 input_file = r'C:\Users\Administrator\Desktop\数据核对\Result_19.csv' chunk_size = 500000 split_csv(input_file, chunk_size)