copy 导入包含特殊符号的文本

发布时间 2023-06-06 15:38:02作者: KINGBASE研究院

客户提供了一份数据记录需要导入数据库,但是文本中有一个列的内容是反斜杠“\” ,因为""是特殊的转义字符,需要使用两个“\”才能表示,如果直接导入会出现错误。

自定义一个文件 1.txt 内容如下:
1,\,1

直接导入数据:

test=# copy t1 from '/home/kbnew/1.txt' DELIMITER ',';
错误:  字段 "c2" 缺少数据
背景:  COPY t1, 行 1: "1,\,1"

正确的处理方式:
1.使用format参数格式化文件的格式,因为在csv格式中\不是特殊字符

test=# copy t1 from '/home/kbnew/1.txt' (format csv ,DELIMITER ',');                  
COPY 1

2.使用program参数来调用shell对文本进行编辑后导入
PROGRAM:一个要执行的命令。在COPY FROM中,输入将从该命令的标准输出读取,注意该命令是由shell调用

test=# copy t1 from program 'sed ''s/\\/\\\\/g'' /home/kbnew/1.txt' DELIMITER ',';                 
COPY 1

通过shell调用sed命令将文本中的\替换为\。