DWS创建HDFS外部服务器

CREATE SERVER hdfs_server FOREIGN DATA WRAPPER HDFS_FDW OPTIONS 
   (address '10.147.194.244:8020,10.147.194.86:8020',
    hdfscfgpath '/MRS/38a16987-7843-42f5-b6f4-0d08ee3b522f', 
    type 'HDFS'
) ;

//说明

以下为必选参数的说明：

• 外部服务器名称

  允许用户自定义名字。

  在本例中，指定为前面的步骤2中记录下来的srvname字段的值，如'hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca'。

  不同的数据库之间资源是隔离的，因此在不同的数据库中外部服务器名称可以相同。

• FOREIGN DATA WRAPPER

  只能指定为HDFS_FDW，它在数据库中已经存在。

• OPTIONS参数
  以下参数请分别指定为步骤2中记录下来的srvoptions中的参数值。

  • address

    指定HDFS集群的主备节点所在的IP地址以及端口。

  • hdfscfgpath

    指定HDFS集群配置文件路径。该参数仅支持type为HDFS时设置。只能设置一个路径。

  • type

    取值为'hdfs'，表示HDFS_FDW连接的是HDFS。

CREATE FOREIGN TABLE IF NOT EXISTS dwi.jy_bus_comp_veh_cost
(
id                  text         ,--ID
v_year          text         ,--年份
v_month          text         ,--月份
v_date          text         ,--日期
v_update_date       text            ,--更新日期
v_brand          text         ,--品牌
v_tran_mod      text         ,--运输方式
v_cost          decimal(32,8) ,--成本
v_extend1      text         ,--扩展字段1
v_extend2      text         ,--扩展字段2
v_extend3      text         ,--扩展字段3
v_extend4      text         ,--扩展字段4
v_extend5      text         ,--扩展字段5
v_createtime     text            ,--创建时间
v_creator      text            ,--创建人
v_lasttime      text         ,--最后修改时间
v_lastor      text         ,--最后修改人
insert_tm           text            ,--插入时间
dt                 text       --时间分区
)
SERVER hdfs_server
OPTIONS
(
    FORMAT 'orc',
    encoding 'utf8',
    FOLDERNAME '/user/hive/warehouse/prod_sdi_ccl.db/jy_bus_comp_veh_cost/'
)
DISTRIBUTE BY
     roundrobin
PARTITION BY
     (dt) AUTOMAPPED;