526互联

hdfs文件上传打包及bug汇总

发布时间 2023-05-26 14:09:35作者: 堕落先锋

1、错误: 找不到或无法加载主类

删除META-INFO下的 .DSA和 .SF文件即可

来源 csdn文章

2、ERROR org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file"

  Configuration localConf = new Configuration();
            //  ERROR org.apache.hadoop.fs.UnsupportedFileSystemException: No FileSystem for scheme "file"
            localConf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
            localConf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());

3、org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]

这个是第一次认证成功，之后认证失败的问题
手动加 SecurityUtil.setSecurityInfoProviders(new AnnotatedSecurityInfo());