hadoop apache org rpcnosuchprotocolexception
apache 代码库的语言分布
apache 代码库的语言分布排行榜： html java xml c++ json javascript c python 对这个排行多少有些意外。首先，php 没有进入前八，javascript 排行不高。xml/json 排行之高在于大部分人还是喜欢用文件做数据存储？或者是因为项目数据比较小？ ......
Apache POI读取单元格多文本多样式
**需求：**读取excel单元格数据（文本和部分样式）,并拼接成html代码。 ###代码实现 ``` /** * 工作簿 */ private Workbook wb; /** * 导入的excel类型 */ private String excelType； /** * 2003-2007版本 ......
如何使用Apache服务器加载JS和CSS文件
Apache服务器是一款常见的网页服务器软件，可以运行在多个操作系统下，如Linux、Unix、Windows等。对于网站开发者而言，如何使用Apache服务器来加载JS和CSS文件是一项非常重要的技能。在本文中，我们将为你介绍如何使用Apache服务器来加载JS和CSS文件。 一、什么是JS和CS ......
Linux系统Apache报错httpd: Could not reliably determine the server's fully qualified domain name, using localhost.localdomain. Set the 'ServerName' directive globally to suppress this message
解决办法： 在配置文件中加一句ServerName localhost:端口号 # echo "ServerName localhost:8068" >> /etc/httpd/conf/httpd.conf 重启Apache即可解决。 ......
使用 Apache SeaTunnel 实现 Kafka Source 解析复杂Json 案例
 > 版本说明： > > SeaTunnel：apache-seatunnel-2.3.2-SNAPHOT ......
Docker: Temporary failure resolving 'deb.debian.org'
坑爹啊 docker安装某个软件 然后就报这个错 然后重启下docker就好了 Docker: Temporary failure resolving 'deb.debian.org' 或者修改下/etc/docker/daemon.json 再重启 { "dns": ["8.8.8.8", "8. ......
hadoop安装
# hadoop安装 ## 零、hadoop启动命令 ```shell start-all.sh start-dfs start-yarn hadoop-deamons.sh yarn-deamons.sh hadoop-deamon.sh yarn-deamon.sh mr-jobhistorys ......
yum报错Could not resolve host: mirrorlist.centos.org; Unknown error解决方法
报错如下图： 原因是DNS没有配置 解决方法： 1、修改对应网卡的配置：/etc/sysconfig/network-scripts/ifcfg-enp4s0 在最后一行添加DNS的配置 a 2、重启网络服务 systemctl restart network 3、重新安装即可成功 ......
Linux系统Apache添加监听端口后无法启动服务并报错：Job for httpd.service failed because the control process exited with error code. See "systemctl status httpd.service" and "journalctl -xeu httpd.service" for details.
导言：这是SE Linux安全机制导致的。 解决方法： 1.查看当前httpd端口 # semanage port -l|grep http 2.将对应端口加入SE Linux，以8068为例 # semanage port -a -t http_port_t -p tcp 8068 3.再次查看 ......
Hadoop的hdfs云服务器配置踩坑记录
本章更多的是通过hdfs的API接口问题角度记录坑点 # 坑点记录 ## 一、能够远程访问和通过web端访问hdfs 1. 在java代码中添加或更改如下： ```java Configuration conf = new Configuration(); conf.set("dfs.client. ......
java语言apache.poi对word相关操作
``` package com.xxx.business.utils; import com.alibaba.fastjson.JSONObject; import com.deepoove.poi.xwpf.NiceXWPFDocument; import com.xxx.business.cou ......
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统
课程实用性很强，老师讲的很透彻，都是面试容易问到的；紧扣当前企业所用技术，对于从事大数据或者转行大数据行业，都有很大的帮助。 比屋教育，秉承“活学活用”的教育理念，集合资深专家讲师团队，依托完善的线上教学管控平台，专注于大数据、云计算、互联网架构师等领域的职业技能培训，着力培养满足互联网企业实际需求 ......
Hadoop大数据2
HDFS 文件系统 overview9870 8088 shell操作 echo如果，没有它会自己创建 上传不必加本地和外部前缀他会根据默认自动识别 echo 输入的内容和cin要各有空格，否则它不会生效 文件夹只有用门槛低而 或者递归创建 文件夹是没有大小的，只存储具体的一个个文件 文件夹后面不用 ......
启动Hadoop时需要进行的操作
首先切换到hadoop用户 su - hadoop 启动hdfs集群 start-dfs.sh 启动yarn集群 start-yarn.sh 启动hive 首先切换到hive文件夹 cd /export/server/hive 然后再运行下述命令 #先启动metastore服务 然后启动hivese ......
hadoop学习笔记第一次
这周学习了大数据之hadoop，这一周的学习主要围绕在hadoop集群配置及其华宁的搭建，hadoop是采用多态服务器的分布式系统，主要的核心就是hdfs,mapreduce,yarn等等，hadoop配置时候在主机上遇到了蛮多的问题现在就来记录一下。 1.首先是一些基础命令： 回退/进入目录命令： ......
Hadoop大数据
Apache基金会项目 从角色每个节点都要有 主角色只有一个 打开虚拟机一定要以管理员权限打开，不然有些文件它无法访问 恢复内容开始 Apache基金会项目 从角色每个节点都要有 主角色只有一个 打开虚拟机一定要以管理员权限打开，不然有些文件它无法访问 配置集群虚拟机 首先配置vmnet8网卡 修改 ......
Python使用hdfs上传文件至hadoop报错
报错代码： from hdfs.client import Client hdfs_client = Client('http://IP:端口') hdfs_client.makedirs(hdfs_dir) 在与hadoop创建链接后建文件夹时报错 报错信息： requests.exception ......
万字长文 | Hadoop 上云： 存算分离架构设计与迁移实践
一面数据原有的技术架构是在线下机房中使用 CDH 构建的大数据集群。自公司成立以来，每年都保持着高速增长，业务的增长带来了数据量的剧增。 在过去几年中，我们按照每 1 到 2 年的规划扩容硬件，但往往在半年之后就不得不再次扩容。而每次扩容都需要花费大量精力。 **为了解决包括扩容周期长、计算存储资源 ......
用户案例 | Apache DolphinScheduler 离线调度在自如多业务场景下的应用与实践
 ## 用户案例 | 自如 随着自如业务的快速发展，不断增长的调度任务和历史逾万的存量任务对平台稳定性提 ......
重磅预告！Apache DolphinScheduler 3.2.0 新功能“剧透”
 近期，Apache DolphinScheduler 将迎来 3.2.0 版本的到来。本次发版为大版本 ......
Scala连接Hbase集群出现异常tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
总结/朱季谦 在新项目上创建以下Scala代码去连接Hbase集群，用来判断Hbase是否存在某张表。 ``` //离线Hbase val conf: Configuration = HBaseConfiguration.create() conf.set("hbase.zookeeper.quor ......
Hadoop MapReduce编写实现序列化统计各学生的总分
Map类 package org.example.score; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; i ......
安装Hadoop单节点伪分布式集群
[toc] # 安装Hadoop单节点伪分布式集群 操作系统：Ubuntu server 20.04 参考文档：`http://apache.github.io/hadoop/hadoop-project-dist/hadoop-common/SingleCluster.html` ## 系统准备 ......
web安全中间件-apache,tomcat,weblogic,websphere,jboss
apache常见漏洞 1.未知拓展名解析漏洞 2.AddHandler导致的换行解析漏洞 3.Apache HTTPD 换行解析漏洞 漏洞原理：在于$符号，正则表达式中$不仅匹配字符串结尾位置，也匹配\n,\r 解析php 1.php\x0A会将php后缀进行解析绕过一些服务器的安全策略 影响范围： ......
hadoop基础-hadoop启动脚本分析及常见命令
进程 [hdfs]start-dfs.sh NameNode NN DataNode DN SecondaryNamenode 2NN [yarn]start-yarn.sh ResourceMananger RM NodeManager NM 脚本分析 sbin/start-all.sh libe ......
【Apache Solr CVE-2017-12629】
Apache Solr 是一个开源的搜索服务器。Solr 使用 Java 语言开发，主要基于 HTTP 和 Apache Lucene 实现。原理大致是文档通过 Http 利用 XML 加到一个搜索集合中。查询该集合也是通过 http 收到一个 XML/JSON 响应来实现。此次 7.1.0 之前版 ......
pom.xml增加Mybatisplus的依赖后报错：Factory method 'sqlSessionFactory' threw exception; nested exception is java.lang.NoClassDefFoundError: org/mybatis/logging/LoggerFactory
出现上面的问题，是版本不匹配导致。 <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.2.0</version ......
nvm安装node报错Get "https://nodejs.org/dist/latest/SHASUMS256.txt": dial tcp 104.20.23.46:443: i/o timeout
windows上通过nvm管理node版本，在本地安装了nvm后，通过nvm安装node，报错了，信息： Could not retrieve https://nodejs.org/dist/latest/SHASUMS256.txt. Get https://nodejs.org/dist/lat ......
Hadoop中hive的使用
启动元数据管理服务（必须启动，否则无法工作） 前台启动：bin/hive --service metastore 后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 & 启动客户端 Hive Shell方式（可以直接写 ......