hadoop集群 大数据项目实战_电信用户行为分析_day02

发布时间 2023-10-16 09:26:06作者: hello_world*

集群配置好后,运行一个小例子,统计单词

1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上

2.hdfs dfs -ls /output    将所有的文件显示出来

3.hdfs dfs -cat /output/  将所有的文件读取出来

 下载part-r-000000

安装Redis

1.下载Redis

wget https://download.redis.io/redis-stable.tar.gz
2.解压
tar -zxvf redis-stable.tar.gz
3.安装一些gcc编译库
yum install -y gcc g++ gcc-c++ make
4.编译并且安装
进入到redis的源码目录
make MALLOC=libc
make PREFIX=/bigdata/server/redis install
5.拷贝配置文件redis.conf并且修改
cd /bigdata/server/redis
mkdir {conf,data} # conf 配置文件目录 data 数据存放目录 log日志文件目录
cd /bigdata/soft/redis-stable
cp redis.conf /bigdata/server/redis/conf/
 
需要修改的东西
bind 0.0.0.0 # 配置可以所有的地址都可以访问redis
protected-mode no # 关闭保护模式
daemonize yes # 后台启动运行
dir  /bigdata/server/redis/data # 相关的数据和日志文件的存放目录
dbfilename dump.rdb # 数据文件存放
logfile "redis.log" # 指定logfile的文件名 默认没有日志文件
 
启动和关闭redis
# 启动redis
bin/redis-server conf/redis.conf
# 关闭redis
bin/redis-cli shutdown
# 登录到redis
bin/redis-cli