2023.7.22-假期周进度报告

发布时间 2023-07-22 15:55:36作者: 张旭彤

本周(7.16-7.22)主要学习大数据相关的最基本知识。下周准备进行休息。

周日,进行VMware的下载和虚拟机镜像的下载和安装,完成了VMware的下载和安装,虚拟机的下载和安装,VMnet8虚拟网卡的基本配置,虚拟机主机名和ip地址的配置,遇到了虚拟机镜像下载慢的问题,解决方法是从所看课程中给的资料进行下载。

周一,进行FinalShell的下载和虚拟机基本信息的配置,完成了FinalShell的下载安装,SSH免密登录的相关配置,hadoop用户的创建和免密登录的配置,JDK的配置,防火墙和SELinux的关闭,时区同步的修改,遇到了按照教程的代码执行错误的问题,解决方法是仔细检查,区别字母C的大小写,区别反引号的单引号。

周二,进行HDFS集群的部署,完成了集群的上传解压,配置文件的修改,数据目录的准备,环境变量的修改,文件夹权限的授权,文件系统的格式化,集群的打开,遇到了配置文件代码太多的问题,解决方法是从课程提供的ppt中复制。

周三,进行HDFS的相关配置,完成了WEB UI的相关配置,Big Data Tools的配置,NFS的相关尝试,遇到了Windows的NFS需要专业版的问题,解决方法是将虚拟机恢复快照,这个功能不弄了。

周四,进行MapReduce&YARN的部署,完成了相关配置文件的修改和分发,集群的启动和历史服务器的启动,遇到了代码过多且ppt中给的代码为图片的问题,解决方法是发现ppt中的文件可以打开,打开文件进行复制。

周五,进行hive的安装配置,完成了MySQL数据库的安装,Hadoop的配置,hive的下载解压,MySQL驱动包的放置,hive的配置,元数据库的初始化,hive的启动,HiveServer2的启动,遇到了启动后电脑特别卡的问题,解决方法是不学了,下周休息。

周六,进行每周总结的编写,完成了每周总结的编写,遇到了忘记了前几天每天分别做了什么的问题,解决方法是对照着学习时写的大数据学习笔记-Hadoop到Hive的安装和最基本配置进行编写。