服务器hadoop hdfs
GeoServer发布地图服务（WMS、WFS）
目录1. 概述2. 矢量数据源3. 栅格数据源 1. 概述 我们知道将GIS数据大致分成矢量数据和栅格数据（地形和三维模型都是兼具矢量和栅格数据的特性）。但是如果用来Web环境中，那么使用图片这个栅格形式的数据载体无疑是最为方便的，因为图片本身就是一种非常重要的GUI元素，使用非常广泛。另外，基于矢 ......
WIN11 WSL2 Ubuntu22.04 局域网访问WSL2服务
WIN11 WSL2 Ubuntu22.04 局域网访问WSL2服务 https://blog.csdn.net/u011255605/article/details/131700529 WIN11 下管理员运行 Windows PowerShell执行 netsh interface portpr ......
在 kubernetes 中自定义名字解析，通过名称访问局域网主机上的服务
在很多情况下，我们希望 kubernetes 中的软件通过名称来访问已经安装在物理服务器上的传统服务，而不是 IP 地址。有几个方法： 修改 kubernetes 的 DNS 解析，使用局域网 DNS 服务器作为上游解析器 如果局域网没有 DNS 服务器，可以在 kubernetes 中注册物理服务 ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
Hadoop之mapreduce参数大全-1
1.设置Map/Reduce任务允许使用的最大虚拟内存大小 mapred.task.maxvmem是MapReduce的一个配置参数，用于指定每个Map/Reduce任务允许使用的最大虚拟内存大小（以字节为单位）。如果一个任务使用的虚拟内存超过了此参数指定的值，则任务会被认为是失败的，并且MapRe ......
Hadoop之mapreduce参数大全-2
26.指定在Reduce任务在shuffle阶段的网络重试之间的最大延迟时间 mapreduce.reduce.shuffle.retry-delay.max.ms是Apache Hadoop MapReduce任务配置中的一个属性，用于指定在Reduce任务在shuffle阶段的网络重试之间的最大 ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
NGINX - 高级负载均衡器、Web服务器、反向代理
目录一、概述二、正向代理与反向代理解读1）正向代理2）反向代理三、NGINX 四层与七层代理1）NGINX 四层代理2）NGINX 七层代理四、NGINX 安装1）yum 安装2）源码编译安装1、下载源码包2、编译3）access 与 error 日志配置1、log_format 字段讲解2、配置访 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-7 watcher常用使用场景
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12703 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
中间件 ZK分布式专题与Dubbo微服务入门 4-4 理解watcher机制
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12700 1 重点关注 1.1 理解watcher机制 针对每个节点的操作，都会有一个监督者 wathcer 当监控的某个对象 ( znode) 发生了变化，则触发watcher事件 zk中的w ......
服务器监控 各指标
服务器监控：CPU、 内存、网络、磁盘 CPU：内存：看内存使用情况 free -m， 会显示内存的使用情况，包括总内存量、已用、空闲、缓冲区和缓存等。 -m 参数表示以兆字节为单位显示内存量。 top 实时监控内存变化情况；mpstat 命令： 用于显示每个 CPU 的使用情况统计信息。在终端中输 ......
srs音视频服务器的配置与解析
srs4的配置文件如下，1935用来RTMP推流（OBS），1985用来访问srs控制台，8080用来访问直播画面： # main config for srs. # @see full.conf for detail config. listen 1935; max_connections 100 ......
HDFS 转dataframe
import pyarrow.parquet as pq from pyarrow import fs # 创建Hadoop文件系统对象 fs = fs.LocalFileSystem() hadoop_path = "hdfs://<your-hdfs-address>/<csv-file>" # ......
云服务器重装系统以后，ssh远程连接报错解决方法
出错点： (base) *@**demac ~ % ssh ubuntu@49.*.229.21 @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS ......
配置SSH-Key远程免密访问云服务器和GitHub
之前一直是将这类开发环境配置步骤记录在GitHub的一个repo上，考虑将这类非频繁使用但又偶尔配置一次的事务做成一个repo知识库，但是GitHub经常打不开，访问起来又麻烦，而且修改起来还需要git管理，做一些图文交叉的blog也不方便。所以2024年开始还是在博客园更新吧，也方便随时索引浏览。 ......
Ubuntu搭建邮件服务器
转载：原文链接 前言 关于邮件服务器的工作原理我就不再赘述了。Postfix是优秀的MTA，而Dovecot则是优秀的MDA。前者负责发信、收信，提供smtp服务；后者负责邮件保存到邮箱，提供pop3和imap服务。 这里介绍使用Postfix+Dovecot模式的邮件服务系统，同时Postfix使 ......
CentOS7 安装配置SFTP服务器详解
https://blog.csdn.net/weixin_45688268/article/details/126355365CentOS7 安装配置SFTP服务器详解AquaMriusC于 2022-08-15 21:39:26 发布阅读量1w 收藏 56点赞数 7分类专栏： 虚拟机与云服务器 文 ......
k8s云原生的服务-Load Balancer服务以及三种服务对比
Kubernetes本身提供了Load Balancer类型的服务，但没有提供该服务的实现。目前除了使用公有云的LB，已经有MetalLB、OpenELB等可用的私有化第三方实现。本文将使用MetalLB在私有实验环境中安装MetalLB，并建立可用的Load Balancer服务。作为对比，详细给... ......
PXE服务器是一种基于网络引导的操作系统安装和部署技术，未来的发展方向主要包括以下几个方面
PXE服务器是一种基于网络引导的操作系统安装和部署技术，未来的发展方向主要包括以下几个方面： 支持更多的硬件平台：未来的PXE服务器将继续扩展其支持的硬件平台范围，包括不同厂商、不同型号的计算机、服务器、移动设备等，以满足用户多样化的需求。 更高效的网络传输：未来的PXE服务器将采用更高效的网络传输 ......
设计你生活的Hadoop yarn
去年十月份，我决定考雅思。然而，除了这项任务之外，我还有其他四个主要任务需要同时兼顾：学校的学业、数据结构和算法的学习、LeetCode的刷题以及大数据网课的学习。这五项任务都非常重要，但由于每天可用于学习的时间是固定的，我发现很难在这些任务之间找到平衡。事实上，在当时我并没有达到良好的平衡，因此结 ......
IDEA使用阿里镜像服务创建SpringBoot项目
问题： 经常通过IDEA的spring initializr创建springboot项目会报超时 解决方案 创建时用阿里镜像服务:https://start.aliyun.com 结果 秒创建 ......
python web服务 flask服务
前言全局说明 python 提供的web服务 一、运行一个HTTP服务器 python3 -m http.server 8000 python2 -m SimpleHTTPServer 网页启动路径，就是当前执行命令路径 二、运行 Flask 服务 使用python 自带的web服务器 python ......
简单的数据流服务端和客户端实现
网页客户端 : <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" con ......
TDSQL(MySQL版本)集群增加hdfs节点
一、需求：1、在原有集群上面增加3个hdfs节点，替换掉之前的hdfs；2、将替换掉的3台hdfs中2台 变成proxy节点，增加到第一套集群 二、参考文档：腾讯云数据库 TDSQL MySQL版_V10.3.19.x.x_部署指南（注意不要使用其中的nokey.sh脚本） 三、操作步骤：1、启动a ......
Python获取服务器IP地址
一、依赖 import socket 二、获取 # 获取计算机名称 hostname = socket.gethostname() # 获取本机IP ip = socket.gethostbyname(hostname) 三、结果 ......
直播系统源码，利用重试机制保证服务稳定性
场景 在直播系统源码中有些服务依赖第三方服务或者其他服务，但有时第三方服务偶发性出现问题并且会快速的恢复，而直播系统源码可能因为这些偶发性出现问题。所以无法保证以来服务的可靠性，但是我们可以通过其他的方式来保证我们的服务是稳定的，可靠的。重试机制可以协助我们构建健壮的直播系统源码服务。比如调用第三方 ......
安卓开启ssh服务
Android SSH服务 我在Android手机上安装运行SSH服务的原因是我想把Android手机作为一个超级移动Linux主机来使用，能够透明地检查Android上的服务和程序，方便传输数据。 Android上的sshd服务分为两类： 需要root之后才能安装使用，如 DropBear Ser ......
# 公用服务器配置个人工作仓库
公用服务器配置个人工作仓库 有一些服务器需要多个用户进行访问，但是ssh账号和工作空间又只有一个，同时又不希望和这个ssh账号下的所有用户共享git账号，可以通过配置代码库本地ssh密钥以实现工作空间隔离。 生成并配置密钥 首先登录服务器，进入路径~/.ssh 输入以下命令以生成ssh密钥对 ssh ......
openEuler欧拉使用sshpass不输入密码远程登录其他服务器
ssh登陆不能在命令行中指定密码，sshpass 的出现则解决了这一问题。用 -p 参数指定明文密码，然后直接登录远程服务器，它支持密码从命令行、文件、环境变量中读取。 操作步骤： 一、关闭防火墙 systemctl stop firewalld systemctl disable firewa ......