hadoop集群
基于k8s的statefulset+pv安装mysql5.7主从集群
前提假设： 1.已安装k8s环境； 2.因为我使用nfs作为pv存储介质，所以需要预先配置好nfs服务 nfs安装可参考：https://blog.csdn.net/wudinaniya/article/details/81068518 步骤： 1.规划mysql持久化文件在nfs中的存储路径； 2 ......
本地搭建的Redis集群中实现配置DB0到DB255
要在本地搭建的Redis集群中实现配置DB0到DB255，需要执行以下步骤：1. 编辑Redis配置文件（redis.conf）： 使用文本编辑器打开redis.conf文件，找到以下配置项： ``` # Set the number of databases. The default databa ......
nacos集群搭建
用nginx监听80端口作为nacos集群入口,nginx会作三个nacos的负载均衡，java微服务注册直接填nginx的地址，nacos上的配置文件数据会存储到数据库 ......
Kubernetes初探[1]：部署您的第一个ASP.NET Core应用到k8s集群
原文：https://www.cnblogs.com/wl-blog/p/16936019.html Kubernetes简介 Kubernetes是Google基于Borg开源的容器编排调度引擎，作为CNCF（Cloud Native Computing Foundation）最重要的组件之一，它 ......
EasyGBS视频融合平台流媒体集群操作手册
EasyGBS平台下属管理的流媒体服务系统可以通过网络为用户提供视频直播、点播服务，在用户量较小的情况下，可以通过单台流媒体服务器为用户提供直播或点播等服务。随着用户量的迅速上升和用户区域的扩大，单台流媒体服务器的服务能力已经无法满足大并发的需求。因此，我们迫切需要有其他流媒体服务器来分担单台流媒体 ......
docker-compose部署nacos集群2.2.3操作
version: "3.8" services: nacos1: image: nacos/nacos-server:${NACOS_VERSION} container_name: nacos1 networks: nacos_net: ipv4_address: 172.16.238.10 vo ......
现阶段Java高可用集群架构与微服务架构的简单分析
一、如何选择 1、高可用集群 适用于中小型创业公司项目架构，小型技术团队快速迭代版本发布部署需求，前期低成本运行，爆发时可通过投入适量成本横向扩容服务器抗压。 有需要大厂面经和面试技巧思维导图的朋友可以点进去了解一下，点击——【传送门】——即可！ 特点： 前期技术开发成本低 一定的服务器扩容成本 核 ......
Java开发 - 带你了解集群间的相互调用，你还在等什么？
Java开发 - 带你了解集群间的相互调用，你还在等什么？ 前言 前文中，对Redis的集群做了详细的讲解，能一路读到这里的相信你们对集群的概念已经基本了解，今天博主要带给大家的是集群之间的相互调用，同时还带负载均衡，这也是目前比较流行的集群使用方法，可以有效避免故障时对整个系统造成影响。既然有集群 ......
本机hadoop version命令报错--JAVA_HOME is not set问题的解决
问题描述 输入hadoop version命令显示JAVA_HOME没有配置，但是本机的jdk配置正常！ 问题解决 编辑hadoop/etc/hadoop目录下的hadoop-env.cmd文件： 将JAVA_HOME的值换成本机的绝对路径； 保存退出，再次尝试： ......
配置本机的hadoop环境
1、下载对应的hadoop的压缩包和winutils包 并将下载好的包解压到自己对应的目录下面； 2、添加环境变量 在系统变量那里新增hadoop的本机路径： 在系统变量的Path里面新增： (C:\Program Files\NVIDIA Corporation\Nsight Compute 20 ......
rancher 导入k8s集群
cat rancher.sh docker run -d --privileged --restart=unless-stopped -p 81:80 -p 1443:443 rancher/rancher:stable Rancher 登录地址： https://172.22.0.11:1443/ ......
Elasticsearch7.x - 集群部署
目录1. 软件下载2. 集群部署3. 创建账户4. 集群搭建Linux集群搭建Windows集群搭建 1. 软件下载 软件下载地址：https://www.elastic.co/cn/downloads/past-releases/ 2. 集群部署 多个不同的节点(es)要提供不同的端口号，将集群当 ......
Hadoop入门
第一章 Hadoop概述 1.1 Hadoop是什么 Hadoop是一个由Apache基金会所开发的分布式系统基础架构 主要解决，海量数据的存储和海量数据的分析计算问题 广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈 1.2 Hadoop优势 高可靠性：Hadoop底层维护多 ......
vmware集群 vSAN HCL 数据库
HCL数据库升级 https://partnerweb.vmware.com/service/vsan/all.json VSAN版本目录升级 https://vcsa.vmware.com/ph/api/v1/results?deploymentId=2d02e861-7e93-4954-9a73 ......
(Windows Hadoop环境配置)IDEA：ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path
ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path 出错原因：还没有在windows上配置hadoop环境变量。 解决：在windows上配置hadoop环境变量 参考：windows下缺少 ......
Linux 集群管理工具（ClusterShell、PSSH）
Linux 集群管理工具是用于管理多台 Linux 服务器或计算机的工具，可以通过它们来执行命令、分发文件、监控系统等 两个常用的 Linux 集群管理工具是 ClusterShell 和 PSSH（Parallel SSH），它们分别有不同的功能和用途 ClusterShell 特点： Clust ......
filebeat收集nginx日志到redis，logstash从redis取日志到es集群
#在filebeat服务器安装nginx并且配置json格式的日志 root@ubuntu:~# cat /etc/nginx/nginx.conf user www-data; worker_processes auto; pid /run/nginx.pid; include /etc/ngin ......
Helm CLI部署wordpress到ACK集群
wget https://labfileapp.oss-cn-hangzhou.aliyuncs.com/helm-v3.9.0-linux-amd64.tar.gz tar -zxvf helm-v3.9.0-linux-amd64.tar.gz mv linux-amd64/helm /usr/ ......
19C RAC更换OCR磁盘组后，ASM密码认证导致集群CRSD服务无法启动
前言 一套19.19的RAC，OCR所在的ASM磁盘组从+GRID更换为+DG_GRID，然后强制删除了原来的+GRID磁盘组，最终导致该集群无法启动。 过程 1、启动过程中，CSS服务正常启动，但CRS服务无法启动。此时，节点2的alertasm2.log日志中提示如下错误。 2023-06-23 ......
集群配置
Redis cluster，10 台机器，5 台机器部署了 Redis 主实例，另外 5 台机器部署了 Redis 的从实 例，每个主实例挂了一个从实例，5 个节点对外提供读写服务，每个节点的读写高峰 QPS 可能 可以达到每秒 5 万，5 台机器最多是 25 万读写请求每秒。 机器是什么配置？32 ......
使用Python调用Hadoop Hdfs的API
一、Java调用hdfs的api import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.jun ......
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？
Apache DolphinScheduler 是一款开源的分布式任务调度系统，旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。 自动化打包 ......
Grafana+Telegraf+Influxdb监控Tomcat集群方案
Grafana docker pull grafana/grafana mkdir -p /var/data/docker/grafana docker inspect docker.io/grafana/grafanadocker cp grafana:/var/lib/grafana/ /var ......
达梦实时主备集群搭建
达梦实时主备集群搭建 连亚伟 于 2023-07-31 19:09:38 发布 34 收藏 文章标签： 数据库 版权 达梦镜像文件下载地址 产品下载 | 达梦数据库 一、前期准备工作 需要准备至少三台服务器，一台部署主库，一台部署确认监视器，备库最少一台，最多可部署8台 以下为主库和备库配置信息（I ......
Failed to connect to server: hadoop/ip:9000: try once and fail.
hadoop 连接失败，报如下错误！ java.net.ConnectException: Connection refused at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChann ......
sqoop1.4.7完全支持Hadoop3.x, Hive3.x Hbase2.x
已经修改好 保存至云盘 自己下载 花了时间的，记得关注我。。。 链接：https://pan.xunlei.com/s/VNe6P6Tm1A9Q-RG5GByN08rdA1# 提取码：5nke 复制这段内容后打开手机迅雷App，查看更方便 下载解压直接用，里面的内容已经改好 但是需要注意的是conf ......
k8s集群-spring cloud 集成seata的时候：can not register RM,err:can not connect to services-server.
背景说明 seate和其他微服务在k8s集群中部署，都在同一个命名空间。注册到nacos的同一个命名空间 seate是官方提供，无改动 k8s中部署情况： 报错提示 core服务的报错内容： 2023-09-12 11:07:06.524 ERROR 7 [eoutChecker_2_1] i.s. ......
mysql - 集群
概念 mysql 集群大致有这几种应用： 单点写入，多点同时读； 单点写入，另一个备用； 多点同时写，允许这么做，但是不推荐，冲突不好解决。 基本原理 主库（master）在事务提交时，将数据的变化事件（events）记录在二进制日志文件（binlog）中。 主库推送 “binlog 中的日志事件” ......