单机doris
随笔(三十一)『ELK 单机部署』
### 1、环境准备 #### 1.1、修改最大文件打开数量 ``` vim /etc/security/limits.conf # 修改的内容 * soft nofile 65536 * hard nofile 65536 * soft nproc 2048 * hard nproc 4096 ` ......
Linux部署Consul单机和集群
Linux部署Consul单机和集群 一、Consul简介 Consul是由HashiCorp基于Go语言开发的支持多数据中心的分布式高可用服务发布和注册软件, 采用Raft算法保持服务的一致性, 且支持健康检查,Consul和Eureka的侵入式服务中心不同的是, Consul是以独立的软件形式运 ......
GPU单机多卡训练
多卡训练的主要思想是将训练数据分成多个批次或样本,在每个GPU上分别处理这些数据,然后将各个GPU计算得到的梯度进行聚合,最终更新模型参数。这样可以显著加快训练过程,特别是对于大规模的深度学习模型。 多卡训练需要考虑到数据划分、梯度聚合和模型参数同步等问题,以确保各个GPU上的计算结果能够正确地协同 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练:DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来,先向导师问了实验室的两张卡借用。之前都是单卡训练模型,正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料,但都比较零碎(有些博客的代码甚至没办 ......
Doris 再次启动FE失败的思考
# Doris再次启动FE失败的思考 ## 背景描述 在昨天已经成功下载安装最新稳定版docker、拉取doris-0.15.0版本的镜像、将镜像挂载道本地Doris源码目录、完成了doris的编译之后,今天在继续按照文档进行集群部署时,基本没遇到什么问题,后面在查看be节点状态时发现hadoop1 ......
Doris启动BE时于是遇到的问题
# Doris启动BE时于是遇到的问题 ## java.net.ConnectException: 拒绝连接 (Connection refused) >配置文件中ip地址输入错误,导致无法访问,检查后修改即可 `sudo vi /opt/module/apache-doris-0.15.0/be/ ......
Doris启动FE时报错:JAVA_HOME tset
# Doris启动FE时报错:JAVA_HOME tset ## 问题描述 运行代码启动fe时报错 `./start_fe.sh --daemon` ## 错误信息 `Error:JAVA_HOME is not set.` ## 问题截图 ![](https://img2023.cnblogs.c ......
配置Doris时,关闭Linux系统的交换空间
# 配置Doris时,关闭Linux系统的交换空间 ## 概述 交换空间是现代 Linux 系统中的第二种内存类型。交换空间的主要功能是当全部的 RAM 被占用并且需要更多内存时,用磁盘空间代替 RAM 内存。交换空间对虚拟化技术资源损耗较大,成本损耗较高,一般虚拟化技术是不允许开启交换空间的,如果 ......
doris单机安装部署
[原文出处](https://zhuanlan.zhihu.com/p/635673029) # doris单机安装部署 ### 下载Doris >环境要求 Linux系统:Centos7.x或Ubantu16.04及以上版本 Java运行环境: JDK8 `java -version` ![](h ......
LNMP单机架构
黄金架构LNMP LNMP是网站架构初期最合适的单体架构。因为初创型技术团队对于技术的选型,需要考虑如下因素 在创业初期,研发资源有限,研发人力有限,技术储备有限,需要选择一个易维护、简单的技术架构; 产品需要快速研发上线,并能够满足快速迭代要求,现实情况决定了一开始没有时间和精力来选择一个过于复杂 ......
mysql5.7小版本之间升级(单机上操作)
环境:OS:Centos 7当前版本:5.7.29升级后版本:5.7.39说明:该升级方式才在当前机器上安装一个新的mysql实例进行升级.1.查看当前的版本/home/middle/mysql57/bin/mysql -h localhost -uroot -P13306 -pmysql> sel ......
springboot redssion 单机模式/集群模式/哨兵模式连接
引入依赖: <dependency> <groupId>org.redisson</groupId> <artifactId>redisson</artifactId> <version>3.10.7</version> </dependency> <dependency> <groupId>cn. ......
Redis(2):四种模式(单机、哨兵、集群、主从复制)部署
学习自:Redis 的四种模式 - 何童鞋 - 博客园 深入理解Redis的部署模式四种模式的探索(redis部署四种模式)-数据库运维技术服务 redis部署和运行原理 redis的三种部署方式_小咪咪的技术博客_51CTO博客 上一节:Redis(1):四种模式(单机、哨兵、集群、主从复制)原理 ......
docker-compose 安装开发 redis stack单机
开发环境需要安装开发版本 redis stack mkdir -p /data/redis_stack/data vim /data/redis_stack/redis-stack.conf port 6379 daemonize no loadmodule /opt/redis-stack/lib ......
nacos 单机3节点 集群env
集群中包含 3 个 Nacos Server 节点,两个 Proxy 主备节点,Mysql 数据库主备 这里仅记录Nacos的安装 Nacos节点服务器节点 IP 端口 Nacos1 172.17.10.21 8858 (默认 8848) Nacos1 172.17.10.22 8858 (默认 8 ......
华为云GaussDB(for Influx)单机版上线,企业降本增效利器来了
GaussDB(for Influx)推出了单机版方案,可用于开发、测试等场景,既能享受到服务化带来的便利,也可以明显地降低使用成本。 ......
【原】无脑操作:基于CentOS 7.9搭建国产数据库 南大通用GBase 8a 单机环境
CentOS 7.9 环境的安装不再赘述,不清楚可以参看之前的文章:https://www.cnblogs.com/iflytek/p/14403664.html 1、准备GBase 8a的安装包:GBase8a-NoLicense-Free-8.6.2_build43-R7-redhat7.3-x ......
自动化部署脚本--一键部署单机版k8s
``` cat danjiDeploy_k8s.sh #!/bin/bash . /etc/init.d/functions # 版本 VERSION=v1.0.1 # IP地址,默认为本机第一块网卡IP地址(不包含lo网卡) ip= # 主机名称,默认为当前主机名称 hostName=master ......
鼠标 - 单机/双击 - 事件区分
单机事件: // clearTimeout() 方法可取消由 setTimeout() 方法设置的 timeout。clearTimeout(timeoutID); // setTimeout() 方法用于在指定的毫秒数后调用函数或计算表达式// 利用时间的延迟来解决双击事件对单击事件的影响time ......
Redis:单机、哨兵、集群、主从复制
学习自:redis的4种模式,单机,哨兵、主从复制、集群_redis单机和集群_本郡主是喵的博客-CSDN博客 深入理解Redis的单机、主从、哨兵、集群四种模式 为什么redis被称为redis服务器? 因为redis在运行时是被注册为一个进程(服务),我们将其称为redis服务器。 1、单机模式 ......
ELKF日志系统搭建(单机8.9版)
一、ELKF简介 ElasticSearch:搜索、分析和存储数据Logstash:采集日志、格式化、过滤数据(数据清洗的过程),最后将数据推送到Elasticsearch存储Kibana:数据可视化Beats:集合了多种单一用途数据采集器,用于实现从边缘机器向Logstash和Elasticsea ......
mongodb副本集模式的单机修改ip(update方式)
环境:OS:Centos 7mongodb:4.4.22 1.停掉当前运行的mongodb/usr/local/services/mongodb/bin/mongo localhost:29001use admindb.shutdownServer() 2.网络层面修改ip地址[root@local ......
GreatSQL从单机到MGR扩展纪实
# 一、前言 原有的业务系统跑在MySQL主从架构中,高可用通过脚本完成,但存在切换数据丢失和切换不及时风险,调研了高可用更稳定的MGR后,准备入手一试。本篇文章主要记录GreatSQL从单机扩展到MGR的详细过程,遇到的问题及解决方法。 # 二、基础环境 服务器角色如下 | IP | 端口 | 主 ......
mongodb副本集模式的单机部署+修改ip
环境:OS:Centos 7mongodb:4.4.22 1.解压[root@localhost soft]# tar -xvf mongodb-linux-x86_64-rhel70-4.4.22.tgz[root@localhost soft]# mv mongodb-linux-x86_64- ......
RocketMQ Linux单机测试:简易快速部署指南及Dashboard控制台部署
[TOC](目录) ## 简介 请注意,本博客仅供初期测试时快速部署之用,以节省时间避免不必要的问题。如需在生产环境部署,请参考其他可靠的博客指南。 >本文链接: >[https://www.cnblogs.com/dks-/p/17613697.html](https://www.cnblogs. ......
Clickhouse 极简单机版本安装部署
# Clickhouse 极简单机版本安装部署 ## 摘要 ``` Clickhouse的安装与部署其实比较简单. 但是为了能够更加简单的部署与使用. 尤其是能够可以方便的添加到镜像内进行运行. 所以记录一下方便快捷的处理方式. ``` ## 下载与使用的坑 ``` 1. 最新版本的 clickho ......
手动写一个监控nacos单机服务是否挂掉的bash脚本
这个脚本其实不光可以监控nacos服务,所有的服务都可以监控。 脚本逻辑是,如果检测到nacos服务挂掉后调用http接口发送警告通知,然后暂停5分钟,之后继续监控。如果正常就暂停一小会,之后继续循环。 使用 Bash 脚本和 curl 命令: 安装所需工具: 确保 CentOS 服务器上已经安装了 ......
Doris 运维命令
## FE/BE启动 `bin/start_fe.sh --daemon` `bin/start_be.sh --daemon` ## 添加FE `ALTER SYSTEM ADD FOLLOWER "follower_host:edit_log_port";` `ALTER SYSTEM ADD ......
Doris 基础与数据模型划分
# 端口 ![image](https://img2023.cnblogs.com/blog/2355823/202307/2355823-20230731105629145-438852181.png) # 启动 ## FE 启动 启动 `bin/start_fe.sh --daemon` ## ......