单机tidb
Docker 安装 Redis 单机&集群总结
前言 Redis 是一个开源的使用 ANSI C 语言编写、遵守 BSD 协议、支持网络、可基于 内存 、 分布式 、可选持久性的键值对( Key-Value )存储数据库 redis版本：redis:6.2.13 作者：易墨 安装单机版 安装源：DockerHub 默认配置文件：配置文件示例 6. ......
使用nomad管理集群-1 单机部署
背景 由于白嫖+购买了很多vps，管理起来有点困难，只能一个个ssh上去看，同时有的命令要反复敲好几遍，因此需要有一个集群管理的工具。 其次因为工作需要经常和k8s，docker等打交道，于是打算使用类似的工具来管理vps。 首先考虑的自然就是k8s，作为云原生的老大哥，相关的生态和文档自然是巨好， ......
TiDB恢复部分表的方式方法
TiDB恢复部分表的方式方法 背景 今天同事告知误删了部分表. 因为是UAT准生产的环境, 所以仅有每天晚上11点的备份处理. 同时告知 昨天的数据也可以. 得到认可后进行了 TiDB的单表备份恢复. 备份的语句 注意TiDB是可以增量备份恢复的 但是为了快速的恢复和解决背景中的问题. 我这边采用保 ......
Docker单机编排工具
目录Docker 单机编排工具Docker-Compose 介绍版本号对应安装指定版本的 Docker-composeDocker-compose 模板Docker-compose 部署 zabbix 实战Docker run 语法Docker-composeDockercompose 管理命令Do ......
Centos安装磐维单机版
一、系统环境优化 安装依赖 yum -y install libaio-devel flex bison ncurses-devel glibc-devel patch redhat-lsb-core readline-devel python3 expect bzip2 libnsl ncurse ......
MySQL到TiDB：Hive Metastore横向扩展之路
本文介绍了vivo在大数据元数据服务横向扩展道路上的探索历程，由实际面临的问题出发，对当前主流的横向扩展方案进行了调研及对比测试，通过多方面对比数据择优选择TiDB方案。其次分享了整个扩展方案流程、实施遇到的问题及解决方案，对于在大数据元数据性能上面临同样困境的开发者本篇文章具有非常高的参考借鉴价值... ......
TiDB的简单介绍以及进行资源限制的方式与方法
TiDB的简单介绍以及进行资源限制的方式与方法 TiDB的简介 TiDB是一个分布式数据库, 简介为: TiDB 是一个开源的分布式关系型数据库，它兼具了分布式数据库的水平扩展性和传统关系型数据库的 ACID 事务特性。 TiDB 最初由 PingCAP 公司开发，并于 2015 年开源发布。创始人 ......
单机容器编排
单机容器编排 最后我们来讲解一下Docker-Compose，它能够对我们的容器进行编排。比如现在我们要在一台主机上部署很多种类型的服务，包括数据库、消息队列、SpringBoot应用程序若干，或是想要搭建一个MySQL集群，这时我们就需要创建多个容器来完成来，但是我们希望能够实现一键部署，这时该怎 ......
windows环境下单机运行pyspark
首先在windows系统中安装pyspark，具体过程可以参考以下两个地址 https://mp.weixin.qq.com/s/Bt6qrE3sGUSCm_BaA33C6A https://edu.hellobi.com/course/282/play/lesson/6501 安装好之后，在cmd ......
harbor 单机部署
安装 docker 19.03.15 # 添加docker阿里云的源 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 安装 docker-compose cu ......
FSICO-BACOS单机四节点到Webase平台搭建简洁步骤
bash build_chain.sh -l 127.0.0.1:4 -p 30300,20200,8545 其中-l指定ip列表， -p表示p2p,.. .. 端口号，生成的四个节点端口号为30300 ~ 30303 安装ubuntu依赖 sudo apt install -y openssl c ......
Kubernetes部署MySQL5.7单机---NFS存储
实验目的： 将MySQL5.7使用nfs持久化存储部署到Kubernetes集群中 复制 nfs存储地址： nfs.myit.icu 复制 nfs存储配置： 临时测试 100G 安装nfs yum install -y nfs-utils rpcbind 创建nfs存储目录 [root@nfs ~] ......
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？
Apache DolphinScheduler 是一款开源的分布式任务调度系统，旨在帮助用户实现复杂任务的自动化调度和管理。DolphinScheduler 支持多种任务类型，可以在单机或集群环境下运行。下面将介绍如何实现 DolphinScheduler 的自动化打包和单机/集群部署。 自动化打包 ......
kubernetes部署mongoDB 单机版 自定义配置文件、密码、日志路径等
来源：https://aijishu.com/a/1060000000097166 官方镜像地址： https://hub.docker.com/_/mong... docker版的mongo移除了默认的/etc/mongo.conf, 修改了db数据存储路径为 /data/db. 创建config ......
openGauss单机版安装
机器： hostnamectl set-hostname node1 编译安装python3 yum install -y libaio-devel gcc gcc-c++ zlib-devel expect bzip2 [root@node1 ~]# mkdir -p /opt/software/ ......
Linux rocketmq单机测试部署
一.环境说明对于 RocketMQ 4.3.0版本，官方要求环境如下，其中 Git 用于从 GitHub 获取源码，没有安装也没关系，可以直接下载推荐的流程是：Linux 系统上安装 Git 工具 、Maven、Java JDKGit 工具用于直接从 GitHub 获取 RocketMQ 项目源码下 ......
部署和使用单机版 FastDFS 分布式文件系统
我们工作中经常会有上传和下载文件的需求，早些年代我们一般会将上传的文件保存在网站所在的服务器上，但是现在一般网站都是负载均衡多服务器部署，因此必须要有独立的文件服务器才行。早些年代，如果有一台独立的文件服务器，一般会搭建 NFS 共享服务，给多个网站服务器之间使用。如果有多台文件服务器的话，各个服务 ......
新建rocketmq环境-单机版
1.下载版本 2.解压 unzip 3.配置环境变量 export ROCKETMQ_HOME=/opt/software/rocketmq-all-4.9.1-bin-release export PATH=$PATH:$ROCKETMQ_HOME/bin 4.nameserver服务的创建 修改 ......
prometheus远程永久存储方案VictoriaMetrics 部署单机版
1、单机版下载地址： https://github.com/VictoriaMetrics/VictoriaMetrics 注：集群版选择cluster版本 2、下载解压得到二进制文件 tar -xf victoria-metrics-linux-amd64-v1.93.1.tar.gz 3、配置服 ......
[粘贴]TiDB Lightning 断点续传
https://www.bookstack.cn/read/tidb-6.1-zh/tidb-lightning-tidb-lightning-checkpoints.md 大量的数据导入一般耗时数小时至数天，长时间运行的进程会有一定机率发生非正常中断。如果每次重启都从头开始，就会浪费掉之前已成功导 ......
随笔（三十一）『ELK 单机部署』
### 1、环境准备 #### 1.1、修改最大文件打开数量 ``` vim /etc/security/limits.conf # 修改的内容 * soft nofile 65536 * hard nofile 65536 * soft nproc 2048 * hard nproc 4096 ` ......
Linux部署Consul单机和集群
Linux部署Consul单机和集群 一、Consul简介 Consul是由HashiCorp基于Go语言开发的支持多数据中心的分布式高可用服务发布和注册软件, 采用Raft算法保持服务的一致性, 且支持健康检查，Consul和Eureka的侵入式服务中心不同的是, Consul是以独立的软件形式运 ......
GPU单机多卡训练
多卡训练的主要思想是将训练数据分成多个批次或样本，在每个GPU上分别处理这些数据，然后将各个GPU计算得到的梯度进行聚合，最终更新模型参数。这样可以显著加快训练过程，特别是对于大规模的深度学习模型。 多卡训练需要考虑到数据划分、梯度聚合和模型参数同步等问题，以确保各个GPU上的计算结果能够正确地协同 ......
PyTorch多卡分布式训练DDP单机多卡
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析 前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办 ......
TIDB - 分布式数据库
# TIDB（一） ## 重点 ### TIDB核心 - [x] 数据存储-RocksDB - [ ] Raft 协议 选举 数据同步 - [x] MVCC - [x] 表数据与kv映射关系 - [x] 索引数据与kv 映射关系 - [x] 元数据和sql 层计算 - [ ] PD调度 - [ ] ......
doris单机安装部署
[原文出处](https://zhuanlan.zhihu.com/p/635673029) # doris单机安装部署 ### 下载Doris >环境要求 Linux系统：Centos7.x或Ubantu16.04及以上版本 Java运行环境: JDK8 `java -version` ![](h ......
tidb快照备份并发送企业微信机器人通知
tidb备份使用的是br进行快照备份 + 日志备份具体代码如下 #qiyewx.pyimport json from datetime import datetime import requests from config import * # 可以把机器人的配置信息写到一个单独的config里面 ......
LNMP单机架构
黄金架构LNMP LNMP是网站架构初期最合适的单体架构。因为初创型技术团队对于技术的选型，需要考虑如下因素 在创业初期，研发资源有限，研发人力有限，技术储备有限，需要选择一个易维护、简单的技术架构； 产品需要快速研发上线，并能够满足快速迭代要求，现实情况决定了一开始没有时间和精力来选择一个过于复杂 ......