集群 环境hdfs
Window 环境安装Redis ，并配置为开启自启动
前言：本文章只讲解如何在Window 环境下安装以及配置Redis，其它教程会在另外的文章详细介绍。 1、我们先来大致了解一下什么是Redis Redis （全称：REmote DIctionary Server） 是一个由 Salvatore Sanfilippo 写的 key-value 存储系 ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
Oracle11 集群（一）
集群安装准备2019年7月18日15:29https://www.cnblogs.com/xshrim/p/5952211.html #参考文章rac环境节点1节点2ip10.56.85.23510.56.85.236hostnamerac1rac2hosts10.56.85.235 rac110. ......
Oracle11 集群（二）
集群grid软件安装2019年7月19日10:30grid安装需要登录到grid用户下进行，绝大多数操作仅需在节点1上执行即可。解压安装介质：#仅节点1执行[grid@rac1 u01]$unzip p13390677_112040_Linux-x86-64_1of7.zip[grid@rac1 u ......
Oracle11 集群（三）
集群oracle软件安装2019年7月19日15:31ORACLE软件安装集群框架GRID安装完成并开启后，剩下的所有操作均只需在节点1执行即可，其余节点会自动完成配置同步。接下来登入节点1的oracle账户，开始oracle数据库软件的安装。如同验证grid先决条件一样，先运行runcluvfy. ......
Oracle11 集群（四）
集群建库2019年7月17日17:23开始实例和数据库的创建，以oracle用户登录节点1，开启数据库配置助手开始创建：#仅节点1执行[oracle@rac1 u01]$ export LANG=en_US[oracle@rac1 u01]$ dbca弹出配置界面：1, 创建集群数据库2, 创建单节 ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
Springboot 多环境配置、${key:default_value}的作用与使用
多环境配置 方式一 创建多个配置文件 application.yml #主配置文件 application-dev.yml #开发环境的配置 application-prod.yml #生产环境的配置 application-test.yml #测试环境的配置 # application.yml s ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
Redis集群详解
Redis集群详解 1. 如何保证 Redis 服务高可用？ Redis Sentinel 集群 2. Sentinel（哨兵）有什么用？ 监控 Redis 节点的运行状态并自动实现故障转移 3. Redis 缓存的数据量太大怎么办？ Redis Cluster 4. Redis Cluster 虚 ......
openEuler欧拉配置Nacos集群
一、安装Nacos systemctl stop firewalld systemctl disable firewalld mkdir -p /home/nacos tar xvf nacos-server-2.1.2.tar mv nacos nacos8848 cd /home/nacos ......
测试环境使用问题及其优化对策实践
一、前言 我们经常听到研发人员和测试人员抱怨：“测试环境怎么又不能用了！”、“测试环境现在部署的是master包！”、“测试环境数据又被人改了？”、“测试环境怎么部署的这么慢！”、“测试环境里的公共服务，你用的时候我只能等着？”、“测试环境挂了，我自动化脚本全失败了！”测试环境是是测试实施的基础，测 ......
Qt Windows环境下如何添加MYSQL数据库驱动
问题现象 使用Qt提供的数据库驱动列表函数，获取数据库驱动时，没有MYSQL数据库，因此无法正常使用这个数据库 想使用这个数据库，该如何操作呢？以下内容就是实现数据库驱动添加的方法 1.准备数据库软件 step1 在MySQL官网下载MySQL Community Server软件，选择适合自己的版 ......
New！DevExpress WPF v23.2系统环境配置要求
DevExpress WPF 拥有120+个控件和库，将帮助您交付满足甚至超出企业需求的高性能业务应用程序。通过DevExpress WPF能创建有着强大互动功能的XAML基础应用程序，这些应用程序专注于当代客户的需求和构建未来新一代支持触摸的解决方案。 无论是Office办公软件的衍伸产品，还是以 ......
k8s环境设置-pod下载及重启策略
k8s环境设置 在我们开始使用k8s之前，我们可以先做一些环境配置，使k8s更加的方便使用 第一个要做的就是kubectl命令的补全 在使用kubectl的时候你会发现参数你是Tab不出来的，这时候我们可以操作一下，让他可以补全 # 在/etc/bashrc里面写入 [root@master ~]# ......
Hadoop（3.3.4）-HDFS操作
Apache Hadoop 3.3.4 – Overview 01.appendToFile hadoop fs -appendToFile localfile /user/hadoop/hadoopfile hadoop fs -appendToFile localfile1 localfile2 ......
大数据本地环境搭建-Linux基础环境搭建
1.安装VMware 下载 VMware Workstation Pro | CN 2.配置虚拟网卡 3.Windows网络配置 4.安装centos7.9 Download (centos.org) 4.1 新建虚拟机 如果开机的时候电脑蓝屏使用Windows+R输入optionalfeature ......
大数据本地环境搭建-Zookeeper/Hadoop/Hive搭建
1. Zookeeper环境安装 链接：https://pan.baidu.com/s/1wzbCiDxP7H5G_llwjSS3Rw?pwd=wgal 提取码：wgal 1.1 上传tar包 zookeeper-3.4.6.tar 注意：上传文件位置为 /export/server目录 1.2 解 ......
kafka源码阅读之MacBook Pro M1搭建Kafka2.7版本源码运行环境
原创/朱季谦 最近在阅读Kafka的源码，想可以在阅读过程当中，在代码写一些注释，便决定将源码部署到本地运行。 日常开发过程中，用得比较多一个版本是Kafka2.7版本，故而在MacBook Pro笔记本上用这个版本的源码进行搭建，进行Kafka源码的阅读学习。在搭建的过程当中，遇到不少坑，顺便记录 ......
1000: 【编程入门】熟悉一下Online Judge的环境
1000: 【编程入门】熟悉一下Online Judge的环境 解题思路： 题目要求计算两个整数的和，范围限定在1到100之间。因此，我们可以通过读取输入的两个整数，然后将它们相加得到结果。 解题方法： 读取输入的两个整数a和b。 将a和b相加得到结果sum。 输出sum。 C++代码01： #in ......
HDFS 转dataframe
import pyarrow.parquet as pq from pyarrow import fs # 创建Hadoop文件系统对象 fs = fs.LocalFileSystem() hadoop_path = "hdfs://<your-hdfs-address>/<csv-file>" # ......
python虚拟环境系列（五）：虚拟环境迁移
本系列汇总，请查看这里：https://www.cnblogs.com/uncleyong/p/17947601 应用 本地创建的python虚拟环境，开发测试完项目功能需要部署到公司服务器或者客户现场环境，或者我们开发的自动化测试框架需要部署到公司服务器上，此时就涉及到虚拟环境迁移。 被迁移环境准 ......
python虚拟环境系列（三）：pycharm中项目关联虚拟环境
本系列汇总，请查看这里：https://www.cnblogs.com/uncleyong/p/17947601 说明 1、可以在虚拟环境汇总目录envs下创建虚拟环境venv_xxx，项目要关联哪个虚拟环境直接修改为对应虚拟环境中的python解释器即可 2、也可以在项目根目录下创建虚拟环境ven ......
python虚拟环境系列（四）：pycharm中创建项目时直接创建虚拟环境
本系列汇总，请查看这里：https://www.cnblogs.com/uncleyong/p/17947601 输入Location、选择New environment using-Virtualenv 界面展示 venv文件夹内容 通过pycharm创建的虚拟环境，pip和setuptools的 ......
python虚拟环境系列（二）：win10下虚拟环境创建、操作等
本系列汇总，请查看这里：https://www.cnblogs.com/uncleyong/p/17947601 创建虚拟环境（windows10下演示） 前置条件：安装python，版本≥3.3 因为在python3.3及更高版本中虚拟环境已经成为内置模块，可以直接通过命令来创建虚拟环境 pyth ......
python虚拟环境系列（一）：虚拟环境出现背景及python依赖管理探索
本系列汇总，请查看这里：https://www.cnblogs.com/uncleyong/p/17947601 python虚拟环境出现背景 1、多项目：实际工作中，我们电脑上可能需要开发不同的python项目（比如：ui自动化框架、接口自动化框架、开发的其它工具或平台等） 2、依赖不同：项目需要 ......
Python创建virtualenv（虚拟环境）方法
一 前言 需求： --公司之有一台服务器 -目前运行这一个5年前开发的Django项目，基于1.5 -现在要基于Django2.0开发一套程序 -无法卸载原来的版本，必须还要安装新版本 二 通过virtualenv软件创建 安装： -pip3 install virtualenv 创建虚拟环境： - ......
python创建虚拟环境方法
1 不同的项目依赖不同的模块版本，不能共用一套环境，虚拟环境2 在系统的python环境中安装 -下载 pip3 install virtualenv pip3 install virtualenvwrapper-win -修改环境变量 WORKON_HOME: D:\Virtualenvs -py ......
搭建MySQL集群-1(搭建单节点MySQL)
突发奇想，想做一个微信小程序，于是买了云服务器，准备尝试自己搭建MySQL集群。 系统版本：Ubuntu 22.04.3 LTS 一、通过apt包管理器安装MySQL。 sudo apt install mysql-server 二、安装成功后，mysql-service会启动。可用以下命令查看： ......
【超全】windows下python虚拟环境创建、操作，以及虚拟环境迁移
python虚拟环境出现背景 1、多项目：实际工作中，我们电脑上可能需要跑不同的python项目（比如：ui自动化框架、接口自动化框架、开发的其它工具或平台等） 2、依赖不同：项目需要的依赖是不一样的，比如web ui自动化需要palywrite，而接口自动化就不需要这个依赖 3、版本不同：哪怕有相 ......