分布式 集群hdfs
用于大数据集群的Centos7虚拟机基础环境配置
用于大数据集群（自定义Hadoop和CDH6）的Centos7虚拟机基础环境配置 博客ID 2 安装一些通用的软件并配置，然后复制为多个虚拟机 下载 CentOS-7-x86_64-DVD-1908.iso http://ftp.iij.ad.jp/pub/linux/centos-vault/7. ......
搭建ElasticSearch7.4.2集群
推荐阅读Helm3（K8S 资源对象管理工具）视频教程：https://edu.csdn.net/course/detail/32506Helm3（K8S 资源对象管理工具）博客专栏：https://blog.csdn.net/xzk9381/category_10895812.html本文原文链接 ......
Hadoop启动集群报错:Starting namenodes on [hadoop01] hadoop01: root@hadoop01: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
搭建三个hadoop集群的时候,master没有启动namenode和datanode， 报错: Starting namenodes on [hadoop01]hadoop01: root@hadoop01: Permission denied (publickey,gssapi-keyex,gs ......
redis之持久化方案，主从复制，哨兵高可用，集群原理及搭建，缓存优化
redis之持久化方案，主从复制，哨兵高可用，集群原理及搭建，缓存优化 昨日内容回顾 # 悲观锁乐观锁： django中实现： 悲观锁：mysql 行锁 表锁 乐观锁：真正修改时 加入限制条件 django中事务如何开启 原生sql如何开启事务：begin； commit； django中如何开启事 ......
关于sap-hana-数据库-在pacemaker集群中迁移主控节点-master节点
环境介绍，hana数据库的两个节点：azphxxxdb01 azphxxxdb02 目前master位于azphxxxdb02，现在需要切换回azphxxxdb01 需要确保 Pacemaker 没有任何失败的操作（通过 pcs 状态检查）、没有任何意外的位置约束（例如迁移测试的遗留内容）， 并且 ......
2-Hadoop集群配置-安装-启动
1、 流程说明 在单机测试wordcount没问题后，开始配置集群模式 说明: hadoop有几个功能 ① hdfs存 NameNode SecondNameNode DataNode ②yarn资源调度 ResourceManager NodeManager ③ma ......
redisson 分布式锁
@RequestMapping(value = "/testLock", method = RequestMethod.POST) public BaseResponse<Boolean> testLock(@RequestBody TestLockRequest testLockRequest) ......
织密“安全云网”，天翼云探索构建分布式多场景云服务稳定性保障体系！
近日，中国信息通信研究院（以下简称“中国信通院”）主办，混沌工程实验室承办的信息通信领域系统稳定性保障沙龙·北京站成功举办。沙龙以“共筑数字免疫韧性长城，助力信息通信行业稳定安全运行”为主题，旨在促进信息通信领域系统稳定性保障技术交流，推动信息通信领域稳定安全运行水平提升，加强“稳保”领域的先进技术 ......
如何计算 两个beta分布的KL散度
读论文 Sequential Recommendation with Probabilistic Logical Reasoning 中碰到的问题。 结论大概是这样： 对于Beta分布，KL散度的公式为： $$D_{KL}(Beta(\alpha_1, \alpha_2)||Beta(\beta_1 ......
Hadoop-HDFS压测】针对HDFS进行读写性能测试
###【Hadoop-HDFS压测】针对HDFS进行读写性能测试 1）测试工具 2）写入数据测试 3）读取数据测试 4）清除数据 ####1)测试工具 Hadoop自身集成的工具包：hadoop-mapreduce-client-jobclient-3.1.1.jar 注意： 1、如果是Apache ......
小知识：使用oracle用户查看RAC集群资源状态
正常情况按照标准配置的环境变量，只能grid用户查看RAC集群资源状态。 crsctl stat res -t 但是绝大部分操作其实都是oracle用户来操作，比如启停数据库，操作完成以后就需要检查下集群资源状态。 看到好多DBA在现场操作时就是来回各种切换或开多个窗口。 其实有两个简单的解决方法可 ......
Redis——cluster集群原理
摘要在 redis3.0之前，redis使用的哨兵架构，它借助 sentinel 工具来监控 master 节点的状态；如果 master 节点异常，则会做主从切换，将一台 slave 作为 master。当master挂掉的时候，sentinel 会选举出来一个 master，选举的时候是没有办法 ......
Hadoop集群搭建总结
对这两天搭建Hadoop集群做个经验总结 master节点:Ubuntu 22.04，也就是我的台式机主机 slave节点：Debian 11，通过VMware虚拟出来 （1）集群节点设置和角色分配 master namenode,datanode,resourcemanager,nodemanag ......
正态分布可视化
正态分布可视化 可视化函数 def set_axes(axes, xlabel, ylabel, xlim, ylim, xscale, yscale, legend): """设置matplotlib的轴""" axes.set_xlabel(xlabel) axes.set_ylabel(yla ......
在kubernetes中部署redis-cluster集群
使用k8s的DaemonSet创建6个节点的redis-cluster集群, 集群为3主3从, 所以3个控制平台(主)也要部署上pod, redis集群IP如下: (注:用StatfulSet也可以, 大同小异) 192.168.10.34:7000 192.168.10.35:7000 192.1 ......
如何借助分布式存储 JuiceFS 加速 AI 模型训练
传统的机器学习模型，数据集比较小，模型的算法也比较简单，使用单机存储，或者本地硬盘就足够了，像 JuiceFS 这样的分布式存储并不是必需品。 随着近几年深度学习的蓬勃发展，越来越多的团队开始遇到了单机存储的瓶颈，分布式存储在 AI 领域的重要性不断凸显。AI 团队通常会面临以下几种问题： 数据集太 ......
redis，python操作哨兵，python操作集群，缓存优化，缓存击穿，穿透，雪崩
python操作哨兵 高可用架构后》不能直接连接某一个主库》主库可能会挂掉，后来他就不是主库了 之前的连接redis操作就不能用了 import redis conn=redis.Redis(host='',port=6379) conn.set() conn.close() 新的连接哨兵的操作 连 ......
redis完成分布式锁
1. 正文 1. Redis完成分布式锁 2. redis的面试题。 2. 缓存 当执行增删改操纵时必须保证缓存和数据库数据一致性。 删除缓存 @Override public Dept insert(Dept dept) { int i = deptMapper.insert(dept); ret ......
Redis - -分布式锁
Redis完成分布式锁 # 1.1 缓存 > 当执行增删改操纵时必须保证缓存和数据库数据一致性。 删除缓存 ```java @Override public Dept insert(Dept dept) { int i = deptMapper.insert(dept); return dept; ......
分布式编译系统的搭建
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。 作者：dan 文章来源：GreatSQL社区原创 由于MySQL 源码编译单机耗费的时间过于长，最近MySQL 变成8.0.27 以后编译时间明显更耗时 ......
滑动窗口算法实现分布式第三方请求限频
一. 业务背景 第三方服务接口存在频率调用限制（例如，1s5次，超过5次返回超出频率），己方服务存在并发处理的情况，为了保证服务的成功率，且达到第三方限制的最大吞吐量，故需要一个限频调用的算法 二.实现思路 常见限频算法一般有五种，漏桶算法、令牌桶算法、固定窗口算法，滑动窗口算法，漏斗算法，五种算各 ......
基于ovs+tk+KVM的分布式隔离网络建立
直接上代码 import subprocess import tkinter as tk from tkinter import messagebox import libvirt import re host_ip = '172.27.243.60' # 获取VLAN标签 def get_vlan ......
SpringCloud之Nacos配置管理（热共享、更新配置、集群搭建）
统一配置管理 随着微服务越来越多，如果达到成百上千个服务，如果一个配置文件和数十个服务有关系，需要逐个微服务的配置文件去调——麻烦； 并且调完，每个微服务都需要重启——生产环境下，一个服务的重启带来的影响比较大； 需求：希望配置文件能够实现统一的管理，比如说数十个配置文件的修改，想只需要修改一个就行 ......
DNS集群搭建
DNS实践（DNS集群） 实验环境： Linux Rocky8.6 三台 10.0.0.127 主DNS 10.0.0.128 从DNS 10.0.0.131 client客户端 软件：bind(实现DNS)，bind-utils（测试工具） (yum -y install bind bind-ut ......
下一代大数据分布式存储技术Apache Ozone初步研究
如果还在为HDFS上存储海量的小文件而烦恼，不烦多留意号称下一代分布式存储技术Apache Ozone，其诞生初衷就是解决HDFS面临棘手问题，本篇从了解其特性和总体架构，基于开发测试需求通过docker和docker-compose方式启动Ozone本地集群，最后通过命令行接口和兼容hadoop命... ......
【动手学深度学习】第四章笔记：多层感知机、权重衰减、暂退法、数值稳定性和模型初始化、环境和分布偏移
为了更好的阅读体验，请点击这里 4.1 多层感知机 4.1.1 隐藏层 由于仿射变换中的线性是一个很强的假设，因此导致了线性模型可能会不适用。线性意味着单调假设：任何特征的增大都会导致模型输出的增大或者模型输出的减小。 但是违反单调性的例子比比皆是。除此之外，分类任务中，仅依托像素强度分类也很不合理 ......
ray-分布式计算框架-集群与异步Job管理
0. ray 简介 ray是开源分布式计算框架，为并行处理提供计算层，用于扩展AI与Python应用程序，是ML工作负载统一工具包 Ray AI Runtime ML应用程序库集 Ray Core 通用分布式计算库 Task -- Ray允许任意Python函数在单独的Python worker上运 ......
kubernetes 1.27.1最新版集群部署
kubernetes 1.27.1 最新版集群部署国内环境 官方安装部署文档：https://kubernetes.io/zh-cn/docs/setup/production-environment/tools/kubeadm/install-kubeadm/ 准备云服务器 首先买三台服务器。我用 ......
Nginx + Nacos2.x集群配置
Nginx : # 集群配置 http { upstream nacos-cluster { ip_hash; server 127.0.0.1:8858; server 127.0.0.1:8868; server 127.0.0.1:8878; } server { listen 8838; s ......