集群easysearch实战
docker-搭建一主两备redis集群
一 目的 docker-搭建一主两备redis集群 概述：目前要搭建一个“一主两备”redis集群，这个三个容器中redis的端口号为默认的6379，对外暴露的端口为6701,6702,6703，其中6701为master。6702和6703为slave 二 实现 1. 准备三份配置文件 1.1 配 ......
基于AidLux的互联网图片安全风控实战-相似度对比模型训练以及在AidLux中部署引用
在当今数字化世界中，随着互联网的快速发展，图片信息的交换与共享变得日益普遍。然而，与此同时，由于互联网图片的高度自由性和匿名性，不良信息的传播也日益增多，给用户带来了安全风险。在这样的背景下，基于AidLux的互联网图片安全风控实战方案应运而生。本文将重点介绍基于AidLux平台的相似度对比模型训练 ......
apisix etcd集群数据备份恢复
#etcd数据备份 /home/apisix-etcd-backup.sh #!/bin/bash #创建备份目录 mkdir -p /data/{apisix-etcd-0,apisix-etcd-1,apisix-etcd-2} #apisix etcd数据备份 ETCDCTL_API=3 /o ......
UTM虚拟机在MAC M1下Kali Linux实战
title: UTM虚拟机在MAC M1下Kali Linux实战 date: 2023-10-11 8:55:48 tags: [MAC, M1, KALI, Linux, UTM] categories: - UTM - KALI MAC M1 实测 开源虚拟机软件 UTM，安装及使用KALI ......
大数据HDFS集群相关概念
一、Zookeeper服务 端口 描述 配置路径 2181 主要使用端口，对cline端提供服务。连接方式jdbc:hive2://ip:2181 conf/zoo.cfg中clientPort 2183 选举leader使用 conf/zoo.cfg中server.x=2182:2183 2182 ......
k3d创建k3s集群
安装go wget https://golang.google.cn/dl/go1.21.3.linux-amd64.tar.gz tar zxvf go1.15.3.linux-amd64.tar.gz mv go /usr/local/ vim /etc/profile在最结尾添加 export ......
分布式集群与多线程高并发
后台数据的处理语言有很多，Java 是对前端采集的数据的一种比较常见的开发语言。互联网移动客户端的用户量特别大，大量的数据处理需求应运而生。可移动嵌入式设备的表现形式 很多，如 PC 端，手机移动端，智能手表，Google 眼镜等。Server2client 的互联网开发模式比较常见，有一种新的数据 ......
基于docker容器，搭建hadoop+spark+hive+hbase+Zookeeper Scala集群
1.安装Docker和Docker Compose 2.下载镜像 docker pull bde2020/hadoop-base:2.0.0-hadoop3.2.1-java8 docker pull bde2020/hadoop-namenode:2.0.0-hadoop3.2.1-java8 d ......
ETCD集群key超出200w给etcd压力太大，导致集群调度器延迟
背景： 业务在做测试的时候，突然集群不可用了，无法做出变更了，找到我们平台侧，经过排查，发现controller-manager调度器出现问题，经过查看，调度器不可使用， 处理 方案： 删除etcd集群的key 查询etcd集群中的key的数量： #etcd的命令行 etcdctl="/opt/et ......
利用kubeadm创建高可用集群
前言 本页的高可用是控制平面组件的高可用部署，同时还分为2种情况：堆叠etcd和外部etcd。使用kubeadm部署多master节点很方便，大体是3个步骤：使用init参数初始化好第一个master节点，然后其余的master节点使用join命令加入到master集群中，形成一个高可用的maste ......
使用kubeadm创建集群
前言 k8s集群在Node节点数量少的情况下，逐台去维护是可行的，但是如果Node节点数量多的情况下，再去想着我大不了一台一台来维护可能就不现实了。而且k8s的每个版本都差不多只有14个月的支持时间。可能还没稳定下来，一个新的版本已经更新了。这样一来版本升级的工作就变的会比较多一些。为了能够保证k8 ......
大规模集群的注意事项
简介 一提到大规模这三个字，就联想到数据中心机房中一排排的物理服务器，在早期还是购买物理机找托管机房的年代，很多时间都在机房中维护服务器，那声音吵得耳朵疼，现在的运维工程师幸福多了。 注意事项 集群峰值 k8s1.28版本单个集群支持5000个工作节点，每个节点Pod数量不超过110，pod总数不超 ......
docker入门加实战—项目部署之DockrCompose
docker入门加实战—项目部署之DockrCompose 我们部署一个简单的java项目，可能就包含3个容器： MySQL Nginx Java项目 而稍微复杂的项目，其中还会有各种各样的其它中间件，需要部署的东西远不止3个。如果手动的逐一部署，就太麻烦了，同时也无法保证完整性。 而Docker ......
URP渲染管线实战教程系列3
1.3 URP渲染管线光照核心机制剖析 上一节通过剖析URP 摄像机了解摄像机的机制，本节来分析URP的光照的主要机制，并通过与内置的向前渲染管线做对比，来比较它们的与不同。 1: URP渲染管线重新定义了光源 不出意外，UPR渲染管线重新定义了光源组件, 接下来看下相比向前渲染管线摄像机机制的核心 ......
Makefile基础使用和实战详解
一、基础 Makefile 其实只是一个指示 make 程序如何为我们工作的命令文件，我们说 Makefile 其实是在说 make。而对于项目来说，Makefile 是指软件项目的编译环境。 Makefile 的好坏对于项目开发有些什么影响呢？设计得好的 Makefile，当我们重新编译时，只需编 ......
URP渲染管线实战教程系列2
1.2 URP渲染管线摄像机核心机制剖析 上一节从项目的目录结构与示例场景的内容分析了UPR渲染管线项目的基本组成，接下来分析URP的主要机制，并通过与内置的向前渲染管线做对比，来比较它们的与不同。按照先后顺序本节首先来分析URP渲染管线的摄像机的策略。 1: URP渲染管线重新定义了摄像机 相比于 ......
URP渲染管线实战教程系列1
1.1 URP渲染管线实战解密(一) 现在越来越多的手游开发都采用URP渲染管线，来代替之前Unity引擎默认的向前渲染管线，本节通过一下几个方面来阐述URP 渲染管线,对URP渲染管线有个全面认识。 (1)为什么使用URP渲染管线; (2)如何创建一个URP渲染管线的项目; (3)基于URP渲染管 ......
K8S集群搭建
集群搭建的几种方式 kubeadm 通过kubeadm init、kubeadm join快速部署集群。 二进制包 下载官方编译好的二进制文件，手动部署，比较麻烦。。 第三方工具、web端 第三方提供的部署工具、web部署端。 kubeadm部署k8s集群 实验环境 master节点： IP：10. ......
MongoDB分片+副本集高可用集群的启停步骤
■■ 集群启动步骤 1、先启动各节点的 config server mongod -f ${MongoDir}/conf/config.conf 2、再启动各节点的 shard server mongod -f ${MongoDir}/conf/shard1.conf 3、再启动各节点的 mongo ......
《玩转翻译》实战连载№2：如何批量实现多语言翻译的格式对齐？
一般的方法，可能会破坏原始的段落结构，或者翻译后内容被合并或被拆开，发生错行或错位情况，造成很大的额外调整的工作量。那么如何解决这个问题呢？ ......
《玩转翻译》实战连载№1：如何批量实现多语言翻译的格式对齐？
生活和工作很多时候都会遇到翻译的情况，如果是几个单词或几句话，则有很多途径可以实现翻译。但如果需要翻译的词汇量比较大、句子、段落比较多，又需要保持原先的格式或者保持行或段落，如何解决？ ......
掌握 Kubernetes 故障排除：有效维护集群的最佳实践和工具
Kubernetes 是一款管理容器化应用程序的强大工具。然而，与任何复杂的系统一样，使用它时也可能出错。当问题出现时， 掌握有效的故障排除技术和工具非常重要。 本文将介绍以下步骤，助您了解事件收集的入门知识： 检索最新事件 使用 Pod 模拟问题 在位于 PV 的 Pod 中存储事件 检索最新事件 ......
从【抓包分析】到【代码实战】，实现下载某破站视频（附源码）
一、前言 前两天，我的邻居找到我，问我某破站的视频能否帮她下载成mp4格式？ 网上应该有很多的下载工具，但是如果直接让她网上找，那么无法彰显我程序员大神的威武形象。因此我回复她，程序员大神是无敌的，只要在浏览器上能看到的东西，都能用程序拿到。只要在浏览器上用手能操作的东西，都能用程序操作。只要... ......
【matplotlib 实战】--漏斗图
漏斗图，形如“漏斗”，用于展示数据的逐渐减少或过滤过程。它的起始总是最大，并在各个环节依次减少，每个环节用一个梯形来表示，整体形如漏斗。一般来说，所有梯形的高度应是一致的，这会有助人们辨别数值间的差异。 需要注意的是，漏斗图的各个环节，有逻辑上的顺序关系。同时，漏斗图的所有环节的流量都应该使用同一个 ......
client-go实战之九：手写一个kubernetes的controller
如何用client-go的informer实现一个简化版的kubernetes controller，监听资源变化并做出响应，本篇通过实战来揭晓，代码略多，但有分析有设计更有详尽的注释，喜爱golang和kubernetes的您不要错过 ......
爬取4k图片到本地实战
from lxml import etree import os import requests if __name__ == "__main__": #爬取4k壁纸的网站url url = "http://pic.netbian.com/4kfengjing/" hearder = { 'User ......
云计算实战（2）-MariaDB（1）
目录概述 概述 MariaDB社区服务器设置了开源关系数据库的标准，具有Oracle数据库兼容性(例如，序列和PL/SQL)，时态表，透明分片，即时模式更改，时间点回滚和现代SQL(即，通用表表达式，窗口函数，JSON函数等)。 MariaDB社区服务器现在包含了用于大规模实时分析的ColumnSt ......
两台实体机器4个虚拟机节点的Hadoop集群搭建（Ubuntu版）
安装Ubuntu Linux元信息 两台机器，每台机器两台Ubuntu Ubuntu版本：ubuntu-22.04.3-desktop-amd64.iso 处理器数量2，每个处理器的核心数量2，总处理器核心数量4 单个虚拟机内存8192MB（8G），最大磁盘大小30G 参考链接 清华大学开源软件镜像 ......
区块链安全技术全方位掌握：从基础知识到公链开发和智能合约实战
区块链安全技术全方位掌握：从基础知识到公链开发和智能合约实战 0x00 前言 区块链的安全需求越来越多，下面就将这些需求一一拆分，看看区块链安全需求到底是个什么样子。 0x01 拆分 目前针对安全服务行业的区块链安全需求，更多的是基于其上层应用（红色箭头指向）比如数字货币交易平台、移动数字货币钱包、 ......