分布式 中间件 文件夹zookeeper
NTFS5 是 Microsoft 公司开发的一种高级文件系统，用于管理和存储数据在 Windows 操作系统中。它是对早期的 NTFS 版本进行了改进和扩展，提供了更高的性能、安全性和可靠性
NTFS5（New Technology File System 5）是指 NTFS 文件系统的第5个版本，它是一种在 Windows 操作系统中广泛使用的文件系统。下面是关于 NTFS5 的一些基本信息： NTFS（New Technology File System）是Windows操作系统中使 ......
JVM专栏-类文件结构
## JVM 的“无关性” 谈论 JVM 的无关性，主要有以下两个： - 平台无关性：任何操作系统都能运行 Java 代码 - 语言无关性： JVM 能运行除 Java 以外的其他代码 Java 源代码首先需要使用 Javac 编译器编译成 .class 文件，然后由 JVM 执行 .class 文 ......
shell 按列切割文件
#! /usr/bin/env bash des_path=/home/zcy/temp src_path=/mnt/cnic_data/SRA_AI_DATA/tools_files/myself mouse_csv='GSM5594530_count.csv GSM5594497_count.c ......
Java开发大型互联网-架构师必须掌握的分布式技术
Java开发大型互联网-架构师必须掌握的分布式技术 摘要：在当今互联网行业，随着用户量和业务的不断增长，大型互联网系统的设计和开发已经成为了一项头等重要的任务。作为架构师，要能够应对这样的挑战，就必须掌握一些关键的分布式技术。本文将介绍Java开发大型互联网系统时，架构师必须要掌握的分布式技术。 一 ......
高级java高并发，高性能，分布式，高可用，负载均衡，系统架构实战
提到锁，大家肯定想到的是sychronized关键字。是用它可以解决一切并发问题，但是，对于系统吞吐量要求更高的话，我们这提供几个小技巧。帮助大家减小锁颗粒度，提高并发能力。 初级技巧-乐观锁乐观锁使用的场景是，读不会冲突，写会冲突。同时读的频率远大于写。 悲观锁的实现： 悲观的认为所有代码执行都会 ......
为什么不推荐在头文件中直接定义函数？
这篇技术博客探讨了为什么不推荐在头文件中直接定义函数。它解释了在将函数定义放在头文件中的潜在问题，并提供了更好的替代方案。通过避免在头文件中定义函数，读者可以更好地管理代码的复杂性，并提高代码的可读性和可维护性 ......
卡方检验与卡方分布
卡方检验的公式如下： 1. 计算观察频数（Observed Frequencies）和期望频数（Expected Frequencies）： 观察频数（O）：实际观测到的数据中每个类别的频数。 期望频数（E）：根据假设的独立性，在每个类别中预期的频数。 2. 计算卡方统计量（Chi-square S ......
Docker：Docker删除upper目录下文件再创建，其与merged目录文件iNode不一致（验证中……）
# 问题描述 磁盘空间不足，经排查发现是docker下的overlay目录下一个服务的容器层（存在于merged和upper）的日志文件占用空间过大。 # 操作 ### 1、尝试docker的清理磁盘命令 一开始使用命令`docker system prune`清理磁盘，该命令用于删除关闭的容器、无 ......
Python MP3 文件下载（音乐下载）
# import requests class Music: def save(self,url): res=requests.get(url) with open('music.mp3','wb') as f: f.write(res.content) ......
Java-Day-32（ 多用户即时通信系统 —— 文件传输 + 服务器推送新闻 + 离线留言 ）
# Java-Day-32 ## 多用户即时通信系统 ### 文件传输 - 思路： - 客户端里先把文件读取到客户端为字节数组，把文件对应的字节数组封装到 message 对象，内含文件内容、sender、getter，将 message 对象发送给服务端 - 拆解 message 对象获取 get ......
linux 找出文件类型 并 检索内容关键字
``` find / -type f -name "*.log" | xargs grep -i "start" #从根目录查找.log文件并挑出含有不分大小写的start内容的文件 从文件内容查找匹配指定字符串的行： $ grep "被查找的字符串" 文件名 例子：在当前目录里第一级文件夹中寻找包 ......
visual studio在运行ashx文件时 出现 Failed to load resource: the server responded with a status of 500 (Internal Server Error)
报错详细信息如下 “/”应用程序中的服务器错误。 分析器错误 说明: 在分析向此请求提供服务所需资源时出错。请检查下列特定分析错误详细信息并适当地修改源文件。分析器错误消息: 未能创建类型“WebApp.FileUploadHandler”。源错误: 行 1: <%@ WebHandler Lang ......
基于源码安装ZooKeeper
下载ZK代码 git clone git@gitee.com:wangjingqian1995/zookeeper.git cd zookeeper git checkout branch-3.8 设置环境变量 echo "export ZOOKEEPER_HOME=/root/code/java/ ......
Redis分布式锁问题
通过SET原子操作来设置key和过期时间 // 加锁// 如果key不存在，那么设置它的值，否则什么也不做SETNX lock 1// 10s后自动过期EXPIRE lock 10 // 2者合一，一条命令保证原子性执行SET lock 1 EX 10 NX 问题1：无法评估准确的加锁时间（自动续期 ......
微服务或分布式场景，如何设计和使用分布式锁
光谈论方式的话，太多了，数据库、jvm内存、redis、zookeeper都可以，最常用的是基于redis实现的redission框架 核心原理众多博客讲的很清楚，面试说个大概应该没问题了 第一点，用的reids的setex命令，因为这个命令是原子操作，不会在设置锁的过程中出现意外 第二点，锁过期问 ......
利用Python的JSON以及Base64模块实现二进制文件传输及反向Shell
控制端代码： import socket import optparse import sys import threading import json import base64 class MyTCPServer: def __init__(self) -> None: self.port = ......
linux文件文件夹操作命令
1.命令格式 command [-options] [parameter] command:命令本身 -options：命令选项，控制细节 parameter：参数，命令的指向目标 2.ls命令 ls作用：展示当前工作目录下的内容HOME目录：当前用户的专属目录，默认在/home/用户名工作目录：打 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记23_互联层之DNS
 # 1. 互连层是可以真正构建高可用性的地方 ## 1.1. 流量管理 ## 1.2. 负载均衡 ## 1.3. ......
本地文件上传到github
上传本地代码至github上的过程 本文主要用于记录通过将本地文件上传到github遇到的坑 注册github账号以及设置SSH key的过程就不再赘述 下面主要说明下本地文件上传到github上的过程。 首先需要先去需要上传文件的文件夹下 cd 该文件夹 初试化当前文件夹 通过git的初始化操作可 ......
zookeeper-3.4.6的配置与使用
1、下载我给大家配置好的 链接：https://pan.baidu.com/s/1X0GG3yrrw9B85l9SPh2rOA 提取码：uk04 2、解压下载的压缩包，解压到d盘的mysoft文件夹下，如果没有就创建一个，这样你就不用改配置了，如果没有d盘，就在放在c盘下，等下在我写好的配置文件中， ......
linux 中gz文件解压的同时保留源文件
001、 [root@PC1 test01]# ls ## 测试文件 a.txt.gz [root@PC1 test01]# gzip -dc a.txt.gz > a.txt ## 解压，同时保留源文件 [root@PC1 test01]# ls a.txt a.txt.gz [root@PC1 ......
使用 NSSM 将 exe 文件设置为 windows 服务
当我用 golang 开发了一个网站，并把他上传到我的 windwos 服务器上。我不想每次在命令行上运行他，并且服务器重启后，还要去手动运行它。 NSSM 可以帮助我们把 exe 做成一个服务。并随开机启动。 每次更新网站时，需要重复一次设置步骤。 官网： https://nssm.cc/desc ......
java操作zookeeper
# java操作zookeeper 1. 创建一个maven项目在pom文件里引入如下依赖： ~~~XML junit junit 4.10 test org.apache.curator curator-framework 4.0.0 org.apache.curator curator-reci ......
linux 批量生成文件 随机数据
``` seq 20 |xargs -i dd if=/dev/urandom of=$(date +"%Y%m%d_%H%M%S"){}.data bs=102400 count=1 #随机生成20个100K数据文件，文件名字为“日期时间_序号.data” nohup seq 100000 |xa ......
[TSG开发日志4]算法组件、个人编写的库文件如何封装成DLL，如何更好地对接软件开发？
# 写在前面 这个内容确实是我有点疏忽了，我以为做算法的同事应该多少对这方面会有点了解的。但是我想了一下我刚毕业的时候，确实对这方面的理解不深，查了很多资料才勉强搞懂什么意思，也是后来随着工程学习的愈加深入，才渐渐了解了在C++开发中动态链接库的重要性及如何编写。 一般在说一个标准时，我喜欢从两个角 ......
mysqld.log日志文件输出的时间不对
在本机新安装MySQL8后，查看mysql.log日志发现输出的日志有点不对劲，如下图所以：  差不多相差了8个小时，但是我们查看数据库的时间的时候又 ......
Linux 文件与目录的命令
## 万能命令 `man`命令用来访问存储在 Linux 系统上的手册页面。 ```bash $ whereis ls ls: /usr/bin/ls /usr/share/man/man1/ls.1.gz $ whereis which which: /usr/bin/which /usr/sha ......
依赖注入-xml-引入外部属性文件
[尚硅谷 Spring - 31](https://www.bilibili.com/video/BV1kR4y1b7Qc/?p=31&ziyu) 比较常见的引用外部属性的场景是引用 mysql **1. 加入依赖** ```pom mysql mysql-connector-java 8.0.30 ......
SpringBoot中集成jasypt-spring-boot实现配置文件数据加密脱敏
场景 经常会遇到这样一种情况：项目的配置文件中总有一些敏感信息，比如数据源的url、用户名、 密码....这些信息一旦被暴露那么整个数据库都将会被泄漏，那么如何将这些配置隐藏呢。 除了使用手动将加密之后的配置写入到配置文件中，提取的时候再手动解密的方式，还可以使用如下 方式。 jasypt-spri ......
聊聊我认为的分布式、集群实现关键点
基于常见的中间件(Mysql、ElasticSearch、Zookeeper、Kafka、Redis)等分布式集群设计的机制，自己总结了在在集群设计过程中需要考虑的通用问题。 ### 节点通信机制 主节点的增加、删除、通信机制。 ### 路由算法 即数据路由到哪个节点的策略机制。在集群内有多个节点， ......