定理 分布式linux cap

linux系统下Hadoop集群环境搭建

1、前言 基于redhat7.6系统搭建全分布式Hadoop3.3.5集群环境(模拟三台机,1主角色,2从角色)。 2、安装虚拟机 参考:https://www.cnblogs.com/jpxjx/p/16800831.html 3、虚拟机安装redhat7.6 参考:https://www.cnb ......
集群 环境 Hadoop 系统 linux

Linux命令总结

Linux命令总结 1、基本命令 uname -m #显示机器的处理器架构 uname -r #显示正在使用的内核版本 dmidecode -q #显示硬件系统部件 hdparm -i /dev/hda #罗列一个磁盘的架构特性 hdparm -tT /dev/sda #在磁盘上执行测试性读取操作 ......
命令 Linux

Linux cp 命令

Linux cp 命令 非常重要,运维必用命令 Linux cp(英文全拼:copy file)命令主要用于复制文件或目录。 语法 cp [options] source dest 或 cp [options] source... directory 参数说明: -a:此选项通常在复制目录时使用,它 ......
命令 Linux cp

Linux umask命令

Linux umask命令 暂时只需要知道有这么个东西 Linux umask命令指定在建立文件时预设的权限掩码。 umask可用来设定[权限掩码]。[权限掩码]是由3个八进制的数字所组成,将现有的存取权限减掉权限掩码后,即可产生建立文件时预设的权限。 语法 umask [-S][权限掩码] 参数说 ......
命令 Linux umask

Linux which命令

Linux which命令 Linux which命令用于查找文件。 which指令会在环境变量$PATH设置的目录里查找符合条件的文件。 语法 which [文件...] 参数: -n<文件名长度> 指定文件名长度,指定的长度必须大于或等于所有文件中最长的文件名。 -p<文件名长度> 与-n参数相 ......
命令 Linux which

Linux touch命令

Linux touch命令 常用命令 Linux touch命令用于修改文件或者目录的时间属性,包括存取时间和更改时间。若文件不存在,系统会建立一个新的文件。 ls -l 可以显示档案的时间记录。 语法 touch [-acfm][-d<日期时间>][-r<参考文件或目录>] [-t<日期时间>][ ......
命令 Linux touch

Linux tee命令

Linux tee命令 Linux tee命令用于读取标准输入的数据,并将其内容输出成文件。 tee指令会从标准输入设备读取数据,将其内容输出到标准输出设备,同时保存成文件。 语法 tee [-ai][--help][--version][文件...] 参数: -a或--append 附加到既有文件 ......
命令 Linux tee

初识linux 上

windows和linux的目录结构的差别 windows的目录 linux下的目录 * Windows的层级目录表示用 \ 表示而linux用 / 表示 * Linux只有一个顶级目录,称之为:根目录 * Windows系统有多个顶级目录,即各个盘符 linux最基本的命令 ls 开始之前先总的说 ......
linux

Linux split命令

Linux split命令 Linux split命令用于将一个文件分割成数个。 该指令将大文件分割成较小的文件,在默认情况下将按照每1000行切割成一个小文件。 语法 split [--help][--version][-<行数>][-b <字节>][-C <字节>][-l <行数>][要切割的文 ......
命令 Linux split

Linux rm 命令

Linux rm 命令 常用命令极其危险,注意./和/目录的区别,谨慎使用 Linux rm(英文全拼:remove)命令用于删除一个文件或者目录。 语法 rm [options] name... 参数: -i 删除前逐一询问确认。 -f 即使原档案属性设为唯读,亦直接删除,无需逐一确认。 -r 将 ......
命令 Linux rm

OS-Linux-环境变量-LD_LIBRARY_PATH

OS-Linux-环境变量-LD_LIBRARY_PATH Linux中PATH、 LIBRARY_PATH、 LD_LIBRARY_PATH的区别 运行时动态库的搜索路径的先后顺序是: 编译目标代码时指定的动态库搜索路径; 环境变量LD_LIBRARY_PATH指定的动态库搜索路径; 配置文件/e ......

unidac 在linux loongxarch64或arm64使用SQLite

unidac SQLite默认使用静态连接方式,但UNIDAC官方SQLite未提供arm64或loongxarch64静态库,造成linux for龙芯或arm64无法使用SQLite,经跟踪unidac源码发现将souce/uniProviders/SQLite/LiteDac.inc添加 {$ ......
loongxarch unidac SQLite linux 64

ZooKeeper分布式应用程序协调服务

目录 一.ZooKeeper基本介绍 1.ZooKeeper是什么? 2.ZooKeeper的工作机制 3.ZooKeeper的特点 4.ZooKeeper的数据结构 5.ZooKeeper的应用场景 5.1 统一命名服务 5.2 统一配置管理 5.3 统一集群管理 5.4 服务器动态上下线 5.5 ......
分布式 应用程序 ZooKeeper 程序

Linux下的IO

阻塞IO和非阻塞IO IO 本质是基于操作系统接口来控制底层的硬件之间数据传输,并且在操作系统中实现了多种不同的IO的方式(模型) IO 模型描述的是不同的 IO 方式,比较常用的几种 阻塞型 IO 模型9 非阻塞型 IO 模型 多路复用 IO 模型 阻塞型 IO 当进程发出 IO 请求后,阻塞进程 ......
Linux

Zookeeper分布式服务协调组件

Zookeeper分布式服务协调组件 1.简介 Zookeeper是一个分布式服务协调组件,是Hadoop、Hbase、Kafka重要的依赖组件,为分布式应用提供一致性服务的组件。 Zookeeper是Hadoop、HBase、Kafka的重要依赖组件。 Zookeeper主要包含文件系统以及通知机 ......
分布式 组件 Zookeeper

Linux安装Redis

1.下载 下载地址:https://redis.io/download 本人选择的是5.0.14版本 上传服务器。本人上传至usr/local目录下。 2.解压 将解压后的redis-5.0.14文件夹改名为redis 3.编译 cd到/usr/local/redis目录,输入命令make执行编译命 ......
Linux Redis

内存去哪儿了——linux free 命令查看内存偏小

相信很多公司都在使用云服务器,不知道大家有没有注意到,当你购买了一台云服务器以后,在操作系统里面通过 free 命令查看服务器的内存,容量总是会小于在云厂商控制台上面看到的内存容量。 为什么会这样呢,那就带着疑问往下看。 现象描述 购买了2台云服务,控制台上面显示的内存是4GiB(4096MiB) ......
内存 命令 linux free

Linux系统目录与路径介绍

HOME目录和工作目录 ls命令的作用:以平埔的形式,展示当前工作目录(默认HOME目录)下的内容(文件或文件夹) Linux系统的命令行终端,在启动的时候,默认会加载 当前登录用户的HOME目录作为当前工作目录,所以ls命令列出的是HOME目录的内容。 HOME目录:每个Linux操作用户在Lin ......
路径 目录 系统 Linux

如何在Linux环境下配置C/C++环境

##root权限后,使用yum源安装 yum -y install gcc gcc-c++ kernel-devel //安装gcc、c++编译器以及内核文件 ##查看GCC版本,看是否安装成功 gcc -v 出现这个就是安装成功了 ##编译&运行 C文件为:gcc -o 文件名(无后缀) 文件名( ......
环境 Linux

爬虫最后一天,爬取到的数据存到mysql中,爬虫和下载中间件、加代理、cookie、header、selenium、随机生成uersagent、去重规则源码分析(布隆过滤器)、scrapy-redis实现分布式爬虫、扩展去重规则

==爬到的数据存到mysql中== class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', password="", h ......
爬虫 规则 分布式 中间件 过滤器

Linux文件与文件夹操作

创建文件夹/文件 mkdir 通过mkdir命令可以创建新的目录(文件夹)。 语法:mkdir [-p] [Linux路径] 参数必填,表示Linux路径,即要创建的文件夹的路径,相对或绝对路径即可。 -p选项可选,表示自动创建不存在的父目录,适用于创建连续多层级的目录。 如果想要一次性创建多个层级 ......
文件 文件夹 Linux

【linux】新机配置

开启网络 cd /etc/sysconfig/network-scripts/ vi ifcfg-ens33 ... BOOTPROTO=dhcp ... ONBOOT=yes systemctl restart network 安装网络查看工具 yum search ifconfig yum in ......
新机 linux

Linux常用操作命令总结

一、基础知识 1.1 Linux系统的文件结构 /bin 二进制文件,系统常规命令 /boot 系统启动分区,系统启动时读取的文件 /dev 设备文件 /etc 大多数配置文件 /home 普通用户的家目录 /lib 32位函数库 /lib64 64位库 /media 手动临时挂载点 /mnt 手动 ......
命令 常用 Linux

分布式事务相关

###1.有遇到分布式事务? 在RPC远程调用过程中,A调用B服务的接口后,A接口报错,无法回滚B接口的事务,最终造成A事务回滚,B事务没有回滚。 注:在单体架构中,如果存在多数据源,每个数据源都有自己独立的事务管理器,那么这时也会存在多数据源事务管理分布式事务的问题。解决方案:jta+Atomik ......
分布式 事务

win平台共享网络给linux板卡

对于一些没有带无线网卡的linux板卡,进入系统后想要设置网络会比较麻烦,需要用网线连到路由器上让路由器去分配ip,这样我们才能通过ssh去访问设备,但是如果路由器离我们比较远或者根本没有路由器的时候这个方案是不行的,因此可以用电脑本身的网口来连接,之后共享电脑本身的网络来实现这一目的。 下面记录一 ......
板卡 linux 平台 网络 win

搭建SSH环境 [Arch Linux] [Xshell] [VirtualBox]

#搭建SSH环境 [Arch Linux] [Xshell] [VirtualBox] ###1. 主机ping通虚拟机 网卡1:虚拟机能ping通主机 + 虚拟机能连接外网 网卡2:主机能ping通虚拟机 ###2. 获取虚拟机IP(注意是网卡2的IP,即与主机在同一网关的IP) ifconfig ......
VirtualBox 环境 Xshell Linux Arch

Linux 常用命令

1.wget wget命令的使用 语法格式 wget [options] [url] 使用 -O 选项以其他名称保存下载的文件 wget-Oredis.tar.gzhttps://download.redis.io/releases/redis-6.0.8.tar.gz 使用 -P 选项将文件下载到 ......
命令 常用 Linux

linux-socket-kernel-dynamic-debug

Linux socket programming kernel debug kernel debug enviroment setup 参考文章,基于linux5.0.1内核的网络代码环境的构建及内核函数的跟踪 - 莫大少 - 博客园 (cnblogs.com)。思路就是带调试信息编译Linux内核 ......

OS-Linux-Ubuntu22.04x64-Python-C++调用Python缺少Python.h

OS-Linux-Ubuntu22.04x64-Python-C++调用Python缺少Python.h 使用 C 或 C++ 扩展 Python 扩展和嵌入 Python 解释器 Python 3.10.11 Python/C API 参考手册 Python 3.11.3 Python/C API ......
Python OS-Linux-Ubuntu Python-C Ubuntu Linux

LeetCode 双周赛 101,DP/中心位贪心/裴蜀定理/Dijkstra/最小环

本文已收录到 AndroidFamily,技术和职场问题,请关注公众号 [彭旭锐] 提问。 大家好,我是小彭。 这周比较忙,上周末的双周赛题解现在才更新,虽迟但到哈。上周末这场是 LeetCode 第 101 场双周赛,整体有点难度,第 3 题似乎比第 4 题还难一些。 周赛大纲 2605. 从两个 ......
定理 LeetCode Dijkstra 101 DP