incomplete ceph pg
10.PG的统计信息
1.PG的统计信息 数据的统计信息反映的是数据的分布情况，PG执行SQL语句会经过解析的过程和查询优化过程。 解析过程：解析器将sql语句分解成数据结构并传递给后续步骤 查询优化过程：查询优化器发现执行sql语句的最佳方案，并生产执行计划。 查询优化器sql决定sql语句如何执行依赖于数据库的统计信 ......
9.PG表的磁盘碎片清理
1.磁盘碎片 在PG中删除行时，这些行为只是被标记为 'dead' , 并不是真正从物理存储上进行删除，因为空间也没有被释放回收。 在PG中，除非进行自动的清理(vacuum)或者手工的清理，否则数据块所占用的物理空间是不会释放，在物理存储空间被回收之前，会导致存储空间中存在很多空洞。 大量的更新操 ......
8.PG的日志文件
Postgresql的日志分为运行日志、预写日志、事务日志和服务器日志。 1）运行日志 运行日志，在默认情况下是不开启的，通过主要的参数文件postgresql.conf的配置可以看到相关的参数设置。运行日志一般用来记录数据库服务器端与数据库的状态，如各种错误信息、定位慢日志、数据库的启动、关闭信息 ......
7.PG的控制文件
控制文件 控制文件记录了数据库运行时的一些信息，如数据库OID,是否为打开状态，预写日志的位置、检查点的信息等。 控制文件位置默认保存在$PGDATA/global目录下，pg_control 这个就是。 控制文件内容 [postgres@iZwz909xeqcc7ouqk8528zZ 16]$ p ......
6.PG数据库管理
1.PG数据库库属主 PG中的数据库属主属于创建者，只要有cretedb权限就可以创建数据库，数据库属主不一定拥有存放在该数据库中其它用户创建的对象的访问权限。 数据库在创建后，允许public角色连接，即允许任何人连接 数据库在创建后，不允许除了超级用户和owner之外的任何人在数据库中创建sch ......
centos安装pg数据库
1.下载yum源 yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm 2.安装libzstd 否则安装数据库报错Req ......
ceph集群搭建详细教程（ceph-deploy）
ceph-deploy比较适合生产环境，不是用cephadm搭建。相对麻烦一些，但是并不难，细节把握好就行，只是命令多一些而已。 实验环境 服务器主机 public网段IP（对外服务） cluster网段IP（集群通信） 角色 deploy 192.168.2.120 用于部署集群、管理集群 cep ......
搭建ceph集群
本文完全拷贝出处：https://www.cnblogs.com/qiuhom-1874/ 前文我们了解了Ceph的基础架构和相关组件的介绍，回顾请参考https://www.cnblogs.com/qiuhom-1874/p/16720234.html；今天我们来部署一个ceph集群； 部署工具介 ......
基于pg driver 的dremio cratedb arp 扩展
实际上pg 驱动是可以直接链接cratedb 的但是因为默认实现会自动添加一个编码造成生成的sql 在cratedb 运行异常 参考代码 核心是arp 方言处理上，移除了关于编码的处理，实际上与mssql server 处理是一样的,主要代码实际上来自ce 版本的pg 扩展 public SqlCo ......
5.PG的逻辑结构
1.如图 [postgres@iZwz909xeqcc7ouqk8528zZ ~]$ cd $PGDATA [postgres@iZwz909xeqcc7ouqk8528zZ data]$ ls base pg_dynshmem pg_logical pg_replslot pg_stat pg_t ......
4.PG的进程和内存结构
1.我们在启动PG数据库时，会先启动一个Postmaster的主进程，还会fork出一些辅助的子进程，其中辅助的子进程主要包含： 1）Logger(系统日志）进程 2）BgWriter(后台写）进程 3）WalWriter(预写式日志) 进程 4) PgArch(归档)进程 5) AutoVacuu ......
3.PG查看系统信息的常用命令
1.查看当前数据库实例的版本信息 postgres=# select version(); version PostgreSQL 14.2 on x86_64-pc-linux-gnu, compiled by gcc (GCC) 4.8.5 20150623 (Red Hat 4.8.5-44), ......
electric 基于pg 的现代应用的同步层框架
electric 是使用Elixir 开发的基于pg 的应用数据同步层中间件，electric 支持多种集成模式 支持模式 drivers 支持基于sqlite 的应用同步，包含了本地，移动端，以及后端 前端支持 包含了对于一些主流前端框架的支持 后端 对于各种后端框架的支持 对于evnet sou ......
2.PG的\d命令
1）\d ：显示当前数据库的所有表 2）\d 表名：显示表的定义结构 3）\d 索引名：显示索引信息 4）\d 表名或者索引名中也可以使用通配符， 如* 或者？ 5）\d+ ：表示显示更加详细的信息 6）只显示某个对象 7) 显示sql执行的时间，可以使用\timing on 表示打开 8) 如果想 ......
PG数据库的离线rpm包下载
PG数据库的离线rpm包下载 背景 周末时间研究数据库的版本. 发现PostgreSQL数据库的版本号已经变成了一年一个大版本. 兼容起来其实成本很高. 想着能够在能够上网的机器上面弄好多套数据库. 便于备份和下载 下载方式 参照官方文档进行学习, 改完下载和使用. 注意的是,我这边建议选择 rhe ......
【ceph】授权认证管理cephx
[ceph: root@node /]# ceph auth get client.admin exported keyring for client.admin [client . ad min] key = AQCi6Dhajw7pIRAA/ECkwyipx2/raLWj gbklyA== ca ......
Postgresql在Windows中使用pg_dump实现数据库(指定表)的导出与导入
场景 Windows中通过bat定时执行命令和mysqldump实现数据库备份： https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119024990 Windows上通过bat实现不同数据库之间同步部分表的部分字段数据： https ......
【ceph运维】
c 最近收到一个需求，客户希望将运行了多年的ceph集群服务器全部更换掉，因为这些老服务器性能和容量都已经无法满足当前业务的需求，并希望在迁移到新服务器的过程中，业务不中断。在参考一些网上的方案后，选择了一个方案进行了测试，效果还不错，决定将测试过程记录下来，并且自己写了些自动化的脚本，希望以后迁移 ......
手把手教你搭建 Ceph＋JuiceFS
Ceph 提供了对象存储，可作为存储引擎在 JuiceFS 中使用。这一组合非常适合云计算、大数据分析和机器学习等数据密集型应用场景。 在日常部署中可直接通过 Ceph RADOS 配合 JuiceFS 使用，无需部署 RGW。基于此方案实践以及运维中的常见问题，结合Ceph 官方文档整理了这篇博客 ......
pg数据库 定时备份脚本
!/bin/bash 使用环境变量设置pg密码 export PGUSER=xxxx export PGPASSWORD=xxxx pghost="xxxxx" logfile="/db/log/dump/pg_dump_backup_$(date '+%d').log" touch $logfil ......
【SDE】docker安装 pg-postgis 并配置 sde
安装 # 1. 下载image docker pull postgis/postgis:12-3.3 # 4. 运行 sudo docker run --name postgis1233 -e POSTGRES_PASSWORD=test -v /home/postgis:/home/geoscen ......
每天5分钟复习OpenStack（十二）Ceph FileStore 和 BlueSotre
一个最小化的Ceph集群需要三个组件MON MGR OSD.上一章我们部署了MON,本章节我们完成剩下MGR 和OSD 的部署。在文末我们将重点介绍下什么是FileStore和BlueStore，并详细分析其特点，来说明为什么Ceph社区放弃了FileStore，直接采用了BlueStore. 1、 ......
ceph 编译时遇到的一些问题
在用git submodule update --init --recursive --progress下载子模块时，一些子模块加载有问题，包括rook-clinet-python #######################################执行./do_cmake.sh时报错## ......
day07 基于Ceph的存储解决方案 (2.2.1-2.2.3)
一、基于Ceph的存储解决方案上 1、Kubernetes使用Rook部署Ceph存储集群 Rook https://rook.io 是一个自管理分布式存储编排系统，可为K8S提供便利的存储解决方案 Rook本身不提供存储，而是在kubernetes和存储系统之间提供适配层，简化存储系统的部署与维护 ......
每天5分钟复习OpenStack（十一）Ceph部署
在之前的章节中，我们介绍了Ceph集群的组件，一个最小的Ceph集群包括Mon、Mgr和Osd三个部分。为了更好地理解Ceph，我建议在进行部署时采取手动方式，这样方便我们深入了解Ceph的底层。今天我们将进行较长的章节讲解，希望您能耐心阅读完（个人建议可以动手实践一次，效果更佳）。因为Ceph官方 ......
[机翻]Fun With Another PG-Compliant Hook/另一个符合 PG 标准的钩子的乐趣
原文链接：https://revers.engineering/fun-with-pg-compliant-hook/ 目录Overview /概述Common Hook Points in Windows Kernel /Windows 内核中的常见钩子点The HalPrivateDispatc ......
每天5分钟复习OpenStack（十）Ceph 架构
在很多关于Ceph的文章中，通常会介绍一堆概念。虽然这些概念很重要，但是对于一个新手来说，同时接受太多的概念实际上很难消化。因此，在阅读本章节时要保持轻松的心情，只需要对所有的概念有个了解就可以了，因为这些概念在接下来的Ceph章节中都会被反复提到。 1、Ceph是什么？ “Ceph is a un ......
PG如何备份数据库：
备份数据：：##单数据库：三种格式备份：pg_dump -bash-4.2$ history |grep pg_dump 13 2023-11-22 15:18:17 postgres pg_dump mydb >mydb.bak 21 2023-11-22 15:20:03 postgres pg ......
Postgresql(PG)表的操作：
PG表的支持数据类型： 数值数据类型 字符串数据类型 日期/时间数据类型 #创建库 postgres=# create database mydb;CREATE DATABASEpostgres=# \c mydbYou are now connected to database "mydb" as ......