分布式elasticsearch sqlserver logstash
分布式【分布式事务】
一、事务 事务实现应该具备原子性、一致性、隔离性和持久性。即ACID。 原子性（Atomicity），可以理解为一个事务内的所有操作要么都执行，要么都不执行。 一致性（Consistency），可以理解为数据是满足完整性约束的，也就是不会存在中间状态的数据，比如你账上有400，我账上有100，你给我 ......
sqlserver 添加表说明和字段注释
--为字段添加注释 --Eg. execute sp_addextendedproperty 'MS_Description','字段备注信息','user','dbo','table','字段所属的表名','column','添加注释的字段名'; execute sp_addextendedpro ......
数据统计分析 — 泊松分布
在一指定时间范围内或在指定的面积或体积内某一事件出现的次数的分布，他们对应的随机变量的概率服从的分布叫做泊松分布 例如： 某企业中每月某设备出现故障的次数 单位时间内到达某一服务台需要服务的顾客人数 ......
Ceph分布式存储原理
一. 基本介绍 1. 定义 Ceph是一个分布式存储系统(由c++编写完成，提供软件定义、统一存储解决方案)，根据存储类型可分为块存储、对象存储和文件存储；它提供了一个可无限伸缩的Ceph存储集群 什么是文件存储，块存储，对象存储？ 块存储简称RBD（RADOS Block Device），是一种有 ......
ElasticSearch
一、简介 简称 ES，开源高扩展分布式全文检索引擎。可以近乎实时存储，检索数据。扩展性良好，可扩展数百台服务器，处理PB级别的数据。 ES也使用Java开发并使用Lucene作为核心来实现所有索引和搜索的功能，但是它的目的是通过简单的Restful Api来隐藏Lucene的复杂性，从而让全文搜索变 ......
Elasticsearch 系列（一）- 环境搭建
本章将和大家分享在 Windows 系统上如何搭建 Elasticsearch 的开发环境。话不多说，下面我们直接进入主题。 一、安装Java的JDK Elasticsearch 其中最主要的开发语言就是 Java ，所以我们在安装 Elasticsearch 之前，首先需要安装的就是 Java 的 ......
Kafka 在分布式系统中的 7 大应用场景
Kafka 介绍 Kafka 是一个开源的分布式流式平台，它可以处理大量的实时数据，并提供高吞吐量，低延迟，高可靠性和高可扩展性。Kafka 的核心组件包括生产者（Producer），消费者（Consumer），主题（Topic），分区（Partition），副本（Replica），日志（Log）， ......
logstash同步文本数据到es
环境:OS:Centos 7ES:6.8.5logstash:6.8.5 1.准备测试文件 [root@localhost myfile]# pwd /tmp/myfile [root@localhost myfile]# more a.log 111@3334@3333 vvv@aaa@gggg ......
LoadRunner分布式负载(多机器)
首先调用的负载机器可以没有LoadRunner，但是必须要有Agent Configuration： 全部勾选 在LoadRunner User的脚本中的接口调用必须使用ip，不能使用localhost。 打开Controller： 添加负载机： 测试连接： ready打钩表示连接通了。 点击菜单栏 ......
分布式操作系统的必要性及重要性
总有人在各个平台留言或者私信问LAXCUS分布式操作系统的各种问题，尤其是关于分布式操作系统的应用市场、价值、意义之类的问题。我们团队做LAXCUS分布式操作系统，也不是头脑凭空发热，是基于我们之前的大量产品设计、经验逐渐一步步做起来。当今已经进入智能时代，也是算力时代，人工智能、大数据、云计算是这 ......
logstash同步es数据(目的端先创建好mapping)
环境:OS:Centos 7ES(源端和目标端):6.8.5logstash:6.8.5 说明:1.logstash版本尽量与es版本保持一致2.我们这里先在目的端创建好mapping(表结构),因为不提前创建好mapping的话,logstash同步的时候根据数据情况自动推断数据字段类型定义字段类 ......
SQLServer 实现数据库表复制到另一个数据库
SQLServer 实现数据库表复制到另一个数据库一、如果两个数据库在同一台服务器上1、复制表结构和数据(A->B)：SELECT * INTO DatabaseB.dbo.TableB FROM DatabaseA.dbo.TableA12、仅仅复制表结构(A->B)：SELECT * INTO ......
分布式系统分析
什么是分布式系统 分布式系统是支持分布式处理的软件系统，是由通信网络互联的多处理机体系结构上执行任务的系统。 一个业务拆分为多个子业务，落地成不同的服务，将各个服务部署在不同的容器上。各个服务之间通过某种协议通信交互。 好处是有更好的可靠性，可扩展性，但也带来了一致性问题。所以碰到分布式系统，主要就 ......
分布式锁总结归纳
我们都知道在微服务架构中，微服务之间要保持单线程运行一段代码只能用到分布式锁，下面这个文章介绍了几种实现分布式锁的方案，并对比了每种方案的优势和劣势： 分布式锁(5种) 需要注意的是，这篇文章中提到了公平锁的概念，在上面这个文章的方案中zookeeper和etcd这两个是天然的公平锁方案，目前来看是 ......
Google全球分布式数据库：Spanner
2012年的OSDI上google发布了Spanner数据库。个人认为Spanner对于版本控制，事务外部一致性的处理，使用TrueTime + Timestamp进行全球备份同步的实现都比较值得一看。个人认为对于其中时序逻辑的理解对在大范围内（通常是全国到全球）部署分布式DB以确保复制同步有重要意 ......
Kettle链接SqlServer+Jdk8 问题解决
这两天要弄个ldap对接， 客户端 server2016,数据库那边 win server 2008,数据库也是2008 最开是链接出现类似这样的，更换了链接mssql的 Jar版本，从12换到了6的老版本，没用。 后来更改网上提示的 C:\Program Files\Java\jre-1.8\li ......
使用logstash迁移遇到的错误(es同步到es)
环境： OS:Centos 7 ES:6.8.5 问题1: [2023-10-25T09:29:53,892][INFO ][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type" ......
SQLServer2008/2005 生成数据字典语句
SELECT 表名=case when a.colorder=1 then d.name else '' end, 表说明=case when a.colorder=1 then isnull(f.value,'') else '' end, 字段序号=a.colorder, 字段名=a.name, ......
ElasticSearch 无密码集群搭建、监控和使用
对于 ElasticSearch8 集群，比较容易的方式就是无密码集群搭建。对于 ElasticSearch 来说，一般都是运行在内网中，可以通过防火墙限制来源 ip 或者通过 ElasticSearch 自身的配置来限制来源 ip。这种保障安全的方式比较类似于 Redis 。 对于 Kibana ......
Elasticsearch数据类型
Elasticserach数据类型 基本数据类型 keyword keyword类型是不进行切分的字符串类型。这里的“不进行切分”指的是：在索引时对keyword类型的数据不进行切分，直接构建倒排索引；在搜索时，对该类型的查询字符串不进行切分后的模糊匹配。keyword类型数据一般用于对文档的过滤、 ......
Windows Server设置SqlServer2012远程连接和Mysql8远程连接经验
第一步，先设置阿里云，“网络与安全”》“安全组”》“管理规则”》“入方向”添加相应端口记录 SQLServer 首先，我们在登录时，选择Windows身份验证,然后连接到服务器。 ......
定位SQLServer数据库执行语句的二进制截断提示的超长字段
const ConstTSQL = '|INSERT|UPDATE|DELETE|CREATE|ALTER|DROP|EXEC|';function FindDbShortField(aQry: TFDQuery): String; // 搜指定SQL关键字 function SearchSQLWo ......
sqlserver 事务隔离级别与脏读、不一致读、幻读
sqlserver查询窗口的默认事务隔离级别为：read committed，可以通过下面SQL语句查看： SELECT CASE transaction_isolation_level WHEN 0 THEN 'Unspecified' WHEN 1 THEN 'ReadUncommitted' ......
分布式定时任务-利用分布式定时任务框架xxl-job实现任务动态发布
1.场景：项目前期使用k8s部署的单节点，后期生产需要将单节点的服务扩展多个节点，每个节点的定时任务使用的quartz实现，如果不加限制且定时任务有对数据库的写操作，在不同节点上执行的定时任务容易造成数据库产生脏数据，所以需要分布式任务框架对任务进行控制，这里我们使用xxl-job实现。 2.需要下 ......
ElasticSearch安装、插件介绍及Kibana的安装与使用详解
ElasticSearch安装、插件介绍及Kibana的安装与使用详解 1.安装 ElasticSearch 1.1 安装 JDK 环境 因为 ElasticSearch 是用 Java 语言编写的，所以必须安装 JDK 的环境，并且是 JDK 1.8 以上，具体操作步骤自行百度 安装完成查看 ja ......
logstash 与ElasticSearch：从CSV文件到搜索宝库的导入指南
logstash 与ElasticSearch：从CSV文件到搜索宝库的导入指南 使用 logstash 导入数据到 ES 时，由三个步骤组成：input、filter、output。整个导入过程可视为：unix 管道操作，而管道中的每一步操作都是由 "插件" 实现的。使用 ./bin/logsta ......
logstash安装部署
环境:OS:Centos 7logstash:6.8.5 1.下载logstash我这里下载的是6.8.5版本https://artifacts.elastic.co/downloads/logstash/logstash-6.8.5.tar.gz 2.上传服务器进行解压安装在root账号下处理[r ......
删除 Elasticsearch 中指定日期前的数据
之前已搭建一个ELK+Filebeat 的集群，并收集了 Nginx 的日志信息。在 Elasticsearch 中索引的名字是：nginx-access-log-*，后面的*代表的是日期。 假如，需要删除7天前的数据，可以执行通过以下方法： curl -u elastic:****** -H'Co ......