分布式elasticsearch sqlserver logstash
【限流】Redis + Lua 实现分布式限流器
目录Redis + Lua 限流实现1. 导入依赖2. 配置application.properties3. 配置RedisTemplate实例4. 定义限流类型枚举类5. 自定义注解6. 切面代码实现7. 控制层实现8. 测试 Redis + Lua 限流实现 技术栈：自定义注解 + aop + ......
SQLServer用户仅有访问某个库的权限设置
第一步：取消数据库公开的权限 USE master GO DENY VIEW any DATABASE TO PUBLIC; 第二步：将Test数据库对view_test用户可见 use Test go EXEC dbo.sp_changedbowner N'view_test' ......
高版本SqlServer数据库还原到低版本数据库
需求：SqlServer2017还原到SqlServer2008数据库 直接备份还原与拷贝文件还原均无法成功 解决方案：1、修改兼容性，再备份数据库，还原(推荐) 2、导出脚本、导入（即数据同步），大数据量不建议使用该方法 ......
世界上最全面的elasticsearch学习之路，祝你早日学成归来
开胃菜，核心知识篇 elasticsearch安装和使用 elasticsearch 索引curd ,mapping映射, query DSL elasticsearch分词器 character filter ,tokenizer,token filter elasticsearch聚合查询 El ......
分布式锁，怎么个事？
平时的工作中，由于生产环境中的项目是需要部署在多台服务器中的，所以经常会面临解决分布式场景下数据一致性的问题，那么就需要引入分布式锁来解决这一问题。 本文参考文章： https://www.cnblogs.com/niceyoo/p/13711149.html https://cloud.tence ......
Microsoft SQL Server 2012 SP4 中可以通过一些技术和方法来实现分布式数据库的功能
Microsoft SQL Server 2012 SP4 中，虽然没有内置的原生支持分布式数据库的功能，但您仍然可以通过一些技术和方法来实现分布式数据库的功能。下面我将介绍几种常见的实现方式： 分布式查询 您可以使用 SQL Server 的链接服务器功能，建立到其他 SQL Server 实例的 ......
elasticsearch在Java中查询指定列的方法
背景 ES在查询时如果数量太多，而每行记录包含的字段很多，那就会导致超出ES的查询上线，默认是100MB，但是很多场景下我们只需要返回特定的字段即可，那么如何操作呢。 主要代码 @Autowired private RestHighLevelClient client; public List<Ma ......
linux 安装 elasticsearch
1、创建一个新用户 创建用户：useradd elastic 设置密码：passwd elastic 2、创建所需文件夹 安装路径：mkdir /usr/local/elasticsearch 日志：mkdir /usr/local/elasticsearch/esdata/log 数据：mkdir ......
docker方式安装的 elasticsearch升级
当前环境： docker-compose安装的分机多节点 elasticsearch 7.15.0 node1 192.168.1.194 node2 192.168.1.195 node3 192.168.1.198 安装参见： https://www.cnblogs.com/xiaoyou201 ......
一文带你零基础深入理解随机变量，概率分布与统计量
一. 随机事件与概率 1.1 随机现象 在自然界和人类活动中，发生的现象多种多样，比如下列这些现象： 1. 偶数能被2整除 2. 光的速度是常数 3. 一家门店一天之内的订单量 4. 一个新生儿可能是男生也可能是女生 5. AB实验存在对照组和实验组 6. 李华上厕所的时间 不难发现，其中①②⑤这类 ......
Seata分布式事务框架-AT模式与TCC模式介绍
Seata AT事务方案Seata 的 AT 模式（Automatic Transaction）是一种无侵入的分布式事务解决方案。下面结合具体业务场景来分析其执行的原理。 业务场景订单系统 当用户下订单时，执行以下三步流程： 订单系统保存订单 订单系统调用库存服务，减少商品库存 订单系统调用账户服务 ......
分布式任务调度(00)--Quartz
1 任务调度整体流程 2 组件 调度器 ：工厂类创建Scheduler，根据触发器定义的时间规则调度任务 任务：Job表示被调度的任务 触发器：Trigger 定义调度时间的元素，按啥时间规则执行任务。一个Job可被多个Trigger关联，但是一个Trigger 只能关联一个Job import o ......
这次弄下k8s 分布式多机测试，这次专门多创建了几个机器进行安装，实时监控机器状态
k8s 实机分布式测试，这次弄一下这个，上次弄的是单机版本的minikube, 在单机上minikube替代了kubectl的工作，在单机上可以创建多个布署等，实际使用会有多个系统，分布式才是正常生产时发按它效率的时间。 k8s说明上要求机器要有2g内存，这里我创建了四个vm, 每个4g内存，这样可 ......
记录ElasticSearch分片被锁定导致无法分配处理过程
本篇文章记录最近ES做节点替换，从shard迁移过程中被锁定导致无法分配，主shard正常，希望可以帮助其它人 failed to create shard，failed to obtain in-memory shard lock，ShardLockObtainFailedException 一、 ......
【发布】DDD 工程脚手架 + 一键安装分布式技术栈环境！
作者：小傅哥 博客：https://bugstack.cn 沉淀、分享、成长，让自己和他人都能有所收获！😄 大家好，我是技术UP主小傅哥。 写了那么多案例工程，开发了那么多技术项目。那小傅哥做的这些案例和项目是每一个都要手动创建一遍吗？🤔 如果不是一个个都手动创建，那么有什么提效工具吗？ 不用， ......
查询SQLSERVER 中，某个存储过程被多少其他存储过程引用
SELECT a.object_id,a.name,a.type,b.definition,b.uses_ansi_nulls,b.uses_quoted_identifierFROM sys.objects a INNER JOIN sys.sql_modules b ON a.OBJECT_ID ......
多元高斯分布/高斯过程全解析
大纲 公式推导 参数估计 高斯分布运算 高斯分布性质 高斯过程（Gaussian process） 高斯混合模型 概念区分 边缘分布(marginal distribution)和联合分布 概率密度函数和概率分布函数 1. 多元高斯分布公式推导 首先我们知道一元高斯分布是：\(N(x|u,\sigm ......
SQLServer两张表筛选相同数据和不同数据
概述 项目中经常会对两张数据库表的数据进行比较，选出相同的数据或者不同的数据。在SQL SERVER 2000中只能用Exists来判断，到了SQL SERVER 2005以后可以采用EXCEPT和INTERSECT运算符比较两张表的数据。 EXCEPT运算符返回由EXCEPT运算符左侧的查询返回、 ......
SQLserver、MYSQL、Oracle复制表结构和数据语句
1.SQLserver语法 select * into 新表名 from 旧表名; 2.mysql语法 CREATE TABLE 新表名 SELECT * FROM 旧表； Oracle语法 CREATE TABLE 新表 AS SELECT * FROM 旧表; ......
一种Mysql和Mongodb数据同步到Elasticsearch的实现办法和系统
本文分享自天翼云开发者社区《一种Mysql和Mongodb数据同步到Elasticsearch的实现办法和系统》，作者：l****n 核心流程如下： 核心逻辑说明： MySQL Binlog解析: 首先，从MySQL的二进制日志（Binlog）中解析出表名。这一步骤非常关键，因为我们只关注特定表的数 ......
分布式图算法Pregel
最近看了Google的Pregel论文，图算法有一些经典且不可被替代的应用场景，如社交网络，相互引用等。但是在单个结点上的运算量往往过少，注重的是消息传播和逻辑处理，而不是单纯的大规模计算。虽然已经过去了十几年，但是其中的messsage passing，combiner，aggregator，gr ......
elasticsearch笔记一
安装 官网链接：[Installation and Upgrade Guide 7.2] | Elastic =》 Installing the Elastic Stack https://www.elastic.co/guide/en/elastic-stack/7.2/installing-el ......
理论讲解 -分布式系统
分布式系统常见理论讲解 分布式系统是指由多个节点通过网络进行通信和协作的系统，它具有高可用性、高扩展性、高性能等优点，但也面临着一些挑战，如数据一致性、容错性、负载均衡等。为了解决这些问题，分布式系统设计出现了一些经典的理论和方法，如 CAP 理论、BASE 理论、一致性等。 CAP 理论 CAP ......
sqlserver查询库中所有表的字段并进行拼接
-- 查询库中所有表的字段信息 SELECT TABLE_NAME, COLUMN_NAME, DATA_TYPE FROM INFORMATION_SCHEMA.COLUMNS WHERE TABLE_SCHEMA = 'dbo' ORDER BY TABLE_NAME, ORDINAL_POSI ......
Nebula Graph开源分布式图数据库,万亿级数据,毫秒级延时
推荐一个分布式图数据库Nebula Graph,万亿级数据,毫秒级延时 什么是Nebula Graph Nebula Graph 是一款开源的、分布式的、易扩展的原生图数据库，能够承载包含数千亿个点和数万亿条边的超大规模数据集，并且提供毫秒级查询 什么是图数据库 图数据库是专门存储庞大的图形网络并从 ......
Hadoop-3.3.3分布式集群的文件配置，启动hadoop历史服务和启动日志聚集
一、分布式集群的文件配置 涉及$HADOOP_HOME/etc/hadoop路径下的5个文件 workers、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 首先修改workers 进入$HADOOP_HOME/etc/hadoop ......
云计算-hadoop的安装（书接上回+分布式搭建）
书接上回，这次来进行分布式集群的搭建。 执行命令：echo $JAVA_HOME 查看路径，我的路径如图所示： 然后在/usr/local/hadoop目录下，执行命令gedit ./etc/hadoop/hadoop-env.sh 打开文本，然后再第一行添加刚刚的路径，如图所示： 因为之前一节咱们 ......