分布式elasticsearch sqlserver logstash
调整elasticsearch分词器,达到like搜索效果 -基于elasticsearch 6.8
基于elasticsearch 6.8 如果发面es里索引字段,默认搜索时会拆成单字搜索,此时,需要更换分词器,更新已有的分词器会比较麻烦,步骤如下: 1.新建个新索引,这里把它叫做new_index 2.copy老索引数据到新索引 3.删除老索引 4.建立个别名,名字与老索引相同,指向新索引 5. ......
Docker 下安装免费版 Sqlserver
在 Docker 中运行的免费版 SQL Server 和正式收费版 SQL Server 之间通常有以下差别： 功能限制 性能限制： 免费版 SQL Server 可能会有性能方面的限制，例如最大数据库大小、最大内存限制或并发连接数限制。这些限制可能对大型生产环境的数据库影响较大。 功能限制： 免 ......
ElasticSearch-1
原文链接：https://gaoyubo.cn/blogs/52ef5bf7.html 一、Elasticsearch 架构设计 Elasticsearch 架构层： Elasticsearch 五层架构设计图： 说明： Elasticsearch是基于Lucene架构实现的，所以其核心层为Luce ......
ElasticSearch-2
原文链接：https://gaoyubo.cn/blogs/cbe60a4d.html 一、DSL查询文档 1.1DSL查询分类 Elasticsearch提供了基于JSON的DSL（Domain Specific Language）来定义查询。常见的查询类型包括： 查询所有：查询出所有数据，一般测 ......
Windows电脑上的多开器与分布式存储系统的关系
当今，随着信息技术的不断发展，人们对于计算机性能和存储需求的要求也越来越高。在Windows电脑上，多开器与分布式存储系统之间存在着密切的关系，二者共同构建了一个高效、可靠的计算环境。 首先，让我们来了解一下多开器的概念。多开器是一种软件工具，可以让用户在单台计算机上同时启动多个相同或不同的程序实例 ......
SQLServer的varchar与nvarchar的学习之二
SQLServer的varchar与nvarchar的学习之二 背景 昨天简单总结了多种数据库 varchar和nvarchar的区别与关系 今天想着能够分析一下数据库文件. 计划使用winhex 查看数据文件, 简单进行学习 过程 创建数据库和表,然后进行一些测试, 进行简单测试判断. creat ......
Java Spring Boot 集成 elasticsearch6.8.x
在全文搜索领域，毫无疑问，当下 elasticsearch 应用广泛，其优势自不必说，凭借全文快速搜索，可以在短时内实现大数据量的查询。 今天学习下在 Spring Boot 中 集成 elasticsearch 开发，这里主要展示可以怎么用，至于开发人员向通过 ElasticsearchORM 封 ......
fugue 分布式计算通用接口
fugue提供了通用方便分布式计算的接口，可以高效的访问大数据项目，提供了python，pandas，sql 等模式如下图 从上图可以看出fugue 提供了一个语义层，我们的计算任务可以运行在ray，dask，spark，以及duckdb 中 参考架构 可以看出fugue 提供了不少方便的能力，比如 ......
基于Docker安装Elasticsearch + Kibana
基于Docker安装Elasticsearch + Kibana 前提是先安装好Docker的环境 Docker创建网络 Docker创建一个网络专门连接Elasticsearch和Kibana docker network create es-net Docker安装Elasticsearch 拉 ......
将SQLServer单个表设置只读访问权限
将SQLServer单个表设置只读访问权限 1. Insert,Update,Delete 触发器 CREATE TRIGGER trReadOnly ON tablename INSTEAD OF INSERT,UPDATE,DELETE AS BEGIN RAISERROR( 'table is ......
Go 语言实现高性能分布式锁
Go 语言实现高性能分布式锁 原创 源自开发者 源自开发者 2023-12-22 07:31 发表于广东 听全文 源自开发者 专注于提供关于Go语言的实用教程、案例分析、最新趋势，以及云原生技术的深度解析和实践经验分享。 49篇原创内容 公众号 在分布式系统中，实现跨不同服务或节点的同步操作是一个常 ......
伪分布免密
[root@docker00 ~]# ssh-keygen -t rsa [root@docker00 ~]# cd .ssh/ [root@docker00 .ssh]# cp id_rsa.pub authorized_keys [root@docker00 .ssh]# chmod 600 a ......
分布式缓存NewLife.Redis
NewLife.Redis 是一个Redis客户端组件，以高性能处理大数据实时计算为目标。 Redis协议基础实现位于Redis/RedisClient，FullRedis为扩展实现，主要增加列表结构、哈希结构、队列等高级功能。 源码： https://github.com/NewLifeX/New ......
.netcore 分布式事务CAP 快速入门
https://blog.csdn.net/jbossjf/article/details/122590688 CAP是一个用来解决微服务或者分布式系统中分布式事务问题的一个开源项目解决方案。可以解决跨服务器的数据一致性、可用性问题。一个简单的列子，如：订单系统创建订单后需要通知邮件通知用户下单成功 ......
sqlserver 跨库 操作数据 sql语句
sqlserver 跨库 操作 常见应用场景：查询远程数据库 一次性把数据导入到本地数据库表中 创建服务器连接 BEGIN EXEC sys.sp_addlinkedserver" 是用于向 SQL Server 中添加链接服务器的存储过程。EXEC sys.sp_addlinkedserver - ......
自己新建的一个项目作为分布式的调研学习以及使用功能的启动消息如下
D:\work\Java\jdk-17.0.4.1\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:1117,suspend=y,server=n -XX:TieredStopAtLevel=1 -Dspring.o ......
《Java架构师的第一性原理》35分布式计算之分布式事务（TCC、最终一致性、Seata）
1 常见分布式实现方案介绍 1.1 XA方案 有一个事务管理器的概念，负责协调多个数据库（资源管理器）的事务 不适合高并发场景，严重依赖数据库层面，同步阻塞问题；协调者故障则所有参与者会阻塞 1.2 TCC方案 严重依赖代码补偿和回滚，一般银行用，和钱相关的支付、交易等相关的场景，我们会用TCC T ......
《Java架构师的第一性原理》38分布式计算之微服务SpingCloud
1 微服务简介 1.1 什么是微服务 微服务是最近的一两年的时间里是很火的一个概念。感觉不学习一下都快跟不上时代的步伐了，下边做一下简单的总结和介绍。 何为微服务？简而言之，微服务架构风格这种开发方法，是以开发一组小型服务的方式来开发一个独立的应用系统的。其中每个小型服务都运行在自己的进程中，并经常 ......
《Java架构师的第一性原理》36分布式计算之分布式监控分布式链路跟踪（CAT、SkyWalking、Zipkin）
分布式链路跟踪 99 直接读这些牛人的原文 大众点评CAT开源监控系统剖析 一文带你看懂，SkyWalking分布式追踪系统原理及实践 SkyWalking —— 分布式应用监控与链路追踪 全面解析微服务系统监控分层，啃透服务治理核心！ ......
《Java架构师的第一性原理》33分布式计算之分布式注册中心、分布式配置中心
待补充 1 分布式注册中心 2 分布式配置中心 2.1 Apollo 2.1.1 Apollo是怎样注入到SpringBean的容器里的 99 直接读这些牛人的原文 apollo不使用 MQ 如何实现 pub/sub 场景？ 13张图彻底搞懂分布式系统服务注册与发现原理 为什么 @Value 可以获 ......
《Java架构师的第一性原理》30分布式计算之分布式算法
极客时间 韩健 121.分布式协议与算法实战 00 开篇词 | 想成为分布式高手？那就先把协议和算法烂熟于心吧 为什么要单独讲分布式协议和算法呢？ 在我看来，它其实就是决定分布式系统如何运行的核心规则和关键步骤。 如果一个人想真正搞懂分布式技术，开发出一个分布式系统，最先需要掌握的就是这部分知识。 ......
《Java架构师的第一性原理》32分布式计算之分布式锁（Redis、Zookeeper）
1 这才是真正的分布式锁 技术领域，我觉得了解来龙去脉，了解本质原理，比用什么工具实现更重要： （1）进程多线程如何互斥？ （2）一个手机上两个APP访问一个文件如何互斥？ （3）分布式环境下多个服务访问一个资源如何互斥？ 归根结底，是利用一个互斥才能访问的公共资源来实现分布式锁，具体这个公共资源是 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第3篇LevelDB
互联网业务，绝大部分场景，会使用缓存服务。 但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storage library)，它支持字符串的key与字符串的value，并且这种映射 ......
《Java架构师的第一性原理》32分布式计算之分布式缓存第1篇如何使用Redis搭建玩家排行榜
今天我们用 Redis 搭建一个玩家的排行榜，假设一个服务器存储了 10 万名玩家的数据，我们想给这个区（这台服务器）上的玩家做个全区的排名，该如何用 Redis 实现呢？ 不妨一起来思考下面几个问题： MySQL 是如何实现玩家排行榜的？有哪些难题需要解决？ 如何用 Redis 模拟 10 万名玩 ......
《Java架构师的第一性原理》31分布式计算之微服务RPC（Dubbo）
1 互联网架构，究竟为啥要做服务化 互联网架构，究竟为啥要做服务化？ 2 微服务架构，多“微”才合适？ 微服务架构，多“微”才合适？ 3 离不开的微服务架构，脱不开的RPC细节 离不开的微服务架构，脱不开的RPC细节 3.1 服务化解决的问题 1）服务化需要解决的问题： 一套序列化、反序列化、网络框 ......
一套分布式IM即时通讯系统的技术选型和架构设计
为了更好的理解分布式IM即时通讯系统的设计，我站在架构师的角度，在充分了解系统需求、业务流程和技术流程后，从全局视角为系统设定方案目标，对技术方案进行选型，对系统进行总体架构设计和分层架构设计，并梳理清楚发送消息的交互链路、单聊和群聊的交互链路。希望对你有帮助。 ......
SQLSERVER导入EXCEL数据
1、整理好对应的EXCEL表格数据，要有标题行。否则无法映射。 2、登录进入SQLSERVER数据库管理软件，选中要导入的数据库，右键-->点击任务-->选择导入数据 3、点击下一步，直到这个页面，数据源下拉选择EXCEL，选择文件路径，勾选首行包含列名称 3、（1）如果点击下一步报错 The 'M ......
从分布式计算的角度看pytorch和TensorFlow哪个更优？
背景： pytorch框架是一个从学术圈出来的框架，因此pytorch并不原生支持分布式计算，而且在大模型火爆的今年以外好像在深度学习领域使用分布式计算的场景确实不多，所以pytorch并不原生支持分布式计算的事情好像也并无大碍，而且pytorch可以通过安装第三方库的方式实现同步形式的分布式计算。 ......
分布式缓存
单点redis的问题 数据丢失问题：Redis是内存存储，服务重启可能会丢失数据。解决：数据持久化 并发能力问题：单节点并发能力不足。解决：主从集群，读写分离。 故障恢复：需要自动的故障恢复手段。解决：Redis哨兵，实现健康检测和自动恢复。 存储能力问题：单节点Redis难以满足海量数据存储。解决 ......