elasticsearch logstash kibana平台
Elasticsearch7.X Scripting脚本使用详解（转）
转自：https://cloud.tencent.com/developer/article/1507715 0、题记 除了官方文档，其他能找到的介绍Elasticsearch脚本（Scripting）的资料少之又少。 一方面：性能问题。 官方文档性能优化中明确指出使用脚本会导致性能低； 另一方面： ......
Day1 - 大规模Elasticsearch集群管理心得（转）
转自：https://elasticsearch.cn/article/110 【携程旅行网 吴晓刚】 ElasticSearch目前在互联网公司主要用于两种应用场景，其一是用于构建业务的搜索功能模块且多是垂直领域的搜索，数据量级一般在千万至数十亿这个级别；其二用于大规模数据的实时OLAP，经典的如 ......
【Tinyui】极简跨平台桌面端小工具开发框架
Tinyui 基于 Python自带的 tkinter 模块进行简单封装的跨平台客户端框架，方便有快速开发PC端小工具需求的开发者可以快速构建一个跨平台的应用。 ......
汽车销量预测平台 实训项目
汽车销量预测平台为博主大三与同学的小组作业，源代码在已上次至github：Simmon2333/Intelligent-Car-Sales-Forecasting-Platform: 智能汽车销量预测平台，但是功能偏汽车网站多一点 (github.com) 文件包括： （一）01-项目立项报告 （二 ......
1-STM32F103+EC800K(移远4G Cat1)远程升级篇(自建物联网平台)-STM32通过EC800K使用http或https下载程序文件,升级程序(单片机程序检查更新)
<p><iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/ZLIOTB/EC800K/myota.html" frameborder="0" scrolling="auto" width="100%" height="1500"></ ......
elasticsearch oom问题分析
背景 线上发现elasticsearch集群状态red，并且有个es节点jvm内存使用不断升高，直到gc后依然内存不够使用，服务停止。查看日志，elasticsearch出现OOM报错。 [2023-12-06T08:21:26,706][ERROR][o.e.b.ElasticsearchUnca ......
Elasticsearch专栏 集群管理
Elasticsearch 集群管理 简介 Elasticsearch 是一个开源的分布式搜索和分析引擎，用于处理大规模的结构化和非结构化数据。集群管理是确保 Elasticsearch 在生产环境中高效运行的关键任务之一。 集群基础知识 节点（Nodes）： Elasticsearch 集群由一个 ......
Elasticsearch专栏 基础知识
Elasticsearch 基础知识 1. 什么是 Elasticsearch？ Elasticsearch 是一个开源、分布式、实时搜索和分析引擎，建立在 Apache Lucene 基础之上。它提供了一个强大的 RESTful API，用于进行复杂的搜索和分析操作。 2. 核心概念 2.1 节点 ......
Elasticsearch专栏 集群分片管理
Elasticsearch 集群分片管理 简介 Elasticsearch 是一个分布式搜索和分析引擎，数据在集群中被分割成多个分片，以实现高性能和可伸缩性。在管理 Elasticsearch 集群时，分片的合理分配和监控是至关重要的。 分片基础知识 主分片（Primary Shard）： 每个索引 ......
Elasticsearch专栏 集群安全认证
Elasticsearch 集群安全认证 简介 Elasticsearch 的安全认证功能用于确保只有经过授权的用户才能访问集群和执行特定操作。这有助于保护集群中的数据和资源。 安全认证组件 1. X-Pack Security 插件 X-Pack 是 Elastic 提供的官方插件，包含了 Ela ......
一对一聊天平台源码，实现幂等的8种方案
一对一聊天平台源码，实现幂等的8种方案 在一对一聊天平台源码开发时，幂等设计的基本流程都是类似的，我们简简单单来过一下幂等实现的8中方案 一、select+insert+主键/唯一索引冲突 在一对一聊天平台源码开发中，为了实现交易接口幂等，我是这样实现的：交易请求过来，我会先根据请求的唯一流水号 b ......
直播平台制作，重试机制和死信队列的合理运用
在直播平台制作中，如何实现消息消费失败后重试至多三次，仍失败则加入死信队列？ 一、重试机制 首先说一下RabbitMQ的消息重试机制，顾名思义，就是消息消费失败后进行重试，重试机制的触发条件是消费者显式的抛出异常，如果没有显式地抛出异常或者try catch起来没有手动回滚，事务是不会回滚的。以下代 ......
技术写作概述：内容分析、平台和转化追踪以及内容老化
内容分析 内容分析是一种技术作家用来解释和量化文本数据的研究方法。它涉及从不同来源的文本中编码和识别主题或模式的系统过程，这些来源包括书籍、博客、文章或其他文档类型。其主要目标是提供主观解释的、但有效且可重复的、从数据中得出的推论。这种技术有助于确定所讨论的内容是否有效地传达了所需的交流，或者是否存 ......
【专题】抖音电商平台母婴行业营销白皮书报告PDF合集分享（附原数据表）
原文链接：https://tecdat.cn/?p=33866 品牌一直在思考如何更好地了解消费者的需求，特别是在年轻化和线上消费趋势加强的母婴行业。根据《2023母婴行业数据报告合集》，短视频直播平台成为该行业新的增长点。报告合集显示，母婴商品的消费人数在2022年全年和2023年前两个月均呈快速 ......
elasticsearch集群red恢复损坏的索引
背景 客户磁盘损坏，修复磁盘后，重启机器，发现elasticsearch启动成功，ES状态正常green，但是历史数据都没有加载进，查看ES存储数据目录，发现数据还在。 解决方案 首先，需要确认indices目录下的lucene 索引正常。需要关闭ES（实际操作索引处于close状态也可以）。 # ......
中国电信天翼云全国产化大数据平台落地广西！
近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。 ......
视频智能分析/云存储平台EasyCVR接入海康SDK，通道名称未自动更新该如何解决？
视频监控GB28181平台EasyCVR能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，在视频监控播放上，TSINGSEE青犀视频安防监控汇聚平台可支持1、4、9、16个画面窗口播放，可同时播放多路视频流，也能支持视频定时轮播。视频监控汇聚平台EasyCVR支持多种播放协议， ......
安防监控EasyCVR视频融合/汇聚平台大华热成像摄像机智能告警上报配置步骤
在EasyCVR【告警查询】页面选择【大华告警】后选择火情告警，若有火灾发生，则立即触发告警并显示告警截图。 ......
UI测试平台RunnerGo一键安装教程
现在安装RunnerGo仅需要一条命令！目前支持系统：Centos、Debian、Ubuntu三种。下面给大家介绍一下RunnerGo安装使用流程： Step1：复制以下命令 wget https://img.cdn.apipost.cn/running_go/img/wiki/runnergo.t ......
402-STM32F103+EC800K(移远4G Cat1)基本控制篇(阿里云物联网平台)-微信小程序扫码绑定EC800K并通过阿里云物联网平台实现远程通信控制
<p><iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/ZLIOTB/EC800K/aliyun.html" frameborder="0" scrolling="auto" width="100%" height="1500">< ......
401-STM32F103+EC800K(移远4G Cat1)基本控制篇(阿里云物联网平台)-Android扫码绑定EC800K并通过阿里云物联网平台实现远程通信控制
<p><iframe name="ifd" src="https://mnifdv.cn/resource/cnblogs/ZLIOTB/EC800K/my.html" frameborder="0" scrolling="auto" width="100%" height="1500"></ifr ......
Spring Boot Admin运维监控平台的搭建
Spring Boot Admin运维监控平台 使用Actuator能够全面地捕获Spring Boot应用的健康状况、内存使用、线程信息、堆栈详情、配置等关键数据，从而全方位地监控应用的生命周期。然而，如何有效展示这些收集的应用和性能数据呢？为此，Spring Boot Admin这一开源工具应运 ......
9解决elasticsearch深度分页问题
前面说到，分页可以使用from和size参数，类似于mysql的分页offset和limit。但是如果数据量比较大时，elasticsearch会对分页做出限制，因为此时会比较消耗性能。 为什么要限制 分页的时候，elasticsearch会根据查询条件到每个分片取出数据来，然后再由coordina ......
7.elasticsearch重建索引
什么时候需要重建索引 索引的mappings发生变更 索引的setting发生变更 集群内，集群间，需要做数据迁移 update by query 在现有索引重建 比如需要给一个text新增一个子字段，用english分词器。那么新添加的数据会被索引，之前的数据不会被索引。此时可以用_update_ ......
4.elasticsearch中查询条件
目录一、URI查询指定字段、泛查询分组和phraseBool条件must条件范围查询通配符查询正则表达式模糊匹配与近似查询二、RequestBody&DSLignore_unavailableprofileexplainqueryfrom、sizesort_sourcescript_fieldsma ......
5.elasticsearch中聚合查询
elasticsearch聚合查询 什么是聚合，就是目的不是查询具体的文档，而是查询文档的相关性，此外还可以对聚合的文档在按照其他维度再聚合。 包含以下四种聚合 Bucket Aggregation 一些列满足特定条件的文档的集合 terms 对某个字段统计每个不同的内容，以及出现文档的个数 ran ......
6.elasticsearch中search template和alias
什么是search template 顾名思义，查询模版，就是提前设定好查询的DSL，再次查询时，只需要指定对应的模版，然后传入相应的参数就好。一是可以每次不用构建复杂的DSL，二是可以供开发直接使用查询DSL模版，减少学习和对接成本。 有如下两种方法 一、创建脚本_script/template, ......
1.elasticsearch运行
在docker中运行elasticsearch、kibana 一、MacOs 首先需要安装doceker，提供两种方式，选一种方便的就好 1.命令行安装方式 安装命令行 xcode-select --install 安装homebrew /usr/bin/ruby -e "$(curl -fsSL ......
2.elasticsearch中的mapping
mapping 顾名思义，代表了映射关系。是文档中字段和数据类型的映射关系 为什么要了解mapping 虽然elasticsearch中已尽有的动态mapping(Dynamic Mapping)，而且新增字段默认也会添加新的mapping，但是毕竟是机器，有时会推算的不对，比如地理位置信息，特殊格 ......