日志 队列elasticsearch filebeat
Elasticsearch监控
Kibana集群监控 https://www.cnblogs.com/h--d/p/13192992.html 监控elasticsearch集群方案 https://www.cnblogs.com/1zhangwenjing/p/12312142.html#_label4 MetricBeat + ......
营业日志 —— FFT
Q: 【模板】多项式乘法（FFT） 给定一个 \(n\) 次多项式 \(F(x)\)，和一个 \(m\) 次多项式 \(G(x)\)。 请求出 \(F(x)\) 和 \(G(x)\) 的卷积。 暴力很容易实现，但是时间复杂度为 \(O(n^2)\) 如何优化？ 使用 FFT 可以有效将复杂度降至 \ ......
2024了，我不想再用AOP收集业务操作日志了 | 京东云技术团队
0.背景 在近期的项目中，系统涉及到针对系统的业务操作日志统计功能，由于本系统位于业务链路的中心环节，负责接收上游系统的数据，并将基于用户操作产生的数据传递至下游系统，鉴于业务链路的复杂性和操作场景的多样性，我们计划通过对核心业务数据进行全生命周期的日志记录来提升问题解决的效率，并为用户提供更多的工 ......
Elasticsearch使用系列-ES简介和环境搭建
Elasticsearch使用系列-ES简介和环境搭建 目录 一、简介 二、Windows搭建ES 三、Linux搭建ES 四、Docker搭建ES Elasticsearch使用系列-ES简介和环境搭建 Elasticsearch使用系列-ES增删查改基本操作+ik分词 Elasticsearch ......
【ASP.NET Core】使用SignalR推送服务器日志
【ASP.NET Core】使用SignalR推送服务器日志 一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代 ......
python pip更新异常日志
解决pip升级导致的ERROR: Could not install packages due to an EnvironmentError问题今天执行pip install -U pip命令想更新pip的时候，遇到了下面的问题： 后来上网查了一下发现很多方法都是让直接执行 ！！（必须在管理员模式去 ......
docker部署ELK日志系统
第一步：部署ES docker pull elasticsearch:7.17.0 创建ES目录与配置文件 mkdir -p /opt/es/config mkdir -p /opt/es/data echo "http.host: 0.0.0.0" >>/opt/es/config/elastic ......
AOP用于日志管理
我在项目中使用AOP作日志管理，首先自定义注解syslog，再写一个aspect切面类，使用@around环绕通知，通过参数中的joinpoint切点，通过动态代理获取当前类的对象，这样就可以获取到类名等信息，可以通过一些别的方法比如getArgs，获取方法的参数等等 @Aspect@Compone ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
日志记录升级(中间件全局日志)
1.继承IExceptionFilter只是用于记录全局异常异常日志，现在我想记录每个请求的日志并且入库。 需要用到IAsyncActionFilter，继承该接口，用于记录每一个action方法的请求信息，作用是记录每个操作的记录，简单点来讲就是记录哪个人调用了哪个方法。 添加一个继承该接口的过滤 ......
elasticsearch activemq 进程
[root@mvp1 ~]# ps -ef | grep elaes 23985 1 0 2023 ? 01:02:42 /opt/elasticsearch/jdk/bin/java -Xshare:auto -Des.networkaddress.cache.ttl=60 -Des.networ ......
【ElasticSearch】Scroll滚动查询
REST API Java Client BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); boolQueryBuilder.must(QueryBuilders.termQuery("enable", 1)); final ......
openstack共享组件——消息队列rabbitmq（3）
一、MQ 全称为 Message Queue, 消息队列（ MQ ） 是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程 ......
如何在iPhone设备中查看崩溃日志
如何在iPhone设备中查看崩溃日志 目录 如何在iPhone设备中查看崩溃日志 摘要 引言 导致iPhone设备崩溃的主要原因是什么？ 使用克魔助手查看iPhone设备中的崩溃日志 奔溃日志分析 总结 摘要 本文介绍了如何在iPhone设备中查看崩溃日志，以便调查崩溃的原因。我们将展示三种不 ......
优先队列（堆的使用）
如何定义 大根堆：每个节点的值都大于等于其子节点的值，在大根堆中，最大值总是在堆顶 小根堆：每个节点的值都小于等于其子节点的值，在小根堆中，最小值总是在堆顶 #include <queue>//头文件 //通用写法 std::priority_queue<TypeName> q; ∕∕ 数据类型为 ......
logrotate日志压缩配置
默认Linux自带了logrotate和crontabs。 配置logrotate日志压缩 设置定时压缩时间 # 每小时第10分钟执行一次压缩 vim /etc/crontab 追加 10 * * * * /usr/sbin/logrotate /etc/logrotate.d/test_logro ......
高性能内存消息队列 Disruptor
01 什么是 Disruptor disruptor 是 lmax 开源的一个高性能并发内存队列，和日常使用的 ArrayBlockingQueue 的性能对比如下图 02 高性能的原因 2.1 避免伪共享内存 什么是 CPU 高速缓存？ 首先介绍一下 CPU 缓存的定义： 在计算机系统中，CPU高 ......
SPFA -----队列优化的Bellman-Ford
SPFA 队列优化的Bellman-Ford 由Bellman-Ford算法实现带有负权边的单源最短路，时间复杂度是O(VE)，也就是边数乘顶点数。但是根据Bellman-Ford的状态转移方程$$dist[i] = min(dist[i] , last[k] + w[k -> i])$$可知，当且 ......
ElasticSearch更新延迟问题记录
问题描述：使用ElasticSearch做个大数据实时更新接口，接口实际效果字段更新后页面调用查询不及时显示更新 通过查阅资料，es在更新之后并不是立即可见(可查询)的，会有1s的延迟，可以通过设置refresh_interval参数来修改刷新的间隔。 但是在实际应用中，1s的延迟已经算是很久了，在 ......
【ASP.NET Core】使用SignalR推送服务器日志
一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代码，其他的基本重写。如今上位机的启动时间在网络状态良好的条件下 ......
ElasticSearch集成SpringBoot实践
Search API Search Request，用于搜索文档，聚合，相关的任何操作，还提供了高亮显示结果文档的方法 //创建，如果没有参数，会对所有索引运行 SearchRequest searchRequest = new SearchRequest(); //大多数搜索参数都能添加到Sear ......
MySQL三大日志(binlog、redo log和undo log)详解
MySQL三大日志(binlog、redo log和undo log)详解 MySQL 日志 主要包括错误日志、查询日志、慢查询日志、事务日志、二进制日志几大类。其中，比较重要的还要属二进制日志 binlog（归档日志）和事务日志 redo log（重做日志）和 undo log（回滚日志）。 re ......
day25 如何做个“有价值”的日志分析平台-多种日志收集方案-基于K8S架构的EFK日志平台部署管理 （9.1-9.3）
9.1、如何做个“有价值”的日志分析平台 基于Kubernetes这种架构的日志收集方案是一个复杂而全面的过程。需要考虑不同应用类型的日志规范，日志输出方式，应用场景，日志平台选择，架构优缺点，日志监控和性能优化等其他特殊的场景。在下面的详细分析中，将逐层讨论这些方面。 一、日志规范 在K8S 架构 ......
ASR项目实战-任务队列在文件转写特性中的应用
转写时长超出60秒的语音文件，业界的竞品通常会使用创建异步转写任务的方式来提供支持。 一个简单、直接的实现方案，即： 网关服务接收到来自客户的转写请求时，将任务信息持久化至任务队列中。 由算法服务的实例从任务队列中提取任务，并执行转写操作。 待执行完毕之后，将转写结果保存至DB中，供调用方查询。 本 ......
ELK日志分析系统的介绍
1、ELK简介 ELK是一套针对日志数据做解决方案的框架，是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器 ......
Elasticsearch 分词功能
分词器定义： 从一串文本中切分出一个一个的词条，并对每个词条进行标准化 分词处理过程： 1、分词前预处理：过滤HTML标签、特殊符号转换 2、分词： 3、标准化：大小写转换、单复数转换、同义词转换 ES内置分词器： 1、standard分词器：默认将词汇单元转换成小写形式，去掉领用词和标点符号，中文 ......
mac日志小记
目录: /var/log 1 -rw-r--r-- 1 root wheel 1.7M Dec 29 10:31 daily.out 2 -rw-r--r-- 1 root wheel 2.8K Dec 11 14:06 monthly.out 3 -rw-r--r-- 1 root wheel 1 ......
安卓日志系统（logcat / liblog / logd） 跨进程通信的消耗：日志信息通过socket 发送到 logd；
深入理解安卓日志系统（logcat / liblog / logd） - 掘金 https://juejin.cn/post/6905368512001556487 深入理解安卓日志系统（logcat / liblog / logd） TonyBuilder 2020-12-125,456阅读7分钟 ......