日志k8s pod k8
day27 初识日志收集组件Fluentd-日志收集组件Fluentd高级配置 （9.6-9.7）
9.6-1-日志收集组件Fluentd高级配置(1) 一、配置文件 在 Fluentd 的配置文件中，有几个常用的关键字和组件，包括 source 、 match 、filter 、 system 、 label 和 @include 。 source ：用于定义 Fluentd 接收数据的来源。 ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......
程序启动添加全局异常捕获和Dump日志记录
Dump日志记录 /// <summary> /// 功能描述：程序全局异常捕获Dump文件记录 /// </summary> public static class MiniDump { [Flags] public enum Option : uint { // From dbghelp.h: ......
deployment、statefulset控制器在没有变化的情况下触发pod更新
k8s控制器（deployment、statefulset）在没有变化的情况下触发pod更新 命令格式 kubectl patch deployment <deployment-name> -p "{\"spec\":{\"template\":{\"metadata\":{\"labels\":{ ......
分布式日志追踪ID实战 | 京东物流技术团队
本文通过介绍分布式应用下各个场景的全局日志ID透传思路，以及介绍分布式日志追踪ID简单实现原理和实战效果，从而达到通过提高日志查询排查问题的效率。 背景 开发排查系统问题用得最多的手段就是查看系统日志，相信不少人都值过班当过小秘吧：给下接口和出入参吧，麻烦看看日志里的有没有异常信息啊等等，但是在并发 ......
Ubuntu 22.04 部署 ceph quincy 集群和 K8S 1.24.1对接
环境 IP 主机名 172.16.16.77 test1 172.16.16.78 test2 172.16.16.79 test3 ceph版本：quincy 主机系统：ubuntu 22.04 安装集成软件 3台机器上都要执行 vi /etc/hosts # 最后添加 172.16.16.77 ......
k8s从Pod容器中copy文件至本地
[root@k8s-master ~]# kubectl get po NAME READY STATUS RESTARTS AGE data-java-9bbf8c957-jp5dl 0/1 CrashLoopBackOff 9745 (4m28s ago) 34d data-java-bc8f6 ......
营业日志 —— FFT
Q: 【模板】多项式乘法（FFT） 给定一个 \(n\) 次多项式 \(F(x)\)，和一个 \(m\) 次多项式 \(G(x)\)。 请求出 \(F(x)\) 和 \(G(x)\) 的卷积。 暴力很容易实现，但是时间复杂度为 \(O(n^2)\) 如何优化？ 使用 FFT 可以有效将复杂度降至 \ ......
2024了，我不想再用AOP收集业务操作日志了 | 京东云技术团队
0.背景 在近期的项目中，系统涉及到针对系统的业务操作日志统计功能，由于本系统位于业务链路的中心环节，负责接收上游系统的数据，并将基于用户操作产生的数据传递至下游系统，鉴于业务链路的复杂性和操作场景的多样性，我们计划通过对核心业务数据进行全生命周期的日志记录来提升问题解决的效率，并为用户提供更多的工 ......
k8s~动态生成pvc和pv
有时，我们不想手动建立pv和pvc，这时，我们可以通过strongClass存储类来帮我们实现，动态建立pvc,并动态为它分配pv存储空间，我们以nfs为例，说一下动态分配在nfs存储截至上建立pv的方式。 本文导读 StorageClass和PVC及PV 集群权限与绑定rbac.yaml 建立动态 ......
【ASP.NET Core】使用SignalR推送服务器日志
【ASP.NET Core】使用SignalR推送服务器日志 一个多月前接手了一个产线机器人项目，上位机以读写寄存器的方式控制机器人，服务器就是用 ASP.NET Core 写的 Web API。由于前一位开发者写的代码质量问题，导致上位机需要16秒才能启动。经过我近一个月的改造，除了保留业务逻辑代 ......
k8s的云原生应用部署-mysql和wordpress
在已经建立有k8s集群的前提下，使用deploy，部署一个单独pod的单点mysql，部署一个4pod的wordpress应用。
应用的数据库使用mysql，mysql和应用都做集群外服务暴露。
通过该应用部署的练习，了解中等难度应用程序如何做云原生状态下的部署，并掌握以下k8s资源-APIServ... ......
python pip更新异常日志
解决pip升级导致的ERROR: Could not install packages due to an EnvironmentError问题今天执行pip install -U pip命令想更新pip的时候，遇到了下面的问题： 后来上网查了一下发现很多方法都是让直接执行 ！！（必须在管理员模式去 ......
docker部署ELK日志系统
第一步：部署ES docker pull elasticsearch:7.17.0 创建ES目录与配置文件 mkdir -p /opt/es/config mkdir -p /opt/es/data echo "http.host: 0.0.0.0" >>/opt/es/config/elastic ......
AOP用于日志管理
我在项目中使用AOP作日志管理，首先自定义注解syslog，再写一个aspect切面类，使用@around环绕通知，通过参数中的joinpoint切点，通过动态代理获取当前类的对象，这样就可以获取到类名等信息，可以通过一些别的方法比如getArgs，获取方法的参数等等 @Aspect@Compone ......
企业级微服务项目实战《学成在线》学习日志（一）
项目架构 先来看看项目架构图： 我们主要搞的就是微服务层和数据层。 而这个项目比较大，框架就分成了三个端： 环境搭建 在开发这个项目前，你需要了解java,ssm,.springboot,springcloud,springcloudAlibaba,nacos,mysql,虚拟机,docker,SS ......
日志记录升级(中间件全局日志)
1.继承IExceptionFilter只是用于记录全局异常异常日志，现在我想记录每个请求的日志并且入库。 需要用到IAsyncActionFilter，继承该接口，用于记录每一个action方法的请求信息，作用是记录每个操作的记录，简单点来讲就是记录哪个人调用了哪个方法。 添加一个继承该接口的过滤 ......
k8s+kubeedge+sedna安装全套流程+避坑指南+解决办法
https://blog.csdn.net/MacWx/article/details/130200209?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_baidulandingword~default-8-13 ......
测试环境node节点内存满造成node节点的kubelet自动关闭无法创建pod
#生产pod创建为pending状态 [root@redis ~]# kubectl get pod -n cms-v2NAME READY STATUS RESTARTS AGEbase-auth-deploy-58c87b544-m2sc8 1/1 Running 0 65dcms-admin- ......
从应用开发角度认识 K8S
https://developer.aliyun.com/article/778441 云原生应用 我们正经历从单体应用转向分布式微服务架构应用的技术趋势。分布式微服务架构作为越来越多的软件开发设计模式，以领域设计模型来指导业务需求的抽象与封装。对业务的实体抽象还是边界划分，会以微服务架构作为落地点 ......
k8s operator开发2 code-gen
mkdir -p $GOPATH/src/inais/inference kubebuilder init --domain inais --repo inference kubebuilder create api --group inference --version v1alpha1 --ki ......
云原生周刊：2024 扩展 K8s 集群指南 | 2024.1.2
开源项目推荐 Jib Jib 无需 Docker 守护进程，也无需深入掌握 Docker 最佳实践，即可为您的 Java 应用程序构建优化的 Docker 和 OCI 映像。它可作为 Maven 和 Gradle 的插件以及 Java 库使用。 Docketeer Docketeer 提供了一个简单 ......
k8s优化
1. 1、内核参数调化 fs.file-max=1000000 # max-file 表示系统级别的能够打开的文件句柄的数量， 一般如果遇到文件句柄达到上限时，会碰到 # "Too many open files"或者Socket/File: Can’t open so many files等错误。 ......
如何在iPhone设备中查看崩溃日志
如何在iPhone设备中查看崩溃日志 目录 如何在iPhone设备中查看崩溃日志 摘要 引言 导致iPhone设备崩溃的主要原因是什么？ 使用克魔助手查看iPhone设备中的崩溃日志 奔溃日志分析 总结 摘要 本文介绍了如何在iPhone设备中查看崩溃日志，以便调查崩溃的原因。我们将展示三种不 ......
一文带你深入理解K8s-Pod的意义和原理
本文分享自华为云社区《深入理解K8s-Pod的意义和原理》，作者：breakDawn。 在Kubernetes概念中，有以下五种概念： 容器container：镜像管理的最小单位 生产任务Pod：容器组，资源调度最小单位 节点Node：对应集群中的单台机器，是硬件单元的最小单位 集群Cluster： ......
从资源管理角度认识 K8S
https://developer.aliyun.com/article/778848 简介： 笔者认为应用开发者为了适应云原生趋势，需要掌握必要的K8S基础知识点，详细介绍在《从应用开发角度认识K8S》： https://developer.aliyun.com/article/778441。 作 ......
k8s Work Node Notready
k8s work node status NotReady 问题背景： Work Node 节点执行 join后，状态NotReady. kubectl get node NAME STATUS ROLES AGE VERSION k8s-master2 Ready control-plane 2d ......