filebeat kibana nginx日志
容器云平台No.8~kubernetes负载均衡之ingress-nginx
容器云平台No.8~kubernetes负载均衡之ingress-nginx Ingress 是什么？ Ingress 公开了从集群外部到集群内服务的 HTTP 和 HTTPS 路由。 流量路由由 Ingress 资源上定义的规则控制。可以将 Ingress 配置为服务提供外部可访问的 URL、负载 ......
CentOS 7下安装配置Nginx
本文基于 CentOS 7 下安装配置 Nginx 操作实践记录整理。 一、配置 EPEL 源 sudo yum install -y epel-release sudo yum -y update 二、安装 Nginx sudo yum install -y nginx 安装成功后，默认的网站目录 ......
当前大数据时代的一个流式日志采集工具——Flume
1.什么是流式日志？ 大数据时代的数据大概的说可以分为流式的data以及批式的data 什么意思呢？ 顾名思义就是，对data进行处理的方式不一样，流式就是像流水一样，不断流入，它是每时每刻都有的，实时的都需要进行收集然后处理； 反观批式data，它是一批一批的来，等到收集到一批（达到某个阈值）da ......
Python：logging日志模块
Python：logging日志模块 1、logging日志的介绍 ，在现实生活中，记录日志非常重要，比如:银行转账时会有转账记录；飞机飞行过程中，会有个黑盒子（飞行数据记录器）记录着飞机的飞行过程，那在咱们python程序中想要记录程序在运行时所产生的日志信息，怎么做呢? 可以使用 logging ......
MySQL学习(14)redo日志
前言 InnoDB存储引擎以页为单位从磁盘中加载到内存中，进行数据的管理。我们进行增删改查操作本质上是访问页面，其中包括读页面、写页面、创建新页面等操作。在访问页面之前，需要将页从磁盘中加载到Buffer Pool中才可以访问。在Buffer Pool中修改了数据后，会加入到flush链表中，但是f ......
Kubernetes日志采集Sidecar模式介绍
Kubernetes（K8S）作为CNCF（cloud native computing foundation）的一个核心项目，背靠Google和Redhat的强大社区，近两年发展十分迅速，在成为容器编排领域中领导者的同时，也正在朝着PAAS底座标配的方向发展。 日志采集方式 日志作为任一系统不可或 ......
elfk收集k8s日志-sidecar
本文介绍通过elk + filebeat方式收集k8s日志，其中filebeat以sidecar方式部署。elfk最新版本：7.6.2 k8s日志收集方案3种日志收集方案：1. node上部署一个日志收集程序 Daemonset方式部署日志收集程序，对本节点 /var/log 和 /var/lib/ ......
python的日志模块logging
logging模块是系统自带的无需安装直接导入使用 在日志配置中，stream=sys.stdout 为控制台输出日志，filename="devops.log"为日志写入到文件，filemode="w"为每次执行代码覆盖写，filemode = 'a'为追加日志，format="%(asctime ......
查看linux日志
# 显示尾部的最新10行日志 journalctl -n # 显示尾部指定行数的日志 journalctl -n 15 # 实时滚动显示最新日志 journalctl -f 与tail -f类似 # 查看指定服务的日志 journalctl /usr/local/bin/clash journalc ......
nginx配置的问题记录
目录问题复现问题描述尝试解决问题定位解决方案解决方案1解决方案2总结 当域名没有规则匹配的时候，nginx的处理过程让我迷惑。 rt，当域名没有规则匹配的时候，nginx的处理过程让我感到迷惑。 问题复现 问题描述 事情是这样的。 好些天前，为了在公网服务器上搭建一个chatgpt的web版本服务， ......
godaddy + nginx ssl证书部署
参考：《全网最全的Nginx 配置SSL证书教程》 注：因为是单个域名下的多个二级域名下的ssl配置，所以需要购买通配置型的ssl证书（之前购买的标准ssl证书只支持主域名） 服务器环境为centos7.8 服务器生成key openssl req -new -newkey rsa:2048 -no ......
linux文件系统与日志分析
Linux文件系统 inode表结构 每一个inode表记录对应的保存了以下信息： inode number 节点号 文件类型 权限 UID GID 链接数（指向这个文件名路径名称个数） 该文件的大小和不同的时间戳 指向磁盘上文件的数据块指针 有关文件的其他数据 ls -i：查看inode号 sta ......
CentOS 8.2 上部署 Linux + Nginx1.14 + PHP7 + MySQL5.6 的详细流程
以下是在 CentOS 8.2 上部署 Linux + Nginx1.14 + PHP7 + MySQL5.6 的详细流程： 安装必要的软件包首先，需要安装一些必要的软件包，包括 epel-release、nginx、php-fpm、php-mysqlnd 和 mysql-community-ser ......
ELK日志收集&&日志收集方案
31. ELK日志收集 日志分析系统 - k8s部署ElasticSearch集群 - 帝都攻城狮 - 博客园 (cnblogs.com) https://blog.csdn.net/miss1181248983/article/details/113773943 31.1 日志收集方式 1.nod ......
如何在Linux系统上安装Nginx和PHP模块
Linux作为一种开源系统，受到众多开发者的青睐，其中的Nginx服务器在Web服务器领域中占据着重要的地位。加上PHP模块的支持，可以在Linux服务器上运行PHP网站和应用程序。本文将向您介绍如何在Linux系统上安装Nginx和PHP模块。 一、安装Nginx 添加Nginx源 打开终端，输入 ......
centos7环境部署Django+uwsgi+Nginx简化版
1. Django+uwsgi 参考地址：https://www.cnblogs.com/kongguanghua/p/12703301.html 1.1. 迁移Django项目至生产环境 Django项目开发完毕的情况，迁移至生产环境，最好使用git来迁移， 1.2. 测试Django项目 可以使 ......
Nginx配置踩坑：一定注意location和proxy_pass的是否以“/”结尾
一、location 配置1，基本介绍location 配置用于匹配请求的 URL，即 ngnix 中的 $request_uri 变量，其配置格式如下： location [ 空格 | = | ~ | ~* |^~|!~ | !~* ] /uri/ {} 2，loacation 匹配顺序（1）lo ......
k8s通过sidecar模式收集pod的容器日志至ELK
架构： 已完成的部署1、ES集群及kibana部署 https://blog.51cto.com/yht1990/6080981 2、kafaka+zookeeper集群 https://blog.51cto.com/yht1990/6081518 准备sidecar镜像(filebeat)找一台服 ......
nginx上ssl配置
准备 申请证书，取得 ***.crt和***.key文件。在nginx目录下新建ssl.conf文件夹，并将上述两个文件放入。开放443端口。 ssl配置 server { listen 80; listen 443 ssl; server_name wiki.test.site; ssl_cert ......
nginx的安装和使用
前言 Nginx (engine x) 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。Nginx是由伊戈尔·赛索耶夫为俄罗斯访问量第二的Rambler.ru 站点（俄文：Рамблер）开发的.它也是一种轻量级的Web服务器，可以作为独立的服务器部署网站（类似T ......
通过日志恢复SQL Server的历史数据
通过日志还原 方案一： 前提条件 1.必须有一个完整的备份，且这个备份必须是在修改、删除数据之前做的。 2.在更新、删除数据之后，做日志备份，该log备份将用于还原之前的数据 建议使用备份数据库进行还原操作，确认无误再对原库进行操作，或同步数据 开始还原操作： 此处使用SQL management界 ......
mysql8.x通过备份文件及binlog日志恢复数据
问题简述 记一次mysql数据库被误删（是整个库被删了）后的还原 前提条件 数据库版本为mysql8.x以上 具有库被删除前的完整备份 数据库开启binlog 还原步骤 第一步：通过完整备份还原被删的库 注意事项：还原后切勿让其他用户连接，操作数据库。待使用binlog日志恢复数据后再对库进行操作， ......
MySQL开启二进制日志
MySQL的二进制日志（Binary Log）是一个记录数据库所有更改的日志文件，用于数据复制和恢复等操作。在MySQL的配置文件my.cnf（或my.ini）中，可以配置二进制日志的相关参数。以下是一些常见的MySQL二进制日志配置项： log-bin：此选项用于启用二进制日志功能。可以在选项后指 ......
nginx做文件服务器时使用第三方系统做认证
我们在项目中做文件下载时，一般会使用nginx 做文件下载服务器，但是一旦暴露了 下载链接，其他人就随意下载文件，有安全风险。 其实我们可以使用Nginx的auth_request模块，nginx 在接到下载请求时，将请求转发到我们自己的项目中，我们项目提供一个接口来做认证，认证通过返回nginx ......
文件系统和日志分析
文件系统 查看inode号 ls -i /stat +文件名 atime 最后一次查看文件 需要打开文件才会变更 mtime 最近修改文件内容时间 注意（更改完内容之后，ctime也会改变） ctime 最近更改文件元信息的时间 比如改变时间 查看日志 是为了关注里面的内容 相同设备上 inode ......
docker日志收集docker插件+loki+grafna
实现收集docker容器日志方式： dokcer安装插件，将日志发送到loki，grafna展示日志。 1、安装loki wget https://raw.githubusercontent.com/grafana/loki/v2.9.1/cmd/loki/loki-local-config.yam ......
nginx文件服务器根据文件类型判断预览还是下载
location /file { charset utf-8; alias /usr/share/nginx/html/files; autoindex off; autoindex_exact_size off; autoindex_localtime on; add_header 'Access ......
防止DOS攻击（检测nignx日志若某个IP短时间的PV过大则使用防火墙将其禁掉）
#!/bin/bash time=`date|awk '{print $3"\\\\/"$2"\\\\/"$6}'` awk '$4~/'"${time}"'/{print $0}' access.log |awk '{ip[$1]++}END{for (i in ip)print i,ip[i]} ......
学习进度日志
2023 7.14-9.1 学术： 动手学深度学习，ChatGLM部署使用与微调 9.1-11.8 学术： 玩转 Pytorch，环境配置，需求分析 就业： 一刷《代码随想录》 ......