管理系统 系统 日志efk
6文件管理
索引文件结构 索引节点 物理块号 直接索引 一级索引 二级间接索引 三级间接索引 考察的方式: 逻辑位置 不同索引方式指向的对象 不同索引方式访问磁盘的次数:访问每个索引节点+1 能够表示的文件长度: (逻辑块是顺序的,标出来的号码不是逻辑号,从0开始) 位示图 按字不是按字节 列式字内的编号(从0 ......
系统内存管理:虚拟内存、内存分段与分页、页表缓存TLB以及Linux内存管理
虚拟内存的主要作用是提供更大的地址空间,使得每个进程都可以拥有大量的虚拟内存,而不受物理内存大小的限制。此外,虚拟内存还可以提供内存保护和共享的机制,保护每个进程的内存空间不被其他进程非法访问,并允许多个进程共享同一份物理内存数据,提高了系统的资源利用率。虚拟内存的实现方式有分段和分页两种,其中分页... ......
centos系统firewalld&iptables常用命令
firewalld 添加规则: firewall-cmd --permanent --add-rich-rule="rule family="ipv4" source address="192.168.142.166" port protocol="tcp" port="5432" accept" ......
5存储管理
外存调入内存 页式存储管理:将文件划分与内存大小相同的页 逻辑地址=页号+页内地址 物理地址(内存地址)=页帧号+页内地址 优点:利用率高、碎片小、分配及管理简单 缺点:增加了系统开销;可能产生抖动现象 非常高的缺页中断就是抖动 段式存储:以程序中自然段来划分逻辑空间,然后调入内存,段的长度不一样 ......
调试linux内核(2): poll系统调用的实现
linux内核为用户态进程提供了一组IO相关的系统调用: select/poll/epoll, 这三个系统调用功能类似, 在使用方法和性能等方面存在一些差异. 使用它们, 用户态的进程可以"监控"自己感兴趣的文件描述符, 当这些文件描述符的状态发生改变时, 比如可读或者可写了, 内核会通知进程去处理... ......
实现作业调度和任务分发的工具 - 分布式任务调度系统
分布式任务调度系统是一种用于实现作业调度和任务分发的工具,它能够帮助我们高效地处理大规模的任务,并将其分发到多台计算机节点上进行并行处理。本文将介绍分布式任务调度系统的基本概念、实现原理以及相关的技术细节。 ## 什么是分布式任务调度系统? 分布式任务调度系统是指一种能够将任务分发到多个计算机节点上 ......
构建高效的日志收集和查询平台 - 分布式日志系统
随着互联网应用的快速发展,系统日志的重要性日益凸显。日志是系统运行中产生的各种信息的记录,通过分析和查询日志,我们可以了解系统的运行状况、排查问题以及优化系统性能。为了高效地收集和查询大规模的日志数据,分布式日志系统应运而生。 本文将介绍如何构建一个高效的分布式日志系统,包括日志收集和查询平台的设计 ......
保障数据的可靠性和持久性 - 高可用分布式存储系统的数据备份与恢复
在现代大规模分布式系统中,数据备份与恢复是确保数据可靠性和持久性的关键方面。本文将介绍高可用分布式存储系统中数据备份与恢复的重要性,以及实现高可用性和数据持久性的几种常见策略。此外,我们还将探讨一些关键技术,如数据冗余、故障检测和自动恢复等。 ## 引言 随着互联网规模的不断扩大,对数据的可靠性和持 ......
【Kafka】日志文件存储机制
[toc] - Topic是逻辑上的概念,而partition是物理上的概念 - 每个partition对应于一个log文件,该log文件中存储的就是Producer生产的数据。 - Producer生产的数据会被不断追加到该log文件末端,为防止log文件过大导致数据定位效率低下(不需要先查出来数 ......
微信小程序客服系统-两种形式:嵌入页面传递更多信息 与 自带组件形式
微信小程序对接有两种方式:webview组件嵌入页面,小程序客服组件对接消息 使用webview组件嵌入聊天页面形式。这种形式更加的灵活可控,可以传递更多的信息给到客服,例如可以把用户的手机号,所在页面的产品信息等带入进来。 嵌入页面形式 增加展示点击按钮,并且获取到昵称头像,嵌入聊天页面。 wxm ......
大学生创新训练项目开发日志 (8-14 ~ 8-24)
### 技术路线 利用 Xposed 模块在应用加载 app 包时将获取到的软件资源打上包名标记后上传到内网服务器。 ### 实现流程 #### 初次尝试 实现 `IXposedHookLoadPackage` 的 `handleLoadPackage` 方法。 ```java public voi ......
SAP系统表清单之二
SAP BUSINESS ONE 9.2 系统表清单之二 USE SAP560 GO SELECT TOP 90 * FROM [RITM] -- 85434 SELECT TOP 90 * FROM [CPRF] -- 14771 SELECT TOP 90 * FROM [IMT11] -- 4 ......
Linux系统自带的基本命令
### 简介 ```txt linux中的命令也就是一个个可执行程序。 这些命令能直接执行:这些命令的路径都加入到了PATH环境变量中。 用户下载的环境,比如nginx,如果也加入到了PATH环境变量中,也能在任何文件夹下执行,说明这个也是命令。 ``` [toc] ### cd 命令 ```she ......
[QT]学生管理系统 分析
在连接信号与槽函数时,重要的是确保信号的声明与槽函数的定义能够被正确关联。 信号可以只声明不定义,槽声明之后必须定义其如何响应。 信号可以自定义,信号可以传参可以不传,但槽的接收参数必须要小于信号传出的参数,槽可以是一个宏定义的结果值(操作结果),可以是函数(槽响应操作后再自己产生结果) 项目创建选 ......
解耦和扩展后端系统的新兴趋势 - 微服务架构
本文介绍了微服务架构的概念、优势以及如何解耦和扩展后端系统。我们将讨论微服务架构的关键特征,如何设计和实施微服务,以及一些实际案例。本文旨在帮助开发人员理解和应用微服务架构,以提高系统的可扩展性和可维护性。 ## 引言 随着互联网应用的不断发展,后端系统的复杂性和规模不断增加,传统的单体应用已经无法 ......
什么是企业管理软件的 Roll-forward update releases
`Roll-forward update releases`,也被称为“滚动前进式更新发布”,是软件开发和维护中的一种策略,旨在在系统更新过程中不仅修复问题,还在原有基础上添加新功能。这种策略强调在更新过程中不断“向前滚动”,持续提升系统的功能和性能,同时保持稳定性和兼容性。在企业级软件架构中,`r ......
如何修改OpenWrt的默认80管理端口
背景 我们网络环境的特殊性,尤其是跨越运营商时;80端口是很敏感而被封锁着的。那么如何把OpenWrt(路由器系统)的默认端口从默认的80端口改到其他的端口呢?SSH局域网内配置修改步骤如下。 步骤 使用SSH连接到OpenWrt 1. Terminal 运行 ssh root@192.168.6. ......
filebeat 配置采集nginx 日志
### filebeat 配置nginx 日志采集 - filebeat 采集需求 ``` 1.需要将以往30 天的日志输出到es,并且以时间按天展示 2.将不同的时间字段解析出来,输出到es ``` - nginx 配置json 日志 ``` log_format log_json '{ "rem ......
使用 conda 管理电脑多个 python 版本
## 背景 之前一直使用 python 自带的虚拟环境管理工具(`virtualen` 包),虽然很舒服,可以有不同的软件包环境,但是所有环境都只能基于一个 python 版本。由于历史原因,系统(Ubuntu)升级时给我新增了一个 python3.11,我索性就只保留了这一个版本。 这两天要使用 ......
uboot 通过网络启动内核和根文件系统
一、开发背景 由于开发阶段需要频繁修改内核镜像文件和根文件系统,如果每次修改都通过烧写 emmc 或者烧录 sd卡制卡过于繁琐,所以需要通过网络启动和加载 二、开发需求 内核镜像文件(zImage)和根文件系统(rootfs)创建好后,存放于 Ubuntu 中,开发板启动过程中自动提取对应的文件。 ......
Ubuntu22.04(禁用)彻底删除Snap以及出现“rm: 无法删除"XXX":只读文件系统”的解决方案
Ubuntu22.04(禁用)彻底删除Snap以及出现”rm: 无法删除"XXX":只读文件系统“的解决方案 导语 Snaps 是 Ubuntu 的母公司 Canonical 于 2016 年 4 月发布 Ubuntu 16.04 LTS(Long Term Support,长期支持版)时引入的一种 ......
Linux + buildroot 构建根文件系统
一、开发背景 原开发板的文件系统拥有很大的冗余文件,需要裁剪文件系统或者根据需要定制文件系统 二、开发需求 1、构造最小系统,支持基本指令,例如 cd、ls、tar 等基础指令 三、开发环境 Linux Ubuntu 4.15.0-65-generic + buildroot-2023.02.3 + ......
Linux 内核音频子系统调试
## debugfs 文件系统 debugfs 可以为 Linux 内核各个模块的分析调试,提供许多信息,如音频子系统的 ASoC,以及 tracing 等。debugfs 文件系统可以通过命令行工具挂载,如下所示: ``` root@apollo:~# ls /sys/kernel/debug/ ......
RUST 和 GO 如何管理它们的内存
# RUST 和 GO 如何管理它们的内存 ## Go 中的内存管理 Go 中的内存不会在缓存键被驱逐时立即释放。 相反,垃圾收集器会经常运行以发现任何没有引用的内存并释放它。 换句话说,内存会一直挂起,直到垃圾收集器可以评估它是否真正不再使用,而不是在不再需要时立即释放。 Go 必须付出的努力来找 ......
【经验贴】大型复杂项目的风险管理如何做?
同事小李在年初的时候,接了一个大型项目,以为今年的年终奖都靠它了,结果现在面临着超支、超期的风险,各种风险及问题频发。前段时间经常跟我们沟通讨论,在大家的建议下,项目才逐渐步入正轨,这次的项目实战案例也分享出来跟大家交流学习下。 他是第一次带这种类型的项目,所以还不太明白大型项目的特点和特征,这些是 ......
好用的测试用例管理软件有哪些?分享四种
软件测试工作的复杂性主要体现在测试用例的编写、维护、执行和管理方面。而创建易于阅读、维护和管理的测试用例能够显著减轻测试工作的复杂性。本篇文章将较为系统的探讨测试用例的几种管理策略,包括各种方法的特性、适用团队规模、场景以及实际示例。 ......
数字孪生智慧粮仓系统 收粮有道护粮有方
仓廪实、天下安。民之所需,行之所至。 建设背景 古往今来,粮食问题历来是安邦定国的头等大事。“粮食”作为人类生活的生命之源,在人们的日常生活中起着决定性的作用。收获的粮食归仓,仓储工作是稳定“大国粮仓”的重要环节,当粮食收购后,如何让丰收成果颗粒归仓,减少损失,并确保粮食储藏质量安全就成了最后的压轴 ......
总结:第一章:从入门到入职拿到过万月薪我需要这些技能(400多篇博文系统归类)P5级
博文介绍: 这篇博文我改了一周,职业生涯所有技能例如javaSE基础,ssm框架,springcloud全家桶,dubbo+zk框架,MySQL数据库,MongoDB数据库,redis缓存,es与solr全文搜索,linux系统,docker应用容器引擎,Activiti工作流,Fastdfs分布式 ......
jupyter进程管理
一、jupyter进程查看 import json import os import os.path import posixpath import subprocess import numpy as np import pandas as pd import psutil import requ ......