高性能 数据处理 文件 数据
Linux的文件权限管理
Linux文件权限管理介绍 一：Ubuntu 简介 1 、什么是Ubuntu Ubuntu是基于Debian开发的一个开源的Linux操作系统，Ubuntu这个名字名称来⾃⾮洲南部某种语言的一个词语，Ubuntu每6个月会发布⼀个新版本，每隔两年，在四月份的时候，会推出⼀个⻓期⽀持版本（LTS）。其 ......
Python 3 os.walk读取指定文件路径后，打印路径参数为空
今天有时间自己尝试了一下os.walk的小实验，结果出现了一个小问题：在交互模式下，运行我的python脚本，没有打印任何内容 返回去看一下test.py内容 返回去看一下文件路径是否正确： 看着好像没有任何问题。。。 然后仔细想了想发现，可能是运行的脚本test.py与想要访问的目录中的test2 ......
Landsat数据在USGS中无法下载Surface Reflectance产品的解决方法
本文介绍在USGS官网下载Landsat遥感影像数据时，出现报错信息，无法下载地表反射率产品（Surface Reflectance）的解决办法~ ......
Python批量读取HDF多波段栅格数据并绘制像元直方图
本文介绍基于Python语言gdal模块，实现多波段HDF栅格图像文件的读取、处理与像元值可视化（直方图绘制）等操作~ ......
Python gdal读取MODIS遥感影像并结合质量控制QC波段掩膜数据
本文介绍基于Python中GDAL模块，实现MODIS遥感影像数据的读取、计算，并基于质量控制QC波段进行图像掩膜的方法~ ......
K8S 性能优化 - OS sysctl 调优
前言 K8S 性能优化系列文章，本文为第一篇：OS sysctl 性能优化参数最佳实践。 参数一览 sysctl 调优参数一览 # Kubernetes Settings vm.max_map_count = 262144 kernel.softlockup_panic = 1 kernel.sof ......
Git 小技巧：忽略某些文件的更改
作为一枚合格的代码贡献者，时常需要跟踪自己或者团队代码的变更，那么就很有必要了解并掌握一些软件代码版本管理工具或者系统，比如 Git、SVN、CVS、VSS等。 ......
个人数据保全计划：(2) NAS基础知识
前言 距离去年国庆入手了NAS至今有好几个月时间了，NAS折腾起来有点麻烦，且实际作用因人而异，并没有想象中的好用，所以说好的这个系列一直没有更新~ 还有另一方面的原因，这些NAS的系统基于Linux深度定制，对于我这种习惯用Linux的人来说，用着很别扭不自在，处处受限制… 所以在使用了这台威联通 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(9)-Charles如何修改请求参数和响应数据-上篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
《爆肝整理》保姆级系列教程-玩转Charles抓包神器教程(10)-Charles如何修改请求参数和响应数据-下篇
1.简介 宏哥之前一直用postman调接口比较多（web端），也非常容易上手和操作。但有时候想要去修改APP的页面展示，造数据又会比较麻烦，你自己造相对还好些，要是让开发造，还得低眉顺眼的去求人。通过今天的学习后，再也不担心这些烦心事。我们可以通过工具Charles就可以实现。可以用以下三种方法修 ......
Python实战项目-10文件存储/支付宝支付/支付成功回调接口
文件存储 视频文件存储在某个位置,如果放在自己服务器上 放在项目的media文件夹 服务器上线后,用户既要访问接口,又需要看视频,都是使用一个域名和端口 分开:问价你单独放在文件服务器上,文件服务器带宽比较高 # 文件服务器：专门存储文件的服务器 -第三方： -阿里云：对象存储 oss -腾讯对象存 ......
现代图片性能优化及体验优化指南 - 图片资源的容错及可访问性处理
本文是系列第五篇，终章。系列文章： 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 现代图片性能优化及体验优化指南 - 响应式图片方案 现代图片性能优化及体验优化指南 - 缩放精细化展示及避免布局偏移、拉伸 现代图片性能优化及体验优化指南 - 懒加载及异步图像解码方案 图 ......
现代图片性能优化及体验优化指南 - 懒加载及异步图像解码方案
本文是系列第四篇。系列文章： 现代图片性能优化及体验优化指南 - 图片类型及 Picture 标签的使用 现代图片性能优化及体验优化指南 - 响应式图片方案 现代图片性能优化及体验优化指南 - # 缩放精细化展示及避免布局偏移、拉伸 图片资源，在我们的业务中可谓是占据了非常大头的一环，尤其是其对带宽 ......
自动化测试如何管理测试数据
转载请注明出处❤️ 作者：测试蔡坨坨 原文链接：caituotuo.top/67fb1f11.html 前言 你好，我是测试蔡坨坨。 在之前的自动化测试框架相关文章中，无论是接口自动化还是UI自动化，都谈及data模块和config模块，也就是测试数据和配置文件。 PS：自动化测试框架可参考往期文章 ......
火山引擎 DataLeap：一家企业，数据体系要怎么搭建？
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 导读：经过十多年的发展，数据治理在传统行业以及新兴互联网公司都已经产生落地实践。字节跳动也在探索一种分布式的数据治理方式。本篇内容来源于火山引擎超话数据直播活动的回顾，将从以下四个部分展开分享： 字节的挑战与实践 ......
火山引擎 DataLeap：揭秘字节跳动数据血缘架构演进之路
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群 DataLeap 是火山引擎数智平台 VeDI 旗下的大数据研发治理套件产品，帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设，降低工作成本和数据维护成本、挖掘数据价值、为企业决策提供数据支 ......
关于EasyExcel的数据导入和单sheet和多sheet导出
读写Excel基本代码 直接复制不一定能用 实体类 @ExcelIgnore 在导出操作中不会被导出 @ExcelProperty 在导入过程中 可以根据导入模板自动匹配字段， 在导出过程中可用于设置导出的标题名字 @Getter @Setter public class Material{ @Ex ......
Redis的介绍安装以及启动与使用、数据类型、Redis管道、Django使用Redis
一、介绍Redis 1. 详细介绍 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push ......
Spring MVC的请求处理逻辑
当大家了解了如何编写一个简单的Spring MVC程序后，大家心中应该会有一些好奇：这背后到底发生了什么？ Spring MVC是怎么把这些功能串联起来的？我们只是写了一个控制器而已，HTTP请求是怎么转换为控制器方法的调用的？结果又是怎么变成JSON的.....啊这小伙伴们是不是已经混乱了！？ 接 ......
容灾备份 | 看我使用Powershell操作FTP进行数据文件自动上传备份
在运维过程中会将服务器上数据文件备份在共享磁盘或者FTP服务器中，此处由于作者环境是在Windows系统上，且在业务上需要同步文件到FTP服务器中，遂有了此文，帮助各位看友了解，如何在Windows上使用Powershell脚本将数据备份文件自动上传的FTP服务器上? ......
如何通过C++ 将数据写入 Excel 工作表
直观的界面、出色的计算功能和图表工具，使Excel成为最流行的个人计算机数据处理软件。在独立的数据包含的信息量太少，而过多的数据又难以理清头绪时，制作成表格是数据管理的最有效手段之一。这样不仅可以方便整理数据，还可以方便我们查找和应用数据。后期我们还可以对具有相似表格框架，相同性质的数据进行合并汇总... ......
容灾恢复 | 记一次K8S集群中etcd数据快照的备份恢复实践
描述：在 Kubernetes 集群中所有操作的资源数据都是存储在 etcd 数据库上, 所以防止集群节点瘫痪未正常工作或在集群迁移时，以及在出现异常的情况下能尽快的恢复集群数据，则我们需要定期针对etcd集群数据进行相应的容灾操作。
在K8S集群中或者Docker环境中，我们可以非常方便的针对 ... ......
【译】.NET 7 中的性能改进（十）
原文 | Stephen Toub 翻译 | 郑子铭 最后一个有趣的与IndexOf有关的优化。字符串早就有了IndexOf/IndexOfAny/LastIndexOf/LastIndexOfAny，显然对于字符串来说，这都是关于处理字符。当ReadOnlySpan和Span出现时，MemoryE ......
【译】.NET 7 中的性能改进（十一）
原文 | Stephen Toub 翻译 | 郑子铭 同样，为了不做不必要的工作，有一个相当常见的模式出现在string.Substring和span.Slice等方法中。 span = span.Slice(offset, str.Length - offset); 这里需要注意的是，这些方法都有 ......
【译】.NET 7 中的性能改进（十二）
原文 | Stephen Toub 翻译 | 郑子铭 New APIs 在.NET 7中，Regex得到了几个新的方法，所有这些方法都能提高性能。新的API的简单性可能也误导了为实现它们所需的工作量，特别是由于新的API都支持ReadOnlySpan输入到regex引擎。 dotnet/runtim ......
【译】.NET 7 中的性能改进（十三）
原文 | Stephen Toub 翻译 | 郑子铭 代码生成 (Code generation) .NET 7的regex实现有不少于四个引擎：解释器（如果你不明确选择其他引擎，你会得到什么），编译器（你用RegexOptions.Compiled得到什么），非回溯引擎（你用RegexOption ......
java代码审计-文件操作
0x01 任意文件读取 @GetMapping("/path_traversal/vul") public String getImage(String filepath) throws IOException { return getImgBase64(filepath); } 这里的路由对应的方 ......
ChatExcel--自动处理表格
一、简介 先行者--本文仅介绍ChatExcel基本用法和测试用例。 1.项目背景 ChatExcel由北京大学深圳研究生院/信息工程学院3位硕博生，独立开发的项目。 2.有点超越ChatGPT？ 毕竟给ChatGPT提出类似的要求，它只能帮我写出对应的代码，操作还得自己手动来。 3.功能特点 （1 ......
MySQL查看数据库性能常用命令和实战教学
MySQL查看数据库性能常用命令 # 列出MySQL服务器运行各种状态值 show global status; # 查询MySQL服务器配置信息语句 show variables; # 慢查询 show variables like '%slow%'; # MySQL服务器最大连接数 show v ......
MongoRepository查询数据常用语法
安装 查看mongo可用版本 docker search mongo 安装指定版本的mogo或者拉取最新版本的镜像 docker pull mongo:latest 或者官网下载安装包 https://www.mongodb.com/try/download/community-kubernetes ......