文件docker日志
Curve 文件存储在 Elasticsearch 冷热数据存储中的应用实践
Elasticsearch在生产环境中有广泛的应用，本文介绍一种方法，基于网易数帆开源的Curve文件存储，实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 CurveFS 的四大收益 1.CurveFS提供的成本优势 为了高可靠，ES如果使用本地盘的话一般会使用 ......
C++可执行文件绝对路径获取与屏蔽VS安全检查
前言 前几天写新项目需要用到程序所在绝对路径的时候，发现网上居然一点相关分享都没有。 > _pgmptr 翻箱倒柜找出了几本教程，发现了一个叫_pgmptr的东西。 进去看了一下，在stdlib.h里拓展到了函数__p__pgmptr()，函数原型： _CRT_INSECURE_DEPRECATE_ ......
docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES
一、前言 在数据量大的企业级实践中，Elasticsearch显得非常常见，特别是数据表超过千万级后，无论怎么优化，还是有点力不从心！使用中，最首先的问题就是怎么把千万级数据同步到Elasticsearch中，在一些开源框架中知道了，有专门进行同步的！那就是Logstash 。在思考，同步完怎么查看 ......
三台服务器使用docker搭建redis一主二从三哨兵，概念-搭建-整合springboot
一、前言 redis在我们企业级开发中是很常见的，但是单个redis不能保证我们的稳定使用，所以我们要建立一个集群。 redis有两种高可用的方案： High availability with Redis Sentinel（哨兵） Scaling with Redis Cluster（分片集群） ......
.gitignore文件配置以及gitee提交报Push rejected...错误解决
.gitignore文件配置 .gitignore 文件可以用来忽略被指定的文件或文件夹的改动。记录在.gitignore文件里的文件或文件夹是不会被 git 跟踪到，也就是被忽略的文件是不会被上传到远程仓库的，如果文件已经存在于远程仓库中就无法通过.gitignore文件来忽略。 下面总结了一些可 ......
prometheus-监控docker服务器
1. prometheus-监控docker服务器 prometheus-监控docker服务器 cAdvisor（Container Advisor）：用于收集正在运行的容器资源使用和性能信息。 项目地址：https://github.com/google/cadvisor docker部署cAd ......
Centos下部署最后一版支持Docker的k8s集群
部署版本 首先要确定部署的版本 查询Kubernetes对Docker支持的情况 kubernetes/dependencies.yaml at master · kubernetes/kubernetes (github.com) 查询Kubernetes Dashboard对Kubernetes ......
结构化日志组件 Serilog
什么是结构化日志 我们记录日志惯常使用 log4j2、NLog 等日志组件，这些组件提供了输出到多种终端的能力，但是大部分时候我们选择将日志输出到操作系统的文件系统中，为什么呢？至少有一部分原因是记录的每条日志为字符串格式，且按时间由远往进顺序记录，打开文件可以直接人肉检索；如果这些日志记录到其它终 ......
如何在多个应用程序中共享日志配置
有的时候你有多个应用程序，它们需要使用相同的日志配置。在这种情况下，你可以将日志配置放在一个共享的位置，然后通过项目文件快速引用。方便快捷，不用重复配置。 Directory.Build.props 通过在项目文件夹中创建一个名为 Directory.Build.props 的文件，可以将配置应用于 ......
.Net引用根目录子文件夹下的dll文件
在.Net开发的时候，有时候会引用一套库，这些库是由多个dll文件。正常情况下，这些dll文件需要拷贝到运行根目录下。如果这些dll文件比较多，加上其他直接引用的dll，这样会导致根目录下非常乱。我们希望可以把引用的这套库单独放在根目录下一个单独的文件夹中，让系统可以直接引用，该如何做呢？ 例如我们 ......
C#应用程序配置文件（XML序列化） - 开源研究系列文章
上次写了一个C#线程池及管理器的博文（ C#开发的线程池和管理器 - 开源研究系列文章 ），收到了不小的浏览量，在此感谢各位网友的支持。这次将另一个功能放出来单独讲解：C#应用程序的配置文件，使用的是XML文件保存程序的配置信息，通过XML序列化和反序列化，将配置文件规范起来。 一、 项目目录； 项 ......
【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的，为啥还是会出现OOMKilled？
为什么我设置的大小关系没有错，还会OOMKilled？ 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题：在大多数情况下，JVM将一般默认会采用宿主机Node节点的内存为Native VM空间（其中包含了堆空间、直接内存空间以及栈空间），而并非是是容器的空间为标准。 ......
使用JsonConverter处理上传文件的路径
场景 我们上传一个文件，把文件保存到服务器上，会有一个明确的物理路径，由于需要从前端访问这个文件，还需要web服务器中的一个虚拟路径。这个虚拟路径的存储会有一个问题，我们应该在数据库里存什么？是带域名的全路径，还是相对于web根目录的相对路径？ 现在很多架构都是前后分离的，所以前端访问的url是全路 ......
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
分布式文件系统之FastDFS
目录结构： 一 分布式文件系统 二 FastDFS入门 三 FastDFS环境搭建 四 FastDFS在Java项目中开发示例 五 FastDFS分布式文件系统集群 一 分布式文件系统 分布式文件系统 (Distributed File System) 是一个软件/软件服务器，这个软件可以用来管理文 ......
使用Prometheus监控docker compose方式部署的ES
需求 收集 ES 的指标, 并进行展示和告警; 现状 ES 通过 docker compose 安装 所在环境的 K8S 集群有 Prometheus 和 AlertManager 及 Grafana 方案 复用现有的监控体系, 通过: Prometheus 监控 ES. 具体实现为: 采集端 el ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
学习ASP.NET Core Blazor编程系列十八——文件上传（中）
上篇学习ASP.NET Core Blazor编程系列十七——文件上传（上）文章我们学习了如何将文件上传至服务器，但是我们并没有将文件的一些信息保存下来，无法进行查询，无法得知我们上传了一些什么文件。本篇文章演示如何将上传文件的一些基本信息保存到数据库，从而可以对上传文件进行简单管理。 ......
学习ASP.NET Core Blazor编程系列十九——文件上传（下）
我们在“多文件上传示例”页面中选择一个上传文件，然后应用程序会自动上传文件，并会在数据库中记录了一上传文件的相关信息，并会在页面中显示一个已经上传的文件列表。 ......
Google分布式文件系统GFS论文学习
GFS作为最著名的分布式文件系统，首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统，但是它里面的设计思想还是值得现代分布式系统设计参考的，并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面，列举了设计预期，也就是 GFS 是 ......
实现简单的csv文件上传和bootstrap表格的下载
一、写一个简单的页面并发送文件 引入bootstrap.js，jQuery.js等，具体的网页就不细写了，很简单。 加入input框，button控件，进度条。如下： <li class="list-group-item" id="input-file-group"> <div class="inp ......
MongoDB从入门到实战之Docker快速安装MongoDB
前言 在上一篇文章中带领带同学们快速入门MongoDB这个文档型的NoSQL数据库，让大家快速的了解了MongoDB的基本概念。这一章开始我们就开始实战篇教程，为了快速把MongoDB使用起来我将会把MongoDB在Docker容器中安装起来作为开发环境使用。然后我这边MongoDB的可视化工具用的 ......
项目中引进这玩意，排查日志又快又准！
大家好，我是三友~~ 背景 随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务，在排错查日志的时候，因为业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得有些困难。 这时候可能有的小伙伴就会想到使用SkyWalking，Pinpoint等分布式追踪系统来解决，并 ......
当 xxl-job 遇上 docker → 它晕了，但我不能乱！
开心一刻 某次住酒店，晚上十点多叫了个外卖 过了一阵儿，外卖到了 因为酒店电梯要刷卡，所以我下楼去接 到了电梯口看到个模样不错的妹纸 我：是你么? 妹纸愣了下：嗯！ 于是拉上进电梯回房间，正准备开始呢 我俩的电话同时响了 按下接听键，一男一女同时问：我到电梯口了，你人呢? 尴尬了，取错外卖了 然后一 ......
C# Log4net配置文件 总结
前言 因为项目日志太杂乱而且很大，打开一个就卡死了，何况用户电脑也扛不住日志积累，要做一个日志记录器管理日志。但对里面的配置有一些不熟悉(毕竟都是复制粘贴的)，所以记录一下各个项的作用。方便后续复习。 1.0 使用配置文件 众所周知，如果要使用一个配置文件，则需要声明: [assembly: log ......
echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新
ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
像go 一样 打造.NET 单文件应用程序的编译器项目bflat 发布 7.0版本
现代.NET和C#在低级/系统程序以及与C/C++/Rust等互操作方面的能力完全令各位刮目相看了，有人用C#开发的64位操作系统: GitHub - nifanfa/MOOS: C# x64 operating system pro...，截图要介绍的是一个结合Roslyn和NativeAOT的实 ......
从源码构建docker-ce
准备环境 准备一台Linux主机，并在上面安装好docker-ce，安装好make，git就可以开始编译工作了。对，就是如此简单，可能你会对此感到异或为啥要装docker,我不是准备编译这个玩意么，为啥不装go,docker不是用go开发的么？ 这些疑问会在后面的步骤中解答。 # docker-ce ......
docker registry（私库）搭建，使用，WEB可视化管理部署
Docker Registry 是Docker官方一个镜像，可以用来储存和分发Docker镜像。目前比较流行的两个镜像私库是Docker Registry ，HarBor 其中HarBor最合适企业级应用，提供良好的WEB界面进行管理。 Docker Registry搭建 本文主要介绍Docker ......