全过程docker个人 博客

pytorch 配置详细过程

#torch github 项目多 方便,api好调用 cpu版本 ###装torch 安装最新版本的就可以。 ###torchvision 要版本对应 算法: torchvision版本号= torch版本号第一个数字-1.torch版本号第二个数字+1.torch版本号第三个数字 所以我的就是: ......
过程 pytorch

一次JVM GC长暂停的排查过程

作者:京东科技 徐传乐 背景 在高并发下,Java程序的GC问题属于很典型的一类问题,带来的影响往往会被进一步放大。不管是「GC频率过快」还是「GC耗时太长」,由于GC期间都存在Stop The World问题,因此很容易导致服务超时,引发性能问题。 事情最初是线上某应用垃圾收集出现Full GC异 ......
过程 JVM

博客园自制样式主题分享

设计背景 关于个人笔记,每个人有每个的方案,就我而言大致经历了以下几个阶段: 笔记软件,比如 印象笔记,有道笔记 等。 优点:隐私性强,跨终端。 缺点:个人用起来不是很舒服,可定制化程度低。 开放博客,用作技术分享,比如某DN,某CTO,某书等等。 优点:使用方便。 缺点:广告多,可定制化程度低,博 ......
样式 主题 博客

为什么要虚拟化,为什么要容器,为什么要Docker,为什么要K8S?

如标题中的问题所提到的虚拟化,容器,Docker和K8s那样,我们不妨这样问:这些技术到底适用于哪些场景,有没有别的技术可以替代?这些技术的优劣在哪里? ......
容器 Docker K8S 8S K8

docker搭建Elasticsearch、Kibana、Logstash 同步mysql数据到ES

一、前言 在数据量大的企业级实践中,Elasticsearch显得非常常见,特别是数据表超过千万级后,无论怎么优化,还是有点力不从心!使用中,最首先的问题就是怎么把千万级数据同步到Elasticsearch中,在一些开源框架中知道了,有专门进行同步的!那就是Logstash 。在思考,同步完怎么查看 ......
Elasticsearch Logstash 数据 docker Kibana

三台服务器使用docker搭建redis一主二从三哨兵,概念-搭建-整合springboot

一、前言 redis在我们企业级开发中是很常见的,但是单个redis不能保证我们的稳定使用,所以我们要建立一个集群。 redis有两种高可用的方案: High availability with Redis Sentinel(哨兵) Scaling with Redis Cluster(分片集群) ......
哨兵 springboot 概念 服务器 docker

prometheus-监控docker服务器

1. prometheus-监控docker服务器 prometheus-监控docker服务器 cAdvisor(Container Advisor):用于收集正在运行的容器资源使用和性能信息。 项目地址:https://github.com/google/cadvisor docker部署cAd ......
prometheus 服务器 docker

Centos下部署最后一版支持Docker的k8s集群

部署版本 首先要确定部署的版本 查询Kubernetes对Docker支持的情况 kubernetes/dependencies.yaml at master · kubernetes/kubernetes (github.com) 查询Kubernetes Dashboard对Kubernetes ......
集群 Centos Docker k8s 8s

基于Hexo搭建静态博客

关于静态博客 通常来讲,建立个人博客有2种方式: 第一,直接在第三方博客平台注册博客空间,如:博客园,简书,CSDN等,这种方式建立的博客,所有数据都存放在博客平台。 第二,自建博客系统,这种方式就是自己实现与博客平台相同的功能,需要涉及多个部分,如:购买云主机,注册域名,CDN,图床等。 自建博客 ......
静态 博客 Hexo

Typora + PicGo + B2 Cloud Storage 实现个人免费图床

前言 22年底终于购入了Typora,想着之前使用时候的痛点就是在图片管理这一块。 我尝试过使用在线的图床工具进行图片上传再将链接放入Typora,但说实话非常麻烦。 也尝试过就将图片保存在本地,但当我想将笔记上传到博客时就是一场灾难,需要将图片一张张上传并更改文章内的链接。 接着我了解了PicGo ......
Storage Typora PicGo Cloud 个人

你是来找茬的吧?对自己的博客进行调优

“作为博客园的使用者而不是开发者,就不能对博客进行调优了?看好了,我只示范一次。” —— 我说的 0x00 大纲 0x01 前言 用过很多博客和写作平台,但是最终还是选择了博客园,毕竟,自定义 CSS 和自定义 JS 是真的香!某天突发奇想,决定对自己的博客进行下优化,现将其中的一些心得与大家分享。 ......
博客

【JVM故障问题排查心得】「内存诊断系列」Xmx和Xms的大小是小于Docker容器以及Pod的大小的,为啥还是会出现OOMKilled?

为什么我设置的大小关系没有错,还会OOMKilled? 这种问题常发生在JDK8u131或者JDK9版本之后所出现在容器中运行JVM的问题:在大多数情况下,JVM将一般默认会采用宿主机Node节点的内存为Native VM空间(其中包含了堆空间、直接内存空间以及栈空间),而并非是是容器的空间为标准。 ......
大小 容器 OOMKilled 故障 内存

做算法的这一年——2022年个人年终总结

做算法的这一年——2022年个人年终总结 前言 ​ 按照往年的惯例和园子的规矩,随着网易云音乐以及众多App的个人使用报告陆续出来,也到了自己该做个全年复盘总结的时候了。 这一年想起来好像是做了很多事情,但又好像什么都没有做,对着电脑想了许久,要怎么用一句话或者一个字来概括这一整年的过往与历程,奈何 ......
算法 个人 2022

Flutter写的博客园客户端

几个月前在博客园发帖说要用Flutter写个客户端,版本也在陆陆续续的迭代当中,软件也日臻完善起来,想着就把它开源以作Flutter学习。 目前软件已经上线Goolge Play: https://play.google.com/store/apps/details?id=com.huhx.cnbl ......
客户端 Flutter 客户 博客

平淡详和的一年——2022年个人总结与思考

概述 2022年转瞬即逝,一年又过去了。毕业后已经习惯了在博客园回顾自己的一年,今年也不例外,2022年对我而言总体来说是平稳,化身为无情的赚钱机器。2022要说最大的波动那就是新冠政策的变化了,记得年初还在各种封控,下个高速路口都得核酸检测开路,误入风险区都得强制隔离,但在2022年的尾巴,没想到 ......
个人 2022

使用Prometheus监控docker compose方式部署的ES

需求 收集 ES 的指标, 并进行展示和告警; 现状 ES 通过 docker compose 安装 所在环境的 K8S 集群有 Prometheus 和 AlertManager 及 Grafana 方案 复用现有的监控体系, 通过: Prometheus 监控 ES. 具体实现为: 采集端 el ......
Prometheus compose 方式 docker

Pytorch优化过程展示:tensorboard

训练模型过程中,经常需要追踪一些性能指标的变化情况,以便了解模型的实时动态,例如:回归任务中的MSE、分类任务中的Accuracy、生成对抗网络中的图片、网络模型结构可视化…… 除了追踪外,我们还希望能够将这些指标以动态图表的形式可视化显示出来。 TensorFlow的附加工具Tensorboar... ......
tensorboard 过程 Pytorch

Pytorch建模过程中的DataLoader与Dataset

处理数据样本的代码会因为处理过程繁杂而变得混乱且难以维护,在理想情况下,我们希望数据预处理过程代码与我们的模型训练代码分离,以获得更好的可读性和模块化,为此,PyTorch提供了torch.utils.data.DataLoader 和 torch.utils.data.Dataset两个类用于数据... ......
DataLoader 过程 Pytorch Dataset

IdentityServer4 - v4.x 概念理解及运行过程

IdentityServer4、Scope、Client、Client.Scope、Claim、ApiResource、ApiResource.Scope、ApiResource.UserClaims、IdentityResource、IssuedClaims ......

MongoDB从入门到实战之Docker快速安装MongoDB

前言 在上一篇文章中带领带同学们快速入门MongoDB这个文档型的NoSQL数据库,让大家快速的了解了MongoDB的基本概念。这一章开始我们就开始实战篇教程,为了快速把MongoDB使用起来我将会把MongoDB在Docker容器中安装起来作为开发环境使用。然后我这边MongoDB的可视化工具用的 ......
MongoDB 实战 Docker

用Flutter写了个博客园APP

最近在摸鱼时看到了一些博客园API文章,就想着摸鱼时写个APP练练手。 现阶段实现了以下功能模块: 博客浏览、评论 新闻浏览 闪存浏览、发布、评论 博问浏览 用户登录 博问暂时只支持浏览,不支持回答提问等操作。 支持iOS、Android平台。 截图 浅色模式: 深色模式: API 开发前需要先到h ......
Flutter 博客 APP

当 xxl-job 遇上 docker → 它晕了,但我不能乱!

开心一刻 某次住酒店,晚上十点多叫了个外卖 过了一阵儿,外卖到了 因为酒店电梯要刷卡,所以我下楼去接 到了电梯口看到个模样不错的妹纸 我:是你么? 妹纸愣了下:嗯! 于是拉上进电梯回房间,正准备开始呢 我俩的电话同时响了 按下接听键,一男一女同时问:我到电梯口了,你人呢? 尴尬了,取错外卖了 然后一 ......
xxl-job docker xxl job

从源码构建docker-ce

准备环境 准备一台Linux主机,并在上面安装好docker-ce,安装好make,git就可以开始编译工作了。对,就是如此简单,可能你会对此感到异或为啥要装docker,我不是准备编译这个玩意么,为啥不装go,docker不是用go开发的么? 这些疑问会在后面的步骤中解答。 # docker-ce ......
docker-ce 源码 docker ce

docker registry(私库)搭建,使用,WEB可视化管理部署

Docker Registry 是Docker官方一个镜像,可以用来储存和分发Docker镜像。目前比较流行的两个镜像私库是Docker Registry ,HarBor 其中HarBor最合适企业级应用,提供良好的WEB界面进行管理。 Docker Registry搭建 本文主要介绍Docker ......
registry docker WEB

flask博客项目之tinymce图片上传

查看当前的博客发表情况 截图一张立马粘贴进来 点击发表,显示数据太长 不断撤退回到刚刚页面 删除大图,换成小图,上传方式 点击发表可以成功发表 数据库中查看,是把图片生成这种编码后字符串方式存储的了,肯定每个图片占了大量空间 查看当前的富文本设置 按照中文网上传 http://tinymce.ax- ......
tinymce 项目 图片 flask 博客

13-flask博客项目之restful api详解2-使用

13-flask博客项目之restful api详解1-概念 13-flask博客项目之restful api详解1-概念 Flask-RESTful学习网站 英文:https://flask-restful.readthedocs.io/en/latest/ 中文:http://www.pytho ......
restful 项目 flask 博客 api

Selenium4+Python3系列(十三) - 与docker中的jenkins持续集成

前言 文章更新到这一篇时,其实我还是很开心的,因为这也正是这系列教程的最后一篇文章,也算是完成了一个阶段性的小目标,也很感谢那些愿意看我文章与我交流学习的同学,感谢有你们的支持和陪伴。 Jenkins的下载安装 1、拉取镜像: 笔者是Mac系统,为了方便就直接使用Docker进行安装了,终端输入如下 ......
Selenium4 Selenium Python3 jenkins Python

【JVM故障问题排查心得】「内存诊断系列」Docker容器经常被kill掉,k8s中该节点的pod也被驱赶,怎么分析?

我有一个在主机中运行的Docker容器(也有在同一主机中运行的其他容器)。该Docker容器中的应用程序将会计算数据和流式处理,这可能会消耗大量内存。 该容器会不时退出。我怀疑这是由于内存不足,但不是很确定。我需要找到根本原因的方法。那么有什么方法可以知道这个集装箱的死亡发生了什么? ......
节点 容器 故障 内存 心得

基于.NetCore开发博客项目 StarBlog - (22) 开发博客文章相关接口

前言 本文介绍博客文章相关接口的开发,作为接口开发介绍的第一篇,会写得比较详细,以抛砖引玉,后面的其他接口就粗略带过了,着重于WebApi开发的周边设施。 涉及到的接口:文章CRUD、置顶文章、推荐文章等。 开始前先介绍下AspNetCore框架的基础概念,MVC模式(前后端不分离)、WebApi模 ......
博客 StarBlog 接口 NetCore 项目

基于.NetCore开发博客项目 StarBlog - (24) 统一接口数据返回格式

前言 开发接口,是给客户端(Web前端、App)用的,前面说的RESTFul,是接口的规范,有了统一的接口风格,客户端开发人员在访问后端功能的时候能更快找到需要的接口,能写出可维护性更高的代码。 而接口的数据返回格式也是接口规范的重要一环,不然一个接口返回JSON,一个返回纯字符串,客户端对接到数据 ......
StarBlog 接口 NetCore 格式 项目