环保项目 时序 数据处理 难点
一款简单易用的远程日志查看器，可实时查看云服务器上的日志数据
本文主要内容 介绍一款开发者工具（远程日志查看器）的使用说明和技术实现思路 源码地址：https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH：Secure Shell Web前端基础：HTML、CSS、JavaS ......
ClickHouse数据副本引擎
我的gitee地址：https://gitee.com/ddxygq/bigdata-technical-pai ，相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本： ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
（数据科学学习手札148）geopandas直接支持gdb文件写出与追加
本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师，在我之前的某篇文章中为大家介绍过如何在windows系统上，基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
transforms模块—PyTorch图像处理与数据增强方法
计算机视觉任务中，对图像的变换（Image Transform）往往是必不可少的操作，例如在迁移学习中，需要对图像尺寸进行变换以使用预训练网络的输入层，又如对数据进行增强以丰富训练数据。
作为深度学习领域的主流框架，pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......
Redis数据结构与对象
参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量，而是一个可以被修改的字符串值时，就会使用SDS（simple dynamic string）来表示字符串值。比如set msg "hello world"将创建一个新键值对，键值对的键 ......
火山引擎DataLeap数据调度实例的 DAG 优化方案
更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案，集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中，一个核心的功能为任务的调度，会根据任务设置的调度频率（月级，日 ......
设计模式实践---策略模式实现对大量计算公式的处理
业务流程： 1.用户根据需要选择的实验方案，每个实验方案对应一种计算公式，计算公式例如下面这种 2.将带有实验数据的PDF文件上传到特定位置，对PDF文件进行解析后将数据数据保存到数据库。 3.遍历所有方案，对每种方案使用特定的公式对数据库中的数据进行 重构前实现： 遍历方案，使用IF语句对使用的公 ......
GitHub车牌检测识别项目调研
文章首发于我的 github 仓库-cv算法工程师成长之路，欢迎关注我的公众号-嵌入式视觉。 一，EasyOCR 1.1，仓库介绍 1.2，使用记录 二，HyperLPR 2.1，HyperLPR 概述 2.3，使用记录 2.3，使用建议 三，simple-car-plate-recognition ......
Pytorch基础-tensor数据结构
torch.Tensor 是一种包含单一数据类型元素的多维矩阵，类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成，生成的是dtype 默认是 torch.FloatTensor。 ......
TiDB上百T数据拆分实践
背景 提高TiDB可用性，需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有)，每个版本拆分方法存在不一样 2、其中5套TiDB，数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大，消耗 ......
对于goland相对较新一些版本新建项目时没有go mod模式选项的坑
前言 对于一些小白在网上看很早的一些go视频，使用goland2020.3.x版本或者其之前版本创建新项目，里面会有GO Modules（vgo）这个选项，也就是gomod模式创建新项目，然而对于现在相对新点的goland版本，创建新项目是会发现没有GO Modules（vgo）选项，会很懵，本人以 ......
MongoDB从入门到实战之.NET Core使用MongoDB开发ToDoList系统（1）-后端项目框架搭建
前言： 前面的四个章节我们主要讲解了MongoDB的相关基础知识，接下来我们就开始进入使用.NET7操作MongoDB开发一个ToDoList系统实战教程。本章节主要介绍的是如何快熟搭建一个简单明了的后端项目框架。 MongoDB从入门到实战的相关教程 MongoDB从入门到实战之MongoDB简介 ......
项目中引进这玩意，排查日志又快又准！
大家好，我是三友~~ 背景 随着微服务盛行，很多公司都把系统按照业务边界拆成了很多微服务，在排错查日志的时候，因为业务链路贯穿着很多微服务节点，导致定位某个请求的日志以及上下游业务的日志会变得有些困难。 这时候可能有的小伙伴就会想到使用SkyWalking，Pinpoint等分布式追踪系统来解决，并 ......
面试官问：你知道 SpringBoot 项目是如何启动的吗？
大家都知道我们常用的 SpringBoot 项目最终在线上运行的时候都是通过启动 java -jar xxx.jar 命令来运行的。 那你有没有想过一个问题，那就是当我们执行 java -jar 命令后，到底底层做了什么就启动了我们的 SpringBoot 应用呢？ 或者说一个 SpringBoot ......
利用云服务器发布项目
前言 平时开发我会写一些小demo，我自己觉得有用的会集中起来形成一个项目，本来想利用gitee的gitee page直接部署出来，但后面了解了下，它只支持官网之类的静态页面，无法与后台数据交互，想要完整的服务还是得有自己的服务器(我整了个轻量应用服务器)，接下来我就以此项目为例子，不用敲一行代码， ......
从零入门项目集成Karate和Jacoco，配置测试代码覆盖率
解决问题 在SpringBoot项目中，如何集成Karate测试框架和Jacoco插件。以及编写了feature测试文件，怎么样配置才能看到被测试接口代码的覆盖率。 演示版本及说明 本次讲解，基于SpringBoot2.1.4.RELEASE版本，可根据项目版本灵活更改。下面所有的版本号，可以自行选 ......
数据看板可视化
前言 这段时间一直在做可视化，在我的项目中有一部分是电力巡检的数据可视化。其中的数据看板比较简单，我将其单独抽离出来形成一个demo，为保密demo中数据非真实数据。先看效果。 具体效果 链接相关 浏览链接：http://xisite.top/original/data-board/index.ht ......
数据结构高阶--八大排序汇总
排序总览 什么是排序？ 🔥**排序：所谓排序，就是使一串记录，按照其中的某个或某些关键字的大小，递增或递减的排列起来的操作。 ✍️排序的稳定性：**假定在待排序的记录序列中，存在多个具有相同的关键字的记录，若经过排序，这些记录的相对次序保持不变，即在原序列中，r[i]=r[j]，且r[i]在r[j ......
echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新
ECharts Map地图的显示 ECharts支持地理坐标显示，专门提供了一个geo组件，在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性，取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
VUE项目无法启动NODE版本与NODE-SASS、SASS-LOADER版本不兼容解决方案
一、错误分析 在VUE项目开发中，我们经常会遇到报错： Node Sass version 7.0.1 is incompatible with ^4.0.0。 网上解决方案也千奇百怪，最终操作下来，也是搞了个寂寞，项目依旧无法正常运行，通常这种情况普遍都是团队或者项目使用的NODE版本不一致。 二 ......
云原生时代数据库运维体系演进
数据库运维面临着大规模数据库实例难以有效运维、数据库难以做好资源弹性伸缩以及个人隐私数据安全难以保障这三个方面的挑战。对此，vivo给出了自身的应对方案。 ......
Redis的数据被删除，占用内存咋还那么大？
通过 CONFIG SET maxmemory 100mb 或者在 redis.conf 配置文件设置 maxmemory 100mb Redis 内存占用限制。当达到内存最大值值，会触发内存淘汰策略删除数据。 除此之外，当 key 达到过期时间，Redis 会有以下两种删除过期数据的策略： 后台定 ......
TIE: A Framework for Embedding-based Incremental Temporal Knowledge Graph Completion 增量时序知识图谱补全论文解读
论文网址：https://dl.acm.org/doi/10.1145/3404835.3462961 Arxiv：https://arxiv.org/abs/2104.08419 论文提出一种用增量学习思想做时序知识图谱补全（Temporal Knowledge Graph Completion, ......
使用 SmartIDE 开发golang项目
很荣幸在去年加入到 SmartIDE 产品组，从事开发工作，期间产品经历了无数个迭代，一段非常难忘的经历...... 项目之初一位大牛提出了一个哲学问题 —— 先有鸡还是有蛋（SmartIDE 如何开发 SmartIDE），借着这话题，本文将以 Golang 项目 SmartIDE CLI 为例进行 ......
像go 一样 打造.NET 单文件应用程序的编译器项目bflat 发布 7.0版本
现代.NET和C#在低级/系统程序以及与C/C++/Rust等互操作方面的能力完全令各位刮目相看了，有人用C#开发的64位操作系统: GitHub - nifanfa/MOOS: C# x64 operating system pro...，截图要介绍的是一个结合Roslyn和NativeAOT的实 ......
全自动化数据洞察！数据分布对比可视化！⛵
本文介绍如何使用 Pandas Profiling 的比较报告功能，分析两个数据集的分布差异，完成数据探索分析 (EDA) 的完整流程，为后续分析做准备。 ......
游戏设计之-排行榜处理
前言 我相信大部分人，乃至公司和团队在设计排行榜都考虑的是redis，zadd操作，不需要排序，维护获取，操作都极其简单； 无一例外我也是； 在项目中运营了大量的模板，来处理各个木块的排行榜信息； 统一的会在晚上又一些结算处理；就牵涉一次性拉取，过滤，发放奖励，甚至还有删除操作； 同时为了节约运营陈 ......
Kubernetes(k8s)存储管理之数据卷volumes(一)：volumes的引入和emptyDir数据卷
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
【开源库推荐】#4 Poi-办公文档处理库
原文：【开源库推荐】 #4 Poi-办公文档处理库 - Stars-One的杂货小窝 github仓库apache/poi Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。.NET的开发人员则可以利用 ......