环保项目 时序 数据处理 难点
Python 大数据量文本文件高效解析方案代码实现
大数据量文本文件高效解析方案代码实现 测试环境 Python 3.6.2 Win 10 内存 8G，CPU I5 1.6 GHz 背景描述 这个作品来源于一个日志解析工具的开发，这个开发过程中遇到的一个痛点，就是日志文件多，日志数据量大，解析耗时长。在这种情况下，寻思一种高效解析数据解析方案。 解决 ......
推荐一款 在线+离线数据 同步框架 Dotmim.Sync
移动智能应用可以分为在线模式、纯离线模式与“在线+离线”混合模式。在线模式下系统数据一般存储在服务器端的大中型数据库（如 SQL Server、Oracle、MySQL 等），移动应用依赖于稳定可靠的网络连接；纯离线模式下系统数据一般存储在移动终端的轻量级数据库（如 SQLite等），移动应用不需要 ......
phpMyAdmin给非技术人员一个查阅数据库的窗口
背景 管理数据库的界面工具。 开发团队中一般有非技术背景人员，比如： 产品，功能测试人员； 对他们来说，可能安装数据库管理工具客户端都很麻烦，需要一款在线的网页工具能方便他们查阅数据。 本地docker安装 单库： docker run --name myadmin -d -e PMA_HOST=l ......
想早点下班？试试Aorm库吧，更方便的进行Go数据库操作
使用go进行项目开发，大多数人会使用gorm，但是gorm有一些缺点，我无法接受。于是开发出了aorm，目前能有满足日常开发需求，并且完善了使用文档，希望能够帮助到大家。 ......
Kubernetes(k8s)存储管理之数据卷volumes(五)：动态制备-存储类StorageClass
一.系统环境 | 服务器版本 | docker软件版本 | Kubernetes(k8s)集群版本 | CPU架构 | | | | | | | CentOS Linux release 7.4.1708 (Core) | Docker version 20.10.12 | v1.21.9 | x86 ......
微服务项目Git仓库自动化脚本
说明 基于微服务项目，产生的的多项目仓库管理脚本。可直接保存 shell 脚本后酌情修改后试用 目录结构 xxxx Xxx1Api/ Xxx2Api/ git_clone_api.sh git_branch_dev.sh git_pull_all.sh git_status.sh api-build ......
在windows下导入react项目并且打包编译后部署到nginx上
在windows下导入react项目并且打包编译后部署到nginx上 一、安装npm 二、创建react项目 三、安装nginx 四、总结 最近接手了公司的一个django项目，这是应该前后端分离的项目，前端使用react编写，由于之前没用过react，所以在配置时遇到了一些问题，现在记录下来。 一 ......
如何使用 EF Core 7 批量删除数据
在 EF Core 7 中，我们可以使用批量操作来删除多条数据。这种方式与之前的版本有所不同，本文将对比 EFCore 7 和之前版本批量删除数据的不同方式。 删除给定 ID 的数据 在 EF Core 7 中，我们可以使用以下代码来删除给定 ID 的数据： await using var db = ......
实现 .Net 7 下的数据库定时检查
在软件开发过程中，有时候我们需要定时地检查数据库中的数据，并在发现新增数据时触发一个动作。为了实现这个需求，我们在 .Net 7 下进行一次简单的演示。 PeriodicTimer .Net 6 中新增了 PeriodicTimer 这个类，它可以用来创建一个定时器，以固定间隔的时间调用回调函数。使 ......
ExcelToObject.NPOI 两行代码导出Excel报表、读取Excel数据
简介 作为一个dotnet开发者，经常面对业务系统中大量报表导入导出，经常写了一堆的重复代码。最近发现一个操作excel的神器：ExcelToObject.NPOI，两行代码就能导出一个报表，两行代码就能读取excel数据。就像作者说的：让操作excel变成了操作对象。下面让我们来看看这个组件 项目 ......
从一个 issue 出发，带你玩图数据库 NebulaGraph 内核开发
当一个新手要开始对数据库内核做代码贡献时，他需要做哪些事呢？虽然本文是一个图数据库的内核贡献过程记录，但是举一反三，你可以借鉴来对其他数据库进行内核贡献。 ......
ORM数据增删改查 django请求生命周期 django路由层 反向解析
可视化界面之数据增删改查 补充 在模型类中定义双下str方法可以在数据对象被执行打印操作的时候方便的查看 self应该是字段对象 print(对象)时会触发__str__ 并且这个方法的return一定要返回字符串类型的数据 触发提交动作的按钮： ''' form表单中能够触发提交动作的按钮只有两个 ......
【Java难点攻克】「NIO和内存映射性能提升系列」彻底透析NIO底层的内存映射机制原理与Direct Memory的关系
Java类库中的NIO包相对于IO包来说有一个新功能就是 【内存映射文件】，在业务层面的日常开发过程中并不是经常会使用，但是一旦在处理大文件时是比较理想的提高效率的手段，之前已经在基于API和开发实战角度介绍了相关的大文件读取以及NIO操作的实现，而本文主要想结合操作系统(OS)底层中相关方面的内容... ......
day01-家具网购项目说明
家具网购项目说明 1.项目前置技术 Java基础 正则表达式 Mysql JDBC 数据库连接池技术 满汉楼项目(包括框架图) JavaWeb 2.相关说明 这里先使用原生的servlet/过滤器，后台是经典的分层结构WEB-Service-DAO-Entity 在学习SSM时，我们使用SSM框架（ ......
flask博客项目之tinymce图片上传
查看当前的博客发表情况 截图一张立马粘贴进来 点击发表，显示数据太长 不断撤退回到刚刚页面 删除大图，换成小图，上传方式 点击发表可以成功发表 数据库中查看，是把图片生成这种编码后字符串方式存储的了，肯定每个图片占了大量空间 查看当前的富文本设置 按照中文网上传 http://tinymce.ax- ......
13-flask博客项目之restful api详解2-使用
13-flask博客项目之restful api详解1-概念 13-flask博客项目之restful api详解1-概念 Flask-RESTful学习网站 英文：https://flask-restful.readthedocs.io/en/latest/ 中文：http://www.pytho ......
vue3项目，记录我是如何用1h实现产品预估1天工作量的界面需求
最近在编写前端界面，硬是一人一周时间加班加点写完了一个项目的前端界面（一级菜单有12个页面+一个控制台大屏，二三级界面有N个），之前预估前端界面的编写需要一个月，我是自己把自己卷死了（没有办法，项目经理说项目要1周写界面，2周发版，我这个项目前端只我1个人，后端有3个人...）.......我只想说 ......
实时采集MySQL数据之轻量工具Maxwell实操
一个用于企业应用支持实时增量采集和全量采集MySQL数据开源框架Maxwell，功能强于Canal，比Flink CDC更易用。本篇先了解其定义和原理，然后通过安装和环境准备，了解其启动的两种方式，最后实操演示几个maxwell在企业中常用的场景示例。 ......
可视化编排的数据集成和分发开源框架Nifi轻松入门-上
如何你正在为数据采集做技术选型，今天介绍一款功能极其强大性能也高且采用可视化编排的数据集成框架nifi可以列入选型范畴，是数仓开发的强大工具之一，只要使用后就能体会到其丰富的处理器和扩展性。先了解其特性、核心概念和架构，也支持分布式集群，了解常见处理器分类，最后通过源码安装并使用两个简单的处理器演示... ......
Django框架：10、Ajax补充说明、多对多三种创建方法、Django内置序列化组件、批量操作数据方法、分页器思路
Django框架 一、Ajax补充说明 1、针对前端回调函数接受值的说明 主要针对回调函数args接收到的响应数据 1、后端如何判断请求发出方式 关键词：is_ajax() 通过request点的方式可以判断请求是否由Ajax发出 def home(request): print(request.i ......
你的项目使用Optional了吗？
本文主要介绍Java8新特性之Optional类，分别介绍了获取对象的3个方法、获取数值的3个方法、处理数值的2个方法、映射数值的1个方法以及实际应用。 ......
你的项目使用的是哪种配置文件？
本文主要介绍application.properties文件的配置方式、application.yml文件的配置方式，以及多环境配置时，可以通过总配置文件和Maven配置两种方式进行切换。 ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(7) - 在线问答系统
1.项目源码/业务逻辑 百度网盘链接：链接：https://pan.baidu.com/s/13VNfrSJE6vcL3HP1J5T8ew 提取码：00s0，项目业务逻辑自行阅读 2.项目搭建 👇点击新建New Project，选择Flask项目 👇选择项目路径和使用Virtualenv新建项目 ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(6) - Flask表单的实现
1.表单介绍 1.1.表单知识回顾 常见的表单元素： 表单标签<form> action：表单提交的URL地址 method：表单请求的方式（GET/POSt） enctype：请求内容的形式，如：application/x-www-form-urlencoded、multipart/form-da ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(4) - Flask模板语法与继承
1.Flask模板介绍 前置：理解渲染机制即上篇笔记中render_template()功能是如何实现的！ 1）找到html文件地址 2）读取html文件中的内容 3）替换html中的特殊字符 4）将html的内容发送给浏览器 1 <!-- html文件 --> 2 3 <!DOCTYPE html ......
Python全栈工程师之从网页搭建入门到Flask全栈项目实战(5) - Flask中的ORM使用
1.理解ORM ORM是MTV模型里面的Model模型 ORM(Object Relational Mapping)，对象关系映射 举例：学生选课 学生和课程这两个实体，一个学生可以选择多门课程，一个课程可以被多名学生选择。这两个实体是多对多的关系，学生选课对应的数据库表 为什么要学习ORM ORM ......
架构设计（二）：数据库复制
架构设计（二）：数据库复制 作者：Grey 原文地址： 博客园：架构设计（二）：数据库复制 CSDN：架构设计（二）：数据库复制 在架构设计（一）：从单服务器模式到负载均衡设计中提到了数据库类型的选择， 针对大数据量，高可用的场景，数据库复制是一种比较好的方式，其中多个数据库实例之间可以是主/从关系 ......
基于.NetCore开发博客项目 StarBlog - (24) 统一接口数据返回格式
前言 开发接口，是给客户端（Web前端、App）用的，前面说的RESTFul，是接口的规范，有了统一的接口风格，客户端开发人员在访问后端功能的时候能更快找到需要的接口，能写出可维护性更高的代码。 而接口的数据返回格式也是接口规范的重要一环，不然一个接口返回JSON，一个返回纯字符串，客户端对接到数据 ......
新项目决定用 JDK 17了
大家好，我是风筝，公众号「古时的风筝」，专注于 Java技术 及周边生态。 文章会收录在 JavaNewBee 中，更有 Java 后端知识图谱，从小白到大牛要走的路都在里面。 最近在调研 JDK 17，并且试着将之前的一个小项目升级了一下，在测试环境跑了一段时间。最终，决定了，新项目要采用 JDK ......