文件 指南 数据python

手把手教你玩转 Excel 数据透视表

1. 什么是数据透视表 数据透视表是一种可以快速汇总、分析大量数据表格的交互式分析工具。使用数据透视表可以按照数据表格的不同字段从多个角度进行透视,并建立交叉表格,用以查看数据表格不同层面的汇总信息、分析结果以及摘要数据。 使用数据透视表可以深入分析数值数据,以帮助用户发现关键数据,并做出有关企业中 ......
数据 Excel

【爬虫+数据分析+数据可视化】python数据分析全流程《2021胡润百富榜》榜单数据!

用python爬取并分析《2021胡润百富榜》的榜单数据! 1、python爬虫讲解(requests向接口请求)。 2、python数据分析讲解(pandas数据分析及可视化画图)含:直方图、柱形图、饼图、词云图等。 ......
数据 数据分析 爬虫 流程 python

Python Kconfiglib初次学习

1 参考 kconfiglib库官方介绍:kconfiglib · PyPI Kconfiglib源码:GitHub - ulfalizer/Kconfiglib: A flexible Python 2/3 Kconfig implementation and library Kconfig语法: ......
Kconfiglib Python

C#应用程序配置文件(XML序列化) - 开源研究系列文章

上次写了一个C#线程池及管理器的博文( C#开发的线程池和管理器 - 开源研究系列文章 ),收到了不小的浏览量,在此感谢各位网友的支持。这次将另一个功能放出来单独讲解:C#应用程序的配置文件,使用的是XML文件保存程序的配置信息,通过XML序列化和反序列化,将配置文件规范起来。 一、 项目目录; 项 ......
序列 应用程序 文件 程序 文章

Python AI小项目打包通关:Pyinstaller和Wix都用上了

最近有个Python小项目要打个包,项目结构比较简单 main.py(主文件), 以及model_050.hdf5 (在云端训练好的AI模型) 主函数里引用了一些包,如下 需要解决的问题: 将main.py和model_050.hdf5打包到一个exe文件中,这样模型不会容易被别人拷贝走 将这些依赖 ......
Pyinstaller 项目 Python Wix

【深入浅出Sentinel原理及实战】「基础实战专题」零基础实现服务流量控制实战开发指南(2)

你若要喜爱你自己的价值,你就得给世界创造价值。 Sentinel的组成部分 Sentinel 主要由以下两个部分组成。 Sentinel核心库(Java客户端) :Sentinel的核心库不依赖任何框架或库,能够运行于Java 8及以上的版本的运行时环境中,同时对 Spring Cloud、Dubb ......

使用JsonConverter处理上传文件的路径

场景 我们上传一个文件,把文件保存到服务器上,会有一个明确的物理路径,由于需要从前端访问这个文件,还需要web服务器中的一个虚拟路径。这个虚拟路径的存储会有一个问题,我们应该在数据库里存什么?是带域名的全路径,还是相对于web根目录的相对路径? 现在很多架构都是前后分离的,所以前端访问的url是全路 ......
JsonConverter 路径 文件

Python从入门到精通(第2版)——pyuic5: error: no such option: -m的问题解决

前言 在学习《Python从入门到精通(第2版)》的第15章 GUI界面编程——15.2.4 将.ui文件转换为.py文件时,按照书中步骤出错时的问题解决,希望对同样学习本书的同学有所帮助。 问题 问题出现 当跟着书15.2.4执行步骤(2)时PyCharm报错 错误提示:pyuic5: error ......
Python pyuic5 option 问题 pyuic

一个理想的数据湖应具备哪些功能?

介绍 从数据库到数据仓库,最后到数据湖,随着数据量和数据源的增加,数据格局正在迅速变化。 数据湖市场预计增长近 30%,将从 2020 年的 37.4 亿美元增长到 2026 年的 176 亿美元。 此外从 2022 年数据和人工智能峰会来看,数据湖架构显然是数据管理和治理的未来。 由于 Datab ......
理想 功能 数据

比Sqoop功能更加强大开源数据同步工具DataX实战

前面两篇连续介绍两个数据同步组件后,好事应有三,大满贯收场,本篇介绍主流的异构数据源离线同步工具DataX的框架设计和执行流程,将其与大名鼎鼎大数据同步组件Sqoop做对比,部署安装并通过配置基于MySQL和HDFS互为读写的实例场景和关键配置说明。 ......
实战 功能 工具 数据 Sqoop

工业数据分析为什么要用FusionInsight MRS IoTDB?

摘要:MRS IoTDB,它是华为FusionInsight MRS大数据套件中的时序数据库产品,在深度参与Apache IoTDB社区开源版的基础上推出的高性能企业级时序数据库产品。 本文分享自华为云社区《工业数据分析为什么要用FusionInsight MRS IoTDB?》,作者:高深广 。 ......

分布式文件系统之FastDFS

目录结构: 一 分布式文件系统 二 FastDFS入门 三 FastDFS环境搭建 四 FastDFS在Java项目中开发示例 五 FastDFS分布式文件系统集群 一 分布式文件系统 分布式文件系统 (Distributed File System) 是一个软件/软件服务器,这个软件可以用来管理文 ......
分布式 FastDFS 文件 系统

一次SQL调优 聊一聊 SQLSERVER 数据页

一:背景 1.讲故事 最近给一位朋友做 SQL 慢语句 优化,花了些时间调优,遗憾的是 SQLSERVER 非源码公开,玩起来不是那么顺利,不过从这次经历中我觉得明年的一个重大任务就是好好研究一下它,争取在 SQLSERVER 性能优化上做一些成绩,哈哈! 个人觉得要想深入研究 SQLSERVER, ......
SQLSERVER 数据 SQL

一款简单易用的远程日志查看器,可实时查看云服务器上的日志数据

本文主要内容 介绍一款开发者工具(远程日志查看器)的使用说明和技术实现思路 源码地址:https://github.com/HackyleShawe/RemoteLogViewer 前置知识 SpringBoot基础知识 SSH:Secure Shell Web前端基础:HTML、CSS、JavaS ......
日志 实时 服务器 数据

(数据科学学习手札148)geopandas直接支持gdb文件写出与追加

本文示例代码已上传至我的Github仓库https://github.com/CNFeffery/DataScienceStudyNotes 1 简介 大家好我是费老师,在我之前的某篇文章中为大家介绍过如何在windows系统上,基于ESRI FileGDB驱动为geopandas补充针对gdb文件 ......
手札 geopandas 文件 科学 数据

ClickHouse数据副本引擎

我的gitee地址:https://gitee.com/ddxygq/bigdata-technical-pai ,相关文章都放到这个仓库里了。 只有 MergeTree 系列里的表可支持副本: ReplicatedMergeTree ReplicatedSummingMergeTree Repli ......
副本 ClickHouse 引擎 数据

学习ASP.NET Core Blazor编程系列十八——文件上传(中)

上篇学习ASP.NET Core Blazor编程系列十七——文件上传(上)文章我们学习了如何将文件上传至服务器,但是我们并没有将文件的一些信息保存下来,无法进行查询,无法得知我们上传了一些什么文件。本篇文章演示如何将上传文件的一些基本信息保存到数据库,从而可以对上传文件进行简单管理。 ......
文件 Blazor Core ASP NET

学习ASP.NET Core Blazor编程系列十九——文件上传(下)

我们在“多文件上传示例”页面中选择一个上传文件,然后应用程序会自动上传文件,并会在数据库中记录了一上传文件的相关信息,并会在页面中显示一个已经上传的文件列表。 ......
文件 Blazor Core ASP NET

Redis数据结构与对象

参考《Redis设计与实现》 系列文章目录和关于我 一丶简单动态字符串 当redis需要的不仅仅是一个字符串字面量,而是一个可以被修改的字符串值时,就会使用SDS(simple dynamic string)来表示字符串值。比如set msg "hello world"将创建一个新键值对,键值对的键 ......
数据结构 对象 结构 数据 Redis

火山引擎DataLeap数据调度实例的 DAG 优化方案

更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群 实例 DAG 介绍 DataLeap 是火山引擎自研的一站式大数据中台解决方案,集数据集成、开发、运维、治理、资产管理能力于一身的大数据研发治理套件。在平台中,一个核心的功能为任务的调度,会根据任务设置的调度频率(月级,日 ......
火山 实例 DataLeap 引擎 方案

transforms模块—PyTorch图像处理与数据增强方法

计算机视觉任务中,对图像的变换(Image Transform)往往是必不可少的操作,例如在迁移学习中,需要对图像尺寸进行变换以使用预训练网络的输入层,又如对数据进行增强以丰富训练数据。 作为深度学习领域的主流框架,pytorch中提供了丰富的图像变换API。本文将对pytorch中torchvi... ......

Google分布式文件系统GFS论文学习

GFS作为最著名的分布式文件系统,首先具备了大规模、可扩展、适配大文件、自动运维等高级特性。虽然是比较早期的分布式文件系统,但是它里面的设计思想还是值得现代分布式系统设计参考的,并且还有很多后期著名的分布式文件系统就是根据 GFS 来的。 一、设计预期 在论文前面,列举了设计预期,也就是 GFS 是 ......
分布式 文件 Google 论文 系统

Pytorch基础-tensor数据结构

torch.Tensor 是一种包含单一数据类型元素的多维矩阵,类似于 numpy 的 array。 Tensor 可以使用 torch.tensor() 转换 Python 的 list 或序列数据生成,生成的是dtype 默认是 torch.FloatTensor。 ......
数据结构 Pytorch 结构 基础 数据

Jupyter Notebook入门指南

Jupyter Notebook是一套基于web的交互式开发环境。用户可以在线开发和分享包含代码和输出的交互式文档,支持实时代码,数学方程,可视化和 markdown等。用途包括:数据清理和转换,数值模拟,统计建模,机器学习等等。 ......
入门指南 Notebook Jupyter 指南

实现简单的csv文件上传和bootstrap表格的下载

一、写一个简单的页面并发送文件 引入bootstrap.js,jQuery.js等,具体的网页就不细写了,很简单。 加入input框,button控件,进度条。如下: <li class="list-group-item" id="input-file-group"> <div class="inp ......
bootstrap 表格 文件 csv

opencv-python学习之旅

#opencv-python 操作 *注:在此笔记中只记录下各种函数的使用,规则 详细讲解见https://opencv.apachecn.org/#/docs/4.0.0/2.1-tutorial_py_image_display ##创建,读取,显示,保存图像 ###创建图像 import nu ......
opencv-python 之旅 opencv python

前端程序员学python(爬虫向)(一文修到筑基期) (本文不含知识诅咒)

我踏马来辣 还有一件事: 本教程配合c语言中文网 python爬虫 教程 食用 本教程不适用于未成年人 一定要刷牙 本教程不存在知识诅咒 学完本教程即可进入筑基期 js 基础和本教程学习效率成正比 不要笑 暂时不要驾驶你的行李箱 本教程是针对前端程序员制定的 vscode是IDE大王,什么?你说vs ......
基期 爬虫 前端 程序员 程序

TiDB上百T数据拆分实践

背景 提高TiDB可用性,需要把多点已有上百T TiDB集群拆分出2套 挑战 1、现有需要拆分的12套TiDB集群的版本多(4.0.9、5.1.1、5.1.2都有),每个版本拆分方法存在不一样 2、其中5套TiDB,数据量均超过10T、最大的TiDB集群目前数据量62T、单TiDB集群备份集大,消耗 ......
数据 TiDB

echarts map地图中绘制浙江省市区县乡镇多级联动边界下钻的最新geojson数据文件获取和更新

ECharts Map地图的显示 ECharts支持地理坐标显示,专门提供了一个geo组件,在setOption中提供option.geo配置即可显示地图。 option.geo配置中有个map属性,取值为已通过 echarts.registerMap("name", geojson) 注册的nam ......
县乡镇 县乡 边界 echarts geojson

C# Log4net配置文件 总结

前言 因为项目日志太杂乱而且很大,打开一个就卡死了,何况用户电脑也扛不住日志积累,要做一个日志记录器管理日志。但对里面的配置有一些不熟悉(毕竟都是复制粘贴的),所以记录一下各个项的作用。方便后续复习。 1.0 使用配置文件 众所周知,如果要使用一个配置文件,则需要声明: [assembly: log ......
Log4net 文件 4net Log4 Log