文件 指南 数据python
数据导出为excel，并压缩成zip文件夹
/** * 生成企业数据 excel .xlsx格式 并压缩 zip格式 * @param response */ @Override public void exportEnterprise(HttpServletResponse response) { // 1.得到企业数据 List<Dept ......
Python设置进程名称
更好的管理系统进程，是每一个程序员的进阶必经之路。尤其是使用多进程、多用户的场景，系统内的进程是非常混乱的。如果在运行程序时都能控制好进程名称，那么就可以直接通过进程名称来监管和控制进程的执行和输出。本文介绍了setproctitle这样一个工具的简单使用，可以在python代码内部对进程进行管理。 ......
银行业绩数据监控大屏：金融领域的智慧之眼
银行业绩数据监控大屏作为一种新型的管理工具，正逐渐改变传统银行业的运营模式。通过实时监控、深入分析、预测未来、协同工作和保障安全等功能，大屏为银行管理者和员工提供全面的数据支持和服务。在金融市场的激烈竞争中，银行业绩数据监控大屏将成为银行驾驭金融海洋的重要航标，引领银行业稳健前行。 ......
aspectjweaver文件写入的一些发现
最近分析aspectjweaver该java组件链的一些发现记录 所用到环境 windows java环境 1.8.0_291 aspectjweaver 1.9.21 使用到依赖 <dependencies> <dependency> <groupId>commons-collections</g ......
使用python 将json转csv格式
首先需要安装几个库，待会需要用到 # pandas库，用来json和excel格式转换 pip install pandas # 以下两个库是用来解决，pandas写入xlsx后缀文件，报错"""no engine for filetyppe xlsx""" 的问题 pip install open ......
加速Python循环的12种方法,最高可以提速900倍
在本文中，我将介绍一些简单的方法，可以将Python for循环的速度提高1.3到900倍。 Python内建的一个常用功能是timeit模块。下面几节中我们将使用它来度量循环的当前性能和改进后的性能。 对于每种方法，我们通过运行测试来建立基线，该测试包括在10次测试运行中运行被测函数100K次(循 ......
腾讯数据集成工具报告
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 ......
大数据生态组件WEB UI地址汇总
(1) Hadoop Web UI http://master-1:50070/dfshealth.html#tab-overview (2) YARN应用Web UI http://master-1:8088/ (3) Spark Web UI http://master-1:18089/ (4) ......
Iceberg小文件合并测试
总结 指标 合并前 合并后（因测试中多次合并，数据会偏多） 查询速度 246秒 13秒 表总大小 9.2G 26.4G 单个文件大小 1-25MB 60MB左右 metadata目录文件数 37 75 data目录文件数 900 1501 小文件合并后历史版本数据不会自动清理，需要做快照清理 快照清 ......
【FMC211】基于VITA57.1的16路LVDS数据采集、1路光纤数据收发处理平台
板卡概述 FMC211是一款基于VITA57.1标准规范的实现16路LVDS数据采集、1路光纤数据收发处理FMC子卡模块。 该板卡支持2路CVBS（复合视频）视频输入，能够自动检测标准的模拟基带电视信号，并将其转变为8位ITU-R.656接口信号或者4:2:2分量视频信号。 该板卡支持2路标清（SD ......
Iceberg元数据合并-metadata.json文件
一、背景描述 元数据文件随时间增多，导致查询变慢。通过如下方式可以指定metadata个数，超过指定数量自动清理。 metadata文件对应Iceberg概念是Snapshots 二、解决方案 1、在建表时增加参数 ‘write.metadata.delete-after-commit.enable ......
\\与\在映射网络驱动器时的避坑指南
当你在C#中使用net use命令来映射网络驱动器时，你可能会遇到一个令人困惑的问题——如何正确地构造含有用户名和密码的网络路径。在本篇博客中，我们将详细剖析这个问题，并提供解决方法。 问题描述 在使用net use命令时，我们需要提供正确的网络路径以及用户名和密码。然而，有时候我们在构造网络路径时 ......
Python 实现 PDF 到 Word 文档的高效转换（DOC、DOCX）
PDF（Portable Document Format）已成为一种广泛使用的电子文档格式。PDF的主要优势是跨平台，可以在不同设备上呈现一致的外观。然而，当我们需要对文件内容进行编辑或修改，直接编辑PDF文件会非常困难，而且效果也不理想。将PDF文件转换为Word文档（doc、docx）再进行编辑 ......
hdf5文件读取orm
点击查看代码 class BaseNode: """hdf5 file object relational model basic node class Including establishing model relationships and data sets, attribute value ......
一文带你了解内外网数据摆渡系统！
全球数字化浪潮下，数据安全永远是被关注的焦点和重点课题。总之，不管是什么规模和类型的企业，都需要建立一套适合自身的数据安全保护体系和机制，保护核心数据，提升企业核心竞争力。网络隔离可以很好的对企业的核心数据起到保护作用，是众多科技研发型企业在进行网络安全建设中的首选方式，隔离之后，在选择一套安全可靠 ......
大数据开发的总体架构
很多小伙伴在学习了多年大数据后，最后不得不感慨：“大数据的知识太繁杂了，我已经被淹没在大数据的海洋里了！”确实是的，在大数据学习的过程中，随着学习的深入，越来越多的新名词和新框架让学习者有种欲哭无泪的感觉，那么，这篇博文就对大数据开发的一个总体架构做一个介绍吧，让大家学习过程中，不至于迷失方向。先上 ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
【Linux】用Xshell通过SSH连接ubuntu报错“服务器发送了一个意外的数据包”
安装了Ubuntu20.04， 安装了ssh：sudo apt-get install ssh 想用Xshell通过SSH连接，结果报错：“服务器发送了一个意外的数据包”，如下图所示： ①在/etc/ssh/sshd_config配置文件最后面添加下面一行： KexAlgorithms curve2 ......
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
安全数据交换系统：大幅提升网间文件交换能力
各级政府部门和金融、能源、电力这些行业，以及一些大中型企业组织，为了保护内部的重要数据不外泄，普遍都采用了多网络并行的方式，也是做了网络隔离划分，不同的网络拥有不同的密级以及人员权限。然后再通过安全数据交换系统来进行跨网络、跨区域的文件数据交互，解决“数据孤岛”的问题。 然后，要解决网络隔离下的数据 ......
Python学习第1章- Python编程语言及环境安装
此部分内容过于简单，此处省略详细步骤，仅对关键点进行说明。 1.安装最新稳定版的Python编译器（获取途径：官网https://www.python.org） 2.使用Pycharm Community Edition，此版本为免费版，可供初学者使用。Professional版本为付费版。官方提供 ......
Python之DataFrame的使用
以下是Python之DataFrame的使用： 1.定义DataFrame的方式（不带参、使用list、使用列标签） import pandas as pd df = pd.DataFrame print(df) arr = [1,2,3,4,5] df = pd.DataFrame(arr) pr ......
向量数据库~milvus
本文主要基于milvus官方的材料外加自己的一些理解整理而来，欢迎交流 设计理念 云原生：存&算分离; 读写分离; 增量存量分离; 微服务架构，极致弹性； 日志即数据：通过message queue解耦生产者、消费着，降低系统复杂度; 提升index、data、query模块弹性; 流批一体：表和日 ......
读算法霸权笔记09_信用数据的陷阱
1. 信用评级模型 1.1. 评估个人贷款违约风险的模型为FICO 1.1.1. 唯一评分参数就是贷款者的资产，主要依据是贷款者的债务负担和账单支付记录 1.1.2. 这种信用评分模型相对透明 1.1.3. 信用评分行业受政府管制 1.1.4. 信用评分系统的使用得到了广泛普及 1.2. 脸书就发明 ......
3种依赖管理工具实现requirements.txt文件生成
1.pip 实现方式 要使用 pip 生成 requirements.txt 文件，可以使用以下命令： pip freeze > requirements.txt 这个命令会将当前环境中所有已安装的 Python 包及其版本信息输出到 requirements.txt 文件中。这个文件可以用于共享项 ......
python -m http.server在本地启动简单HTTP服务器的命令
1.python -m http.server 命令 python -m http.server 是一个用于在本地启动简单 HTTP 服务器的命令。这个命令会在当前工作目录启动一个基本的 HTTP 服务器，可以让你通过浏览器访问本地文件。 具体解释如下： python：启动 Python 解释器。- ......
INFINI Labs 产品更新 | Console 数据迁移支持 Percentiles 均匀分区
INFINI Labs 产品又更新啦~，包括 Console v1.14.0，Gateway 1.21.0。其中 Console 数据迁移支持 Percentiles 均匀分区，修复已知 Bug 等。以下是本次更新的详细说明。 INFINI Console v1.14.0 INFINI Consol ......
Python模块之序列化模块
序列化模块：json模块 / pickle模块 【一】概要 json 模块和 pickle 模块都是 Python 中用于序列化和反序列化数据的工具，但它们有一些重要的区别： 可读性和可编辑性： json 生成的数据是以文本形式表示的，具有良好的可读性，并且可以手动编辑。 pickle 生成的数据是 ......
Mac 使用 open 命令，快速打开文件
今天突然发现Mac 有个很好用的命令，open xxx，使用这个命令可以用默认软件打开这个文件，比如各种文本格式的文件会用txt文本打开，mp4 格式的文件会用 player打开。 open aaa.txt open ddd.mp4 ......