日常工作 比例 文件 数据
数据结构应用之桶排序
问： 有10G的订单数据，希望订单金额(假设都是正整数)进行排序，但我们内存有限，只有几百MB,如何进行排序？ 答： 因内存有限，需要排序的数据量巨大，所以，此时需要外部排序，外部排序采用的是一种分治思想，外部排序最常用的是多路归并排序，即将大数据切成多份一次可以载入内存的小数据，对小数据进行内存排 ......
ASR项目实战-数据
使用机器学习方法来训练模型，使用训练得到的模型来预测语音数据，进而得到识别的结果文本，这是实现语音识别产品的一般思路。 本文着重介绍通用语音识别产品对于数据的诉求。 对数据的要求 训练集 相关要求，如下： 地域，需要覆盖使用人群所在的地域，且数据的比例适中。 口音，需要覆盖典型的口音。 年龄，从18 ......
【Python爬虫课程设计】唐诗三百首——数据爬虫+数据可视化
一、选题背景介绍 中国古代文化中的唐诗是一颗璀璨的明珠，代表了中华民族的文化底蕴和艺术成就。唐诗以其深邃的意境、优美的语言和丰富的情感打动了世人。然而，要阅读和欣赏大量的唐诗作品并非易事。为了让更多人能够了解、感受和研究唐诗，利用爬虫技术和数据可视化手段对唐诗进行数字化处理是一种创新而有意义的尝试。 ......
influxdb 进行数据删除和修改
本文为博主原创，转载请注明出处： 1.条件删除数据 InfluxDB 只支持基于时间的删除操作。 可以使用 DELETE 语句来删除指定时间范围内的数据。例如，以下的 SQL 语句将删除 measurement_name 表中时间在 '2023-06-30' 到 '2023-06-30 15:16: ......
下载文件报错：java.io.IOException: UT010029: Stream is closed
在项目中使用EasyExcel导出excel然后压缩成压缩包下载，下载也是能正常下载就是会抛出这个错误 虽然说这个错误不影响下载功能，搞不好就因为这个错误某天系统崩溃，那时候就不是这么好玩了，于是我在百度上疯狂查找 有的说是流没有关，要在finally 里面把流关了 关了之后，满怀期待的重新运行，然 ......
Laravel的基本配置文件 .env 文件
默认情况下， .env 文件包含以下参数 APP_ENV = local APP_DEBUG = true APP_KEY = base64:ZPt2wmKE/X4eEhrzJU6XX4R93rCwYG8E2f8QUA7kGK8 = APP_URL = http://www.xhcj168.com ......
ASP.NET Core 6(.NET 6) Program.cs中使用读取appsettings.json配置文件
在ASP.NET Core 6 (.NET 6)中，可以使用Json格式的appsettings.json配置文件来配置应用程序，用于存储应用程序的配置信息，方便我们灵活的配置应用程序。本文主要介绍Program.cs中，使用读取appsettings.json配置文件的方法，以及相关的示例代码 ......
【Python&RS】基于矢量范围批量下载遥感瓦片高清数据（天地图、高德、谷歌等）
这个是之前写的代码了，正好今天有空所以就和大家分享一下。我们在处理项目时，有时候需要高清底图作为辅助数据源去对比数据，所以可能会需要卫星数据。所以今天就和大家分享一下如何使用Python基于矢量范围批量下载高清遥感瓦片数据。 ......
【python爬虫课程设计】从懂球帝爬取中超联赛知名运动员数据+数据可视化
一、选题背景： 中超联赛作为中国顶级足球赛事，吸引了广泛的关注，其球员数据包含了丰富的信息，涵盖球员技术、表现和比赛策略等方面。随着数据科学技术的不断发展，对于足球俱乐部和教练来说，充分利用这些数据进行分析和挖掘，以制定更有效的战术和管理策略变得愈发重要。选题背景重点：1. 数据驱动的足球管理：中超 ......
【Python数据分析课程设计】大数据分析—Pokemon 1996-2022年各世代宝可梦数据集分析
一、选题背景宝可梦是一种受欢迎的媒体内容和游戏系列，由任天堂、Game Freak和Creatures等公司合作开发。它们是虚构的生物角色，具有各种不同的属性、技能和能力。自1996年首次推出以来，宝可梦已经成为全球范围内的文化现象。宝可梦不仅仅是娱乐产品，它们也在社会中产生了广泛的影响： 竞技游戏 ......
pr 2020 导入歌词文件暨制作含字幕的MV
一、制作srt字幕文件 获取互联网上的lrc歌词文件； 将歌词文件用记事本打开，另存为UTF-8（含物料）； 将lrc文件转换为srt文件； 可访问以下地址：https://gotranscript.com/subtitle-converter 将srt文件再用记事本打开，另存为UTF-8（含物料） ......
dremio nessie数据源集成简单说明
nessie 是一个强大的支持类似git 分之特性的apache iceberg 智能元数据存储, 主要测试下基于nessie dremio 元数据存储（catalog） 集成参考架构 环境准备 docker-compose 文件 version: "3" services: minio: imag ......
文件操作
文件操作 【一】文本处理引入 应用程序运行过程中产生的数据最先都是存放于内存中的 若想永久保存下来，必须要保存于硬盘中。应用程序若想操作硬件必须通过操作系统 而文件就是操作系统提供给应用程序来操作硬盘的虚拟概念 用户或应用程序对文件的操作，就是向操作系统发起调用，然后由操作系统完成对硬盘的具体操作。 ......
记录--经常被cue大文件上传，忍不住试一下
这里给大家分享我在网上总结出来的一些知识，希望对大家有所帮助 大文件上传主要步骤： 获取文件对象，切分文件 根据文件切片，计算文件唯一hash值 上传文件切片，服务端保存起来 合并文件切片，前端发送合并请求，服务端将文件切片合并为原始文件 秒传，对于已经存在的分片，可以前端发个请求获取已经上传的文件 ......
华为云耀云服务器L实例-大数据学习-Hive的部署-1
华为云耀云服务器L实例-大数据学习-Hive的部署-1 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍Hive的部署 Hive ......
git 如何忽略已经提交的文件或文件夹 (.gitignore文件无效)
git rm -r --cached <file> 可以删除文件和文件夹 使用 idea 提交代码的时候可能会遇到想要忽略的文件夹出现在提交列表中的情况。 以 .idea 目录举例。假如之前没将 .idea 目录添加到 .gitignore 文件中，提交代码的时候又把 .idea 目录提交上去了，那 ......
debezium+kafka实现mysql数据同步（debezium-connector-mysql）
1.情景展示 在企业当中，往往会存在不同数据库之间的表的数据需要保持一致的情况（数据同步）。 如何将A库a表的数据同步至B库a表当中呢？（包含：新增、修改和删除） 往往不仅仅需要保持数据的一致性，还要保证数据的即时性，即：A库a表的数据发生变化后，B库a表也能立刻同步变化。 实时保持两表数据的一致性 ......
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的实操
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的实操 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，继续介绍Map ......
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的部署
华为云耀云服务器L实例-大数据学习-MapReduce&Yarn的部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，介绍MapRe ......
云打印怎么取件？云打印怎么收到打印的文件？
随着互联网的发展，打印需求的生产商逐渐从线下打印店到线上打印平台，而云打印也随之进入了众多有打印需求的群体眼里。但随之而来的还有一个问题，那就是云打印怎么取件？云打印怎么收到打印的文件呢？今天小易就带大家来了解一下。 云打印怎么取件？云打印怎么收到打印的文件？ 其实云打印取件非常简单，我们以易绘创供 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署
华为云耀云服务器L实例-大数据学习-hadoop前置准备2-JDK环境部署 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单台服 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录
华为云耀云服务器L实例-大数据学习-hadoop前置准备1-主机名映射与SSH免密登录 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例 ......
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置
华为云耀云服务器L实例-大数据学习-hadoop前置准备3-防火墙、 SElinux 、时间同步等系统设置 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云 ......
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群
华为云耀云服务器L实例-大数据学习-单台服务器配置伪分布式模式hadoop集群 产品官网：https://www.huaweicloud.com/product/hecs-light.html 今天我们采用可靠更安全、智能不卡顿、价优随心用、上手更简单、管理特省心的华为云耀云服务器L实例为例，演示单 ......
网络安全——SpringBoot配置文件明文加密
信铁寒胜：这边文章真的说得挺好的。 XTHS：第一步、XTHS：第二步、XTHS：第三步、XTHS：第四步 ！就可以实现了。（但是前提，你要先对你的文本进行加密，然后按照ENC(加密文本)，放到配置文件中） 一、前言 在日常开发中，项目中会有很多配置文件。比如SpringBoot项目核心的数据库配置 ......
linux 中 压缩、解压缩、查看gz文件保留源文件
001、压缩为gz文件，同时保留源文件 [root@pc1 test]# ls a.txt [root@pc1 test]# gzip -c a.txt > a.txt.gz ## 压缩文件，同时保留源文件 [root@pc1 test]# ls a.txt a.txt.gz 002、 解压缩gz文 ......
linux 清理 pyinstaller 打包程序运行留下的临时文件
前言 pyinstaller 打包的 python 二进制可执行程序运行的时候，会在 /tmp 目录下生成 _MEI* （*指的是随机数字）文件夹， 如果程序没有正常退出或者终止了，_MEI* 文件夹就会留下来。这中情况下，如果重启 linux 是可以清理 /tmp 目录的，但 如果不能轻易重启 l ......
华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-mysql配置vhr数据库准备
华为云耀云服务器L实例-微人事前后端分离人力资源管理系统-mysql配置vhr数据库准备 产品官网：https://www.huaweicloud.com/product/hecs-light.html 项目源代码地址：https://github.com/lenve/vhr 今天我们采用可靠更安全 ......
数仓及数据集市中间层设计问题
问题：如何设计中间层，可以保证结果报表的准确无误，可回溯，中间层维度数据支持回刷？ A表：事实表：持仓信息； B表：事实表：交易信息； C表：缓慢维度变化的表：客户信息 客户的地区； D表：产品信息表：产品的分类信息 、产品的属性信息； 一个优秀的中间层可以支持后续多维度分析，可以用于数据溯源，验证 ......