路径include文件
Hive文件存储格式
结论： Text File，Parquet ，ORC Files结合使用，优先使用前两种，对存储及查询性能有极高要求时使用ORC。 存储格式 使用场景 Text File 数据直观，便于查看和编辑，数据量较小的维表可以使用. Parquet 支持深度嵌套，可用于多种数据处理框架（Hive/Spark ......
Flink写文件
简介 StreamingFileSink 提供了将数据分桶写入文件系统的功能。 如何分桶是可以配置，默认使用基于时间的分桶策略，每个小时创建一个新的桶，也可以自定义分桶策略。 文件滚动策略支持两种方式，基于时间和文件大小的DefaultRollingPolicy策略和基于Flink检查点的OnChe ......
超大日志文件分割工具和方法
来源：https://blog.csdn.net/sangser/article/details/123169275 1. 直接运行：MobaXterm1_CHS1.exe，如下画面： 2. 点击：Start local terminal： 切换到大文件所在目录，执行命令：split -l 6000 ......
scrapy使用文件管道FilesPipeline下载视频
1.爬虫文件 class MeiShiSpider(scrapy.Spider): name = 'meishi' allowed_domains = ['baidu.com'] start_urls = ['https://tieba.baidu.com/f?kw=美食'] def parse(s ......
文件加密解密工具类
：需求：文件上传到系统后，只能通过系统预览或者下载，其他方式下载下来的文件，对方看不了， 实现思路：上传文件时，对文件进行加密处理，数据库存放文件名，把加密文件存到指定目录下 预览、下载文件时，通过指定目录+文件名，找到该文件，并进行解密处理，根据前端需求，对解密后的文件进行处理（下载到指定目录/直 ......
安防视频云平台/可视化监控云平台ARM版EasyCVR无法下载录像文件，如何解决？
视频集中存储/云存储/视频监控管理平台EasyCVR能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，实现视频资源的鉴权管理、按需调阅、全网分发、智能分析等。GB28181视频监控/AI智能大数据视频分析EasyCVR平台已经广泛应用在工地、工厂、园区、楼宇、校园、仓储等场景中 ......
如何直接将GitHub中的notebook/ipynb文件在colab中打开
Colab可直接从github打开Jupyter notebooks，只需将“http:// github.com/”替换为“https://colab.research.google.com/github/”，就会直接加载到Colab中。 ......
java springboot项目启动脚本，指定jdk、指定yml配置文件
start.bat @echo off rem 设置Java路径，根据你的实际情况修改 set JAVA_PATH="./jdk-17_windows-x64_bin/jdk-17.0.6/bin/java.exe" rem 设置JAR文件路径，根据你的实际情况修改 set JAR_PATH="./ ......
WSL2镜像文件压缩
WSL2的镜像文件（*.vhdx）支持自动扩容，但是一般不会自动缩容。一旦某次存放过大文件以后，即使后续删除，镜像文件体积仍然不会缩小，导致大量磁盘空间浪费。因此，可以定期对镜像文件进行手动压缩。 ......
C# 如何读取Excel文件
当处理Excel文件时，从中读取数据是一个常见的需求。通过读取Excel数据，可以获取电子表格中包含的信息，并在其他应用程序或编程环境中使用这些数据进行进一步的处理和分析。本文将分享一个使用免费库来实现C#中读取Excel数据的方法。具体如下： 准备工作： 在VS中通过Nuget安装免费Excel读 ......
vm - 释放linux删除文件后的物理磁盘
关闭vm的需要释放磁盘的虚拟机 然后进入vm 的安装根目录 需要用到里面的 vmware-vdiskmanager.exe 工具 找到需要释放的虚拟机的vmdk文件 拼接指令后执行 vmware-vdiskmanager.exe -k "F:/vm/xxx/CentOS 7 64 位-cl4.vmd ......
linux shell脚本for循环批量对bam文件构建索引并绘制geneBody coverage曲线
#首先设置所用程序的路径 samtools='samtools的路径' geneBody_coverage='geneBody_coverage.py的路径' bedFile='hg38_GENCODE_V42_Comprehensive.bed文件的路径' #然后，获取bam文件列表并进行排序 f ......
SQL Server Profiler的trc文件生成阻止
很奇葩，sqlserver自动生成trc文件，每分钟一个，重启服务器也没用。 解决思路： 查询现在正在跑的trace进程 select * from sys.fn_trace_getinfo(0); 关闭C2审计功能 EXEC sp_configure 'c2 audit mode', '0'; 重 ......
idea properties文件乱码解决
java文件是好的，但是遇到properties文件，默认就成了iso制式乱码了。 虽说不影响程序执行，但是看起来真的让人心烦。 问题点是出在properties文件是GBK的，需要单独设置一下。 解决方法： IDEA- File->Settings->Editor->File Encodings ......
使用RandomAccessFile监听日志文件，并实时一行行读取出来
public static void main(String[] args) { String filePath = "E:\\codes\\work\\product-parent\\logs\\alarm_log_info.log"; try { RandomAccessFile randomA ......
vue文件压缩与解压-JSZip库
const downloading = ref(true); const modeldownload = (path: String) => { downloading.value = true; let path1 = "download4dtbd02?fileName=" + path; ret ......
CSS运动路径offset-path之path的语法解析
原文链接：https://www.cnblogs.com/yalong/p/17932883.html CSS运动路径offset-path之path的语法解析 CSS运动路径是干啥的？ CSS运动路径 英文全名是 CSS Motion Path； 用这个属性，我们可以控制元素按照特定的路径进行位置 ......
C#日志写入text文件
public static void SaveLog(string LogMessage, int Level, string PreLogDir = "") { int LogLevel = 0; int.TryParse(ConfigurationManager.AppSettings["Log ......
你对MANIFEST.MF这个文件知道多少？
你对MANIFEST.MF这个文件知道多少？ 前言 我们在读源码过程中，经常看到每个jar包的METE-INF目录下有个MANIFEST.MF文件，这个文件到底是做什么的呢？ 在计算机领域中，"manifest" 通常指的是一份清单或概要文件，用于描述一组文件或资源的内容和属性。在 Java 中，M ......
windows连接linux samba服务器可以看到文件但是显示没有权限
转自：https://www.cnblogs.com/in-morning/articles/10056944.html 环境：linux redhat6.5，samba 问题：配置完samba后，配置文件没有错误，但是输入账户密码后，客户端提示windows无法访问。 这个selinux在作怪，把 ......
服务器清理TomCat 的catalina.out文件
Tomcat日志占用大量服务器内存，影响项目运行，如何清理服务器内存呢？ 日志文件一般存放在logs文件夹下，里面的txt文件都可以使用 rm -r *.txt 直接删除;catalina.out文件查看Tomcat日志用的，不可以删除，可以使用清除命令清空，无需重启Tomcat。 cat /dev ......
Matlab如何获取当前运行.m文件的位置以及文件名称
在matlab程序运行过程中,有时需要获取当前运行程序所在的位置以及调用的函数的名称, 下面的方法可以实现: 1 fullpath = mfilename('fullpath'); 2 [path,name]=fileparts(fullpath); 得到的path变量就是当前.m文件所在的目录，n ......
内外网文件交换系统实用技巧揭秘：有效保障数据安全
内外网文件交换系统是一种专门设计用于在企业内部网络（内网）与外部网络（外网）之间安全传输文件的技术解决方案。在企业环境中，出于安全考虑，内部网络通常与外部网络隔离，以防止未经授权的访问和潜在的网络攻击。然而，这种隔离也意味着内部网络中的员工和外部合作伙伴之间需要一种安全的方式来交换文件和数据。 使用 ......
PowerShell中无法加载ps1脚本文件，因为在此系统上禁止运行脚本
一、问题发生 运行环境Windows 10、python 3.11.1、IDE VScode 当然你可能使用了其他IDE，例如pycharm等，不过没有关系解决问题的方法都是一致的。 报错信息如下图所示： actvivate.ps1这个脚本文件是用来激活python虚拟环境的。 其实，在该报错信息中 ......
FAQ001 读取INI文件的配置项
要读取 INI 文件中的配置项，你可以使用 System.IO.File 类来读取文件，然后使用 System.Text.RegularExpressions.Regex 类来搜索字符串并提取所需的值。下面是一个基本的函数示例，它根据传入的文件名和配置项名返回对应的配置值。 using System ......
【分享一个工具】根据 /metrics 路径下的文本信息，自动生成包含所有 metrics 的 grafana 报表
作者:张富春(ahfuzhang)，转载时请注明作者和引用链接，谢谢！ cnblogs博客 zhihu Github 公众号:一本正经的瞎扯 在做某个服务对应的 grafana 监控报表的时候发现，一个个操作浏览器界面太耗时了。 能否一次性列出所有的 metrics 数据，然后再让我微调？ 终于，没 ......
centos7安装 NFS实现网络文件共享
主节点安装 在所有节点执行安装nfs-utils yum install -y nfs-utils 主节点启服务 systemctl start nfs-server 在主节点创建文件和暴露服务 makedir -p /data/nfs # vi /etc/exports,添加暴露信息,192.16 ......
Python pip install修改默认下载路径
修改pip install默认下载路径 在实际使用安装python的pip安装 依赖库是非常的便捷的，而且一般大家使用的都是安装Anaconda 来学习和实践python项目。 我们通常都是直接就是使用 pip install *** 但是简单的背后就是，我们的最重要的系统盘C盘都是逐渐满了。更关键 ......
劫持 PE 文件：新建节表并插入指定 DLL 文件
这种方法其实是 PE 感染的一种，通过对目标程序添加一个新节并注入DLL，然后这会改变 PE 文件的大小，将原有的导入表复制到新节中，并添加自己的导入表描述符，最后将数据目录项中指向的导入表的入口指向新节。 ......