示例 指令 文件linux
Hive建表语句示例
CREATE EXTERNAL TABLE `ods_baidu_news`( `domain` string, `sitename` string, `sourceurl` string, `casedatatype` string, `fetchtype` int, `casename` str ......
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
某菠菜任意文件上传漏洞
0x01 漏洞描述网络dubo是指通过互联网手段（非法dubo网站、菠菜App、微信群等）进行的赌博活动。由于网络dubo不合法，资金不受法律保护，有很多“出老千”的行为，很多人被骗后往往不敢报警，导致家破人亡，所以打击dubo，刻不容缓。某菠菜系统系统存在任意文件上传漏洞，攻击者通过漏洞可以上传木 ......
01_编译Linux源码
编译Linux源码 进入源码目录 /usr/src 从当前机器的启动目录拷贝配置信息到源代码目录。这步操作的意思是我们编译内核的配置采用用当前环境一致的配置 cp -v /boot/config-$(uname -r) .config 可以通过如下命令启动配置界面 make menuconfig s ......
【一文搞定】Linux、Mac、Windows安装Docker与配置教程！
目录一、Windows 安装1.1 安装与启用 Hyper-V1.2 安装 WSL1.3 Docker Desktop 官方下载1.4 安装Docker Desktop二、MacOS 安装2.1 Docker Desktop 官方下载2.2 安装Docker Desktop三、Mac 和Window ......
C 语言文件处理全攻略：创建、写入、追加操作解析
C 语言中的文件处理 在 C 语言中，您可以通过声明类型为 FILE 的指针，并使用 fopen() 函数来创建、打开、读取和写入文件： FILE *fptr; fptr = fopen(filename, mode); FILE 基本上是一个数据类型，我们需要创建一个指针变量来使用它 (fptr) ......
调试分析Linux 0.00引导程序
Bochs虚拟机的配置文件 简介 Bochs 虚拟机的配置文件 描述待启动的虚拟机的配置，例如内存大小、启动镜像、网络功能、存储配置。 Bochs运行后，会先查找配置文件，解析模拟器要虚拟的系统相关信息后启动系统。 如何设置从软驱启动 floppya: 1_44="Image", status=in ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
linux系统命令技巧ps -ef | grep main | grep -v grep | awk '{print $2}' | xargs --no-run-if-empty kill -9
说明这个命令 ps -ef | grep main | grep -v grep | awk '{print $2}'获取的结果为空，填入xargs参数的值也为空，因此报错。我们可以在 ps -ef | grep main | grep -v grep | awk '{print $2}' | xa ......
文件批量拷贝的脚本（尤其适用于大小写敏感向不敏感的磁盘拷贝时发生冲突的情形）
在Linux系统下，NTFS可以支持文件名大小写区分；但在MaxOS的exFAT格式中，则无法区分大小写。 当从NTFS向exFAT拷贝文件时，当同一个目录下而在文件名相同但大小写不同的两个及以上文件时，向exFAT写入会中断，使得文件拷贝操作无法完成。 因此，特别编写了下面这个脚本，用来解决这个问 ......
QFile::exists()判断文件是否存在的注意事项
1、当判断的文件名为一个目录时，返回也为true存在（注意：当拼接文件路径时，文件名为空，则结果为一个目录，则会判断为该文件也是存在的，应该判断该文件是否为一个文件，使用QFileInfo判断） 2、如果文件名是一个不存在的文件的快捷方式，返回false ......
44python 删除 linux 系统中的文件夹或文件
# 删除文件 import os os.remove('/path') # 删除文件夹(不为空也可以删除) import shutil shutil.rmtree('path') ......
Linux Centos7.5错误：ping外网报错Name or service not known
https://www.cnblogs.com/Zeros/p/16745414.html 问题描述：1 CentOS7.5，当执行ping www.baidu.com命令时，提示Name or service not known出现问题可能情况：1、电脑上禁用VMware相关网络服务。 2、Lin ......
Linux firewalld 防火墙 笔记
Linux 防火墙策略: 严格过滤入站，允许出站 防火墙有两类: 硬件防火墙(可以组成集群保护)，软件防火墙(本机安装的软件，本机防护)。 1.firewalld防火墙服务： Linux默认安装的防火墙系统服务： firewalld防火墙是centos7系统默认的防火墙管理工具，一般是自带的无需安装 ......
k8s 对接 cephfs 文件系统
创建资源池 ceph osd pool create cephfs_data 128 ceph osd pool create cephfs_metadata 128 文件系统需要两个资源池，一个用于存储数据体，一个用于存放索引信息及其他数据相关信息。 创建文件系统 ceph fs new ceph ......
KQL如何写和表示 winodws的文件路径
在 Kusto Query Language (KQL) 中表示 Windows 文件路径时，需要特别注意路径分隔符和转义字符。Windows 文件系统通常使用反斜杠 \ 作为路径分隔符，但在 KQL 查询中，反斜杠是一个特殊字符，用作转义字符。因此，当你在 KQL 查询中写入 Windows 路径 ......
拥有root权限却无法修改文件内容
一、故障现象 E45: 'readonly' option is set (add ! to override)当前登录用户为root，修改文件时提示"W10: Warning: Changing a readonly file",保存时提示'E45 ‘readonly‘ option is set ......
Hive文件存储格式
结论： Text File，Parquet ，ORC Files结合使用，优先使用前两种，对存储及查询性能有极高要求时使用ORC。 存储格式 使用场景 Text File 数据直观，便于查看和编辑，数据量较小的维表可以使用. Parquet 支持深度嵌套，可用于多种数据处理框架（Hive/Spark ......
Flink写文件
简介 StreamingFileSink 提供了将数据分桶写入文件系统的功能。 如何分桶是可以配置，默认使用基于时间的分桶策略，每个小时创建一个新的桶，也可以自定义分桶策略。 文件滚动策略支持两种方式，基于时间和文件大小的DefaultRollingPolicy策略和基于Flink检查点的OnChe ......
超大日志文件分割工具和方法
来源：https://blog.csdn.net/sangser/article/details/123169275 1. 直接运行：MobaXterm1_CHS1.exe，如下画面： 2. 点击：Start local terminal： 切换到大文件所在目录，执行命令：split -l 6000 ......
scrapy使用文件管道FilesPipeline下载视频
1.爬虫文件 class MeiShiSpider(scrapy.Spider): name = 'meishi' allowed_domains = ['baidu.com'] start_urls = ['https://tieba.baidu.com/f?kw=美食'] def parse(s ......
文件加密解密工具类
：需求：文件上传到系统后，只能通过系统预览或者下载，其他方式下载下来的文件，对方看不了， 实现思路：上传文件时，对文件进行加密处理，数据库存放文件名，把加密文件存到指定目录下 预览、下载文件时，通过指定目录+文件名，找到该文件，并进行解密处理，根据前端需求，对解密后的文件进行处理（下载到指定目录/直 ......
安防视频云平台/可视化监控云平台ARM版EasyCVR无法下载录像文件，如何解决？
视频集中存储/云存储/视频监控管理平台EasyCVR能在复杂的网络环境中，将分散的各类视频资源进行统一汇聚、整合、集中管理，实现视频资源的鉴权管理、按需调阅、全网分发、智能分析等。GB28181视频监控/AI智能大数据视频分析EasyCVR平台已经广泛应用在工地、工厂、园区、楼宇、校园、仓储等场景中 ......
如何直接将GitHub中的notebook/ipynb文件在colab中打开
Colab可直接从github打开Jupyter notebooks，只需将“http:// github.com/”替换为“https://colab.research.google.com/github/”，就会直接加载到Colab中。 ......
java springboot项目启动脚本，指定jdk、指定yml配置文件
start.bat @echo off rem 设置Java路径，根据你的实际情况修改 set JAVA_PATH="./jdk-17_windows-x64_bin/jdk-17.0.6/bin/java.exe" rem 设置JAR文件路径，根据你的实际情况修改 set JAR_PATH="./ ......
linux 中/bin/bash 和/bin/sh 有点区别
在执行脚本时候我们习惯 /bin/sh /home/grid/ogg_check.sh 或者 /bin/bash /home/grid/ogg_check.sh 但是/bin/bash 不能执行脚本中的alias 的对象，只能用/bin/sh执行才可以 ......
linux内核离线升级
查看当前内核版本 下载内核地址 https://mirrors.aliyun.com/elrepo/kernel/el7/x86_64/RPMS 安装内核 rpm -ivh kernel-lt-* --nodeps --force awk -F\' '$1=="menuentry " {print ......
Linux下chmod常用指令
1.符号模式 u 表示用户（文件所有者）。g 表示组（文件所属的群组）。o 表示其他（其他人）。a 表示所有（所有人，即 u+g+o）。+ 用于添加权限。- 用于移除权限。= 用于设置精确的权限。 例如： chmod u+w file：给文件所有者添加写权限。chmod g-r file：移除组的读 ......