文件mysql8 mysql 5.7
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p ......
SQL 分类及 mysql安装及卸载注意事项
SQL structural query language 分类 DML 数据操纵语言 data manipulation language insert update delete select DDL 数据定义语言 data definition language create table al ......
下载文件，进度展示
private Stopwatch _downloadStopWatch = _downloadStopWatch = new Stopwatch(); private bool WebClientDownloadInstallerFile(string url, string fileName, ......
添加右键检验文件hash
#去除代码 点击查看代码 Windows Registry Editor Version 5.00 [-HKEY_CLASSES_ROOT\*\shell\hash] ##文件另存为reg后缀执行 注意文件编码方式utf8 带签名 点击查看代码 Windows Registry Editor Ver ......
二进制安装MySQL
#二进制方式安装MySQL，安装过程如下： #（1）建立MySQL用户账号 首先以root身份登录到Linux系统中，然后执行如下命令创建mysql用户账号： #<==创建mysql用户。 [root@xkf ~]# useradd mysql -s /sbin/nologin -M #（2）下载、 ......
WSL在windows系统下的文件位置
C:\Users\admin\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgsc\LocalState\rootfs ......
高级两路和三路文件比较(diff)、合并和文件夹同步——Araxis Merge介绍
广泛的吸引力，多种用途 01、对于法律和出版专业人士 立即识别不同合同或手稿草稿之间的每一个变化。直接打开和比较来自Microsoft Office（Word 和 Excel）、OpenDocument、 PDF和RTF文件的文本。从其他应用程序（如 Microsoft Word）复制文本并将其 ......
js 截取文件后缀名的3种方式
1.情景展示 当我们使用文件上传插件，将文件上传到后台，有时候需要上传的不止一种文件类型，即：图片或着PDF； 我们可能需要根据不同文件类型，提供不同的预览地址。 如何根据文件类型加以区分呢？ 2.具体分析 获取文件后缀名，就能进行区分了。 3.解决方案 let filepath = "张三.pDF ......
MySQL 也可以做全文检索
原来用 MySQL 也可以做全文检索 我是风筝，公众号「古时的风筝」，专注于 Java技术 及周边生态。文章会收录在 JavaNewBee 中，更有 Java 后端知识图谱，从小白到大牛要走的路都在里面。 有朋友聊到他们的系统中要接入全文检索，这让我想起了很久以前为一个很古老的项目添加搜索功能的事儿 ......
Dbeaver22.0.3 连线配置mysql8版本
编辑驱动 新建连接，选则mysql 库选中本地的jar文件 点击编辑驱动后，选中库页签，添加文件，选中本地jar包 参考 https://www.cnblogs.com/jinci2022/p/16525548.html ......
VSCode终端提示'pnpm'不是内部或外部命令，也不是可运行的程序或批处理文件
每次在终端中执行一个新命令时总会遇到执行失败的问题，这次记录一下解决办法，省得每次都要去百度或者询问ChatGPT。 1、检查是否已安装pnpm，如果尚未安装请先执行： npm install -g pnpm 2、如果安装后仍提示错误，则检查环境变量是否已设置好： 设置好环境变量之后重启一下vsco ......
0 爬取的数据，存到mysql中 、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器） 、4 scrapy-redis实现分布式爬虫
0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass ......
TCP文件上传实现
package edu.wtbu;import java.io.*;import java.net.ServerSocket;import java.net.Socket;//服务器端public class Demo05 { public static void main(String[] arg ......
RN6752V1 HD转MIPI CSI配置文件使用手册
此文件描述如何使用 RN6752V1 配置表文件(rn6752V1_configuration.h)与配 置定义(rn6752V1.h)来开发 RN6752V1 驱动. RN6752V1 是经由 I2C Bus 来配置内 部寄存器,开发者需自备 I2C 驱动且具备驱动程序基础开发经验. 1. R ......
数据库_duckdb读写Parquet文件
###基本概念 OLtp 单条记录的增删改查,通常是整条记录 频繁的插入或更新; OLap 某几列的整表统计.分组,排序,聚合等 行存储:一条记录存储在连续的磁盘上 列存储:一条记录存储在磁盘的不同位置,但是整个关系(表)的一列存储在连续的磁盘上. ###代码示例 #!/usr/bin/python ......
7z压缩时排除指定文件或目录
https://zhuanlan.zhihu.com/p/488024718 # 举例目录： tmp #目录 ├─ aaa #目录 ├─ bbb #目录 ├─ ccc.txt #文件 └─ ddd.txt #文件 # 7z排除/忽略指定目录和文件的命令示范： 7z a -t7z tmp.7z ./t ......
linux 複製大文件
Linux 如果使用 cp 命令複製大文件，會很慢，複製幾個 G 都要好久，這時候需要用另外一種工具 rsync 去複製；rsync是linux系统下的数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步，支持本地复制，或者与其他SSH、rsync主机同步,已支持跨平台，可以在W ......
Internal.Cryptography.CryptoThrowHelper+WindowsCryptographicException 拒绝访问 / 出现了内部错误 c# – 当使用X509Certificate2加载p12/pfx文件时出现
https://www.cnblogs.com/zinan/p/10833914.html ......
Day13-文件操作
一、 文件基本操作 1、 打开、读写、关闭 open(file=,mode=,encoding=) # open 操作文件数据 open(file=文件所在位置, # mode=操作文件的模式, # encoding=以什么编码读取文件 二进制数据不需要设置编码) 绝对路径(一个完整的路径) #F: ......
读取文件的三个方法
package main import ( "bufio" "fmt" "io" "io/ioutil" "os" ) func dome01() { file, err := os.Open("E:\\GOGO\\GOE\\dome01\\main.go") if err != nil { fmt ......
mysql中explain命令详解
EXPLAIN 命令的作用 模拟Mysql优化器是如何执行SQL查询语句的，从而知道Mysql是如何处理你的SQL语句的。分析你的查询语句或是表结构的性能瓶颈。 mysql> explain select * from tb_user; + + + + + + + + + + + | id | se ......
高效实现 MySQL 与 elasticsearch 的数据同步
注：本文转自：https://www.toutiao.com/article/7206119975793410615/?log_from=8164cd03bb377_1679446916178 MySQL 自身简单、高效、可靠，是又拍云内部使用最广泛的数据库。但是当数据量达到一定程度的时候，对整个 ......
红米手机如何修改安卓目录下的data目录下的txt文件
两个应用： wpsoffice 安卓清理君 先用wps编辑保存一个txt的同名文件，当然wps并不能直接保存到安卓目录下 这时候使用安卓清理君，删除+移动，就可以达到修改的目的 其实安卓自带的文件管理，理论上也是可以做到，但是优化不到位，根本就不适合在手机上使用 有没有什么一步到位的编辑器啊，这样真 ......
LINUX安装MySQL数据库
一、下载MySQL安装包 进入官网选择需要的版本下载安装包。官网下载地址：官网下载进入下载也如下图： 二、安装MySQL 1、上传安装包值Linux服务器（习惯传至/usr/local，以下都以这个路径为准）； #进入local目录 cd /usr/local/ #解压mysql安装包 tar -z ......
brew 安装或卸载mysql
卸载： 1) 卸载 mysql brew uninstall mysql 2) 清理缓存 brew cleanup --prune=all mysql 3）删除数据目录 rm -rf /usr/local/var/mysql 安装： 1）安装 mysql brew install mysql 2）启 ......
mysql 根据固定字段集合排序
SELECT i.id FROM invite_info i, shop_info s WHERE i.shop_id = s.id ORDER BY FIELD(i.id,435,432,433,436) ......
JS 超大文件上传解决方案:分片断点上传(一)
以ASP.NET Core WebAPI 作后端 API ，用 Vue 构建前端页面，用 Axios 从前端访问后端 API ,包括文件的上传和下载。 准备文件上传的API #region 文件上传 可以带参数 [HttpPost("upload")] public JsonResult upl ......
JavaScript 超大文件上传解决方案:分片断点上传(一)
IE的自带下载功能中没有断点续传功能，要实现断点续传功能，需要用到HTTP协议中鲜为人知的几个响应头和请求头。 一. 两个必要响应头Accept-Ranges、ETag 客户端每次提交下载请求时，服务端都要添加这两个响应头，以保证客户端和服务端将此下载识别为可以断点续传的下载： Accept-R ......