使用指南girakoo工具 指南
IDEA 2023.3 使用gitlab弹出Add GitLab Account 提示
更新代码时提示，且按照提示执行完操作后，无法正常认证。 经本人测试，关闭IDEA自带Gitlab插件就会弹出用户名和密码认证框。 感觉应该是这个插件有点问题。用api post测试接口是可以正常访问的。 ......
04-selenium等待元素加载、元素使用、xpath的使用
selenium等待元素加载 # 代码操作非常快 》有的标签还没加载 》找就找不到 》就会报错 # 设置等待：显示等待，隐士等待 bro.implicitly_wait(10) # 找某个标签，如果找不到，最多等待10s selenium元素操作 # 点击操作 click() # 写文字 send_ ......
git 使用
/////如何删除远程分支上origin\y12345678的最新1条提交记录 1、git reset --soft HEAD~1 //表示本地或者暂存区撤回一条提交记录 1、git reset --hard HEAD~1 2、git push origin y12345678 -f //git r ......
02-爬虫的高阶使用
代理池的搭建 # 搭建步骤 -1、git clone git@github.com:jhao104/proxy_pool.git -2、在pycharm中打开项目 -3、创建虚拟环境，并且安装依赖 pip install -r requirements.txt -4、修改配置文件：DB_CONN = ......
03-selenium的使用
搜索文档数 find_all：找所有，返回列表 find：找一个 Tag对象 from bs4 import BeautifulSoup import re html_doc = """ <html><head><title>The Dormouse's story</title></head> < ......
06-scrapy的使用
scrapy解析数据 # 运行爬虫程序 scrapy crawl cnblogs ##### 可以项目目录下写个main.py from scrapy.cmdline import execute execute(['scrapy','crawl','cnblogs','--nolog']) ### ......
05-打码平台的使用、scrapy介绍安装
打码平台 数字字母类的验证码可以使用python模块：ddddocr 计算题，成语题，滑块。。。：第三方打码平台，人工操作 打码平台 -云打码，超级鹰 超级鹰SDK import requests from hashlib import md5 class ChaojiyingClient(obje ......
使用python 将json转csv格式
首先需要安装几个库，待会需要用到 # pandas库，用来json和excel格式转换 pip install pandas # 以下两个库是用来解决，pandas写入xlsx后缀文件，报错"""no engine for filetyppe xlsx""" 的问题 pip install open ......
foobar2000歌词插件使用方法
使用 ESLyric 插件即可显示歌词了 项目地址： https://github.com/ESLyric/release 使用方法： https://www.cnblogs.com/xunyu/p/16823207.html ......
如何使用Redisson实现分布式锁？
在分布式系统中，当多个线程（或进程）同时操作同一个资源时，为了保证数据一致性问题，所以就需要一种机制来确保在同一时间只有一个线程（或进程）能够对资源进行修改，这就是分布式锁的作用。 分布式锁是一种在分布式环境下的锁实现，它允许在多个进程或服务器之间协调对共享资源的访问或操作。分布式锁的关键特性是它能 ......
腾讯数据集成工具报告
标题 测试报告 背景目标 大航海databus任务在合并阶段费资源，且大表执行时间较长，期望缩短同步时间可以10分钟抽10亿条数据。数据同步需要先建表，再建任务，配置不方便。 结论 在满足配置时可以达到期望速度，配置如下 所需环境信息 mysql CPU:16核 内存:32G IOPS:32000 ......
使用docker部署RustDesk的命令
sudo docker image pull rustdesk/rustdesk-server sudo docker run --name hbbs -p 21115:21115 -p 21116:21116 -p 21116:21116/udp -p 21118:21118 -v `pwd`:/ ......
[node]npx工具
npx是npm5.2之后自带的一个命令。 npx的作用非常多，但是比较常见的是使用它来调用项目中的某个模块的指令。 以webpack为例： 全局安装的是webpack5.1.3项目安装的是webpack3.6.0 如果我在终端执行 webpack --version使用的是哪一个命令呢？ 显示结果会 ......
使用Gitea搭建自己的git远程仓库
Gitea 为什么需要自建仓库 原因只有一个：折腾。其实国内的码云加上github已经足够用了。 官方原话 Gitea 的首要目标是创建一个极易安装，运行非常快速，安装和使用体验良好的自建 Git 服务。我们采用 Go 作为后端语言，这使我们只要生成一个可执行程序即可。 并且他还支持跨平台，支持 L ......
\\与\在映射网络驱动器时的避坑指南
当你在C#中使用net use命令来映射网络驱动器时，你可能会遇到一个令人困惑的问题——如何正确地构造含有用户名和密码的网络路径。在本篇博客中，我们将详细剖析这个问题，并提供解决方法。 问题描述 在使用net use命令时，我们需要提供正确的网络路径以及用户名和密码。然而，有时候我们在构造网络路径时 ......
scrum管理工具大全汇总
Leangoo领歌 Leangoo领歌一款永久免费的敏捷研发管理工具。提供私有部署。 Leangoo领歌覆盖了敏捷研发全流程，它提供端到端敏捷研发管理解决方案，包括小型团队敏捷开发，规模化敏捷SAFe，Scrum of Scrums大规模敏捷，涵盖敏捷需求管理、任务协同、进展跟踪、缺陷管理、统 ......
使用element-plus的el-scrollbar时滚动条没有显示出来但是页面可以滚动的解决办法
如果使用 Element UI 的 el-scrollbar 组件时，滚动条没有显示出来但页面可以滚动，可以尝试调用其 update 方法来更新滚动条。 在适当的时机（例如在数据加载完成后或组件更新后），调用 el-scrollbar 的 update 方法可以重新计算滚动条的位置和尺寸，从而实现正 ......
使用Visual Studio Code开发php，并打开debug模式，打开断点调试
使用Visual Studio Code开发php，并打开debug模式，打开断点调试一：安装Visual Studio Code二：安装插件2.1：安装 PHP Debug，PHP IntelliSense 插件三：安装php debug所需插件Xdebug3.1：下载Xdebug3.2：配置Xd ......
同步工具-调研对比
一、同步工具简介 1、腾讯数据集成产品：数据集成（DataInLong）源于腾讯开源并孵化成功的 ASF 顶级项目 Apache InLong（应龙），支持一站式跨云跨网数据同步 产品文档：https://cloud.tencent.com/document/product/1580/73382 2 ......
同步工具-SeaTunnel使用
一、介绍 SeaTunnel 是一个非常好用、超高性能的分布式数据集成平台，架构于 Apache Spark 和 Apache Flink 之上，实现了海量数据的实时同步与转换。每天可以稳定高效地同步数百亿数据，目前已接近百家公司在生产上使用 依赖环境：Spark3.2.1、FLink 运行服务器： ......
同步工具-Oceanus打通mysql到Iceberg
一、服务配置 已配置好gt_oneline_2，其它集群还需按照下面方式特殊配置 1、需要腾讯Oceanus同学在后端修改高途flink集群配置core-site.xml文件，增加如下配置。只能绑定一个chdfs环境，这边绑定的测试环境，线上环境需要改qcloud.object.storage.zk ......
使用-数据湖Iceberg和现有hive数仓打通并使用
一、集群配置 1、版本使用 技术 版本 iceberg 1.3.1 flink 1.16.1 spark 3.2.1 hive 2.3.7 dlc-presto 待定 2、集群配置调整 （1）使用hive查询的话所有hiveserver2节点修改hive-site.xml文件，添加jar包，添加如下 ......
使用必读-使用Iceberg数据湖需要注意的点
一、开发注意事项 1、Iceberg选择合适的表版本 简述：Iceberg目前有两个表版本（V1和V2），根据数据选择合适的表版本。 V1表只支持增量数据插入，适合做纯增量写入场景，如埋点数据。 V2表才支持行级更新，适合做状态变化的更新，如订单表同步。 使用方式：建表语句时指定版本'format- ......
JVM大页内存的学习与使用
JVM大页内存的学习与使用 原理和背景 操作系统是计算机的重要组成部分. 现代的操作系统一般都采用 段页式内存管理. 段一般是为了管理和权限 页主要是为了虚拟内存和物理内存的映射. 分页管理可以让物理上不连续的内存在程序看来是逻辑地址连续的. 但是这也意味着分页分页内存管理需要有一个虚拟内存和物理内 ......
Python之DataFrame的使用
以下是Python之DataFrame的使用： 1.定义DataFrame的方式（不带参、使用list、使用列标签） import pandas as pd df = pd.DataFrame print(df) arr = [1,2,3,4,5] df = pd.DataFrame(arr) pr ......
Blazor学习之旅 (13) Razor类库的使用
在Web前端应用中，同样也涉及一些基础的功能我们希望在各个Blazor应用中复用，而不是在每个Blazor应用中都重复地写一遍。在Blazor应用中，可以通过Razor类库在多个应用程序之间共享和复用这些基础组件。Razor类库也是一种.NET项目类型，它包含 Razor 组件、页面、HTML、级联... ......
3种依赖管理工具实现requirements.txt文件生成
1.pip 实现方式 要使用 pip 生成 requirements.txt 文件，可以使用以下命令： pip freeze > requirements.txt 这个命令会将当前环境中所有已安装的 Python 包及其版本信息输出到 requirements.txt 文件中。这个文件可以用于共享项 ......
Git工具使用命令
Git工具使用命令 Git概述 Git是一个分布式版本控制工具，本篇介绍如何使用Git连接Gitee代码托管平台，实现线上仓库代码项目的推送与克隆。 而且会介绍如何在IDE开发工具集成Git工具 Git全局设置 通常我们在下载完git后会对git进行全局设置 也就是说设置用户名称和email地址 设 ......
Mac 使用 open 命令，快速打开文件
今天突然发现Mac 有个很好用的命令，open xxx，使用这个命令可以用默认软件打开这个文件，比如各种文本格式的文件会用txt文本打开，mp4 格式的文件会用 player打开。 open aaa.txt open ddd.mp4 ......
优先队列（堆的使用）
如何定义 大根堆：每个节点的值都大于等于其子节点的值，在大根堆中，最大值总是在堆顶 小根堆：每个节点的值都小于等于其子节点的值，在小根堆中，最小值总是在堆顶 #include <queue>//头文件 //通用写法 std::priority_queue<TypeName> q; ∕∕ 数据类型为 ......