爬虫requests urllib amp
NFC标签的工作原理分析（附带DP1332E&DP1363F选型表）
NFC标签是基于近场无线通信技术，利用射频识别（RFID）技术和互联技术进行数据传输。它采用13.56MHz的高频无线电波作为传输介质，通过感应耦合方式实现信息的交换和传输。在NFC通信中，发起设备和接收设备之间的距离通常在几厘米以内。当发起设备（如具有NFC功能的手机）靠近NFC标签时，发起设备会 ......
ERD助力研发资产沉淀&研发提效
一、从痛点中思考答案 痛点一：复杂系统的设计和逻辑碎片化散落，缺少沉淀导致系统后期维护、迭代以及架构升级都非常困难。 痛点二：由于新需求或新项目导致的系统的老旧逻辑梳理往往耗费大量人力，甚至造成人才的流失。 痛点三：多团队共建场景下需要参与各方了解跨应用系统的整体设计，沟通效率低成本高、共建初期花费 ......
scrapy -- 暂停爬虫、恢复爬虫
1、启动爬虫 scrapy crawl spider -s JOBDIR=record/spider-1 record/spider-1表示一个路径，作用是记录爬虫状态2、暂停爬虫 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会 当终端出现可以敲击命令时，说明爬虫已暂停 3、恢复爬虫 s ......
React jsx 语法解析 & 转换原理
jsx介绍 jsx是一种JavaScript的语法扩展（eXtension），也在很多地方称之为JavaScript XML，因为看起就是一段XML语法，用于描述UI界面，并且可以和JavaScript代码结合使用。 比起vue中的模板语法，更加灵活，且不需要学习模板语法中的特定标签，比如：v-if ......
作业8 流计算&Flink
一. 多选题（共5题，62.5分） 1. (多选题)典型的事件驱动型应用包括： A. 异常检测 B. 基于规则的报警 C. 反欺诈 D. 业务流程监控 我的答案: ABCD:异常检测; 基于规则的报警; 反欺诈; 业务流程监控;正确答案: ABCD:异常检测; 基于规则的报警; 反欺诈; 业务流程监 ......
Segment Anything（SAM）环境安装&代码调试
引子 Segment Anything是前阵子大火的CV领域模型，之前也有尝试，只是没有整理。OK，让我们开始吧 一、拉取下载docker镜像 docker pull cnstark/pytorch:2.0.1-py3.9.17-cuda11.8.0-ubuntu20.04 二、安装SAM环境 do ......
【c&c++】glibc，libc，glib简介
一、glibc简介 glibc是GNU发布的libc库，即c运行库。glibc是linux系统中最底层的api，几乎其它任何运行库都会依赖于glibc。glibc除了封装linux操作系统所提供的系统服务外，它本身也提供了许多其它一些必要功能服务的实现 主要的如下： （1）string，字符串处理 ......
onyxlang 简单包创建&使用
onyxlang 支持包，提供了基于git 的模式，以下是一个简单试用 创建包 初始化 onyx package init 添加配置 按照官方的介绍，一个包需要包含代码（git repo），onyx-pkg.kdl 文件，module.onyx 文件 onyx-pkg.kdl 上边初始化的时候已经创 ......
安装HUE并配置连接Hive&Flink&TIDB
安装依赖包 yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel mak ......
【Spring】@Async & @Schedule
代码位置： spring-context\src\main\java\org\springframework\scheduling\annotation 实现原理： 有对应的BeanPostProcessor实现类 @Async + @EnableAsync 1. 在方法上使用@Async注解，申明 ......
星型模型&雪花模型
数据集市（Data Mart）也有称ADS（Application Data Store），数据集市将主题层和基础层的数据按照各业务的实际需求进行聚合，形成宽表或数据立方体（Cube），可直接供业务部门和数据分析团队使用。 数据集市中主要存在的是事实表（fact）和维度表（dimension）。 事 ......
Nginx部署网站&Docker&自动更新部署
一 搭建web服务器 lsb_release -a # 查看Linux版本 Linux不同版本的操作方式会有所不同，注意区分。我是在阿里云买的，用的是AlibabaCloud，所以文章的大部分命令会以这个系统为准。 1.1 安装与启动Nginx # Debian/Ubuntu apt install ......
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
CF331A1&CF331A2
不难发现一件事：对于在 \(i\) 之后能跟 \(i\) 匹配的 \(j\)，最好的办法显然是使得 \(j\) 最大。则用前缀和统计整个和，并且用前缀和维护负数和，在枚举 \(i\) 统计出最小答案时在后面计算出满足最大答案的条件并输出即可。 ac records #include<bits/std ......
屎山代码风格指南（避免被优化&&避免被接盘）
欢迎补充！！！ 序言 良好的代码结构：Bad 👎🏻 使用有意义的变量和函数名，遵循命名规范，使代码易于理解。 组织代码，使用适当的文件和文件夹结构，保持模块化。 避免全局变量的滥用，尽量使用局部作用域。 单一职责原则：Bad 👎🏻 每个函数或模块应该只负责一个特定的功能。这样的设计使得代码更 ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
User-defined Sources & Sinks
Dynamic tables are the core concept of Flink’s Table & SQL API for processing both bounded and unbounded data in a unified fashion. Because dynamic ta ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
Scrapy爬虫学习
目录Scrapy基本功能Scrapy Shell用法XPATH语法及用法null Scrapy基本功能 Scrapy Shell用法 XPATH语法及用法 参考资料： 基础入门：https://zhuanlan.zhihu.com/p/35355747 https://www.w3school.co ......
swoosh elixir 方便的邮件发送&测试客户端.
swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh ......
biscuit 委托&去中心化&基于功能的授权令牌
基于token 的认证在微服务，以及api 安全中是比较常见的，大家使用比较多的是jwt，但是目前大家对于jwt 吐槽的地方是越来越多了（核心还是和安全有一些关系） 包含的特性 去中心化的校验 基于了公钥模式 离线减弱 核心是可以基于一个校验过的key，生成新的权限小的key（适合权限委托） dat ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
爬虫实战 - 微博评论数据可视化
简介： 我们都知道在数据比较少的情况下，我们是可以很轻易的获取到数据中的信息。但是当数据比较庞大的时候呢，我们就很难看出来了。尤其是面对现如今数以万计的数据，就更了。 不过好在我们可以通过计算机来帮我们进行分析，其中比较高效的手段便是数据可视化了。通过将数据进行可视化，我们可以让数据开口说话。进而有 ......
Linux - 配置IP&主机名的快捷操作
nmtui 执行以下命令可以进入一个可视化界面，进行IP的可视化配置、以及网络服务的重启（注意,这个重启是停止然后启动, 如果使用xshell进行操作会失去ssh连接,直连服务器时可这直接操作）、主机名的修改 nmtui nmcli # 以下命令可以将网卡ens160的ip修改为192.168.4. ......
requests库实现接口测试
requests库安装 pip install requests requests库查验 pip show requests/pip list cookie+session认证方式 例子：获取验证码+商城登录+订单查询（涉及到cookie） # 方法一：从获取验证码请求中提取cookie，然后携带到 ......