amp爬虫 架构 插件
Nginx部署网站&Docker&自动更新部署
一 搭建web服务器 lsb_release -a # 查看Linux版本 Linux不同版本的操作方式会有所不同，注意区分。我是在阿里云买的，用的是AlibabaCloud，所以文章的大部分命令会以这个系统为准。 1.1 安装与启动Nginx # Debian/Ubuntu apt install ......
Parquet格式文件读写&合并小文件
Parquet格式文件读写 依赖工具parquet-tools： parquet-tools-1.6.0rc3-SNAPSHOT.jar 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d pane-0-00000-of-000 ......
MySQL - 分布式部署&主从复制&读写分离
Step1：基础环境准备 虚拟机环境：VMware workstation 服务器信息： 主机名 IP 操作系统 node01 192.168.1.131 CentOS Linux release 7.9.2009 (Core) node02 192.168.1.132 CentOS Linux r ......
03_内核源码组织架构
一、Linux内核特征 Linux内核组织形式为整体式结构 进程调度方式简单而有效 支持内核线程（或称为守护进程） 支持多种平台的虚拟内存管理 虚拟文件系统 模块机制 增加系统调用 面向对象 二、Linux内核五大子系统 三、系统数据结构 在Linux内核中使用频率较高的数据结构： task_str ......
02_内核架构
宏内核与微内核 宏内核：所有内核代码都编译成一个二进制，所有的内核代码都运行在一个大内核地址空间里，内核代码可以直接访问和调用，效率高且性能好 微内核：把操作系统分成多个独立的功能模块，每个功能模块之间的访问需要通过消息来完成，因此效率没有那么高 宏内核架构优点：设计简洁和性能较好 微内核架构优点： ......
Visual Basic 6的安装与辅助插件 - 初学者系列 - 学习者系列文章
好久没玩VB6了，今天无聊，就把原来的VB6相关的代码翻了出来，然后上了VMWare虚拟机，把VB6安装上，然后把架构设计那个模板找出来完善了一下。看了一下，VB6这块需要记录一些内容，于是有了本文。 1、 WindowsXP虚拟机； 这里直接找了网上的一个WindowsXP的VM虚拟机文件，已经安 ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
从源码分析 MySQL 身份验证插件的实现细节
最近在分析ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)这个报错的常见原因。 在分析的过程中，不可避免会涉及到 MySQL 身份验证的一些实现细节。 加之之前对这一块就有很多疑问， ......
期末云计算基础架构平台实操题
1.docker sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ ......
六边形战士与六边形架构：强大能力的双重赋能
在技术和体育的领域中，有时候我们会发现一些独特的形容词和比喻，它们能够生动地传达出一种强大、高效、灵活的感觉。今天，我们将聚焦在两个看似截然不同的领域，即运动员和软件架构，通过“六边形战士”和“微服务架构”这两个独特的形容词，探讨它们在各自领域的表现和如何共同构建强大的能力。 六边形战士：力量与灵活 ......
IDEA中怎么用Postman？这款插件你试试
Postman是大家最常用的API调试工具，那么有没有一种方法可以不用手动写入接口到Postman，即可进行接口调试操作？今天给大家推荐一款IDEA插件：Apipost Helper，写完代码就可以调试接口并一键生成接口文档！而且还可以根据已有的方法帮助您快速生成 url 和 params。更重要的 ......
CF331A1&CF331A2
不难发现一件事：对于在 \(i\) 之后能跟 \(i\) 匹配的 \(j\)，最好的办法显然是使得 \(j\) 最大。则用前缀和统计整个和，并且用前缀和维护负数和，在枚举 \(i\) 统计出最小答案时在后面计算出满足最大答案的条件并输出即可。 ac records #include<bits/std ......
屎山代码风格指南（避免被优化&&避免被接盘）
欢迎补充！！！ 序言 良好的代码结构：Bad 👎🏻 使用有意义的变量和函数名，遵循命名规范，使代码易于理解。 组织代码，使用适当的文件和文件夹结构，保持模块化。 避免全局变量的滥用，尽量使用局部作用域。 单一职责原则：Bad 👎🏻 每个函数或模块应该只负责一个特定的功能。这样的设计使得代码更 ......
安装HUE并配置连接Hive&Flink&TIDB
创建用户 groupadd hadoop useradd -g hadoop hadoop 解压编译 wget https://cdn.gethue.com/downloads/hue-4.8.0.tgz PREFIX=/usr/share make install 集成Hive Conf 在/op ......
Clion 中 Rust 插件开启 WSL 调试
Rust Linux 配置 wsl 中执行命令： curl --proto '=https' --tlsv1.2 -sSf https://sh.rustup.rs | sh 按照可能会卡住，需要在本机中的 Clash for windows 中开启 Lan 选项。 Rust 第三方库安装慢的解决方 ......
User-defined Sources & Sinks
Dynamic tables are the core concept of Flink’s Table & SQL API for processing both bounded and unbounded data in a unified fashion. Because dynamic ta ......
DataX试用Mongo→Hdfs&Hdfs→Mongo
安装 下载安装包 wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 解压即可 配置 生成模板 python ./datax.py -r hdfsreader -w mongodbwriter python . ......
大数据治理技术核心，可扩展的元数据架构设计（转）
转自：https://blog.csdn.net/weixin_45727359/article/details/127662364 元数据管理是随着数据仓库的建设逐渐完善起来的，这也决定了元数据管理主要集中在数据领域。例如数据结构、数据加工转换关系等。而随着我们对元数据理解的不断深入，其实元数据广 ......
Scrapy爬虫学习
目录Scrapy基本功能Scrapy Shell用法XPATH语法及用法null Scrapy基本功能 Scrapy Shell用法 XPATH语法及用法 参考资料： 基础入门：https://zhuanlan.zhihu.com/p/35355747 https://www.w3school.co ......
swoosh elixir 方便的邮件发送&测试客户端.
swoosh提供了多中邮件平台的adapter ，可以方便的进行邮件的测试，发送，还包含了对于phoenix 的集成同时还包含了一个方便的本地邮箱预览服务 参考资料 https://github.com/swoosh/swooshhttps://hexdocs.pm/swoosh ......
biscuit 委托&去中心化&基于功能的授权令牌
基于token 的认证在微服务，以及api 安全中是比较常见的，大家使用比较多的是jwt，但是目前大家对于jwt 吐槽的地方是越来越多了（核心还是和安全有一些关系） 包含的特性 去中心化的校验 基于了公钥模式 离线减弱 核心是可以基于一个校验过的key，生成新的权限小的key（适合权限委托） dat ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
爬虫实战 - 微博评论数据可视化
简介： 我们都知道在数据比较少的情况下，我们是可以很轻易的获取到数据中的信息。但是当数据比较庞大的时候呢，我们就很难看出来了。尤其是面对现如今数以万计的数据，就更了。 不过好在我们可以通过计算机来帮我们进行分析，其中比较高效的手段便是数据可视化了。通过将数据进行可视化，我们可以让数据开口说话。进而有 ......
Linux - 配置IP&主机名的快捷操作
nmtui 执行以下命令可以进入一个可视化界面，进行IP的可视化配置、以及网络服务的重启（注意,这个重启是停止然后启动, 如果使用xshell进行操作会失去ssh连接,直连服务器时可这直接操作）、主机名的修改 nmtui nmcli # 以下命令可以将网卡ens160的ip修改为192.168.4. ......
Kubernetes架构及安装
K8s架构 k8s内部是有几个组件的，分别是controller manager，api-server，scheduler，kubelet以及etcd，kube-proxy还有k8s客户端kubectl controller manage 首先介绍的是controller manager，他是相当于 ......
【算法设计与分析】(二)分治_更新中①：二分搜索、计数、选择、最近点对、凸包、多项式乘法、矩阵乘法、主定理&递归树、傅里叶。苏大计科院研一期末复习笔记
写在前面 首先，本人很菜。 其次，本文只也许够应付考试，个人使用。而且其实就是ppt内容只是我自己喜欢这样整理。虽然全力理解内容且认真书写但也可能存在错误，如有发现麻烦指正，谢谢🌹 最后，因为不知道考试怎么考，本人的复习方式是照着目录讲一遍自己的理解+写伪代码（如果来的及会再做一个综合纯享版），再 ......
爬虫
（２）请用requests库的get()函数访问必应主页２０次，打印返回状态，text()内容，计算text()属性和content属性所返回网页内容的长度 import requests for i in range(20): r = requests.get("https://cn.bing.c ......
还在用Python爬虫？教你一招，摆脱选择元素位置的烦恼！使用Node.js大杀器，并且无需使用cheerio 库~
咱们以豆瓣历史250最佳电影为例。 豆瓣说，>_< 你不要过来啊！ 第一步：打开网页源代码 第二步：选择你想要爬虫的元素，右键复制获取JS路径 document.querySelector("#content > div > div.article > ol > li:nth-child(3) > ......
Python爬虫01
Python爬虫 01 爬虫是一种自动化的数据收集系统中的一种，写网络爬虫的目的在于高效、快速的收集网络上自己所需要的数据或者基于爬虫技术编写网站自动测试脚本。 学习爬虫需要的前置技术：html、JavaScript、http协议、一门编程语言。 为什么需要htnml、JavaScript、http ......