爬虫 概念
这一次，弄明白JS中的文件相关（一）：概念篇
概念是学习的基础。在学习JS中的文件操作之前，先把文件相关的各种概念搞清楚，很有好处。 1. 二进制： 计算机硬件仅能处理和存储二进制数据，所以不管是你正在写的代码，还是你硬盘里的小姐姐，都是以二进制的形式存储于电脑的内存和硬盘里的。 2. 编码规则： 二进制计算机看得懂，我们看不懂怎么办啊？我们能 ......
Python逆向爬虫入门教程: 酷狗音乐加密参数signature逆向解析
数据来源分析💥 网站链接: aHR0cHM6Ly93d3cua3Vnb3UuY29tLw== 歌曲下载 signature 💥 正常抓包分析找到音频链接地址 通过链接搜索找到对应的数据包位置 分析 signature 参数加密位置 通过 s 列表 合并成字符串, 传入d函数中进行加密, 返回32 ......
【转载】淘宝爬虫sign、token详解
【转载】淘宝爬虫sign、token详解 淘宝对于h5的访问采用了和客户端不同的方式，由于在h5的js代码中保存appsercret具有较高的风险，mtop采用了随机分配令牌的方式，为每个访问端分配一个token，保存在用户的cookie中，通过cookie带回服务端分配的token, 客户端利用分 ......
Unity3d_Rewired官方文档翻译：概念（二）：InputBehaviour、Controllers、ControllerMaps
仅翻译了官方文档中的Essentials（要点）、Concepts（概念）两部分，这是文档中最重要的部分，理解了这两部分的内容应该足以让你将Rewired运用到你的项目中，之后再去阅读文档的其他部分也能更容易理解。 斜体加下划线部分为添加的注解，非官方文档内容。若你发现有翻译、注解不正确的，请留言告 ......
Unity3d_Rewired官方文档翻译：概念（三）：ControllerTemplate、MapCategories、Layouts
仅翻译了官方文档中的Essentials（要点）、Concepts（概念）两部分，这是文档中最重要的部分，理解了这两部分的内容应该足以让你将Rewired运用到你的项目中，之后再去阅读文档的其他部分也能更容易理解。 斜体加下划线部分为添加的注解，非官方文档内容。若你发现有翻译、注解不正确的，请留言告 ......
Unity3d_Rewired官方文档翻译：概念（四）：LayoutManager、MapEnabler、CustomController
仅翻译了官方文档中的Essentials（要点）、Concepts（概念）两部分，这是文档中最重要的部分，理解了这两部分的内容应该足以让你将Rewired运用到你的项目中，之后再去阅读文档的其他部分也能更容易理解。 斜体加下划线部分为添加的注解，非官方文档内容。若你发现有翻译、注解不正确的，请留言告 ......
Unity3d_Rewired官方文档翻译：概念（一）：InputManager、Players、Actions
仅翻译了官方文档中的Essentials（要点）、Concepts（概念）两部分，这是文档中最重要的部分，理解了这两部分的内容应该足以让你将Rewired运用到你的项目中，之后再去阅读文档的其他部分也能更容易理解。 斜体加下划线部分为添加的注解，非官方文档内容。若你发现有翻译、注解不正确的，请留言告 ......
爬虫常见的反爬手段
反爬 1. User-Agent 2. IP代理 快代理 3. 验证码访问 1.输入验证码 Pytesseract 百度OCR接口 深度学习 超级鹰等平台 2.滑块 Opencv解决问题： 读取图片 高斯模糊处理 canny边缘检测 轮廓检测 获取位置 Links:https://zhuanlan. ......
jmeter概念
1.简介 1.1.jmeter是什么？ •Apache JMeter 是 Apache 组织基于 Java语言 开发的压力测试工具，用于对软件做压力测试。 •多线程框架-支持多并发、开源、可进行二次开发。 •JMeter 最初被设计用于 Web 应用测试，但后来扩展到了其他测试领域，可用于测试静态和 ......
中间件 ZK分布式专题与Dubbo微服务入门 5-1 集群的一些基本概念
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12714 1 重点关注 1.1 ACL命令行 getAcl:获取某个节点的acl权眼信息setAcl:设置某个节点的acl权限信息addauth:输入认证授权信息，注册时输入明文察码(登录 但是 ......
推挽输出与开漏输出的概念和区别
推挽输出：推挽输出使用两个晶体管（一个N型，一个P型）交替工作来直接驱动负载。当输出是高电平时，P型晶体管导通，N型晶体管截止，从而将输出接到电源电压；当输出是低电平时，N型晶体管导通，P型晶体管截止，从而将输出接到地。这种配置允许推挽输出在高电平和低电平时都具有较强的驱动能力。 1.推挽输出使用两 ......
堆、栈、队列概念与区别
堆的特点： 1.堆为按需申请、动态分配，例如 C 中的 malloc 函数和 C++ 中的 new 操作申请内存块。 2.程序提出申请时会从堆中找出一块可用内存，在程序结束之前，操作系统不会删除已经申请的内存，而是要靠程序主动提出释放的请求（free、delete），如果使用后忘记释放，就会造成所谓 ......
爬虫之短信验证码
处理短信验证码的思路就是手机端有一个可以转发短信到我们可以读取的地方。目前我的处理方式是将短信转发到邮箱，再读取邮箱中的邮件拿取验证码。 首先就需要下载转发工具：https://github.com/pppscn/SmsForwarder/releases/tag/v3.2.0 具体使用参考 ......
从云计算到云原生：从概念到落地
从云计算到云原生：从概念到落地 云计算最近几年已经火得不行，云原生（Cloud Native）这个概念又来了，如果上云不“原生”，那就等于白上云。究竟什么是云原生？云原生有何优势？怎么从“不原生”一步一步做到云原生？本文将给出切实可行的云原生落地指南。 我们先从云计算说起。在云计算普及之前，一个应用 ......
K8S系列一：概念入门
K8S系列一：概念入门 写在前面 本文组织方式： K8S的架构、作用和目的。需要首先对K8S整体有所了解。 K8S是什么？ 为什么是K8S？ K8S怎么做？ K8S的重要概念，即K8S的API对象。要学习和使用K8S必须知道和掌握的几个对象。 Pod 实例 Volume 数据卷 Container ......
k8s主要概念大梳理！
k8s已经成为了绝对热门的技术，一个上点规模的公司，如果不搞k8s，都不好意思出去见人。安装k8s要突破种种网络阻碍，但更大的阻碍还在后面... 我发现，很多k8s的文章，根本不说人话，包括那要命的官网。 要弄明白k8s的细节，需要知道k8s是个什么东西。它的主要功能，就是容器的调度--也就是把部署 ......
正则表达式的概念和实践
python中用re模块来处理正则表达式，能帮助你检查一个字符串是否和某种模式匹配。正则表达式提供了强大的方式来查找，替换，验证和提取文本数据 常用的场景是用正则表达式来进行网页数据的爬取和存储。 1、正则表达式的模式： 普通字符 例如字母，数字，空格可以直接匹配 特殊字符 例如点号.，星号*，加号 ......
scrapy -- 暂停爬虫、恢复爬虫
1、启动爬虫 scrapy crawl spider -s JOBDIR=record/spider-1 record/spider-1表示一个路径，作用是记录爬虫状态2、暂停爬虫 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会 当终端出现可以敲击命令时，说明爬虫已暂停 3、恢复爬虫 s ......
Flink的waterMark概念解释 watermark是flink为了处理event time窗口计算提出的一种机制，本质上就是一个时间戳，代表着比这个时间早的事件已经全部进入到相应的窗口，后续不会在有比这个时间小的事件出现，(触发)基于这个前提我们才有可能将event time窗口视为完整并触发窗口的计算。
Flink的waterMark概念解释 watermark是flink为了处理event time窗口计算提出的一种机制，本质上就是一个时间戳，代表着比这个时间早的事件已经全部进入到相应的窗口，后续不会在有比这个时间小的事件出现，(触发)基于这个前提我们才有可能将event time窗口视为完整并触 ......
期末复习_概念2
第01章：计算机网络概述 1、计算机网络（可简称为网络）把许多计算机连接在一起，而互连网则把许多网络连接在一起，是网络的网络。 2、以小写字母i开始的internet（互连网）是通用名词，它泛指由多个计算机网络互连而成的网络。在这些网络之间的通信协议（即通信规则）可以是任意的。 3、以大写字母I开始 ......
期末复习_概念
计算机网络 概述 有三大类网络：电信网络、有线电视网络、计算机网络。 计算机网络发展的四个阶段：主机多终端式的发展阶段、有独立功能的多主机互连阶段、计算机网络标准化阶段、计算机网络的高速化、（服务）个性化、（业务）综合化、（网络）智能化发展 20世纪50年代中后期也称为面向终端的计算机网络阶段。 2 ......
python爬虫示例-2
import time import os import requests as re from tqdm import tqdm from bs4 import BeautifulSoup download_src = "https://m.tuiimg.com/" #网站url now_file ......
python爬虫示例-1
1 import os 2 from bs4 import BeautifulSoup 3 import requests as re 4 import time 5 6 download_url_1= "https://umei.net/i/" 7 # print(download_url[:-5 ......
数据库索引概念及其如何使用的相关介绍
在日常开发中，难免会与数据库打交道，然而对数据库中数据的操作又会与另一个名词挂钩，“索引”，下面简单介绍一下索引的相关概念以及何时使用索引最合适。 一、什么是索引？索引是一种数据结构，它可以把表中的数据按照某种规则（如B树、哈希表等）进行排序，以便快速查询和访问数据。使用索引能减少磁盘I/o操作和数 ......
Scrapy爬虫学习
目录Scrapy基本功能Scrapy Shell用法XPATH语法及用法null Scrapy基本功能 Scrapy Shell用法 XPATH语法及用法 参考资料： 基础入门：https://zhuanlan.zhihu.com/p/35355747 https://www.w3school.co ......
MyBatis实战指南（一）：从概念到特点，助你快速上手，提升开发效率！
MyBatis是一个优秀的持久层框架，它支持定制化SQL、存储过程以及高级映射。MyBatis避免了几乎所有的JDBC代码和手动设置参数以及获取结果集的过程。 大家好，今天我们要来聊聊一个在Java开发中非常实用的框架——MyBatis。你是否曾经因为数据库操作而感到困扰？是否曾经因为SQL语句的编 ......
爬虫实战 - 微博评论数据可视化
简介： 我们都知道在数据比较少的情况下，我们是可以很轻易的获取到数据中的信息。但是当数据比较庞大的时候呢，我们就很难看出来了。尤其是面对现如今数以万计的数据，就更了。 不过好在我们可以通过计算机来帮我们进行分析，其中比较高效的手段便是数据可视化了。通过将数据进行可视化，我们可以让数据开口说话。进而有 ......
手写docker—核心概念(一)
一、Namespace、Cgroups、Rootfs 进程和容器有什么区别？ 进程作为计算机程序运行起来后资源管理的总和，内部包含了程序计数器、堆栈、各种变量指令等等； 容器就是对进程做一些限制和约束，从而形成一个边界。Cgroups 技术是用来制造约束的主要手段，Namespace 技术用来修改进 ......