爬虫 语法 笔记robots

1.打开算力平台，选择合适的配置进入算力开发机进入jupyter工具终端安装开发所需python深度学习环境： bash # 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中 bash /root/share/install_conda_env_intern ......

目录ECMAScript系列：简介ECMAScript系列：ES6新特性let 关键字const 关键字变量的解构赋值模板字符串简化对象写法箭头函数参数默认值rest 参数spread扩展运算符Symbol迭代器生成器PromiseSetMapclass类数值扩展对象扩展模块化ECMAScript系 ......

今天对寒假的学习任务进行了时间上的规划，需要完成的主要有下面三个任务： 1.完成Spark的实验及实验报告； 2.三人结组参加中国服务外包杯大赛（1月13日之前提交题目，1月31日前后验收第一阶段成果（需求原型））； 3.大型数据库技术大作业-信息领域热词分析（开学第一节课验收）； 根据完成时间的先 ......

javaSE java的基础语法 注释 注释并不会被执行 #单行注释 //可以注释一行文字 //单行注释 #多行注释 /*可以注释一段文字*/ /*多行注释 多行注释 多行注释 */ #文件注释 /** */ 关键字 ![](C:\Users\26329\Pictures\Screenshots\屏 ......

实验一：Linux的安装常用命令 学习进度 今天主要是写了实验一和实验二的相关内容，但是实验二一直报错，还在努力解决错误中~~ ......

Spark特性Spark使用简练优雅的Scala语言编写，基于Scala提供了交互式编程体验，同时提供多种方便易用的API。Spark遵循“一个软件栈满足不同应用场景”的设计理念，逐渐形成了一套完整的生态系统（包括 Spark提供内存计算框架、SQL即席查询（Spark SQL）、流式计算（Spar ......

莫比乌斯反演是数论中的重要内容。对于一些函数 \(f(n)\)，如果很难直接求出它的值，而容易求出其倍数和或约数和 \(g(n)\)，那么可以通过莫比乌斯反演简化运算，求得 \(f(n)\) 的值。——OI-wiki 可见莫反的强大。 前置知识：数论分块 数论分块可以快速计算一些含有除法向下取整的和 ......

协程调度 调度流程 Go程序运行和调度初始化 Go 程序运行会经过以下几个阶段： 从磁盘上读取可执行文件，加载到内存 操作系统执行 runtime 包中的程序入口 runtime 执行初始化，最后调用 main 函数 上图中的流程是根据源码文件 src/runtime/asm_amd64.s 和 s ......

Spark StandAlone环境部署 新角色 历史服务器 历史服务器不是Spark环境的必要组件, 是可选的. 回忆: 在YARN中 有一个历史服务器, 功能: 将YARN运行的程序的历史日志记录下来, 通过历史服务器方便用户查看程序运行的历史信息. Spark的历史服务器, 功能: 将Spar ......

Python基础语法： （1）打印出hello world # -*- coding: utf-8 -*- print "hello world" print "你好 世界" （2）注释 1、（单行注释）以 # 开头，后面的文字直到行尾都算注释 2、（多行注释）多行注释是用三引号''' '''包含的 ......

常用命令码住 %cd /content/drive/My\ Drive/ME-D2N-test # 进入文件夹` %pwd` !mkdir /content/datasets # 在当前目录下("/content")创建一个叫datasets的文件夹 1如何运行Github项目 # 克隆仓库到/co ......

搜索杂题： 一、基础的BFS与DFS： 深搜和广搜都可以遍历出在一定限制下可能出现的所有情况，但是朴素的搜索一般复杂度极高，成指数级别，需要用到各种五花八门的优化方式，后面会一一介绍，但基础很重要，几乎不用考虑优化，直接模拟题意就可以了。这篇博文讲的是习题ing。 深搜一般处理有分支的情况，广搜一般 ......

今天，主要尝试安装了Anaconda3并进行了一些基础配置。 参考：https://blog.csdn.net/weixin_52677672/article/details/133632708 安装Anaconda3-2023.09-0-Windows-x86_64.exe 配置环境变量 D:\s ......

1 - 联合体内嵌结构体初始化赋值 union { struct { int i; float f; char *p; }; int o; } obj3 = { 1, 2.2, "sk", 4, 9 }; printf("struct inlay union: %d, %f, %s, %d\n", ......

今日新建一个类数组后，对其内容赋值出现了以下问题。 Pd[] pdd = new Pd[20]; Cannot assign field "mingcheng" because "pdd2[0]" is null 翻阅资料后得知 当我从数组中获取第i个元素并访问其字段时， 但是您的数组中有null（ ......

mall商城笔记 一、简介 1.1、技术栈 1.2、技术架构图 ......

我十几年年前的thinkpad 通过更换cpu复活了：联想ThinkPad E430c i3变i7：笔记本电脑CPU升级思路—CPU参数 为什么现在的市面上可以更换cpu的笔记本非常稀少呢？ intel移动CPU1-3代，CPU是和台式机一样的可以更换的。4代以后都是焊死的 什么样的笔记本可以更换C ......

​ 处理短信验证码的思路就是手机端有一个可以转发短信到我们可以读取的地方。目前我的处理方式是将短信转发到邮箱，再读取邮箱中的邮件拿取验证码。 ​ 首先就需要下载转发工具：https://github.com/pppscn/SmsForwarder/releases/tag/v3.2.0 具体使用参考 ......

定义 JavaScript是一门跨平台、面向对象的脚本语言 用来控制网页行为的，可以使网页交互 引入方式 内部脚本 外部脚本 JS基础语法 书写语法 输出语句 变量 变量作用域 数据类型 运算符 == ?? .? ... 展开运算符 （1）打散数组传递给多个参数 （2）复制数组或对象 （3）合并数组 ......

最近开发工作涉及到一些关于webService调用的问题，因为太久没有做过这部分，踩了一点坑，做个笔记记录一下，避免下次踩坑。 说明 C#调用webService基本有两种方法，一种是静态调用，也就是添加到服务引用，还有一种方式是动态引用，动态引用的主要思路是通过url将DLL下载到本地，然后进行调 ......

1. strcpy() 从strSrc地址开始且含有'\0'结束符的字符串复制到strDest开始的地址空间中，返回值类型为char* char *strcpy( char *strDest, const char *strSrc ) { assert( (strDest != NUL) && (s ......

KMP 单模式串匹配，比较平凡所以不说了，比较有借鉴意义的每次拓展一位和 \(nxt\) 数组能极大减少不合法的匹配，时间复杂度 \(O(|s|+|t|)\)。 引出一个定义，记满足 \(s[1,i]=s[|s|-i+1,|s|]\) 的前缀为字符串 \(s\) 的 \(\mathrm{border ......

1、启动爬虫 scrapy crawl spider -s JOBDIR=record/spider-1 record/spider-1表示一个路径，作用是记录爬虫状态2、暂停爬虫 终端输入Ctrl+C，此时爬虫并不会立即停止，需要等待一会 当终端出现可以敲击命令时，说明爬虫已暂停 3、恢复爬虫 s ......

文件系统结构 unix的文件系统相关知识 unix将可用的磁盘空间划分为两种主要类型的区域：inode区域和数据区域。 unix为每个文件分配一个inode，其中保存文件的关键元数据，如文件的stat属性和指向文件数据块的指针。 数据区域中的空间会被分成大小相同的数据块（就像内存管理中的分页）。数据 ......

摘要 基于Gradio的力声信号分析界面,实现Gradio页面内嵌html代码和svg图像; 备注 仅用作前端开发练习，不保证其中的信号处理方式及数据分析的学术性。 开源地址 [https://gitee.com/qsbye/pear-dsp-gradio] 平台信息 "pyaudio~=0.2.1 ......

摘要 使用gnuradio观测理想信道和随机信道的眼图; 平台信息 GNU Radio Companion:3.10.8.0 (Python 3.10.13) 原理简介 数字基带传输系统和数字带通传输系统 数字基带传输系统 数字基带传输系统是指将未经调制的基带信号直接送上信道的系统。基带信号是指信源 ......

1. 基本信息 算法霸权：数学杀伤性武器的威胁 [美] 凯西·奥尼尔(Cathy 著 中信出版社,2018年9月出版 1.1. 读薄率 书籍总字数220千字，笔记总字数32359字。 读薄率32359÷220000≈14.71% 1.2. 读厚方向 算法的力量：人类如何共同生存？ 极简算法史：从数学 ......

'''for循环和while循环的作用是一样的for循环一般常用于取值循环，循环的过程中，取出下列类型的每一个数据值字符串、列表、集合、元组、字典for循环语法：for 变量名 in 字符串/列表/集合/元组/字典 循环的代码(变量名拿到的是数据类型中的一个数据)'''# 获取列表中那些数据是奇数a ......

题目链接：https://codeforces.com/contest/1687/problem/C 题意简述 有两个长为 \(n\) 的数列 \(a\) 和 \(b\)。有 \(m\) 条线段，你可以进行任意次以下操作： 选择一条线段 \([l, r]\)，若 \(\sum\limits_{i = ......

本文于2015年底完成，发布在个人博客网站上。 考虑个人博客因某种原因无法修复，于是在博客园安家，之前发布的文章逐步搬迁过来。 在查询favicon.ico相关的资料时，无间中看到了robots.txt。当时没有太注意，后来在百度的站长平台上看到了robots.txt的说明，咨询了度娘，找到几处说明 ......