爬虫pixel2 pixel root
在操作过程中遇到Attempting to operate on hdfs namenode as root报错
在操作过程中遇到Attempting to operate on hdfs namenode as root报错 HDFS格式化后启动dfs出现以下错误： [root@hadoop101 sbin]# start-dfs.sh Starting namenodes on [hadoop101] ER ......
(base) [root@pc1 test01]# conda create -n py37 python=3.7
001、问题：conda创建python环境遇到如下问题： Collecting package metadata (current_repodata.json): | DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): r ......
ubuntu开启root用户远程ssh登录
ubuntu系统初始状态下无法通过ssh登录到root用户，只能先登录普通用户再切换到root用户，本文讲解的是开启root用户远程ssh登录 su - root切换到root用户 su - root 打开ssh配置文件 vim /etc/ssh/sshd_config 找到 插入 PermitRo ......
Ubuntu下允许root用户ssh远程登录
Ubuntu下允许root用户ssh远程登录 如果你使用的是树莓派或是云服务器，那么你会得到一个公网的IP地址，以及默认的用户名和密码，由于服务器安装的Ubuntu并不是在我们的电脑上运行的，那么我们怎么去远程操作呢？ 比如我们要远程操作一台Windows电脑，直接使用远程桌面连接即可，但是Ubun ......
mysql8 忘记root密码的重置方法
好久登服务器了，忘记了mysql8的密码，本来对linux操作就不熟，折腾了好久搞定了在此记录下。 开始用常规方法停止mysql服务，然后 sudo mysqld_safe --skip-grant-tables & 跳过密码验证登录，结果服务起不来，然后进入/etc/mysql/mysql.con ......
在centos系统下如何修改root密码
对于运维来说，难免不会遇到忘记Linux的情况，那么忘记Linux系统root密码后该如何找回或者重置呢？这篇文章以CentOS为例： 1、开机时手要快按任意键，因为默认时间5s 2、grub菜单，只有一个内核，没什么好上下选的，按e键。不过如果你升级了系统或安装了Xen虚拟化后，就会有多个显示了。 ......
【Python爬虫】批量爬取豆瓣电影排行Top250
今天给大家分享下我刚开始接触Python时学习的爬虫程序，代码部分很简单，不过当时刚开始学习时还是走了不少弯路的。这个爬虫程序应该是很多书里面的入门练手程序，主要就是去豆瓣爬取电影评分排行前250。 ......
爬虫解码[编码问题]
response = requests.get('ur;', params=params, cookies=cookies, headers=headers, verify=False) if response.status_code == 200: # 尝试使用不同的编码解码响应内容 possib ......
【python爬虫】爬虫所需要的爬虫代理ip是什么？
前言 在进行爬虫程序开发时，经常会遇到访问被限制的网站，这时就需要使用代理 IP 来进行访问。本文将介绍代理 IP 的概念及使用方法，帮助读者更好地应对爬虫程序中的访问限制问题。同时，本文还将提供一些代理 IP 提供商，并通过一个实例演示如何使用代理 IP 来访问被限制的网站。 一、什么是爬虫代理 ......
【爬虫实战】用python爬今日头条热榜TOP50榜单！
目录一、爬取目标二、爬取结果三、代码讲解四、技术总结五、演示视频六、附完整源码 一、爬取目标 您好！我是@马哥python说，一名10年程序猿。 今天分享一期爬虫案例，爬取的目标是：今日头条热榜的榜单数据。 打开今日头条 首页，在页面右侧会看到头条热榜，如下： 爬取以上6个关键字段，含： 热榜排名, ......
爬虫初阶requests模块的使用
一、安装requests库 pip install requests 二、引用这个模块 import requests 三、requests的基本使用 1.发送GET请求 调用requests模块中的get()函数 import requests # 引入第三方库 response = reques ......
爬虫
requests 模块 获取数据方式 静态页面 import requests response=requests.get(url="https://www.baidu.com") print(response.text) 动态加载数据 豆瓣动画电影排行榜 import requests impor ......
Python异步编程高并发执行爬虫采集，用回调函数解析响应
本文介绍了Python 异步编程技术asyncio ，使用场景，介绍了同步编程，异步编程原理，异步技术的优势，异步语法 async await, 协程，create_task, gather, event loop, asyncio.run() 等，用回调函数callback 来解析响应消息，实... ......
Python 和 Selenium 的浏览器爬虫
Selenium 是一款强大的基于浏览器的开源自动化测试工具，最初由 Jason Huggins 于 2004 年在 ThoughtWorks 发起，它提供了一套简单易用的 API，模拟浏览器的各种操作，方便各种 Web 应用的自动化测试。 它的取名很有意思，因为当时最流行的一款自动化测试工具叫做 ......
Python 爬虫使用 Selenium 如何在 WebElement 获得属性
首先，我们需要初始化驱动和指定使用特定的流量器。 代码如下： from selenium import webdriver wd = webdriver.Firefox() 上面的代码可以简单的理解为启动一个 Firefox 的实例。 使用 css 选择器 可以把程序读取的 HTML 理解为一个 D ......
Road To Reality(The roots of science)
Road To Reality(The roots of science) The Good, the True, and the Beautiful ......
改进了headers的爬虫（Cookies）
import urllib.request from lxml import etree def create_request(page): if page == 1: url = 'http://www.chinaeol.net/hjxw/gnxw' else: url = 'http://www ......
一个稍微用了下selenium的爬虫框架
from selenium import webdriver from selenium.webdriver.common.keys import Keys from selenium.webdriver.common.by import By from selenium.webdriver.chr ......
爬虫随笔（一）
最近因为工作和研究方向的变动，开始学习爬虫，现在是刚刚入门，简单写一些，爬虫入门的建议。 一、基础知识 （1）掌握的编程语言：python、Html、JS、CSS Python是必须的，虽然Java也可以实现相关功能，但是总归脚本写起来方便一点。如果有语言基础，直接去菜鸟教程，看语法，就差不多掌握了 ......
Python 之 爬虫实战 -- 收集某牙直播平台舞蹈区颜值排行榜（人脸检测+爬虫）
一大波高颜值主播来袭：快看，某牙颜值排名，为了这个排名我可是大费周章啦！不亏是你...（人脸检测+爬虫） 本次文章主要内容为： 一. 采集主播照片 二. 对于照片进行人脸识别检测, 进行打分 三. 评分排名。 环境准备 1）运行环境 开发环境：Python3、Pycharm社区版、requests、 ......
Python 之 爬虫实战 -- 免费音乐下载器
【Tkinter界面化小程序】用Python做一款免费音乐下载器、无广告无弹窗、清爽超流畅哦~ 思路 进入某音乐主页输入任意歌手，比如李XX为列。 音乐从哪里来？ 网站的服务器里 怎么从网址里得到音乐？ 向网站发起网络请求 最后用tkinter做成一个界面下载框即可 环境 本文用到的环境如下：Pyt ......
Python 之 爬虫实战 -- VIP视频解析小程序
VIP视频解析小程序 源码 # -*- coding:utf-8 -*- # url解析 from urllib import parse import tkinter.messagebox as msgbox import tkinter as tk import webbrowser impor ......
Python 之 爬虫实战 -- 爬取某网络小说
不生产小说，只做网站的搬运工，太牛逼了~（附源码） 源码 import requests from lxml import etree url = "https://www.biduo.cc/biquge/40_40847/" headers = { 'User-Agent': 'Mozilla/5 ......
Python 之 爬虫实战 -- 爬某音乐歌曲及评论信息
使用Selenium爬某音乐歌曲及评论信息啦~ Selenium简单介绍 1）简介 Selenium是一个用于测试网站的自动化测试工具，支持各种主流界面浏览 器。简而言之，Selenium是一个用来做网站自动化测试的库，它的定位是做 自动化测试的。我们也可以利用它来做爬虫，获取一些网页信息，并且这种 ......
Python 之 爬虫实战 -- 爬取某宝商品数据，附加某宝秒杀脚本
爬取某宝商品数据，附加某宝秒杀脚本 爬取某宝商品数据 源码 """ import requests # 第三方模块 import re import json import csv f = open('taobao.csv', mode='a', newline='', encoding='utf- ......
Ubuntu安装MySQL Access denied for user ‘root‘@‘localhost‘
1、其它用户登录MySQL2、#查看user表use mysql;select user,plugin from user;3、修改root密码格式# 修改其密码格式update user set plugin='mysql_native_password' where user='root'; # ......
【Vue】关于 The template root requires exactly one element 报错的解决方案
在<template>内添加<div>总括起来： ......
python之爬虫requests
import requests result = requests.get("https://127.0.0.1:9200/_search", headers=headers, verify=False) #verify跳过ssl认证 关于http的authorization认证 ......
学习常见的反爬虫手段，如验证码、限制访问频率等
验证码（CAPTCHA）：用于识别机器人和自动化程序，可以通过以下方式实现： from PIL import Image import pytesseract # 读取验证码图片 image = Image.open('captcha.png') # 使用pytesseract库进行验证码识别 te ......
Java爬虫实战系列2——动手写爬虫初体验
在上面的章节中，我们介绍了几个目前比较活跃的Java爬虫框架。在今天的章节中，我们会参考开源爬虫框架，开发我们自己的Java爬虫软件。 首先，我们下载本章节要使用到的源代码，本章节主要提供了基于HTTPClient和WebDriver两种方式的数据抓取器。在运行该库之前，我们还需要准备一下我们的开发 ......