爬虫 数据分析 数据 小说
Linux数据分析之九个给力的命令行工具
要对数据进行分析，大家会从哪里入手?对于大多数熟悉了图形工作环境的朋友来说，电子表格工具无疑是第一选项。但命令行工具同样能够更快更高效地解决问题——且只须稍微学习即可上手。 要对数据进行分析，大家会从哪里入手? 对于大多数熟悉了图形工作环境的朋友来说，电子表格工具无疑是第一选项。但命令行工具同样能够 ......
uni-app基于原生input增强选择picker插件 可用于地图定位选位置 页面跳转选数据
前端基于原生input增强选择picker插件 可用于地图定位选位置 页面跳转选数据, 下载完整代码请访问uni-app插件市场地址: https://ext.dcloud.net.cn/plugin?id=12831 效果图如下: # 基于uni-app原生input增强选择picker插件 可用 ......
Python网络爬虫--爬取首都全年气候并可视化分析
一、选题的背景 为什么要选择此选题？要达到的数据分析的预期目标是什么？从社会、经济、技术、数据来源等方面进行描述 选题的背景？：天气是我们日常生活中非常重要的一个方面，它关系到我们的出行、衣食住行等各个方面。同时，天气也是一个非常复杂的系统，它受到多种因素的影响，如地理位置、气候、季节等。因此，对于 ......
报告解读与下载 | 数据库深度复盘与2022国产数据库展望
报告解读与下载 | 数据库深度复盘与2022国产数据库展望 发布于 2022-03-08 17:40:20 5140 举报 编者注：本系列将选择一些行业分析报告进行分享，同时提供下载，与读者共同分析分享数据库行业的最新进展与动态。关注本公众号回复：下载 。可以找到获得下载链接。 本报告的核心观点： ......
推导：PCA主成分分析&LDA线性判别分析
# 推导：PCA主成分分析&LDA线性判别分析 PCA和LDA都是在通过降维进行特征提取，PCA倾向于数据重构（就如名字一样 主成分分析），LDA倾向于数据分类（更好的将不同类别分开）。 考虑它具体在做什么事情，其实在每个样本进行中心化处理后（减去均值），一个样本就变成了一个距离向量来描述与 ......
爬虫
# 爬虫 ```python import requests from bs4 import BeautifulSoup import re from lxml import etree # 获取网页内容 for i in range(1, 1277): # 爬取第2，50页的数据 url = 'h ......
imessages数据检测,imessages过蓝检测,用applescript检测手机号码是否注册imessage实现实例
一、检测iMessage发送数据的2种方式:1.人工筛选，将要验证的号码输出到文件中，以逗号分隔。再将文件中的号码粘贴到iMessage客户端的地址栏，iMessage客户端会自动逐个检验该号码是否为iMessage账号，检验速度视网速而定。红色表示不是iMessage账号，蓝色表示iMessage ......
【后端面经-数据库】MySQL的存储引擎简介
[TOC](【后端面经-数据库】MySQL的存储引擎简介) # MySQL的存储引擎 mysql主要有四类存储引擎，目前主要使用InnoDB作为存储引擎。 ## 0. 存储引擎的查看和修改 - 查看当前数据库的默认存储引擎 ```sql show variables like 'default_st ......
官方数据分析1
# 大数据处理与应用hive ```shell #修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆 vi /etc/hosts 172.18.39.103 hadoop000 hostnamectl set-ho ......
网络采集与数据分析1
# 网络采集与数据分析 ```shell #修改云主机host文件，添加内网IP，对应映射名为hadoop000，实现云主机自身使用root用户ssh访问hadoop000免密登陆 vi /etc/hosts 172.18.39.103 hadoop000 #配置免密################ ......
近十年CPU性能提升效果分析
# 近十年CPU性能提升效果分析 ## 测试脚本 ``` ./redis-server redis.conf cpu=`cat /proc/cpuinfo |grep "model name" |head -n 1 |awk '{print $7}'` ./redis-benchmark -p 56 ......
数据库事务隔离级别
标准隔离级别 读未提交、读已提交、可重复读、串行化 串行化 对事务中所有读写的数据加上读锁、写锁、范围锁。所以冲突的事务必须同步执行。 //console1 start transaction ; select * from transaction_test where `key`=1; updat ......
基于达梦云原生大数据平台的物流信息数据中台系统项目的阶段总结
项目目的：在达梦云原生大数据平台上搭建所需环境，实现系统功能。 数据采集模块负责制定采集规则并采集数据。数据源为mysql数据库。数据文件格式分别为txt、xls等。 对于我们团队展示的作业建民老师给出了以下几点要求 1.要开发android端，这样才能更加方便用户的使用 2.要试着去实现集装箱的最 ......
sklearn数据集的使用
# 1.数据集 **学习是可能用到的数据集** >训练集分为训练集和测试集 Kaggle https://www.kaggle.com/datasets 大数据竞赛平台 80 万科学家 真实数据 数据量巨大 UCI http://archive.ics.uci.edu/ml/ 收录了 559 个数据 ......
数据分析实例
1、导入用于分析和可视化作图的库 import pandas as pdimport matplotlib.pyplot as pltimport seaborn as sns #seaborn也很强大，可以小试一下 da=pd.read_csv('D:/datasource/mycrawldata ......
python 数据可视化———电子商务销售分析
一、选题背景 随着互联网和移动互联网技术的不断发展，电子商务已经成为了一个全球性的发展趋势。越来越多的商家和消费者都开始使用电子商务平台进行线上交易，这在一定程度上改变了传统商业模式，并且对于消费者而言，电子商务平台也提供了更为便捷的购物体验。因此，对于电子商务销售的分析就显得尤为重要。通过对电子商 ......
大数据学习笔记hadoop、hive、java
HDFS伪分布式集群搭建 tar -zxvf hadoop-2.7.7.tar.gzecho $JAVA_HOME/root/software/jdk1.8.0_221#查看loaclhostvim /root/software/hadoop-2.7.7/etc/hadoop/hadoop-env ......
Kafka-数据出现积压的原因以及如何解决积压问题？
Kafka数据积压的原因有很多，比如消费端处理能力不足、生产端消息发送速度过快等。解决方法也有很多，以下是一些常见的解决方法 : 增加分区数：如果数据量很大，合理的增加Kafka分区数是关键。但是分区的数量并不是无限增大的，他是有上限的，一般分区的分区数的数不能大于kafka的broker数。 提高 ......
大数据分析python
# 导库import numpy as npimport pandas as pd # 读取数据data =pd.read_csv('logistics.csv')data.head(10) 思路：直接查看不同公司的数量即可 df1=data.groupby('货运公司名称').size().res ......
关于EXIF格式的分析（转）
原文：https://www.jianshu.com/p/ae7b9ab20bca 作者：cain_huang JPEG格式和标志 JPEG文件都是以十六进制的 0xFFD8 开始，以 0xFFD9 结束。在JPEG数据中，0xFF** 这样的数据被用作标志，表示JPEG信息数据段。0xFFD8表示 ......
python爬虫--爬取各大城市的各个区域的租房信息
一、选题背景 衣食住行是生活的基本需求。衣和食好解决，不喜欢的衣服可以买新的，不好吃的食物可以换一家吃。可是在住宿上，买房和租房的置换成本都相对较高，因此房源选择尤为慎重。作为目前买不起房的自然人，我们一般是通过中介来实现租房的需求比如自如，贝壳找房和链家。链家占据了租赁市场的主导地位，且提供的信息 ......
数据同步智能化！利用ETLCloud自动化流程实现钉钉OA系统数据自动同步至数仓
钉钉数据同步需求 钉钉是一款企业级通讯和协同办公应用软件，钉钉为企业提供包括聊天、通讯录、日程安排、考勤打卡、审批、通知公告、文件共享、会议等功能，很多企业都在使用钉钉。 很多情况下我们需要把钉钉的数据拉取到数据库中，然后再通过报表工具进行统计分析，实现这种自动化流程通常的做法是写一段 python ......
Java内存分析
一、Java内存分区 java内存分区 ****方法区 主要用来存储已被虚拟机加载的类的信息、常量、静态变量和即时编译器编译后的代码等数据。 ****堆 java堆是所有线程所共享的一块内存，在虚拟机启动时创建，几乎所有的对象实例都在这里创建，因此该区域经常发生垃圾回收操作。 ****虚拟机栈 1. ......
网络爬虫——IMDb-Most Popular Tv Shows
一、选题的背景 1.选择IMDb流行电视剧的网络爬虫作为选题，是因为电视剧在当今社会中扮演着重要角色，它们不仅是娱乐消遣的方式，还反映了社会文化、价值观和审美趋势。通过对IMDb流行电视剧的数据分析，可以了解观众的喜好和市场需求，为制作公司、投资者、广告商等提供有价值的参考信息。 2.预期目标是获取 ......
Kali 用 Wireshark 抓取网络数据包
这个Wireshark是可视化操作工具，可以直接打开。 如下图所示，如果是中文版的，可以直接操作： 如果是英文版的，就点击 Capture 后，选择 Options 打开如下窗口： 以上，我们可以选择 eth0 或 Kiioback:io 进行抓包，这里每个人的接口可能不一样，选择好后点击开始（st ......
备份mysql全量数据库为sql文件
进入数据库bin目录，cmd运行mysqldump -utest -ptest --all-databases > all.sql 备注 -u后面接用户名 -p后面接密码 “>”是方向,这里指从左到右 备份结果：cmd命令行无提示错误即可， 备份结束的SQL文件才会显示文件大小，之前不显示文件大小。 ......
【如何三行代码下载指定的股票或者基金数据到pandas中】用pandas做爬虫
import pandas url="http://vip.stock.finance.sina.com.cn/quotes_service/view/cn_bill_sum.php?num=100&page=1&sort=totalvolpct&asc=0&volume=1000000&type= ......
数据结构整理
数据结构模板整理，请自取。 ### 线段树 [$\operatorname{Sgt}$](https://www.luogu.com.cn/paste/870hl6p4) [$\operatorname{BIT}$](画大饼) ### 平衡树 [$\operatorname{Treap}$](htt ......
mybatis拦截器实现数据权限
前端的菜单和按钮权限都可以通过配置来实现，但很多时候，后台查询数据库数据的权限需要通过手动添加SQL来实现。 比如员工打卡记录表，有id,name,dpt_id,company_id等字段，后两个表示部门ID和分公司ID。 查看员工打卡记录SQL为：`select id,name,dpt_id,co ......