数据分析

一、选题背景介绍 在现代快节奏的生活中，越来越多的人开始关注自己的健康状况，并采取积极的措施来改善和维持健康。体重是一个重要的身体指标，对于评估健康状况和制定健康计划具有重要意义。 通过定期测量体重，人们可以了解自己的体重变化趋势，并将其与健康目标相比较。体重的增加或减少可能与饮食、运动、代谢等因素 ......

一、选题背景 随着互联网的快速发展和信息化时代的到来，招聘网站成为求职者和招聘公司之间最重要的信息交流平台之一。招聘网站上聚集了大量的职位信息、薪资数据和公司信息，这些数据蕴含着丰富的招聘市场和就业趋势的信息，对求职者和招聘公司都具有重要的参考价值。然而，由于招聘网站上的数据量庞大且复杂，求职者和招 ......

一、选题背景 近几年，“数据”这个词语越来越火爆。从整个环境来讲，企业愈发关注数据所带来的巨大价值，并将数据业务逐渐渗透到企业的发展版图中。也正是因为企业对数据方向的逐步重视，数据相关岗位的需求增多，近几年呈爆发式增长。 对于现在的人才需求市场，数据类岗位尤以数据分析师最为突出。数据分析现已作为一门 ......

大数据分析与可视化 之 百度贴吧（标题和链接） import csv from urllib import request,parse import time import random import requests from lxml import etree from urllib impor ......

大数据分析与可视化 之 有道翻译-1 #coding:utf8 import hashlib import random import time from hashlib import md5 import requests class YoudaoSpider(object): def __ini ......

大数据分析与可视化 之 有道翻译-2 # coding:utf8 import base64 import hashlib import json import time from hashlib import md5 import requests from Crypto.Cipher impor ......

大数据分析与可视化 之 爬取图片 # -*- coding:utf8 -*- import requests import re from urllib import parse import os class BaiduImageSpider(object): def __init__(self) ......

大数据分析与可视化 之 爬取小说 import urllib.request import random from bs4 import BeautifulSoup import time def request_html(url): headers={'User-Agent':'Mozilla/5 ......

大数据分析与可视化 之 猫眼电影爬虫 import random import time import re import requests import csv class MaoyanSpider(object): # 初始化 # 定义初始页面url def __init__(self): se ......

大数据分析与可视化 之 百度图片爬虫 import requests import re from urllib import parse import os import time # Import the time module class BaiduImageSpider(object): d ......

大数据分析与可视化 之 百度贴吧爬虫 import csv import datetime import json from urllib import request, parse import time import random from fake_useragent import UserA ......

随堂练习，随手记录 2.ipynb #%% import numpy as np import csv #%% iris_data = [] with open(r'文件地址')as csvfile: csv_reader = csv.reader(csvfile) birth_header = n ......

大数据分析与可视化 之 小说爬虫类 import random import requests from lxml import etree import time class WebScraper: def __init__(self, url,output_file): self.url = u ......

实验13 大数据分析与挖掘建模 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握使用Numpy、Pandas进行数据建模。 能够利用模型数据进行相关预测分析。 理解数据建模的编程过程。 二、实验要求 通过编程实现使用电信用户数据画像——建立RFM模型对电信电话数据集、短信数据集、 ......

实验12 Matplotlib绘制图表（二） 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Matplotlib的框架及图形属性。 掌握Matplotlib绘制图形的步骤。 掌握Matplotlib绘制柱形图、条形图、饼图、折线图。 掌握Matplotlib绘制散点图、等高线图 ......

实验10 Pandas实现数据分析 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Pandas的字符串函数。 掌握Pandas 统计汇总函数。 掌握Pandas排序、分组、合并与级联函数。 能利用上述函数进行综合数据分析。 二、实验要求 通过编程实现使用Pandas字符串函数进 ......

实验11 Matplotlib绘制图表（一） 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Matplotlib的框架及图形属性。 掌握Matplotlib绘制图形的步骤。 掌握Matplotlib绘制直线、曲线图、折线图。 掌握Matplotlib绘制柱形图、条形图、饼图。 ......

实验09 Pandas函数应用 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握pandas函数应用的方法：pipe()、apply()和applymap()。 能编写自定义函数。 能使用pandas函数应用调用自定义函数解决数据分析实际问题。 二、实验要求 利用pandas函数 ......

实验08 Pandas字符串和文本处理 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 学会正确使用常见的字符串函数 如：len()、find()、strip()、replace()、contains()函数。 解决实际数据中的字符串和文本处理问题。 二、实验要求 使用常见的字符串函 ......

实验06 Pandas缺失值处理 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握判断缺失值、过滤缺失值、填充缺失缺失值等缺失值处理 解决实际数据中的缺失值问题 二、实验要求 使用常见的缺失值处理函数（如：isnull()、notnull()、fillna()、dropna()函 ......

实验07 Pandas合并与级联 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握pandas合并/拼接 掌握pandas级联 二、实验要求 利用pandas合并、拼接和级联等知识在PyCharm中编写程序，实现Python数据处理的相关操作。 三、实验内容 任务1.现有如下图的 ......

实验05 Pandas数据读写 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 学会正确使用常见的I/O API函数。 解决文本文件、CSV文件、Excel文件、网页文件、数据库文件和JSON格式文件数据的读写问题。 二、实验要求 使用常见的I/O API函数（如：read_csv( ......

实验04 Pandas基础 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 1.掌握pandas系列、数据帧和面板的使用 2.掌握pandas基本功能和操作 二、实验要求 Pandas 程序的运行步骤。 2．pandas的数据结构 3．pandas系列、数据帧和面板 pandas基本 ......

实验03 Numpy实现数据分析 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Numpy的字符串函数 掌握Numpy 统计函数 掌握Numpy排序、分组、线性代数函数 二、实验要求 通过编程实现使用Numpy字符串函数进行文本处理，使用统计函数进行数据分析等常用操作。 三、实 ......

实验02 Numpy创建数组 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Numpy创建数组的方法 掌握Numpy ndarray的属性、运算 掌握Numpy迭代数值，修改数组中元素的值 掌握Numpy常用函数的使用方法 二、实验要求 使用Numpy.array的构造函数创建 ......

实验01 Python爬虫 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 理解爬虫技术 掌握正则表达式、网络编程 掌握re、socket、urllib、requests、lxml模块及其函数的使用 二、实验要求 分析所需爬取信息网页的源代码，使用re、socket、urllib、r ......

一、选题的背景 背景：Python是一种功能强大的编程语言，广泛应用于数据科学和数据分析领域。在当今的数字时代，视频分享平台如YouTube已成为信息传播和内容创作的重要渠道。越来越多的YouTubers（YouTube创作者）致力于通过数据驱动的方法来优化他们的创作策略，以吸引更多的观众和提升视频 ......

一、选题的背景 随着互联网的快速发展，大数据已经成为各行各业决策的重要依据。在电商领域，京东作为国内领先的电商平台，积累了大量的用户购买数据。这些数据中蕴含着丰富的品牌信息，对于手机品牌来说，分析这些数据可以帮助他们更好地了解市场趋势、消费者需求以及竞品情况。然而，目前对于京东手机品牌信息的大数据分 ......

一、选题课程背景 随着互联网技术的发展和信息爆炸的时代，人们对于获取和分析海量数据的需求日益增长。股票市场作为全球经济的重要风向标，其数据信息的获取和分析对于投资者、研究人员以及企业决策者具有重要的参考价值。然而，传统的股票数据分析方法往往受到数据来源限制和数据处理能力的制约，无法充分利用互联网上的 ......

一、选题背景 随着社交媒体的发展和智能手机的普及，抖音已经成为了全球最受欢迎的短视频平台之一。越来越多的用户通过抖音平台进行商品的选购和交易，使得抖音电商成为了一个热门的话题。因此，通过对抖音电商的爬虫分析，可以深入了解用户的购物偏好、热门商品和行业趋势，为电商平台和品牌商提供有价值的市场分析和营销 ......