可视性
大数据分析与可视化 之 猫眼电影爬虫
大数据分析与可视化 之 猫眼电影爬虫 import random import time import re import requests import csv class MaoyanSpider(object): # 初始化 # 定义初始页面url def __init__(self): se ......
大数据分析与可视化 之 百度图片爬虫
大数据分析与可视化 之 百度图片爬虫 import requests import re from urllib import parse import os import time # Import the time module class BaiduImageSpider(object): d ......
大数据分析与可视化 之 百度贴吧爬虫
大数据分析与可视化 之 百度贴吧爬虫 import csv import datetime import json from urllib import request, parse import time import random from fake_useragent import UserA ......
大数据分析与可视化 之 随堂练习
随堂练习，随手记录 2.ipynb #%% import numpy as np import csv #%% iris_data = [] with open(r'文件地址')as csvfile: csv_reader = csv.reader(csvfile) birth_header = n ......
大数据分析与可视化 之 小说爬虫类
大数据分析与可视化 之 小说爬虫类 import random import requests from lxml import etree import time class WebScraper: def __init__(self, url,output_file): self.url = u ......
大数据分析与可视化 之 实验13 大数据分析与挖掘建模
实验13 大数据分析与挖掘建模 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握使用Numpy、Pandas进行数据建模。 能够利用模型数据进行相关预测分析。 理解数据建模的编程过程。 二、实验要求 通过编程实现使用电信用户数据画像——建立RFM模型对电信电话数据集、短信数据集、 ......
大数据分析与可视化 之 实验12 Matplotlib绘制图表（二）
实验12 Matplotlib绘制图表（二） 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Matplotlib的框架及图形属性。 掌握Matplotlib绘制图形的步骤。 掌握Matplotlib绘制柱形图、条形图、饼图、折线图。 掌握Matplotlib绘制散点图、等高线图 ......
大数据分析与可视化 之 实验11 Matplotlib绘制图表（一）
实验11 Matplotlib绘制图表（一） 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Matplotlib的框架及图形属性。 掌握Matplotlib绘制图形的步骤。 掌握Matplotlib绘制直线、曲线图、折线图。 掌握Matplotlib绘制柱形图、条形图、饼图。 ......
大数据分析与可视化 之 实验10 Pandas实现数据分析
实验10 Pandas实现数据分析 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Pandas的字符串函数。 掌握Pandas 统计汇总函数。 掌握Pandas排序、分组、合并与级联函数。 能利用上述函数进行综合数据分析。 二、实验要求 通过编程实现使用Pandas字符串函数进 ......
大数据分析与可视化 之 实验09 Pandas函数应用
实验09 Pandas函数应用 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握pandas函数应用的方法：pipe()、apply()和applymap()。 能编写自定义函数。 能使用pandas函数应用调用自定义函数解决数据分析实际问题。 二、实验要求 利用pandas函数 ......
大数据分析与可视化 之 实验08 Pandas字符串和文本处理
实验08 Pandas字符串和文本处理 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 学会正确使用常见的字符串函数 如：len()、find()、strip()、replace()、contains()函数。 解决实际数据中的字符串和文本处理问题。 二、实验要求 使用常见的字符串函 ......
大数据分析与可视化 之 实验06 Pandas缺失值处理
实验06 Pandas缺失值处理 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握判断缺失值、过滤缺失值、填充缺失缺失值等缺失值处理 解决实际数据中的缺失值问题 二、实验要求 使用常见的缺失值处理函数（如：isnull()、notnull()、fillna()、dropna()函 ......
大数据分析与可视化 之 实验07 Pandas合并与级联
实验07 Pandas合并与级联 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握pandas合并/拼接 掌握pandas级联 二、实验要求 利用pandas合并、拼接和级联等知识在PyCharm中编写程序，实现Python数据处理的相关操作。 三、实验内容 任务1.现有如下图的 ......
大数据分析与可视化 之 实验05 Pandas数据读写
实验05 Pandas数据读写 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 学会正确使用常见的I/O API函数。 解决文本文件、CSV文件、Excel文件、网页文件、数据库文件和JSON格式文件数据的读写问题。 二、实验要求 使用常见的I/O API函数（如：read_csv( ......
大数据分析与可视化 之 实验04 Pandas基础
实验04 Pandas基础 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 1.掌握pandas系列、数据帧和面板的使用 2.掌握pandas基本功能和操作 二、实验要求 Pandas 程序的运行步骤。 2．pandas的数据结构 3．pandas系列、数据帧和面板 pandas基本 ......
大数据分析与可视化 之 实验02 Numpy创建数组
实验02 Numpy创建数组 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Numpy创建数组的方法 掌握Numpy ndarray的属性、运算 掌握Numpy迭代数值，修改数组中元素的值 掌握Numpy常用函数的使用方法 二、实验要求 使用Numpy.array的构造函数创建 ......
大数据分析与可视化 之 实验03 Numpy实现数据分析
实验03 Numpy实现数据分析 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 掌握Numpy的字符串函数 掌握Numpy 统计函数 掌握Numpy排序、分组、线性代数函数 二、实验要求 通过编程实现使用Numpy字符串函数进行文本处理，使用统计函数进行数据分析等常用操作。 三、实 ......
大数据分析与可视化 之 实验01 Python爬虫
实验01 Python爬虫 实验学时：2学时 实验类型：验证 实验要求：必修 一、实验目的 理解爬虫技术 掌握正则表达式、网络编程 掌握re、socket、urllib、requests、lxml模块及其函数的使用 二、实验要求 分析所需爬取信息网页的源代码，使用re、socket、urllib、r ......
【Python爬虫课程设计】rottentomatoes爬取＋数据可视化
一、选题背景 选择此选题的原因是为了进行电影数据的分析。电影作为一种重要的文化娱乐形式，对社会、经济和文化等方面都有着重要的影响。通过对电影数据的分析，可以揭示电影产业的发展趋势、观众喜好、电影市场的竞争情况等，为电影行业的决策制定提供依据。 二、主题式网络爬虫设计方案 1.主题式网络爬虫名称 Ro ......
【Python数据爬取课程设计】数据爬取—京东手机品牌信息数据爬取和数据分析与可视化
一、选题的背景 随着互联网的快速发展，大数据已经成为各行各业决策的重要依据。在电商领域，京东作为国内领先的电商平台，积累了大量的用户购买数据。这些数据中蕴含着丰富的品牌信息，对于手机品牌来说，分析这些数据可以帮助他们更好地了解市场趋势、消费者需求以及竞品情况。然而，目前对于京东手机品牌信息的大数据分 ......
【python爬虫课程设计】天气预报——分类数据爬取+数据可视化
一、选题的背景 随着人们对天气的关注逐渐增加，天气预报数据的获取与可视化成为了当今的热门话题，天气预报我们每天都会关注，天气情况会影响到我们日常的增减衣物、出行安排等。每天的气温、相对湿度、降水量以及风向风速是关注的焦点。通过Python网络爬虫爬取天气预报让我们快速获取和分析大量的天气数据，并通过 ......
【Python高级应用课程设计】——腾讯课堂爬虫数据可视化
一、选题背景 随着互联网的快速发展，在线教育已经成为越来越多人获取知识和技能的重要途径。其中，腾讯课堂作为国内知名的在线教育平台之一，提供了丰富的课程资源和学习机会。然而，对于广大学习者来说，如何快速有效地获取和筛选这些课程信息是一个重要的问题。此外，对于教育机构和课程提供者，如何对课程数据进行深入 ......
【python爬虫课程设计】达多多抖音电商——爬虫+大数据分析可视化
一、选题背景 随着社交媒体的发展和智能手机的普及，抖音已经成为了全球最受欢迎的短视频平台之一。越来越多的用户通过抖音平台进行商品的选购和交易，使得抖音电商成为了一个热门的话题。因此，通过对抖音电商的爬虫分析，可以深入了解用户的购物偏好、热门商品和行业趋势，为电商平台和品牌商提供有价值的市场分析和营销 ......
【Python爬虫课程设计】唐诗三百首——数据爬虫+数据可视化
一、选题背景介绍 中国古代文化中的唐诗是一颗璀璨的明珠，代表了中华民族的文化底蕴和艺术成就。唐诗以其深邃的意境、优美的语言和丰富的情感打动了世人。然而，要阅读和欣赏大量的唐诗作品并非易事。为了让更多人能够了解、感受和研究唐诗，利用爬虫技术和数据可视化手段对唐诗进行数字化处理是一种创新而有意义的尝试。 ......
【python爬虫课程设计】从懂球帝爬取中超联赛知名运动员数据+数据可视化
一、选题背景： 中超联赛作为中国顶级足球赛事，吸引了广泛的关注，其球员数据包含了丰富的信息，涵盖球员技术、表现和比赛策略等方面。随着数据科学技术的不断发展，对于足球俱乐部和教练来说，充分利用这些数据进行分析和挖掘，以制定更有效的战术和管理策略变得愈发重要。选题背景重点：1. 数据驱动的足球管理：中超 ......
盾构机数据可视化监控平台 | 图扑数字孪生
图扑软件采用自研 HT for Web 产品，三维立体呈现智慧盾构机监管案例，一张图可视化界面，介绍盾构机作业流程原理。依托视图组件和 HT 丰富的二维组态与三维组态图标设计，实现了将“设备上云“后的数据动态加载效果。 ......
基于 WinCC OA 构建分布式可视化平台
WinCC OA 的全称是：SIMATIC WinCC Open Architecture，是西门子工业自动化品牌SIMATIC系列的一部分。专门针对客户定制大型和/或复杂的应用以及需要满足特定系统需求和功能的项目等。 SIMATIC WinCC OA 代表： 面向对象支持不同的工程设计和灵活的工 ......
数据可视化能够为乡镇企业作出什么样的贡献？
数据可视化是一项强大的工具，它不仅在大型企业中发挥关键作用，而且在乡镇企业中也能作出显著贡献。那么，数据可视化究竟能为乡镇企业做出什么样的贡献呢？ 首先，数据可视化为乡镇企业提供了更清晰的业务洞察。通过将庞大的数据以图表、图形的方式展现，企业领导和员工能够迅速了解业务的现状、趋势和关键绩效指标。这种 ......
是什么推动了数据可视化近几年的快速发展？
在信息时代，数据如潮水般涌入，企业和个人面临的挑战前所未有。而在这个数据的浩瀚海洋中，数据可视化如一道明亮的灯塔，引领着信息时代的航行者。近几年，数据可视化以其直观、生动的特性，迅速成为了信息表达和决策分析的重要工具。那么，是什么推动了数据可视化的快速发展呢？ 首先，是技术的不断创新推动了数据可视化 ......