526互联

【Python数据爬取课程设计】数据爬取—京东手机品牌信息数据爬取和数据分析与可视化

发布时间 2023-12-30 16:53:06作者: sssszs

一、选题的背景

　　随着互联网的快速发展，大数据已经成为各行各业决策的重要依据。在电商领域，京东作为国内领先的电商平台，积累了大量的用户购买数据。这些数据中蕴含着丰富的品牌信息，对于手机品牌来说，分析这些数据可以帮助他们更好地了解市场趋势、消费者需求以及竞品情况。然而，目前对于京东手机品牌信息的大数据分析还存在一些问题。首先，数据量庞大，处理难度较高，需要借助先进的大数据处理技术进行分析。其次，数据来源众多，不同来源的数据之间存在差异，需要进行数据清洗和整合。此外，现有的数据分析方法大多基于简单的统计和描述性分析，缺乏深入的挖掘和可视化展示，难以满足决策者对于数据洞察的需求。因此，本文旨在通过对京东手机品牌信息的大数据分析，利用数据挖掘和可视化技术，深入挖掘市场趋势、消费者需求以及竞品情况，为手机品牌的市场营销和战略决策提供有力支持。通过本次研究，我们希望能够解决上述问题，为手机品牌提供更加全面、深入的数据分析服务，帮助他们更好地了解市场和消费者，制定更加精准的市场营销策略，提高品牌竞争力和市场份额。同时，本研究也为其他电商平台和行业提供了一个参考案例，有助于推动大数据在电商领域的应用和发展。

二、大数据分析设计方案

1.数据集来源：https://search.jd.com

2.实现思路：

（1）数据爬取

　　首先，我们需要从京东平台上采集手机品牌的相关数据。可以通过网络爬虫或API接口等方式获取数据。为了保证数据的完整性和准确性，需要设置合理的爬虫策略，并处理可能出现的反爬机制。

（2）数据清洗与整合

　　采集到的原始数据可能存在格式不统一、缺失值、异常值等问题，需要进行数据清洗和整合。清洗过程中需要处理缺失值、异常值，并对数据进行标准化处理。此外，还需要将不同来源的数据进行整合，形成一个统一的数据集。

（3）数据分析

　　在数据清洗和整合的基础上，我们进行深入的数据分析。首先，可以通过描述性统计方法对手机品牌的基本情况进行统计分析，如品牌数量、市场份额等。其次，利用关联规则挖掘、聚类分析等数据挖掘方法对品牌之间的关联和分类进行分析。此外，还可以结合时间序列分析方法，对市场趋势进行预测。为了更加直观地展示数据分析结果，我们可以借助数据可视化技术将结果进行可视化展示。可以使用Python中的Matplotlib、Seaborn等可视化库进行图表绘制，如饼图、柱状图、散点图等。同时，可以利用数据可视化工具进行交互式的数据展示，提高可视化效果的可读性和易用性。

3.技术难点：

（1）数据获取

　　在数据获取阶段，需要从京东平台爬取手机品牌的相关数据。由于京东的反爬机制较为严格，可能会遇到诸如IP被封、需要登录等挑战。此外，如何有效地从网页中提取所需的数据也是一大难点。

（2）数据清洗与整合

　　原始数据可能存在缺失值、异常值等问题，需要进行数据清洗和整合。对于缺失值，需要根据业务实际情况进行处理，如填充缺失值、删除含有缺失值的记录等。对于异常值，需要结合业务逻辑和数据分布情况进行分析和处理。此外，如何将不同来源的数据进行有效整合也是一大难点。

（3）数据分析与可视化

　　在数据分析阶段，需要利用合适的分析方法对数据进行深入挖掘。这需要具备一定的数据挖掘和统计学知识，选择合适的方法对数据进行处理和分析。在可视化阶段，如何将数据分析结果以直观、易懂的方式展示出来是一大难点。此外，如何选择合适的可视化工具和图表类型也是需要考虑的问题。

三、数据分析步骤

（1）数据api接口获取

　　 获取京东手机品牌信息数据api接口并保存为“京东手机.csv”文件

def save_data(data_list):
    global lock
    lock.acquire()
    try:
        with open("京东手机.csv", "a+", encoding='utf-8-sig', newline='') as csvfile:
            writer = csv.writer(csvfile)
            # 以读的方式打开csv 用csv.reader方式判断是否存在标题。
            with open("京东手机.csv", "r", encoding='utf8', newline='') as f:
                reader = csv.reader(f)
                if not [row for row in reader]:
                    # 先写入每一列的标题
                    writer.writerow(
                        ["商品编号", "商品标题", "价格", "品牌", "商品名称", "商品毛重",
                         "商品产地", "CPU型号", "运行内存", "机身颜色", "三防标准", "屏幕分辨率", "充电功率",
                         "机身色系", "屏幕材质", "后摄主像素", '机身内存',"风格", "店铺名称",'商品图片',
                         "详情链接"])
                    # 再写入每一列的内容
                    writer.writerows([data_list])
                    csvfile.flush()
                else:
                    writer.writerows([data_list])
                    csvfile.flush()
    finally:
        lock.release()

def get_index(url):
    print(f'抓取  {url}')
    response = requests.get(url,headers).text  # 调用请求数据方法
    soup = BeautifulSoup(response, 'lxml')  # 实例化BeautifulSoup对象
    J_goodsList = soup.find('div', id='J_goodsList').find_all('li')  # 匹配商品信息
    for j_good in J_goodsList:  # 循环遍历
        try:
            sku_id = j_good['data-sku'] + '\t'  # 商品编号
            ad_title = j_good.find('div', class_='p-name').find('em').text.replace('<font class="skcolor_ljg">',
                                                                                 '').replace('</font>', '').replace(
                '\n', '')  # 商品标题
            pc_price = j_good.find('div', class_='p-price').find('i').text  # 商品价格
            shop_name = j_good.find('div', class_='p-shop').find('a')['title']  # 商家名称
            p_img = 'https:' + j_good.find('div', class_='p-img').find('img')['data-lazy-img']  # 商品图片
            link_url = 'https:' + j_good.find('a')['href']  # 商品链接

            print(sku_id, ad_title, pc_price, shop_name, link_url)
            pinpai, shangpinmincheng, shangpinmaozhong,shangpinchandi, CPUxinghao, yunxingneicun,jishenyanse, sanfangbiaozhun, pingmufenbianlv, chongdiangoglv, jishensexi, pingmucaizhi, houshezhuxiangsu, jisheneicun, fenge = get_detail_info(link_url)
            data_list = [sku_id, ad_title, pc_price,pinpai, shangpinmincheng, shangpinmaozhong,shangpinchandi, CPUxinghao, yunxingneicun,jishenyanse, sanfangbiaozhun, pingmufenbianlv, chongdiangoglv, jishensexi, pingmucaizhi, houshezhuxiangsu, jisheneicun, fenge, shop_name,p_img, link_url]
            #print(data_list)
            save_data(data_list)
            time.sleep(random.random() + 5)
        except:
            continue

　　

　　结果：

　　

　　

　　

（2）数据清洗与整合

　　1、导入数据集

1 import pandas as pd
2 import os
3 
4 # 读取csv文件
5 file_path = r"京东手机.csv"
6 df = pd.read_csv(file_path)

　　

　　2、删除重复行

　　 1 pd.drop_duplicates(df.duplicated()) 

　　

　　3、将编号改为字符类型

　　 1 df["商品编号"] = df["商品编号"].astype("str") 

　　

　　4、填充缺失值

 　　1 df["机身内存"].fillna("未知", inplace = True) 

 

　　5、将清洗后的数据整合并保存至“京东手机_清洗后.csv”文件

　　

　　

 

（3）数据可视化分析

1、折线图 - 京东售卖手机屏幕材质分布
 1 # 1、折线图 - 京东售卖手机屏幕材质分布
 2         df = data['屏幕材质'].value_counts()
 3         x = df.index
 4         y = df.values
 5         # 设置画布的尺寸
 6         plt.figure(figsize=(12, 10))
 7         # 创建折线图
 8         plt.plot(x, y)
 9         # 添加标题
10         plt.title('京东售卖手机屏幕材质分布')
11         # 设置横坐标字体倾斜
12         plt.xticks(rotation=-80)
13         # 图上显示数字
14         for i in range(len(x)):
15             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
16         plt.ylabel('数量')
17         plt.show()

　　结果：

　　

　　由此折线图可以看出，大多数手机都采取直屏的材质分布。

 

　　2、条形图 - 出售手机排名前十的店铺分布
　　
 1   # 2、条形图 - 出售手机排名前十的店铺分布
 2         df = data['店铺名称'].value_counts().sort_values(ascending=False)[:10]
 3         x = df.index
 4         y = df.values
 5         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
 6         # 创建条形图
 7         plt.bar(x, y)
 8         # 添加标题
 9         plt.title('出售手机排名前十的店铺')
10         # 设置横坐标字体倾斜
11         plt.xticks(rotation=-80)
12         # 图上显示数字
13         for i in range(len(x)):
14             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
15         plt.ylabel('数量')
16         plt.show()

 

　　结果：

　　

 

　　由此条形图可以通过对销量较好的店铺作为参考，发现哪些商品最受消费者欢迎，从而为手机品牌和商家提供有价值的参考信息，帮助他们更好地制定产品策略。

 

　　

3、饼图 - 手机机身内存占比
1 # 3、饼图 - 手机机身内存占比
2         memory = data['机身内存'].value_counts()
3         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
4         plt.pie(memory.values.tolist(), labels=memory.index.tolist(), autopct='%1.1f%%', shadow=True, startangle=140)
5         # 添加标题
6         plt.title('手机机身内存占比')
7         plt.show()

　　结果：

　　

 

　　

4、箱线图 - CPU型号箱线图
1 # 4、箱线图 - CPU型号箱线图
2         memory = data['CPU型号'].value_counts()
3         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
4         plt.boxplot(memory.values.tolist())
5         # 添加标题
6         plt.title('CPU型号箱线图')
7         plt.ylabel('数量')
8         plt.show()

　　结果：

　　

　　

5、饼图 - 手机屏幕分辨率占比
1 # 5、饼图 - 手机屏幕分辨率占比
2         memory = data['屏幕分辨率'].value_counts()
3         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
4         plt.pie(memory.values.tolist(), labels=memory.index.tolist(), autopct='%1.1f%%', shadow=True, startangle=140)
5         # 添加标题
6         plt.title('手机屏幕分辨率占比')
7         plt.show()

　　结果:　

　　

　　

　　6、散点图-充电功率散点
1  # 6、散点图-充电功率散点
2         df = data['充电功率'].value_counts()
3         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
4         plt.scatter(df.index, df.values, s=10)
5         plt.title('充电功率散点')
6         plt.ylabel('数量')
7         plt.show()

　　结果：

　　

　　

　　7、饼图 - 手机价格占比
　　
 1 # 7、饼图 - 手机价格占比
 2         money_list = data['价格']
 3         current_list = []
 4         for money in money_list:
 5             money = int(money)
 6             if money < 1000:
 7                 current_list.append('1000元以下')
 8             elif money >= 1000 and money < 2000:
 9                 current_list.append('1000-2000元')
10             elif money >= 2000 and money < 3000:
11                 current_list.append('2000-3000元')
12             elif money >= 3000 and money < 4500:
13                 current_list.append('3000-4500元')
14             elif money >= 4500 and money < 6000:
15                 current_list.append('4500-6000元')
16             elif money >= 6000 and money < 7500:
17                 current_list.append('6000-7500元')
18             elif money >= 7500 and money < 9000:
19                 current_list.append('7500-9000元')
20             else:
21                 current_list.append('10000元以上')
22 
23         money_list = pd.DataFrame(current_list, columns=['价格'])
24         money_list = money_list['价格'].value_counts()
25         l1 = money_list.index.tolist()
26         l2 = money_list.values.tolist()
27         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
28         plt.pie(l2, labels=l1, autopct='%1.1f%%', shadow=True, startangle=140)
29         # 添加标题
30         plt.title('手机价格占比')
31         plt.show()

　　结果：

　　

　　

8、条形图 - 排名前十的品牌分布
 1 df = data['品牌'].value_counts().sort_values(ascending=False)[:10]
 2         x = df.index
 3         y = df.values
 4         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
 5         # 创建条形图
 6         plt.bar(x, y)
 7         # 添加标题
 8         plt.title('排名前十的品牌分布')
 9         # 设置横坐标字体倾斜
10         plt.xticks(rotation=-80)
11         # 图上显示数字
12         for i in range(len(x)):
13             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
14         plt.ylabel('数量')
15         plt.show()

　　结果：

　　

 　　

　　
　　9、折线图 - 三防标准分布
　　
 1 # 9、折线图 - 三防标准分布
 2         df = data['三防标准'].value_counts()
 3         x = df.index
 4         y = df.values
 5         # 设置画布的尺寸
 6         plt.figure(figsize=(12, 10))
 7         # 创建折线图
 8         plt.plot(x, y)
 9         # 添加标题
10         plt.title('三防标准分布')
11         # 设置横坐标字体倾斜
12         plt.xticks(rotation=-80)
13         # 图上显示数字
14         for i in range(len(x)):
15             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
16         plt.ylabel('数量')
17         plt.show()

　　结果：

　　

 

　　10、词云-手机风格词云

　

 1 #10、词云-手机风格词云
 2         words_= []   #创建列表，用来装风格列数据
 3         for word in data['风格'].values.tolist():
 4             for w in str(word).split('，'):
 5                 if w!='nan':
 6                     if '未上市' not in w:
 7                         words_.append(w)
 8 
 9         df = pd.DataFrame(words_).value_counts()   #统计
10         # 创建词频字典
11         word_list = []
12         for x in df.index.tolist():
13             word_list.append(x[0])
14         word_freq = dict(zip(word_list,df.values.tolist()))
15         wordcloud = WordCloud(font_path="simfang.ttf",background_color='white', height=400, width=800,  scale=20, prefer_horizontal=0.9999).generate_from_frequencies(word_freq)
16         plt.imshow(wordcloud, interpolation="bilinear")
17         plt.title('京东售卖手机风格词云图')
18         plt.axis("off")
19         plt.show()

 　　结果：

 　　

（4）完整代码

　　

  1 #获取商品手机api
  2 import csv
  3 import random
  4 import threading
  5 import time
  6 import requests
  7 from bs4 import BeautifulSoup
  8 from concurrent.futures import ThreadPoolExecutor
  9 
 10 #需要添加cookie
 11 headers = {
 12     'Origin': 'https://search.jd.com',
 13     'Referer': 'https://search.jd.com/',
 14     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36',
 15     'X-Referer-Page': 'https://search.jd.com/Search',
 16     'Cookie':''
 17 }
 18 
 19 lock = threading.Lock()
 20 def save_data(data_list):
 21     global lock
 22     lock.acquire()
 23     try:
 24         with open("京东手机.csv", "a+", encoding='utf-8-sig', newline='') as csvfile:
 25             writer = csv.writer(csvfile)
 26             # 以读的方式打开csv 用csv.reader方式判断是否存在标题。
 27             with open("京东手机.csv", "r", encoding='utf8', newline='') as f:
 28                 reader = csv.reader(f)
 29                 if not [row for row in reader]:
 30                     # 先写入每一列的标题
 31                     writer.writerow(
 32                         ["商品编号", "商品标题", "价格", "品牌", "商品名称", "商品毛重",
 33                          "商品产地", "CPU型号", "运行内存", "机身颜色", "三防标准", "屏幕分辨率", "充电功率",
 34                          "机身色系", "屏幕材质", "后摄主像素", '机身内存',"风格", "店铺名称",'商品图片',
 35                          "详情链接"])
 36                     # 再写入每一列的内容
 37                     writer.writerows([data_list])
 38                     csvfile.flush()
 39                 else:
 40                     writer.writerows([data_list])
 41                     csvfile.flush()
 42     finally:
 43         lock.release()
 44 
 45 def get_index(url):
 46     print(f'抓取  {url}')
 47     response = requests.get(url,headers).text  # 调用请求数据方法
 48     soup = BeautifulSoup(response, 'lxml')  # 实例化BeautifulSoup对象
 49     J_goodsList = soup.find('div', id='J_goodsList').find_all('li')  # 匹配商品信息
 50     for j_good in J_goodsList:  # 循环遍历
 51         try:
 52             sku_id = j_good['data-sku'] + '\t'  # 商品编号
 53             ad_title = j_good.find('div', class_='p-name').find('em').text.replace('<font class="skcolor_ljg">',
 54                                                                                  '').replace('</font>', '').replace(
 55                 '\n', '')  # 商品标题
 56             pc_price = j_good.find('div', class_='p-price').find('i').text  # 商品价格
 57             shop_name = j_good.find('div', class_='p-shop').find('a')['title']  # 商家名称
 58             p_img = 'https:' + j_good.find('div', class_='p-img').find('img')['data-lazy-img']  # 商品图片
 59             link_url = 'https:' + j_good.find('a')['href']  # 商品链接
 60 
 61             print(sku_id, ad_title, pc_price, shop_name, link_url)
 62             pinpai, shangpinmincheng, shangpinmaozhong,shangpinchandi, CPUxinghao, yunxingneicun,jishenyanse, sanfangbiaozhun, pingmufenbianlv, chongdiangoglv, jishensexi, pingmucaizhi, houshezhuxiangsu, jisheneicun, fenge = get_detail_info(link_url)
 63             data_list = [sku_id, ad_title, pc_price,pinpai, shangpinmincheng, shangpinmaozhong,shangpinchandi, CPUxinghao, yunxingneicun,jishenyanse, sanfangbiaozhun, pingmufenbianlv, chongdiangoglv, jishensexi, pingmucaizhi, houshezhuxiangsu, jisheneicun, fenge, shop_name,p_img, link_url]
 64             #print(data_list)
 65             save_data(data_list)
 66             time.sleep(random.random() + 5)
 67         except:
 68             continue
 69 
 70 def get_detail_info(url):
 71     detail_html = requests.get(url, headers=headers).text  # 通过链接向服务器发送请求
 72     soup = BeautifulSoup(detail_html, 'lxml')  # 实例化BeautifulSoup对象
 73     p_parameter = soup.find('div', class_='p-parameter').find_all(
 74         'li')  # 查找标签为div，class为p-parameter的节点，并查找该节点下所有标签为li的节点
 75     pinpai, shangpinmincheng, shangpinmaozhong,shangpinchandi, CPUxinghao, yunxingneicun,jishenyanse, sanfangbiaozhun, pingmufenbianlv, chongdiangoglv, jishensexi, pingmucaizhi, houshezhuxiangsu, jisheneicun, fenge = '', '', '', '', '', '', '', '', '', '', '', '', '', '', ''
 76     for parameter in p_parameter:  # 循环遍历获取节点信息
 77         item = parameter.text.split('：')  # 获取文本内容
 78         #print(item)
 79         if '品牌' == item[0]:
 80             pinpai = str(item[1]).replace('\n', '')
 81         elif '商品名称' == item[0]:
 82             shangpinmincheng = item[1]
 83         elif '商品毛重' == item[0]:
 84             shangpinmaozhong = item[1]
 85         elif '商品产地' == item[0]:
 86             shangpinchandi = item[1]
 87         elif 'CPU型号' == item[0]:
 88             CPUxinghao = item[1]
 89         elif '运行内存' == item[0]:
 90             yunxingneicun = item[1]
 91         elif '机身颜色' == item[0]:
 92             jishenyanse = item[1]
 93         elif '三防标准' == item[0]:
 94             sanfangbiaozhun = item[1]
 95         elif '屏幕分辨率' == item[0]:
 96             pingmufenbianlv = item[1]
 97         elif '充电功率' == item[0]:
 98             chongdiangoglv = item[1]
 99         elif '机身色系' == item[0]:
100             jishensexi = item[1]
101         elif '屏幕材质' == item[0]:
102             pingmucaizhi = item[1]
103         elif '后摄主像素' == item[0]:
104             houshezhuxiangsu = item[1]
105         elif '机身内存' == item[0] :
106             jisheneicun = item[1]
107         elif '风格' == item[0]:
108             fenge = item[1]
109 
110     return pinpai, shangpinmincheng, shangpinmaozhong,shangpinchandi, CPUxinghao, yunxingneicun,jishenyanse, sanfangbiaozhun, pingmufenbianlv, chongdiangoglv, jishensexi, pingmucaizhi, houshezhuxiangsu, jisheneicun, fenge
111 
112 
113 if __name__ == '__main__':
114     phone_keyword_list = ['华为手机','荣耀手机','小米手机','vivo手机','三星手机','苹果手机','努比亚手机','中兴手机','联想手机','红米手机','诺基亚手机','索尼手机','菲利普手机']
115     '''for keyword in phone_keyword_list:
116         for pn in range(1,101):
117             try:
118                 get_index(keyword,pn)
119                 time.sleep(random.random()+5)
120             except:
121                 break'''
122     url_list = []
123     for keyword in phone_keyword_list:
124         for pn in range(1, 101):
125             url = f'https://search.jd.com/Search?keyword={keyword}&page={pn}'
126             url_list.append(url)
127 
128     with ThreadPoolExecutor(max_workers=3) as executor:
129         for url in url_list:
130             executor.submit(get_index, url)


131 #数据清洗
132 import pandas as pd
133 import os
134 
135 # 读取csv文件
136 file_path = r"京东手机.csv"
137 df = pd.read_csv(file_path)
138 
139 # 删除重复行
140 pd.drop_duplicates(df.duplicated())
141 # 将编号改为字符类型
142 df["商品编号"] = df["商品编号"].astype("str")
143 # 填充缺失值
144 df["机身内存"].fillna("未知", inplace = True)


145 #数据可视化分析
146 import os
147 import pandas as pd
148 import matplotlib.pyplot as plt
149 from wordcloud import WordCloud
150 plt.rcParams['font.family'] = 'Microsoft YaHei'   #设置字体
151 
152 def visual_analytics():
153     file = f'京东手机_清洗后.csv'
154     if not os.path.exists(file):   #判断文件是否存在
155         print(f'{file}文件不存在')
156     else:
157         file = f'京东手机_清洗后.csv'
158         data = pd.read_csv(file, encoding='utf-8')  # 读取csv文件
159 
160         # 1、折线图 - 京东售卖手机屏幕材质分布
161         df = data['屏幕材质'].value_counts()
162         x = df.index
163         y = df.values
164         # 设置画布的尺寸
165         plt.figure(figsize=(12, 10))
166         # 创建折线图
167         plt.plot(x, y)
168         # 添加标题
169         plt.title('京东售卖手机屏幕材质分布')
170         # 设置横坐标字体倾斜
171         plt.xticks(rotation=-80)
172         # 图上显示数字
173         for i in range(len(x)):
174             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
175         plt.ylabel('数量')
176         plt.show()
177 
178         # 2、条形图 - 出售手机排名前十的店铺分布
179         df = data['店铺名称'].value_counts().sort_values(ascending=False)[:10]
180         x = df.index
181         y = df.values
182         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
183         # 创建条形图
184         plt.bar(x, y)
185         # 添加标题
186         plt.title('出售手机排名前十的店铺')
187         # 设置横坐标字体倾斜
188         plt.xticks(rotation=-80)
189         # 图上显示数字
190         for i in range(len(x)):
191             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
192         plt.ylabel('数量')
193         plt.show()
194 
195         # 3、饼图 - 手机机身内存占比
196         memory = data['机身内存'].value_counts()
197         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
198         plt.pie(memory.values.tolist(), labels=memory.index.tolist(), autopct='%1.1f%%', shadow=True, startangle=140)
199         # 添加标题
200         plt.title('手机机身内存占比')
201         plt.show()
202 
203         # 4、箱线图 - CPU型号箱线图
204         memory = data['CPU型号'].value_counts()
205         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
206         plt.boxplot(memory.values.tolist())
207         # 添加标题
208         plt.title('CPU型号箱线图')
209         plt.ylabel('数量')
210         plt.show()
211 
212         # 5、饼图 - 手机屏幕分辨率占比
213         memory = data['屏幕分辨率'].value_counts()
214         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
215         plt.pie(memory.values.tolist(), labels=memory.index.tolist(), autopct='%1.1f%%', shadow=True, startangle=140)
216         # 添加标题
217         plt.title('手机屏幕分辨率占比')
218         plt.show()
219 
220         # 6、散点图-充电功率散点
221         df = data['充电功率'].value_counts()
222         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
223         plt.scatter(df.index, df.values, s=10)
224         plt.title('充电功率散点')
225         plt.ylabel('数量')
226         plt.show()
227 
228         # 7、饼图 - 手机价格占比
229         money_list = data['价格']
230         current_list = []
231         for money in money_list:
232             money = int(money)
233             if money < 1000:
234                 current_list.append('1000元以下')
235             elif money >= 1000 and money < 2000:
236                 current_list.append('1000-2000元')
237             elif money >= 2000 and money < 3000:
238                 current_list.append('2000-3000元')
239             elif money >= 3000 and money < 4500:
240                 current_list.append('3000-4500元')
241             elif money >= 4500 and money < 6000:
242                 current_list.append('4500-6000元')
243             elif money >= 6000 and money < 7500:
244                 current_list.append('6000-7500元')
245             elif money >= 7500 and money < 9000:
246                 current_list.append('7500-9000元')
247             else:
248                 current_list.append('10000元以上')
249 
250         money_list = pd.DataFrame(current_list, columns=['价格'])
251         money_list = money_list['价格'].value_counts()
252         l1 = money_list.index.tolist()
253         l2 = money_list.values.tolist()
254         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
255         plt.pie(l2, labels=l1, autopct='%1.1f%%', shadow=True, startangle=140)
256         # 添加标题
257         plt.title('手机价格占比')
258         plt.show()
259 
260         # 8、条形图 - 排名前十的品牌分布
261         df = data['品牌'].value_counts().sort_values(ascending=False)[:10]
262         x = df.index
263         y = df.values
264         plt.figure(figsize=(12, 10))  # 设置画布的尺寸
265         # 创建条形图
266         plt.bar(x, y)
267         # 添加标题
268         plt.title('排名前十的品牌分布')
269         # 设置横坐标字体倾斜
270         plt.xticks(rotation=-80)
271         # 图上显示数字
272         for i in range(len(x)):
273             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
274         plt.ylabel('数量')
275         plt.show()
276 
277         # 9、折线图 - 三防标准分布
278         df = data['三防标准'].value_counts()
279         x = df.index
280         y = df.values
281         # 设置画布的尺寸
282         plt.figure(figsize=(12, 10))
283         # 创建折线图
284         plt.plot(x, y)
285         # 添加标题
286         plt.title('三防标准分布')
287         # 设置横坐标字体倾斜
288         plt.xticks(rotation=-80)
289         # 图上显示数字
290         for i in range(len(x)):
291             plt.text(x[i], y[i], y[i], ha='center', va='bottom')
292         plt.ylabel('数量')
293         plt.show()
294 
295         #10、词云-手机风格词云
296         words_= []   #创建列表，用来装风格列数据
297         for word in data['风格'].values.tolist():
298             for w in str(word).split('，'):
299                 if w!='nan':
300                     if '未上市' not in w:
301                         words_.append(w)
302 
303         df = pd.DataFrame(words_).value_counts()   #统计
304         # 创建词频字典
305         word_list = []
306         for x in df.index.tolist():
307             word_list.append(x[0])
308         word_freq = dict(zip(word_list,df.values.tolist()))
309         wordcloud = WordCloud(font_path="simfang.ttf",background_color='white', height=400, width=800,  scale=20, prefer_horizontal=0.9999).generate_from_frequencies(word_freq)
310         plt.imshow(wordcloud, interpolation="bilinear")
311         plt.title('京东售卖手机风格词云图')
312         plt.axis("off")
313         plt.show()
314 
315 if __name__ == '__main__':
316     visual_analytics()

 

 

四、总结

　　通过这次项目，我成功地利用Python对京东手机品牌信息进行了数据爬取、分析和可视化。在数据爬取阶段，我积累了丰富的爬虫经验，掌握了如何处理反爬机制和获取所需数据的方法。在数据分析阶段，我深入挖掘了手机品牌的市场趋势和消费者需求，为手机品牌提供了有价值的参考信息。在数据可视化阶段，我学会了如何将数据分析结果以直观、易懂的方式展示出来，提高了可视化的效果和易用性。综上所述，Python在京东手机品牌信息的数据爬取、分析和可视化方面具有很大的优势。通过这次项目，我不仅掌握了相关的技术和方法，还积累了丰富的实践经验。未来，我将继续学习和探索相关技术，不断提高自己的数据处理和分析能力，为手机品牌和消费者提供更加准确和有价值的信息。