如果通过POWER BI爬取网页信息

发布时间 2023-08-03 15:53:24作者: 米高的BI星球

问题描述:

同事想收集电商网站上面的竞品信息,再通过使用POWER BI作为分析工具,进行相关的分析。
今天过来找我询问,是否有合适的工具可以方便抓取到页面上面的竞品信息?
 

解决方案:

通过POWER BI Desktop自带功能实现抓取网页上面的信息。
优势就是出成果快。

 
再给同事讲解如何操作后,总结一下也同样分享给大家参考。
举个例子,由于本人爱喝咖啡,所以我们以咖啡产品为例,如何通过POWER BI Desktop抓取网页数据作为数据源。

1,打开一个电商站点,比如打开京东,我们搜索“咖啡”, 然后拷贝web 链接地址;

 

2,打开POWER BI Desktop软件,点击功能区【Home】->【Get data】-> 【Web】;

3, 把拷贝京东web 链接地址到 URL输入框中,然后 【OK】 确认;

4,POWER BI会自动在左侧生成建议内容,你可以分别打开每一个Table表,预览其中的内容,选择适合你的Table表。 由于生成的列很多,所以点击【Transform Data】,需要对生成的信息进行数据清洗;

5,根据生成的内容,对表头进行重命名,删除不必要的列表,补充一些信息等等;

6,清洗完毕后,点击【Close & Apply】;

最后我们就可以拿到一张数据质量不错的,各个品牌咖啡价格,名称,经销商名称,评价数量等信息。作为数据源,在Power BI Desktop设计页面就可以进行相关报告开发工作了。
 
最后总结,通过了解和学习本文介绍,大家了解Power BI包含网页抓取信息的功能。很多时候非常适合做一些小的demo测试,验证业务逻辑。 建议大家亲自做一些练习,便于增加自己的体会和吸收。
 
希望本文可以帮助到大家。