地面砂浆

[苏][洋][建][材][公][司][供][应]，挤塑板，改性聚苯板，聚苯板，保温板，保温砂浆，stp绝热保温板，和各种保温材料建材材料，

本文通过利用Python技术，手把手教你爬取房天下任意城市新房数据，让你更快洞察房地产stp绝热保温板市场变化，助你选择最佳的置业或投资的房产标的。

01

网页分析

我们以上海为例，首页URL及网页内容如下：

https://sh.new改性聚苯板house.fang.com/house/s/b91/

这是上海新盘列表，合计749个房源信息（每页20个），点击下一页，URL变为：

https://sh.newho聚苯板use.fang.com/house/s/b92/

很显然，是简单的静态网页，URL由城市参数（此处为sh）和翻页参数（此处为2）拼接而成。点进一个楼盘（如建邦国宸府），查看楼盘详情，此成都挤塑板时URL和网页内容变为：

https://sh.newhouse.fang.com/loupan/1210130400/housedetail.htm

而这些内容，才是我们真正挤塑板要抓取的目标。详情URL由城市参数（此处为sh）和房源id（此处为1210130400）拼接而成，而房源id大概率藏在首页URL网页源代码中。

那么，爬虫思路就很清晰了：遍历首页房源列表获取所有stp绝热保温板 房源id，拼接详情URL，遍历获取所有房源详情信息。

02

爬虫实战

打开Pycharm，新建一个py文件，导入爬虫相关包：

为了提高爬虫安全性，除了最基本聚苯板 的延时，本次爬虫还加了一些请求头和代理ip（网上down的，也可以购买），让程序从中随机抽取并请求网页。

定义一个get_id函数，遍历获取所有房源id，将其存放在列表idlist中：

定四川改性聚苯板义一个get_data函数，将房源id传入详情页URL中，遍历获取所有房源详情信息：

[苏][洋][建][材][公][司][供][应]，挤塑板，改性聚苯板，聚苯板，保温板，保温砂浆，stp绝热保温板，和各种保温材料建材材料，

地面砂浆