腾讯云问答社区抓取统计实践
最近同事请假,我帮忙支援问答社区,其中有一份统计工作比较令人苦恼,因为需要将问答的标题、地址、是否回答等信息统计为表格,然后每天通过邮件发给领导。因为没有相关工具,需要手动将当天的问题信息一个一个复制到表格中,十分浪费时间。为此,写了个小工具将任意时间段的内容统计并自动导出为excel文件,从...
抓了知乎60W个网页,发现了很有趣的东西
前言 最近在做知乎渠道的运营工作,一直抓不住用户的痛点,不知道该如何下手。为了增加粉丝及阅读数,我想到了用爬虫去抓取知乎内各话题的关注数,抓完后发现了很有意思的现象,固撰写本文分享。 爬虫分析我们先讲讲爬虫,这10w个网页我没有写代码去实现抓取,当时在上班,不想花太多时间去抓取这些内容(fl...
如何不用服务器爬取温哥华房产数据
​ 我最近从巴西的里约热内卢搬到了加拿大的温哥华。除了美丽的风景以外,当头一棒的就是当地的房租价格了。温哥华目前是全球五大最贵房租城市之一。物业的租金表明,拥有固定资产是多么的奢侈。 ​ 我决定启动一个可以挖掘当前房屋数量的爬虫项目,我希望对目前温哥华房地产市场有一个自己的结论。...