实现功能
这个项目是爬取某个城市所有类别的高德 POI 数据,并写进 sqlite 数据库。
会用到你自己的高德 API key。而且目前(2019 年 5 月)高德免费 API key 的配额是每天调用量为 2000(意思就是一个 key 只能访问 2000 个页面,一个页面可能 20 条数据),所以注意一天不要爬取太多。
用这个代码爬取的武汉市的 POI 数据有 41w 条,还是比较多的了。可能一个中等城市爬个小半天左右吧。
【注】 key 要是 Web 服务的。
依赖环境
使用的是 Python 3.7。
无需额外的第三方库。
使用方法
step1. 修改 start.py 中的【自己设置区域】的三个变量 citycode(城市代码), keypoolFile(key 池的文件),database(数据库的文件名,默认为 poi.sqlite)。
step2. 修改 keypool.txt 文件中的 API key(每个 key 占一行)。
step2. Run start.py。
【如何知道想要爬取的城市的citycode】
打开当前文件夹中的 city.json 文件,搜索你所想爬取的文件名,对应的 citycode 就能看到。
比如说 {"city":"北京市","adcode":"110000","citycode":"010"} 北京市的 citycode,就是 010。
文件说明
包含三个文件。
GaodeCrawler├── LICENSE
├── README.md
├── assets
│ ├── 1558873768062.png
│ └── 1558875092443.png
├── city.json
├── keypool.txt
└── start.py
1 directory, 7 files
评论