| FazBrowse GitHub Viewer | Trending | | Home |
| Tools: [Download Repo ZIP] [Original HTTPS Page] |
| Original file line number | Diff line number | Diff line change | |
|---|---|---|---|
@@ -233,6 +233,7 @@ Selenium是一款自动化测试工具。它能实现操纵浏览器,包括字 | |||
| 233 | 233 | **爬取还有一个需要注意的问题:** | |
| 234 | 234 | ||
| 235 | 235 | * 如何监控一系列网站的更新情况,也就是说,如何进行增量式爬取? | |
| 236 | + * 对于海量数据,如何实现分布式爬取? | ||
| 236 | 237 | ||
| 237 | 238 | ## 分析 | |
| 238 | 239 | ||
@@ -248,8 +249,9 @@ Selenium是一款自动化测试工具。它能实现操纵浏览器,包括字 | |||
| 248 | 249 | ||
| 249 | 250 | **存储有两个需要注意的问题:** | |
| 250 | 251 | ||
| 251 | - * 以什么形式存储? | ||
| 252 | - * 如何进行内容去重? | ||
| 252 | + * 如何进行网页去重? | ||
| 253 | + * 内容以什么形式存储? | ||
| 254 | + | ||
| 253 | 255 | ||
| 254 | 256 | ## Scrapy | |
| 255 | 257 | ||
| Back | FazBrowse Home | New Git URL |
0 commit comments