本文目录一览：
如何编写爬虫程序
个人以为应该先从一个URL入手。
将此URL内容抓至硬盘，
再启动线程分析此URL内连接，
遍历此连接，分别抓到硬盘
再用线程对硬盘上文件分别分析URL，看到新的就抓。
可能是这样吧。
Python爬虫程序要用到哪些知识和技术
1.对网页结构需要有一个基本的了解和认知。
我们平时上网浏览网页，信息展现在浏览器里面的页面中，但我们用爬虫要抓取的信息是放在网页源代码里面的。(图1为我们看到的页面,图2
为页面对应的网页源代码)
在浏览器中使用快捷键F12来调出该界面，这个界面称为开发者模式
2.知道如何去找到我们需要的信息在网页源代码的那个位置。
一般来说信息可能直接存在于网页的html页面中，但是有一些动态加载的信息可能存在于js页面中。有一些网站，它的数据价值比较高，总会有竞争对手去抓取它的数据，所以它就会有比较厉害的反抓取措施，一般新手很难应付这种反抓取措施。一般的静态网页要求你对浏览器的开发者模式很熟悉，能够利用这个工具去定位自己需要的信息在网页源代码中的那个位置，网上有相关教程，搜一下就能找到，更复杂的动态网页，就需要你对动态加载的网页有点研究才行。这些知识点和技能，都是需要自己动手去尝试才能学会的。
3.知道用什么python程序库去完成网页源代码的下载，解析，数据提取，存储。
python是一门很简单的编程语言，一方面是因为python的语法简洁，另一方面是因为在python社区，已经有很多很多的人为我们贡献了很多很多开源的程序库，我们在编写程序的时候，直接调用这些程序库，就能够省下很多很多工作量。
如何利用python写爬虫程序？
利用python写爬虫程序的方法：
1、先分析网站内容，红色部分即是网站文章内容div。
2、随便打开一个div来看，可以看到，蓝色部分除了一个文章标题以外没有什么有用的信息，而注意红色部分我勾画出的地方，可以知道，它是指向文章的地址的超链接，那么爬虫只要捕捉到这个地址就可以了。
3、接下来在一个问题就是翻页问题，可以看到，这和大多数网站不同，底部没有页数标签，而是查看更多。
4、不过在查看源文件时有一个超链接，经测试它指向下一页，那么通过改变其最后的数值，就可以定位到相应的页数上。
代码如下：