接触到了一下python 的爬虫项目,简单介绍一下关于代理ip的知识
代理,我们这里指互联网上的代理。谈到代理,多半会牵涉到代理服务器(proxy server),通俗点讲,就是替代用户取取得网络信息,进而实现隐藏用户ip的作用。
代理功能
1.突破自身IP访问限制,访问国外站点。教育网、169网等网络用户可以通过代理访问国外网站。
2.访问一些单位或团体内部资源,如某大学FTP(前提是该代理地址在该资源 的允许访问范围之内),使用教育网内地址段免费代理服务器,就可以用于对教育网开放的各类FTP下载上传,以及各类资料查询共享等服务。
3.突破中国电信的IP封锁:中国电信用户有很多网站是被限制访问的,这种限制是人为的,不同Serve对地址的封锁是不同的。所以不能访问时可以换一个国 外的代理服务器试试。
4.提高访问速度:通常代理服务器都设置一个较大的硬盘缓冲区,当有外界的信息通过时,同时也将其保存到缓冲区中,当其他用户再访问相同的信息时, 则直接由缓冲区中取出信息,传给用户,以提高访问速度。
5.隐藏真实IP:上网者也可以通过这种方法隐藏自己的IP,免受攻击。
代理也多半用于局域网内的访问,例如各大高校均设有代理服务为老师、学术提供校园网学术支持。
这里,我们只是在技术层面了解代理IP的分类以及如何使用。
代理ip按照代理程度
透明代理IP、匿名代理IP、高匿名代理IP。
透明代理:
使用透明代理,对方服务器可以知道你使用了代理,并且也知道你的真实IP。透明代理还是将你的真实IP发送给了对方服务器,因此无法达到隐藏身份的目的。
匿名代理
使用匿名代理,对方服务器可以知道你使用了代理,但不知道你的真实IP。匿名代理隐藏了你的真实IP,但是向访问对象透露了你是使用代理服务器访问他们的。
高匿名代理
使用高匿名代理,对方服务器不知道你使用了代理,也不知道你的真实IP。
可想而知,高匿名代理是最有优势、但成本较高的一种。因此,在进行网络爬虫时,若多次被封锁ip,则考录使用高匿名代理。
