大数据时代，许多网络爬虫项目都是在进行中，因为通过数据的获取和分析，可以更好地为企业制定发展规划。若要使爬行动物不受阻碍，ip的数量就不能少。
为了获得更多的资源，在我们平时使用网络的时候，可以更安全的上网，很多情况下，HTTP代理IP都不会打开。爬行动物都知道，这是获取数据的重要途径。现在，我们来介绍下*重要的爬虫助手，即ip代理。代理商ip的主要作用就是更换我们电脑的IP，而如果一直使用单一的IP，那么爬虫就很容易被封杀。
爬虫的用户一般都知道市面上有免费的代理，普通的代理，高明的代理，那么这几个代理该怎么选择呢？
一般的匿名代理可以隐藏客户的真实IP，但是会更改我们的请求信息，而且服务器端也会认为我们使用代理。但是，使用这种代理时，尽管所访问的网站无法知道客户端的IP地址，但是仍然可以知道您正在使用代理，当然，某些能够检测IP的Web页面仍然可以查找客户端的IP。
而且高匿名代理并不改变客户端的请求，所以在服务器上看起来好像有一个真正的客户端浏览器在访问它，这时用户的真实IP被隐藏了，而服务器端并不认为我们使用代理。
假如是大型数据爬行，大家可以选择质量好、稳定性高的ip代理，毕竟是一分钱一分货，这样爬行工作才更有质量。
伴随着网络的快速发展，IP代理这一名词逐渐为人所知，而对于许多网络工作者来说，更是必不可少的工具，提高了工作效率。
尽管IP代理有很多优点，但很多人还是不太了解HTTP代理，还保留了之前的想法，认为手动切换IP也不错，其实代理IP可以让我们更加省时省力，虽然是付费的，但体验感提升不大。
当使用代理IP软件时，安全性也是使用这种代理软件必须考虑的问题之一。众所周知IP代理有三种类型，透明代理，匿名代理，高度匿名代理。利用代理IP上网就不必担心自己的上网行踪泄露，保证了上网信息的安全。但有些IP代理软件不当，很可能会导致信息和隐私的泄露。如果客户数据丢失，对于某些大公司或需要保密的用户来说，公司的信誉将会受到严重打击。每个人只要不贪图便宜，选择一些不知名的小品牌，或者是免费IP代理，我们的品易HTTP，用起来更加放心。
目前看来，每个行业都或多或少地与网络有联系。那是一个网络连接的时代。实际上，每个人对网络的依赖性和使用性比以前更强了。
不管是隐藏自己的IP还是访问受限的网站，都无法避免要联系IP代理。由于只有通过IP代理工具，才能实现这些功能，但如果希望获得IP代理的功能服务，则应该首先对IP代理有一些了解。
代理服务器会将请求转发到目标服务器上，代理服务器会加密并压缩请求包，以保证信息的安全。
由于动态ip代理的流行，我们可以充分利用爬虫技术，大量收集数据。正如已经进行过爬行的人所知，抓取工具在抓取数据时确实需要大量的动态ip资源，并且可能每天要使用数百万的IP。
因此，代理服务的ip质量和数量是非常关键的，如果代理服务不具备良好的技术条件，那么所有可能提供的ip资源都会被重复使用，严重影响使用效果。
用于反代的机器需要通过一个 HTTP 代理服务器才能连接反代的目标服务器，有什么可以经过 HTTP 代理来反代网站的工具？
反代 代理 服务器 工具14 条回复 • 2021-06-24 16:50:02 +08:00
wengych 1
wengych 2 天前 via iPhone
nginx….
wengych 2
wengych 2 天前 via iPhone
privoxy
Rocketer 3
Rocketer 2 天前 via iPhone
nginx，还能附加 ssl
est 4
est 2 天前
cloudflared （旧称 argo ） 试试
theklf4 5
theklf4 2 天前 via iPhone
@wengych
@Rocketer
nginx 文档看了很多遍，没找到使用 HTTP 代理服务器连接目标的方法
hongdaworks 6
hongdaworks 2 天前
nginx ssl 。
谷歌 Http 反向代理 Https 反向代理
NSAgold 7
NSAgold 2 天前 via Android
B 在一个需要 http 代理才能访问 A 的环境下
现在希望 C 通过直接访问 B 的反代来实现访问 A
是不是这个意思
theklf4 8
theklf4 2 天前 via iPhone
@NSAgold 是的
lx0758 9
lx0758 2 天前 via Android
fd or charles
no1xsyzy 10
no1xsyzy 2 天前
https://stackoverflow.com/q/46803431/6202760
其实你想要的东西叫做『 HTTP 代理转换成（特定目标的）透明代理』
如果该网站有 HTTPS，而你不需要解包的话甚至可以直接做「 SNI 代理」
lbp0200 11
lbp0200 2 天前
你搜一下，NGINX 配合 Tomcat
wengych 12
wengych 1 天前
我有个疑问，这种需求是不是透过 tcp 端口转发就能实现了？然后在局域网内覆盖一下 dns 记录
zanelee 13
zanelee 1 天前
就是反代理和 http 代理网络是通的,http 代理和目标网络是一个?这样直接在 http 代理上的机器做个 nginx 反代不就可以了
theklf4 14
theklf4 20 小时 58 分钟前 via iPhone
@zanelee #13 http 代理的机器我动不了，而且只连内网。
HTTP代理存在两种形式，分别简单介绍如下：
*种是 RFC 7230 – HTTP/1.1: Message Syntax and Routing(即修订后的 RFC 2616，HTTP/1.1 协议的*部分)描述的普通代理。这种代理扮演的是「中间人」角色，对于连接到它的客户端来说，它是服务端;对于要连接的服务端来说，它是客户端。它就负责在两端之间来回传送 HTTP 报文。
第二种是 Tunneling TCP based protocols through Web proxy servers(通过 Web 代理服务器用隧道方式传输基于 TCP 的协议)描述的隧道代理。它通过 HTTP 协议正文部分(Body)完成通讯，以 HTTP 的方式实现任意基于 TCP 的应用层协议代理。这种代理使用 HTTP 的 CONNECT 方法建立连接，但 CONNECT *开始并不是 RFC 2616 – HTTP/1.1 的一部分，直到 2014 年发布的 HTTP/1.1 修订版中，才增加了对 CONNECT 及隧道代理的描述，详见 RFC 7231 – HTTP/1.1: Semantics and Content。实际上这种代理早就被广泛实现。
*种代理
HTTP 客户端向代理发送请求报文，代理服务器需要正确地处理请求和连接(例如正确处理 Connection: keep-alive)，同时向服务器发送请求，并将收到的响应转发给客户端。
下面这张图片来自于《HTTP 权威指南》，直观地展示了上述行为：假如我通过代理访问 A 网站，对于 A 来说，它会把代理当做客户端，完全察觉不到真正客户端的存在，这实现了隐藏客户端 IP 的目的。当然代理也可以修改 HTTP 请求头部，通过 X-Forwarded-IP 这样的自定义头部告诉服务端真正的客户端 IP。但服务器无法验证这个自定义头部真的是由代理添加，还是客户端修改了请求头，所以从 HTTP 头部字段获取 IP 时，需要格外小心。
第二种代理
HTTP 客户端通过 CONNECT 方法请求隧道代理创建一条到达任意目的服务器和端口的 TCP 连接，并对客户端和服务器之间的后继数据进行盲转发。
假如我通过代理访问 A 网站，浏览器首先通过 CONNECT 请求，让代理创建一条到 A 网站的 TCP 连接;一旦 TCP 连接建好，代理无脑转发后续流量即可。所以这种代理，理论上适用于任意基于 TCP 的应用层协议，HTTPS 网站使用的 TLS 协议当然也可以。这也是这种代理为什么被称为隧道的原因。对于 HTTPS 来说，客户端透过代理直接跟服务端进行 TLS 握手协商密钥，所以依然是安全的。
*后，HTTP 的认证机制可以跟代理配合使用，使得必须输入正确的用户名和密码才能使用代理。