下面是我自己搭建的流程使用给大家参考下，自己在用的部分功能,内容收集与互联网
为什么要部署这个代理池呢？
一般服务器都无法多次更换IP，脚本在同一个IP下运行过多，就会导致黑IP，脚本就无法正常运行，要么更换IP，要么给青龙面板配置上代理。如下图农场。
免费代理
自行注册并开通免费代理池业务以获取你的代理池接口地址
以上是这两个代理的配置图示，生成api链接待会放到容器的配置文件去
部署方法
docker run -dit \
--name auto-proxy-pool `# 容器名` \
--hostname auto-proxy-pool `# 主机名` \
--network bridge `# 容器网络类型` \
--restart always `# 开机自启` \
-p 9888:8080 `# 端口映射，"主机端口:容器端口"` \
-v /opt/auto-proxy-pool:/run/data `# 配置文件的主机挂载目录` \
--privileged=true \
mzzsfy/auto-proxy-pool:latest
注意不可以更改 : 右边的内容否则会报错，可更改默认映射端口号以此设置面板访问端口若容器启动后不能正常使用请通过 docker logs -f auto-proxy-pool 命令查看容器日志
配置方法
defaultCheckUrl: http://baidu.com/ #检验代理可用性
changeRequest:
- hostRegex: .+\.jd\.com #正则表达式
proxy: proxy
- hostRegex: .+.xxx\.com
proxy: noproxy #自定义名称里没有则不用代理
- hostRegex: (.+\.xxx\.com)|(.*xxx\.com) #匹配多个
proxy: proxy
upstream:
proxy: #自定义名字，与上面白色的proxy对应
template: '{{$x := regexFindAll "\\d{1,3}(\\.\\d{1,3}){3}:\\d{2,5}" . -1}}{{range $s := $x}}{{printf "http://%s" $s}}{{end}}'
apiUrl: #代理池提取api，http类型，换行文本\n，TXT
lifecycle: 30 #代理有效时间，依据选择的代理池套餐而定，单位是秒
maxSize: 1 #最大提取数量
requestInterval: 100ms
只需复制你代理池的api链接到apiurl后面就行了
每次修改完配置需重启容器才能生效
重启容器
docker restart auto-proxy-pool 查看日志
docker logs -f auto-proxy-pool
青龙面板使用代理池教程
JavaScript脚本局部代理
然后在你的要使用代理的js脚本顶部中加入以下代码
//js脚本开头加入这段代码
require("global-agent/bootstrap");
global.GLOBAL_AGENT.HTTP_PROXY="http://代理池docker地址:9888";
JavaScript脚本全局代理
在青龙的config.sh配置文件添加
//仅支持http代理
export GLOBAL_AGENT_HTTP_PROXY="http://代理池docker地址:9888"
//支持http和https代理
export GLOBAL_AGENT_HTTPS_PROXY="http://代理池docker地址:9888"Python脚本局部代理
proxies = {"http":"http://ip:port","https":"http://ip:port"}
requests.get(url,proxies=proxies)Python脚本全局代理
在青龙的config.sh配置文件添加
//仅支持http代理
export GLOBAL_AGENT_HTTP_PROXY="http://ip:port"
//支持http和https代理
export GLOBAL_AGENT_HTTPS_PROXY="http://ip:port"
评论