念念不忘
必有回响

CentOS 7爬梯解决方案

因为要用到k8s的若干镜像,而这些镜像都在Google的仓库无法直接pull,那么此时就需要使用科学的方法进行pull镜像。

1.  安装$hadow$ocks客户端

安装epel扩展源和pip

sudo yum -y install epel-release
sudo yum -y install python-pip

安装$hadow$ocks客户端

sudo pip install shadowsocks

配置$hadow$ocks客户端

sudo mkdir /etc/shadowsocks
sudo vi /etc/shadowsocks/shadowsocks.json

添加如下配置:

{
    "server":"10.10.10.10",
    "server_port":11211,
    "local_address": "127.0.0.1",
    "local_port":1080,
    "password":"password",
    "timeout":300,
    "method":"aes-256-cfb",
    "fast_open": false,
    "workers": 1
}

参数说明:

  • server:$hadow$ocks服务器地址
  • server_port:$hadow$ocks服务器端口
  • local_address:本地IP
  • local_port:本地端口
  • password:$hadow$ocks连接密码
  • timeout:等待超时时间
  • method:加密方式
  • workers:工作线程数
  • fast_open:true或false。开启fast_open以降低延迟,但要求Linux内核在3.7+。

开启方法:

echo 3 > /proc/sys/net/ipv4/tcp_fastopen

配置自启动

① 新建启动脚本文件/etc/systemd/system/shadowsocks.service,内容如下:

[Unit]
Description=Shadowsocks
[Service]
TimeoutStartSec=0
ExecStart=/usr/bin/sslocal -c /etc/shadowsocks/shadowsocks.json
[Install]
WantedBy=multi-user.target

② 启动$hadow$ocks客户端

systemctl enable shadowsocks.service
systemctl start shadowsocks.service
systemctl status shadowsocks.service

验证$hadow$ocks客户端是否正常运行:

curl --socks5 127.0.0.1:1080 http://httpbin.org/ip

若$hadow$ocks客户端已正常运行,则结果如下:

{
  "origin": "10.10.10.10"       #你的Shadowsock服务器IP
}

2. 安装配置Privoxy

$hadow$ocks是一个 socket5 服务,我们需要使用 Privoxy 把流量转到 http/https 上。

安装Privoxy

sudo yum -y install privoxy

启动Privoxy

systemctl enable privoxy
systemctl start privoxy
systemctl status privoxy

配置Privoxy

① 修改配置文件/etc/privoxy/config

sudo vi /etc/privoxy/config

② 确保如下内容没有被注释掉

listen-address 127.0.0.1:8118 # 8118 是默认端口,不用改
forward-socks5t / 127.0.0.1:1080 . #转发到本地端口

设置http/https代理
① 修改配置文件/etc/profile

sudo vi /etc/profile

添加如下信息:

export http_proxy=http://127.0.0.1:8118
export https_proxy=http://127.0.0.1:8118
source /etc/profile

注:端口和privoxy 中的监听端口保持一致

验证是否可用

curl www.google.com

 

赞(1) 打赏
未经允许不得转载:码农志 » CentOS 7爬梯解决方案
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏