拦截客户端IP并将其改写为LiteLLM服务器的IP

由于这三大模型gpt,claude,gemini限制地域使用,需要拦截客户端IP并将其改写为LiteLLM服务器的IP:

使用 Nginx/HAProxy 等前置代理,这是最通用且稳定地修改HTTP请求信息的方法。LiteLLM接收到的请求将由Nginx转发。

Nginx配置中,利用 proxy_set_header 将请求的IP设置为代理服务器的IP

location / {

    # 强制设置 X-Forwarded-For 为当前Nginx服务器的IP

    proxy_set_header X-Forwarded-For $server_addr;

    # 强制设置 X-Real-IP 为当前Nginx服务器的IP

    proxy_set_header X-Real-IP $server_addr;

 

    # 转发请求到LiteLLM

    proxy_pass http://localhost:4000;

}

作者: hqiang1984

量化自我,极简主义

发表评论

电子邮件地址不会被公开。