由于这三大模型gpt,claude,gemini限制地域使用,需要拦截客户端IP并将其改写为LiteLLM服务器的IP:
使用 Nginx/HAProxy 等前置代理,这是最通用且稳定地修改HTTP请求信息的方法。LiteLLM接收到的请求将由Nginx转发。
在Nginx配置中,利用 proxy_set_header 将请求的IP设置为代理服务器的IP。
location / {
# 强制设置 X-Forwarded-For 为当前Nginx服务器的IP
proxy_set_header X-Forwarded-For $server_addr;
# 强制设置 X-Real-IP 为当前Nginx服务器的IP
proxy_set_header X-Real-IP $server_addr;
# 转发请求到LiteLLM
proxy_pass http://localhost:4000;
}