拦截客户端IP并将其改写为LiteLLM服务器的IP

由于这三大模型gpt,claude,gemini限制地域使用,需要拦截客户端IP并将其改写为LiteLLM服务器的IP:

使用 Nginx/HAProxy 等前置代理,这是最通用且稳定地修改HTTP请求信息的方法。LiteLLM接收到的请求将由Nginx转发。

Nginx配置中,利用 proxy_set_header 将请求的IP设置为代理服务器的IP

location / {

    # 强制设置 X-Forwarded-For 为当前Nginx服务器的IP

    proxy_set_header X-Forwarded-For $server_addr;

    # 强制设置 X-Real-IP 为当前Nginx服务器的IP

    proxy_set_header X-Real-IP $server_addr;

 

    # 转发请求到LiteLLM

    proxy_pass http://localhost:4000;

}

Linux终端查看pdf文件

个人偏好在linux terminal进行一系列的操作,这样可以避免分心。比如看pdf论文,这边有两种方案:

1. pdftotext

apt install poppler-utils

pdftotext draft.pdf – | less

2. 通过emacs的doc-view-mode

ap install xpdf ghostscript

emacs draft.pdf

M+x doc-view-mode

 

阿里云轻量应用服务器镜像和保留

在轻量应用服务器控制台的服务器界面,进入对应的实例,点击右上角的“制作自定义镜像“,输入“自定义镜像名称“,确定即可。

这种方法生成的镜像会随着实例的删除而自动删除,为了后续使用该镜像恢复实例,需要将该镜像复制一份到其它地区。

切换到轻量应用服务器控制台的镜像界面,找到对应的镜像,点击“更多操作”, 找到“复制镜像”。 输入“目标地域”和“自定义镜像名称“,确定即可。这样即使实例删除,该复制镜像也不会删除。

GCP和Azure收費遇坑

GCP和Azure都有給新用戶贈送費用,之前想試用一下都註冊過,後來就發現有不少坑。

Azure:贈送金額有時間限制,以至於註冊的虛擬機在時限後從信用卡上扣了幾百塊錢。另外功能複雜,跟個迷宮似的

GCP: 這個倒是注意時限,另外還限制每月的金額數。但在使用BigQuery服務查詢GDELT project,也就查詢了十幾個query,發現我信用卡扣了一百多美元,靠!沒見過這麼黑的。它的金額限制功能都沒生效,還TM無法去申訴。

這兩個雲服務廠商都棄用了,還是簡單使用API提供商得了。另外免費真是代價最高的。

 

借助google搜索爬取网站特定子页面

有时需要对某个网站子目录下的网页进行抓取页面,但事先并不知道要爬取哪些页面,可以借助google高级搜索功能和api来提取相应的页面网址,比如:搜索特定网站中的内容:输入 site:,后跟相应网站或域名。例如 [site:youtube.com 猫视频]

优化 Google 搜索范围

子域名搜集攻略来

最详细的GOOGLE搜索指令大全

Advanced google query parameters

serper playgroud

HOW TO FIND WHEN GOOGLE FIRST INDEXED A WEBSITE: THE HIDDEN ‘AS_QDR’ PARAMETER TRICK