借助google搜索爬取网站特定子页面

有时需要对某个网站子目录下的网页进行抓取页面，但事先并不知道要爬取哪些页面，可以借助google高级搜索功能和api来提取相应的页面网址，比如：搜索特定网站中的内容：输入 site:，后跟相应网站或域名。例如 [site:youtube.com 猫视频]。

优化 Google 搜索范围

子域名搜集攻略来

最详细的GOOGLE搜索指令大全

Dify知识库提供客户服务

上策：web链接

1. 在dify中 发布->运行  （需要用户和密码登入才可以访问）

2. 在dify中 发布->访问API -> 监测(左侧中) ->定制化 ，在vercel部署webapp-conversation，提供无密码访问网页

中策：dify接入钉钉和飞书

1.  将 Dify 快速接入 QQ、微信、飞书、钉钉、Telegram、Discord 等平台

下策：dify接个人微信和企业微信

1. 手把手教你把 Dify 接入微信生态  （有封号风险，使用微信小号或多注册几个企业微信号）

微信终于可以注册小号了，但这些问题你必须要提前知道

2. 使用 Dify 两分钟接入企业微信 AI 机器人  （需要企业备案的域名）

 

微信视频号文案提取

客户有一要求：需要把他关注的视频号每天都抽取出文本发送邮件。基于这样的需求我大概梳理一下思路：通过视频号获取当天发布的视频链接地址，抽取音频文件，结合ASR获取文本信息。

可以在获取视频链接地址这一步就卡住了，没想到微信对链接地址能隐藏到这个地步。虽然通过以下办法可以拿到地址，但无法自动化流程。

MacOS 微信获取视频号视频地址

微信视频号&视频提取？一键一步搞定！

res-downloader

wechatVideoDownload

微信小程序：提取王

 

Linux配置sendmail

配置参考： https://zhuanlan.zhihu.com/p/109084397

问题排查： https://blog.csdn.net/c__chao/article/details/95314428

修改端口：

vi /etc/mail/sendmail.cf

定位

#O DaemonPortOptions=Port=s,Name=MTA

修改为

O DaemonPortOptions=Port=smtp,Name=MTA 或 O DaemonPortOptions=Port=587,Name=MTA

重启服务： systemctl restart sendmail

服务器封25端口：https://help.aliyun.com/document_detail/56130.html

Nextcloud配置电子邮件服务器

环境：Nextcloud Hub 4 (26.0.3) ， outlook,  gmail

创建应用密码：

gmail

outlook

在nextcloud右上角点击–》管理设置–》管理–》基本设置，找到“电子邮件服务器“。填入outlook smtp相应的设置：

加密：无   ( 自动会启用STARTTLS)

服务器地址：smtp-mail.outlook.com  端口：587

证书：邮件名   应用密码

测试不成功

启动nextcloud日志 ： php occ log:manage –level debug  ,  查看日志: php occ log:file， tail -f /var/www/server/data/nextcloud.log ， 发现outlook不支持基础登录方式，只能使用xoauth2，被outlook恶心到了，弃用。

 

填入gmail smtp相应的设置：

加密：无   ( 自动会启用STARTTLS)

服务器地址：smtp.gmail.com  端口：587

测试通过！

 

NextJS应用访问问题

环境：NextJS, Redis, Nginx

后台日志出现： header with value `***` does not match `origin` header with value `localhost:3000` from a forwarded Server Actions request. Aborting the action.

方法一：在next.config.js文件添加下面内容

/** @type {import(‘next’).NextConfig} */
const nextConfig = {
experimental: {
serverActions: {
allowedOrigins: [“website.com”, “localhost:3000”]
}
}
}

module.exports = nextConfig

 

方法二：在nginx的配置文件default添加

proxy_pass http://127.0.0.1:3000/;
proxy_set_header x-forwarded-host <domain_name>;