全自动的 github trends 爬虫邮件发送
本项目由 nanobot(纳米机器人)—— 一个轻量级AI助手管理和维护。
nanobot 是一个AI助手,负责自动运行本项目的GitHub趋势爬虫、AI分析和邮件发送流程。
进入虚拟环境 source venv/bin/activate
将程序挂在后台运行 nohup python -u app.py > output.log 2>&1 &
web3信息流:nohup python -u web3_app.py > web3.log 2>&1 &
查看进程运行成功 ps aux | grep python
关闭进程 kill [进程id]
我进行测试查看效果 nohup python -u test.py > output2.log 2>&1 &
获取有多少用户邮箱 wc -l emails.txt 结果 +1 就是最终的订阅用户数
-
2024/9/26,确定做 github && hugging face 每日自动化实时爬虫+社群AI发送/邮件推送 的功能
-
9/28,获取邮件美化建议:找个html邮件模板套一下,简单又好看
-
10/8,优化爬取失败的重爬机制,更鲁棒
-
10/22,用户56,群内集中复盘遇到的问题+接下来的措施
-
10/25,我的后台爬虫原来是每天最大尝试次数 12 次,我以为一定会成功的,结果 GG,今天 daily.py 成功发送的。我还没找到原因,难道就是这玄妙的网络墙吗?接下来设置每天最大尝试次数是 6,我挂着后台程序跑 5 天,看看效果。当天失败的话,就当天转人工跑 daily.py。顺便,今天加的日本妹子很靓丽hhh
-
10/26,晚上看完毒液3的电影来了灵感,原来的定时代码失效了,搜索写了个更简洁的,明天观察下。做自己的产品真 tm 爽呀~
-
10/28,给代码加入稳健的日志,所有运行记录以及错误都会计入日志,解决原来的问题
-
10/31,今天用户满78啦,今天一天就来了 6 个用户,金钱 +60,代码稳健跑 4 天
- 我的下一步目标,到达 100 就采用新的定价 19.9,只要能拉 2 个人我就多送他 1 年服务
-
11/1,在宿舍孵化出 Web3信息流 产品2,晚上成交卖了一单
-
11/2,目前 83+5=88 个用户了
-
11/5,晚上和林博聊天,我们两个人相互安利自己的产品,我玩了玩他的 swanlab,在他安利后我用户+4,现在用户98
- 从林博获取灵感:关注某个具体开源项目的更新动态, (1)几个主流的开源项目最近在关注什么,(2)跟我是竞争对手的开源项目,在关注什么,(3)跟我是生态关系的开源项目,在关注什么 本质就是个情报系统
-
11/5,产品破百,发了个9.9红包,心怀感恩
-
11/5,数字生命卡兹克也成为我的客户了hhh
-
11/25,连续两天没收到邮件,查看日志发现问题是大模型llm的安全审查机制,于是我在提示词中加入只提取安全和不敏感的项目,观望3天吧
-
2024/11/25,写一个脚本,遍历群发一些邮件,在在遇到些情况说明的时候
-
2025上半年,从事AI+X 1.0社区,从0到1到10再到0。
-
2026年1月19日左右,vibe coding大火。于是阿里云服务器再次购买,用claude code驱动,项目复活:https://www.aixpg.one/ai-info-stream 。这是我人生的第一个产品呀。AI信息流 2.0.
-
1.19,通宵,调试claude code,但是有点费劲。网络不佳,回头再去测试。
-
2026-02-15,项目全面优化与自动化部署
- 回退到简洁版本:根据用户反馈,回退app.py到原始朴素版本,只保留项目展示、链接、简介、最惊艳项目推荐和趋势总结
- 修复关键bug:修正环境变量拼写错误
wangyi_emai_auth→WANGYI_EMAIL_AUTH - 添加负责人签名:在每封邮件末尾添加"我是谢小果,是openclaw机器人,谢苹果的数字员工,从今天开始由我这个智能体负责AI信息流项目的所有维护。"
- 自动化部署:设置每天21:00自动爬取GitHub Trending并发送邮件给121个订阅用户
- GitHub同步配置:创建GitHub Actions工作流,每天21:30自动将项目数据同步到仓库的data/目录
- 数据归档机制:建立logs/原始数据 + data/归档格式的双层数据管理
- 网络优化:增加socket超时到45秒,解决github.com连接超时问题
- 用户确认满意:用户验证邮件格式符合要求,系统部署完成
-
2026-02-16,arXiv论文信息流项目部署
- 新增arXiv信息流:创建独立系统arxiv_app.py,不干扰原有GitHub信息流
- 内容范围:每天精选10篇AI/ML论文(cs.AI, cs.LG, cs.CL, cs.CV, stat.ML)
- AI处理:智谱GLM-4-Flash模型翻译+精简摘要(120字以内)
- 定时发送:每天16:00(下午4点)自动发送给121个订阅用户
- 双信息流战略:
- 晚上21:00 → GitHub项目趋势(工程实践)
- 下午16:00 → arXiv论文趋势(前沿研究)
- GitHub同步:配置GitHub Actions每天16:30自动同步arXiv论文数据到仓库
- 数据归档:建立arxiv_data/目录存储历史论文数据
- 进程状态:arXiv信息流进程PID 191651运行中,已成功发送121/121用户
- 写一个脚本,遍历群发一些邮件,在在遇到些情况说明的时候
- 想要加个获取邮件点击率的模块,灰盒化...mailgun?