聚合
ScrapeGraphAI
ScrapeGraphAI 是一款基于大型语言模型(LLM)的智能网络爬虫工具包,能够高效提取结构化数据。其核心功能包括 SmartScraper、SearchScraper 和 Markdownify,支持自然语言驱动的爬取、多页面搜索、自适应爬取、多模型和多平台兼容,可生成代码并存储为 CSV 或 JSON 格式。适用于市场分析、学术研究、产品信息收集等场景。
News Agents
News Agents是一个基于终端的新闻聚合与摘要系统,利用Amazon Q CLI作为Agent框架,通过Model Context Protocol(MCP)解析RSS新闻源,并借助tmux实现多任务监控。系统从多个新闻源抓取文章,分配给多个子Agents并行处理,生成简洁摘要并汇总到main-summary.md文件中,提供高效、个性化的新闻阅读体验。
Teacher2Task
Teacher2Task是一个由谷歌团队研发的多教师学习框架,其核心在于引入教师特定的输入标记并重新构建训练过程,以减少对人工聚合方法的依赖。通过将训练数据转化为多个子任务,该框架能够从不同教师的多样化预测中学习,提高模型的性能和鲁棒性,同时降低标签不准确性的风险。它适用于机器翻译、图像理解、自然语言处理等多个领域,显著提升了数据利用效率。