模型
Vision Search Assistant
Vision Search Assistant (VSA) 是一种结合视觉语言模型与网络代理的框架,旨在提升模型对未知视觉内容的理解能力。它通过网络检索,使 VLMs 能够处理和回答有关未见图像的问题。VSA 在开放集和封闭集问答测试中表现出色,支持图像描述生成、网络知识搜索、协作生成等功能,可应用于图像识别、新闻分析、教育、电商和旅游等多个领域。
Open NotebookLM
Open NotebookLM是一个开源工具,能够将PDF文档转换为播客形式的音频内容。它基于Llama 3.1 405B、MeloTTS和Bark等先进AI模型,生成自然流畅的对话式音频,并支持多语言及个性化音调设置。用户可通过简单易用的Gradio界面上传PDF文件并下载MP3格式的音频文件,适用于教育、科研、商业分析等多个领域。
SketchVideo
SketchVideo是一款基于草图和文本提示的视频生成与编辑框架,由多所高校与企业联合研发。它利用DiT模型和草图控制网络,实现对视频内容的精细控制,支持动态调整与细节保留。该工具适用于多种场景,如影视制作、教育、游戏开发等,具备高效生成与高质量输出能力。
MacWhisper
MacWhisper是一款基于OpenAI Whisper技术的AI音频转文字工具。它能够在本地设备上将音频文件快速转录成文本,并支持多种语言。该工具具有多种音频和视频格式兼容性,提供不同的转录模型选择,支持字幕导出,且具备视频播放功能。最新版本增加了基于Apple芯片的硬件加速,提升了实时语音识别效率,并集成了OpenAI语言模型以提高转录和翻译的准确性。MacWhisper适用于记者、媒体工作
MCP Servers
MCP Servers是字节跳动推出的大模型生态平台,为开发者提供高效、灵活的大模型开发与部署环境。通过MCP协议集成搜索、数据库、API等工具,支持模块化开发和全链路闭环。平台整合MCP Market、火山方舟和Trae,实现从工具调用到应用部署的全流程。支持Local和Remote部署模式,涵盖自动化代码生成、智能数据库运维、跨仓库调试等应用场景,助力开发者提升效率。
