AI项目与工具

VoxInstruct

VoxInstruct是清华大学开源的语音合成技术,能够根据人类语言指令生成高质量的语音。该系统采用统一的多语言编解码器语言建模框架,将传统的文本到语音任务扩展到了更广泛的人类指令到语音任务。VoxInstruct通过引入语音语义标记和多种无分类器指导策略,提升了语音合成的自然度和表现力。它支持多语言和跨语言合成,适用于智能语音助手、有声读物、教育培训等多个领域。

MUSIC.AI

MUSIC.AI 是一款基于人工智能的音频处理平台,提供音频分离、混音、母带处理、语音转换、歌词转录等功能,支持多语言翻译与本地化。平台已处理超 10 亿分钟音频,服务数千万用户,适用于音乐制作、视频剪辑及现场演出等多种场景,显著提升音频处理效率与质量。

字节跳动发布“豆包MarsCode”智能开发工具,面向国内开发者免费

豆包MarsCode是一款由字节跳动开发的免费AI编程工具,提供AI驱动的云端集成开发环境(IDE)和智能编程扩展。其主要功能包括代码补全、生成、优化、注释生成、代码解释和错误修复等。MarsCode支持云函数开发,集成API测试、存储和部署工具,并能自动生成JSON Schema。此外,MarsCode扩展支持多种编程语言和IDE,涵盖从代码编辑到单元测试生成的多个辅助功能,显著提升了编码效率和

SAM 2.1

SAM 2.1是一款由Meta开发的先进视觉分割模型,支持图像和视频的实时分割处理。其核心功能包括用户交互式分割、多对象跟踪、数据增强以及遮挡处理等。通过引入Transformer架构和流式记忆机制,SAM 2.1显著提升了对复杂场景的理解能力。该工具具有广泛的应用场景,涵盖内容创作、医疗影像分析、自动驾驶等多个领域。

MineWorld

MineWorld是由微软研究院开发的基于《我的世界》的实时交互式AI模型,采用视觉-动作自回归Transformer架构,实现高保真、可控性强的场景生成。通过并行解码算法,模型可在每秒4至7帧的速度下实现实时交互,适用于具身智能、强化学习、游戏代理及视频生成等场景。其核心技术包括图像与动作标记器、Transformer解码器以及优化的训练与推理流程。

幕布

幕布是一款AI驱动的大纲笔记工具,支持结构化知识整理与一键生成思维导图,帮助用户更高效地理解和记忆信息。其功能涵盖任务拆解、团队协作、多平台同步及Markdown编辑等,适用于学习、工作与会议管理等多种场景,提升信息处理效率与组织能力。

VQAScore

VQAScore是一种基于视觉问答(VQA)模型的评估工具,用于衡量文本提示生成图像的质量。它通过计算回答“是”概率的方式评估图像与文本提示的对齐程度,无需额外标注,提供更精确的结果。VQAScore支持多种生成任务,包括图像、视频及3D模型,并能作为多模态学习的研究工具,在自动化测试和质量控制中发挥重要作用。

33字幕

33字幕是一款集语音识别与文本翻译于一体的AI字幕生成工具,支持多种语言的语音转文字及翻译,可实现实时字幕生成与同步翻译。用户可通过本地AI模型免费运行,显著降低使用成本。该工具具备边识别边生成字幕、台词搜索等功能,广泛应用于视频创作、教育培训、企业会议等领域。

Bith AI

Bith AI 是一款AI驱动的视频创作与编辑工具,支持文本转视频、自动字幕生成、多平台尺寸适配、多媒体融合及一键发布等功能。适用于社交媒体、企业营销、教育培训和个人创作等多种场景,提升视频制作效率与专业度。

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。