AI项目与工具

JoyGen

JoyGen是由京东科技与香港大学联合开发的音频驱动型3D说话人脸视频生成框架,能够实现唇部动作与音频信号的精准同步,并提供高质量的视觉效果。该工具采用单步UNet架构进行高效视频编辑,基于130小时中文视频数据集训练,在唇音同步和视觉质量方面表现优异。适用于虚拟主播、动画制作、在线教育及多语言视频生成等多个领域,为视频内容创作提供了创新解决方案。

BizGen

BizGen是由清华大学与微软研究院联合开发的AI信息图生成工具,能将长篇文章自动转化为专业级的信息图和幻灯片。其核心技术包括高质量数据集Infographics-650K和“布局引导的交叉注意力机制”,可精准控制图像中各区域的文本与视觉元素。支持多语言和多种风格,适用于商业汇报、产品展示、学术研究等多个场景,具备高准确性与排版质量。

SepLLM

SepLLM是由香港大学与华为诺亚方舟实验室等机构联合开发的高效大语言模型框架,通过压缩段落信息和优化注意力机制,显著提升推理速度与计算效率。其支持处理超长序列(达400万标记),具备低KV缓存占用、高推理速度及多节点分布式训练能力。适用于长文本处理、流式应用、资源受限环境及多语言研究等多个场景,具有良好的部署灵活性和扩展性。

FlutterFlow

FlutterFlow 是一款基于 AI 的移动应用开发工具,支持通过草图或文字描述快速生成 UI 组件和页面,具备自动补全、智能光标、AI 代理构建等功能,提升开发效率并简化流程。可集成多种 AI 模型,适用于原型设计、界面优化及定制化开发场景。

TANGOFLUX

TANGOFLUX是一款高效文本到音频生成模型,具备约5.15亿参数量,能够在3.7秒内生成30秒高质量音频。它采用CLAP-Ranked Preference Optimization框架优化音频输出,支持多种应用场景,包括多媒体内容创作、音频制作、播客、教育及虚拟助手开发。其开源特性推动了相关领域的技术进步。

Read AI

Read AI是一款基于先进AI技术的全场景助手,主要功能涵盖自动会议记录、邮件管理、数据分析等,并可与多个主流平台无缝集成。它支持多语言操作,强调数据安全性,广泛适用于远程会议、办公室协作、项目管理、客户服务以及销售营销等领域,为企业和个人用户提供高效的工作体验。

Fish Audio

Fish Audio是一款生成式AI文本转语音(TTS)和声音克隆平台,支持多种语言和声音风格,可将文本转换为自然流畅的语音。用户可上传音频样本克隆特定人物的声音,并通过API接口集成到应用程序中。Fish Audio适用于视频制作、有声读物、语音助手、教育与培训以及娱乐创意等领域,满足个性化语音内容生成需求。

Faster Whisper

Faster Whisper 是一款基于 OpenAI Whisper 模型的高效语音识别工具,利用 CTranslate2 引擎显著提升转写速度并降低内存消耗。它支持多语言处理,可应用于实时语音转写、视频字幕生成、客户服务、医疗记录等领域。其核心技术包括 8 位量化、语音活动检测(VAD)及模型优化,同时提供灵活的 API 接口供开发者集成。

Paper Digest

Paper Digest是一个专注于学术研究的人工智能平台,具备文献综述生成、研究助手、AI阅读器和AI写作者等功能。它能够帮助用户高效获取和整理学术资源,提供个性化定制的信息服务,并支持多领域的研究需求。通过实时更新的论文数据和灵活的筛选机制,Paper Digest为学术界、教育界、产业研发及政策制定等领域提供了强大的支持。 ---

EMO2

EMO2是一种由阿里巴巴智能计算研究院开发的音频驱动头像视频生成技术,通过音频输入和静态人像照片生成高质量、富有表现力的动态视频。其核心技术包括音频与手部动作的协同建模、扩散模型生成视频帧,以及高精度音频同步。该工具支持多样化动作生成,适用于虚拟现实、动画制作和跨语言内容创作等场景,具备自然流畅的视觉效果和丰富的应用场景。