生成

FunAudioLLM

FunAudioLLM是由阿里巴巴通义实验室开发的开源语音大模型项目,包含SenseVoice和CosyVoice两个子模型。SenseVoice擅长多语言语音识别和情感辨识,支持超过50种语言;CosyVoice则专注于自然语音生成,支持多种语言、音色和情感控制。该项目适用于多语言翻译、情感语音对话等场景,其相关模型和代码已公开发布。

MimicMotion

MimicMotion是一款由腾讯研究团队开发的高质量人类动作视频生成框架。该框架利用置信度感知的姿态引导技术,确保视频帧的高质量和时间上的平滑过渡。通过区域损失放大和手部区域增强,显著减少了图像失真,增强了手部动作的细节表现。该框架还支持长视频生成,通过渐进式潜在融合策略,确保视频生成时的时间连贯性和细节丰富度。

字节跳动发布“豆包MarsCode”智能开发工具,面向国内开发者免费

豆包MarsCode是一款由字节跳动开发的免费AI编程工具,提供AI驱动的云端集成开发环境(IDE)和智能编程扩展。其主要功能包括代码补全、生成、优化、注释生成、代码解释和错误修复等。MarsCode支持云函数开发,集成API测试、存储和部署工具,并能自动生成JSON Schema。此外,MarsCode扩展支持多种编程语言和IDE,涵盖从代码编辑到单元测试生成的多个辅助功能,显著提升了编码效率和

MOFA

MOFA-Video是由腾讯AI实验室和东京大学研究人员开发的开源图像生成视频模型。该工具通过生成运动场适配器对图像进行动画处理,能够通过稀疏控制信号(如手动轨迹、面部关键点序列或音频)实现对视频生成过程中动作的精准控制。MOFA-Video支持零样本学习,能够将多种控制信号组合使用,生成复杂的动画效果,并能生成较长的视频片段。 ---

ExVideo

ExVideo是一种视频合成模型后调优技术,能够生成长达128帧的连贯视频,同时保持原始模型的生成能力。该技术通过优化3D卷积、时间注意力和位置嵌入等模块,使模型能够处理更长时间跨度的内容。ExVideo的核心优势在于其高效的后调优策略,减少计算资源需求,保持视频质量,适用于计算资源有限的情况。

琴乐大模型

琴乐大模型是一款由腾讯AI Lab与腾讯TME天琴实验室联合开发的人工智能音乐创作工具。该工具能够根据用户输入的关键词、描述性语句或音频,生成高质量的立体声音频或多轨乐谱,并支持自动编辑功能。琴乐大模型采用先进的技术框架,包括音频文本对齐、乐谱/音频表征提取、大语言模型预测以及流匹配和声码器技术,确保生成的音乐符合音乐理论和人类审美标准。

Unique3D

Unique3D是一款由清华大学团队开发的开源框架,专注于单张图像到3D模型的转换。它利用多视图扩散模型和法线扩散模型,结合多级上采样策略和ISOMER算法,能够在短时间内生成高保真度且纹理丰富的3D网格模型。Unique3D能够从单个2D图像生成3D网格模型、多个正交视图图像和法线贴图,并通过多级上采样过程提高图像分辨率,最终实现颜色和几何细节的高度整合。

谷歌DeepMind推出V2A技术,可为无声视频添加逼真音效

DeepMind推出的V2A(Video-to-Audio)模型能够将视频内容与文本提示相结合,生成包含对话、音效和音乐的详细音频轨道。它不仅能够与DeepMind自身的视频生成模型Veo协同工作,还能与其他视频生成模型,如Sora、可灵或Gen 3等,进行集成,从而为视频添加戏剧性的音乐、逼真的音效或与视频中角色和情绪相匹配的对话。V2A的强大之处在于其能够为每个视频输入生成无限数量的音轨。该模

Gen

Gen-3 Alpha是一款由Runway公司研发的AI视频生成模型,能够生成长达10秒的高清视频片段,支持文本到视频、图像到视频的转换,并具备精细的时间控制及多种高级控制模式。其特点在于生成逼真的人物角色、复杂的动作和表情,提供运动画笔、高级相机控制和导演模式等高级控制工具,确保内容的安全性和合规性。

Stability AI开源Stable Diffusion 3 Medium文生图模型

Stable Diffusion 3 Medium是一款由Stability AI开源的文本到图像生成模型,拥有20亿个参数,适用于消费级和企业级GPU。该模型具备照片级真实感、强大的提示理解和排版能力,以及高资源效率。此外,它还支持API试用,并得到了NVIDIA和AMD的支持,以优化其性能。Stability AI致力于开放和安全的AI应用,并计划持续改进SD3 Medium。