模型

OmniCam

OmniCam 是一种基于多模态输入的高级视频生成框架,结合大型语言模型与视频扩散模型,实现高质量、时空一致的视频内容生成。支持文本、视频或图像作为输入,精确控制摄像机运动轨迹,具备帧级操作、复合运动、速度调节等功能。采用三阶段训练策略提升生成效果,并引入 OmniTr 数据集增强模型性能。适用于影视、广告、教育及安防等多个领域,提高视频创作效率与质量。

AnimeGamer

AnimeGamer是一款由腾讯PCG与香港城市大学联合开发的动漫生活模拟系统,基于多模态大语言模型(MLLM),支持玩家通过自然语言指令操控动漫角色,沉浸于动态游戏世界中。系统能生成高一致性的动态动画视频,并实时更新角色状态,如体力、社交和娱乐值。其核心技术包括多模态表示、视频扩散模型及上下文一致性机制,适用于个性化娱乐、创意激发、教育辅助及游戏开发等多种场景。

ACTalker

ACTalker 是一种基于视频扩散模型的端到端工具,可生成高质量、自然的说话人头部视频。支持多信号控制(如音频、表情),采用并行 Mamba 结构和门控机制,实现跨时间和空间的精准面部动作控制。实验表明其在音频同步性和视频质量上表现优异,适用于虚拟主播、远程会议、在线教育等多种场景。

MagicColor

MagicColor是一款由香港科技大学开发的多实例线稿图着色工具,基于自监督训练和实例引导模块,实现高效、精准的色彩分配。支持参考图像驱动,具备实例级控制与边缘增强功能,适用于动画、数字艺术、游戏开发等领域。采用扩散模型与双UNet架构,提升着色质量和效率,适合创意设计与教育应用。

HiDream

HiDream-I1是一款由HiDream.ai团队开发的开源AI图像生成模型,具备17亿参数,支持多种图像风格生成,包括真实、卡通和艺术风格。其在提示词理解、细节渲染和图像一致性方面表现出色,适用于艺术创作、商业设计、教育科研等领域。模型采用扩散模型和混合专家架构(MoE),并集成多种文本编码器,实现高质量与高效率的图像生成。项目已在GitHub和HuggingFace开源,便于研究与应用。

Nova Sonic

Nova Sonic是亚马逊推出的生成式AI语音模型,集成语音理解和生成功能,支持多种语言和口音,具备高准确性与自然对话能力。其采用HiFi语音识别技术,平均单词错误率低至4.2%,支持实时信息获取与请求路由,适用于客户服务、教育、医疗、旅游及娱乐等多个领域。该模型具备低延迟和高性价比优势,是当前市场上较为突出的语音处理工具。

DeepCoder

DeepCoder-14B-Preview 是一款基于 Deepseek-R1-Distilled-Qwen-14B 微调的开源代码生成模型,采用分布式强化学习技术,在 LiveCodeBench 基准上达到 60.6% 准确率。支持多语言代码生成、问题解决、补全优化、测试生成等功能,适用于开发、教育、竞赛等多个场景。项目提供完整训练数据与优化方案,推动 RL 在 LLM 中的应用。

Dream

Dream-7B是由香港大学与华为诺亚方舟实验室联合开发的开源扩散模型,支持文本、数学和代码生成,具备双向上下文建模能力和灵活的生成控制。其在通用任务、数学推理和编程方面表现优异,适用于文本创作、数学求解、编程辅助及复杂任务规划等多种场景,提供高效且高质量的生成服务。

Llama Nemotron

Llama Nemotron是NVIDIA推出的推理模型系列,具备强大的复杂推理、多任务处理和高效对话能力,适用于企业级AI代理应用。模型基于Llama架构优化,采用神经架构搜索与知识蒸馏技术,提升计算效率。包含Nano、Super和Ultra三种版本,分别面向边缘设备、数据中心和高性能计算场景。广泛应用于科研、客服、医疗、物流和金融等领域。

Miracle F1

Miracle F1 是一款由美图 WHEE 推出的 AI 图像生成工具,具备高真实感的图像生成能力,能精准处理光影、材质和空间效果。其语义理解能力强,可准确还原复杂描述,如“纯色背景”“夜景灯光”等。支持多种风格,涵盖 3D 立体、二次元、复古等,适用于电商展示、活动海报、插画设计等多个场景。基于扩散模型和优化算法,提升了生成效率与质量。