建模

Video

Video-LLaVA2是一款由北京大学ChatLaw课题组开发的开源多模态智能理解系统。该系统通过时空卷积(STC)连接器和音频分支,显著提升了视频和音频的理解能力。其主要功能包括视频理解、音频理解、多模态交互、视频问答和视频字幕生成。时空建模和双分支框架是其核心技术原理。Video-LLaVA2广泛应用于视频内容分析、视频字幕生成、视频问答系统、视频搜索和检索、视频监控分析及自动驾驶等领域。

VALL

VALL-E一种用于文本到语音合成 (TTS) 的语言建模方法。具体来说,我们使用从现成的神经音频编解码器模型派生的离散代码来训练神经编解码器语言模型(称为 VALL-E),并将 TTS 视为...

MAETok

MAETok是一种基于掩码建模的图像标记化方法,通过自编码器结构学习更具语义丰富性的潜在空间,提升图像生成质量与训练效率。它支持高分辨率图像生成,具备多特征预测能力和灵活的潜在空间设计,适用于娱乐、数字营销、计算机视觉等多个领域。实验表明其在ImageNet数据集上表现优异。

Stable Video 3D (SV3D)

Stable Video 3D(SV3D)是一款由Stability AI公司开发的多视角合成和3D生成模型,能够从单张图片生成一致的多视角图像,并进一步优化生成高质量的3D网格模型。该模型在视频扩散模型基础上进行改进,提供更好的质量和多视角体验。主要功能包括多视角视频生成、3D网格创建、轨道视频生成、相机路径控制以及新视角合成。SV3D在新视角合成方面取得显著进展,能够生成逼真且一致的视图,提升

Julius

Julius是一款基于自然语言处理的AI数据分析工具,支持多种数据格式,通过对话式查询实现快速分析和可视化展示。具备数据清洗、导出、统计建模等功能,适用于商业决策、财务分析、市场研究等领域,帮助用户高效处理复杂数据任务。

MoMask

MoMask是一款基于生成式掩码建模的3D人体动作生成工具,支持文本驱动的动作创建与编辑。采用分层量化与Transformer架构,实现高精度、连贯的3D动作序列生成,在HumanML3D数据集上的FID值仅为0.045。支持动作时序控制、多平台部署及动作评估功能,适用于游戏开发、动画制作、VR及体育分析等多个领域。

Fluid

Fluid是一种基于连续标记和随机生成顺序的文本到图像生成模型,具有卓越的视觉表现力和全局结构捕捉能力。它通过自回归架构和Transformer模型,逐步预测序列中的下一个元素,构建与文本提示相匹配的高质量图像。Fluid在多个基准测试中取得了优异成绩,并广泛应用于艺术创作、媒体娱乐、广告营销等领域。

Infinite Mobility

Infinite Mobility是由上海AI Lab开发的交互式物体生成模型,基于程序化技术快速生成高质量、多样化的可交互物体,支持22类常见物体,单次生成仅需1秒,成本低至0.01元。其生成的物体广泛应用于机器人仿真、医疗设备开发、家庭服务机器人等领域,提升虚拟训练的真实性和效率。

HiDream.ai

HiDream.ai是一家由前京东副总裁梅涛创立的AI初创公司,推出了名为Pixeling千象的多模态AI视觉平台。该平台支持AI图像、视频和3D生成,集成了先进的神经网络和深度学习技术,具备强大的推理和创造性思维能力,能够实现不同模态之间的无缝转换和互操作性,为用户提供丰富的视觉内容创作及高效的生产力解决方案。主要功能包括智能图片生成、视频创意制作、商品图生成、视频风格转换、3D模型生成、智能重