学习

Ola

Ola是一款由多机构联合开发的全模态语言模型,支持文本、图像、视频和音频等多种输入形式。通过渐进式模态对齐策略,逐步扩展模型的多模态理解能力,同时采用流式解码技术提升交互体验。其架构融合多种编码器与解码器,结合局部-全局注意力机制,实现高效多模态处理,在多项任务中表现优异。

EliGen

EliGen是由浙江大学与阿里巴巴集团联合开发的实体级可控图像生成框架,采用区域注意力机制实现对图像中实体的精确控制,支持多实体修复、风格化生成及交互式编辑。基于50万高质量注释样本训练,具备强大泛化能力,适用于虚拟场景、角色设计、数据合成及产品展示等场景。

HMA

HMA(Heterogeneous Masked Autoregression)是一种基于异构预训练和掩码自回归技术的机器人动作视频建模方法,支持离散与连续生成模式,可处理不同动作空间的异构性。该工具具备高效实时交互能力,广泛应用于视频模拟、策略评估、合成数据生成及模仿学习等领域,适用于机器人学习与控制任务,提升策略泛化与执行效率。

StochSync

StochSync是一种基于扩散同步(DS)和分数蒸馏采样(SDS)的图像生成技术,适用于360°全景图和3D纹理生成。它通过引入最大随机性与多步去噪方法,兼顾图像细节与连贯性,无需额外训练即可生成高质量图像。支持高分辨率输出,适用于复杂几何纹理化任务。

Sonic

Sonic是由腾讯与浙江大学联合开发的音频驱动肖像动画框架,基于音频信号生成逼真面部表情和动作。它通过上下文增强音频学习和运动解耦控制器,提升唇部同步精度与运动多样性。Sonic在长视频生成中表现出色,具备高稳定性与自然连贯性,支持用户自定义参数。适用于虚拟现实、影视制作、在线教育、游戏开发和社交媒体等多个领域。

DynVFX

DynVFX是一种基于文本指令的视频增强技术,能够将动态内容自然地融入真实视频中。它结合了文本到视频扩散模型与视觉语言模型,通过锚点扩展注意力机制和迭代细化方法,实现新内容与原始视频的像素级对齐和融合。无需复杂输入或模型微调,即可完成高质量的视频编辑,适用于影视特效、内容创作及教育等多个领域。

WorldSense

WorldSense是由小红书与上海交通大学联合开发的多模态基准测试工具,用于评估大型语言模型在现实场景中对视频、音频和文本的综合理解能力。该平台包含1662个同步视频、3172个问答对,覆盖8大领域及26类认知任务,强调音频与视频信息的紧密耦合。所有数据经专家标注并多重验证,确保准确性。适用于自动驾驶、智能教育、监控、客服及内容创作等多个领域,推动AI模型在多模态场景下的性能提升。

LLMDet

LLMDet是一款基于大型语言模型协同训练的开放词汇目标检测器,能够识别训练阶段未见过的目标类别。其通过结合图像和文本信息,实现高精度的零样本检测,并支持图像描述生成与多模态任务优化,适用于多种实际应用场景。

VisoMaster

VisoMaster 是一款基于 AI 的面部编辑与换脸工具,支持图片、视频及直播场景,能生成自然逼真的换脸效果。采用 GPU 加速与自定义模型功能,适用于影视、广告、视频创作等领域。核心技术包括深度学习与 GANs,实现高精度面部特征提取与图像合成,支持实时预览与参数调整,提升用户体验与效率。

RapiLearn AI

RapiLearn AI 是一款基于人工智能的教育工具,支持多种格式学习资料的整合与生成,包括视频、音频、笔记、测试和思维导图等。具备交互式学习功能,提供智能助教服务,可拓展知识点并推荐相关内容。支持多模态学习体验,适用于学生、教师及各类学习者,提升学习效率与知识掌握度。