多模态

Pixtral 12B

Pixtral 12B是一款由法国初创企业Mistral开发的多模态AI模型,能够同时处理图像和文本数据。该模型包含120亿参数,大小约为24GB,基于Nemo 12B文本模型构建。它具备强大的图像和文本处理能力,能够执行图像描述生成、统计照片中的物体数量等任务,并在多个基准测试中表现出色。Pixtral 12B将根据Apache 2.0许可证开源,用户可以自由下载和微调该模型。应用场景广泛,包括

优雅AI创作平台

中科闻歌发布的一款多模态内容智能生成平台,用户只需输入关键词或简单指令,能够自动生成文本、图片、音视频等多种形式的内容。

Large Motion Model

Large Motion Model(LMM)是一款由新加坡南洋理工大学S-Lab和商汤科技合作研发的多模态运动生成框架。它支持从文本、音乐等多种模态生成逼真运动序列,具备高度精准的身体部位控制能力和强大的泛化能力。通过整合多样化的MotionVerse数据集以及创新性的ArtAttention机制和预训练策略,LMM在多个领域展现出高效的应用潜力,包括动画、虚拟现实、影视特效及运动分析等。

Kanana

Kanana是一款由Kakao推出的生成式AI助手,具备强大的上下文理解和记忆能力。其核心功能包括群聊助手(Kana)和私人伴侣(Nana),前者专注于处理团队协作中的具体任务,后者则用于管理个人及集体事务。此外,该工具还支持多模态输入输出方式,可应用于商务、教育、社交等多个领域,并计划扩展至车载场景以提升用户体验。

优雅YOYA

优雅(YOYA)是中科闻歌推出的多模态文生视频平台,基于大语言模型和多模态技术,支持从脚本生成到视频剪辑的全流程自动化。用户仅需输入主题,即可快速生成高质量视频,并支持语音克隆、口型翻译、数字人等功能。平台还具备多模态素材智能剪辑能力,提升创作效率与可控性,适用于媒体、影视、企业宣传及教育等领域。

LAM

LAM是由微软开发的大型行动模型,能够理解和执行真实世界中的操作任务。它不仅能解析用户输入,还能生成具体行动指令,如启动程序或控制设备。LAM在Office等Windows应用中表现出色,任务完成率高于GPT-4。具备多模态输入理解、动态规划、环境交互和自主执行能力,适用于办公自动化、智能家居、客户服务等多个场景,显著提升任务执行效率和智能化水平。

Talkie

Talkie是一款基于人工智能技术打造的虚拟伴侣应用,主打高度定制化虚拟角色和沉浸式互动体验。它支持用户通过文本、语音及图像与AI角色交流,并提供角色创建、卡牌收集、智能推荐等功能。自推出以来,Talkie迅速获得了全球用户的青睐,在个性化聊天、情感陪伴及沉浸式叙事方面展现出强大潜力。

Webdraw

Webdraw 是一款无代码 AI 应用开发平台,支持图像生成、视频制作、聊天助手等功能,用户可通过自然语言或可视化工具快速构建应用。平台集成多种 AI 模型,支持多模态内容创作,具备文件共享、实时协作和一键部署能力,适用于创意设计、个性化工具开发、教育及企业场景,降低 AI 技术使用门槛。

WorldDreamer

WorldDreamer 是一种基于 Transformer 的通用世界模型,具备理解与预测物理世界动态变化的能力,专注于视频生成任务。它支持多种应用场景,包括文本到视频、图像到视频、视频编辑和动作序列生成,利用视觉 Token 化、Transformer 架构和多模态提示技术,实现了高效且高质量的视频生成。

FlexRAG

FlexRAG 是一个高效的检索增强生成(RAG)框架,通过压缩编码器和选择性压缩机制优化长上下文处理,提升计算效率与生成质量。支持多模态数据、多种检索器和多数据类型,适用于开放域问答、对话系统、文档摘要等知识密集型任务,具备灵活配置和可扩展性。