AI项目与工具

TripoSR

TripoSR是一款由Stability AI与VAST联合开发的开源3D生成模型,能够在不到0.5秒内从单张2D图像生成高质量的3D模型。基于Transformer架构和大型重建模型(LRM)设计,采用先进的图像编码、三平面NeRF表示及优化训练策略,支持无GPU设备运行。适用于游戏开发、影视制作、建筑设计、产品设计等多个领域,具有高效、高精度和广泛适用性的特点。

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集,包含86亿张图像和16960亿个文本标记,支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容,提供了丰富的数据多样性。OmniCorpus不仅规模庞大,而且数据质量高,适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。

ScreenAI

ScreenAI是一款专为理解和处理用户界面(UI)及信息图表而设计的AI视觉语言模型。它能够识别和理解UI元素及其相互关系,并生成与屏幕UI元素相关的文本,如问题回答、UI导航指令和内容摘要。ScreenAI通过多模态编码器结合视觉和语言信息,并采用自回归解码器生成自然语言响应。此外,ScreenAI还能适应不同屏幕格式,提供精确的UI导航和内容摘要功能。

Vision Search Assistant

Vision Search Assistant (VSA) 是一种结合视觉语言模型与网络代理的框架,旨在提升模型对未知视觉内容的理解能力。它通过网络检索,使 VLMs 能够处理和回答有关未见图像的问题。VSA 在开放集和封闭集问答测试中表现出色,支持图像描述生成、网络知识搜索、协作生成等功能,可应用于图像识别、新闻分析、教育、电商和旅游等多个领域。

PyVideoTrans

PyVideoTrans是一款开源的视频翻译配音工具,支持多语言处理,利用先进的语音识别和翻译技术,实现视频内容的自动翻译,并添加自然流畅的配音和同步字幕。该工具适用于影视后期、教育、企业宣传及自媒体创作等场景,帮助内容创作者跨越语言障碍,扩大受众群体。

HRAvatar

HRAvatar是由清华大学联合IDEA团队推出的单目视频重建技术,能够从普通单目视频中生成高质量、可重光照的3D头像。它采用可学习的形变基和线性蒙皮技术,结合精确的表情编码器和物理渲染模型,实现高精度重建和实时渲染(约155 FPS)。支持材质编辑、跨视角渲染和动画化,适用于数字人、虚拟主播、AR/VR、游戏开发和影视制作等领域。

RepText

RepText是一款由Shakker Labs与Liblib AI联合开发的多语言视觉文本渲染框架,采用字形模仿技术实现高质量文本生成。支持多种语言及复杂排版,具备精准控制、高效兼容和自然融合等特点,广泛应用于平面设计、艺术创作和数字内容生产等领域。

SWEET

SWEET-RL是Meta开发的多轮强化学习框架,专为提升大型语言模型在协作推理任务中的表现而设计。通过引入训练时的额外信息优化“批评者”模型,实现精准的信用分配与策略优化。在ColBench基准测试中,其在后端编程和前端设计任务中表现出色,成功率提升6%。适用于文本校对、社交媒体审核、广告合规等多种场景,具备高度的通用性和适应性。

Fourier N1

Fourier N1是一款由傅利叶推出的开源人形机器人,具备23个自由度,可完成复杂动作如单足站立、坡道通行和楼梯攀爬。搭载自研控制系统和FSA 2.0执行器,支持高速稳定运行。支持多模态交互,适用于教学、康复辅助、物流搬运、家务服务及灾难救援等领域,提供全面的开源资源以支持开发与研究。

Fineshare VoiceTrans

Fineshare VoiceTrans 是一款支持实时变声的 AI 工具,可将声音转换为多种角色或性别,保留原有情感与语调。提供丰富的音效库、声音实验室和预设声音包,适用于游戏、直播、配音等场景。用户可通过不同订阅计划获得无限使用权限和定制服务,提升创作与互动体验。