AI项目与工具

SWEET

SWEET-RL是Meta开发的多轮强化学习框架,专为提升大型语言模型在协作推理任务中的表现而设计。通过引入训练时的额外信息优化“批评者”模型,实现精准的信用分配与策略优化。在ColBench基准测试中,其在后端编程和前端设计任务中表现出色,成功率提升6%。适用于文本校对、社交媒体审核、广告合规等多种场景,具备高度的通用性和适应性。

Uplyt

Uplyt是一款基于AI技术的分析工具,旨在简化Google Analytics的数据管理和分析流程。它提供清晰的仪表盘展示关键指标,如自然搜索流量和转化趋势,并支持生成即时性能摘要,帮助用户快速识别高回报和低效的广告活动。此外,Uplyt具备团队协作、智能比较和自动化报告功能,适用于企业高效优化营销活动。

字节跳动发布“豆包MarsCode”智能开发工具,面向国内开发者免费

豆包MarsCode是一款由字节跳动开发的免费AI编程工具,提供AI驱动的云端集成开发环境(IDE)和智能编程扩展。其主要功能包括代码补全、生成、优化、注释生成、代码解释和错误修复等。MarsCode支持云函数开发,集成API测试、存储和部署工具,并能自动生成JSON Schema。此外,MarsCode扩展支持多种编程语言和IDE,涵盖从代码编辑到单元测试生成的多个辅助功能,显著提升了编码效率和

LOKI

LOKI是一个由中山大学与上海AI实验室联合推出的合成数据检测基准,用于评估大型多模态模型在识别视频、图像、3D模型、文本及音频等多模态合成数据方面的性能。它包含超过18,000个问题,涵盖26个子类别,支持多层次标注和细粒度异常注释,并通过自然语言解释增强模型的可解释性。LOKI还通过对比多种开源和闭源模型的表现,揭示了这些模型在合成数据检测任务中的优势与不足。

TripoSR

TripoSR是一款由Stability AI与VAST联合开发的开源3D生成模型,能够在不到0.5秒内从单张2D图像生成高质量的3D模型。基于Transformer架构和大型重建模型(LRM)设计,采用先进的图像编码、三平面NeRF表示及优化训练策略,支持无GPU设备运行。适用于游戏开发、影视制作、建筑设计、产品设计等多个领域,具有高效、高精度和广泛适用性的特点。

OmniCorpus

OmniCorpus是上海人工智能实验室联合多家知名高校和研究机构共同创建的一个大规模多模态数据集,包含86亿张图像和16960亿个文本标记,支持中英双语。它通过整合来自网站和视频平台的文本和视觉内容,提供了丰富的数据多样性。OmniCorpus不仅规模庞大,而且数据质量高,适合多模态机器学习模型的训练和研究。它广泛应用于图像识别、视觉问答、图像描述生成和内容推荐系统等领域。

ScreenAI

ScreenAI是一款专为理解和处理用户界面(UI)及信息图表而设计的AI视觉语言模型。它能够识别和理解UI元素及其相互关系,并生成与屏幕UI元素相关的文本,如问题回答、UI导航指令和内容摘要。ScreenAI通过多模态编码器结合视觉和语言信息,并采用自回归解码器生成自然语言响应。此外,ScreenAI还能适应不同屏幕格式,提供精确的UI导航和内容摘要功能。

Podcastle

Podcastle是一款以AI为核心的播客制作平台,集成了录音室、音频与视频编辑器及AI生成的声音工具,支持本地多人协作录音、降噪处理、品牌定制化功能及声音克隆技术。该平台覆盖从创意到发布的全链条服务,并支持内容托管与多平台分发,适用于个人播客、远程采访、教育培训、企业沟通及有声读物制作等多种场景。

HumanRig

HumanRig是由阿里巴巴团队研发的3D人形角色自动绑定系统,提供大规模高质量数据集和先进算法,支持从粗到细的骨架估计与蒙皮优化。其核心组件包括先验引导骨架估计器(PGSE)和网格-骨架互注意网络(MSMAN),适用于游戏开发、影视制作、VR/AR及数字人应用,有效提升3D角色动画制作效率和质量。

MVDrag3D

MVDrag3D是一种先进的3D编辑框架,具备多视图一致性编辑、3D高斯重建、视图对齐及视觉质量增强等功能。它能够处理复杂的拓扑变化并支持多样化的3D表示,适用于游戏开发、虚拟现实、增强现实以及计算机辅助设计等领域,展现了强大的生成性和灵活性。