开源

VideoTuna

VideoTuna是一款基于AI的开源视频生成工具,支持文本到视频、图像到视频以及文本到图像的转换。它提供预训练、微调和后训练对齐等功能,兼容U-Net和DiT架构,并计划引入3D视频生成能力。VideoTuna旨在简化视频内容创作流程,提升生成质量与可控性,适用于内容创作、电影制作、广告营销、教育培训等多个领域。

SANA 1.5

SANA 1.5是由英伟达联合多所高校研发的高效线性扩散变换器,专用于文本到图像生成任务。其核心优势包括高效的训练扩展、模型深度剪枝、推理时扩展等技术,能够在不同计算预算下灵活调整模型性能。支持多语言输入,并具备开源特性,适用于创意设计、影视制作、教育等多个领域。实验表明,其生成质量接近行业领先水平,同时显著降低计算成本。

SDXL

SDXL-Lightning是一种基于扩散模型的文本到图像生成技术,由字节跳动的研究团队开发。该模型通过结合渐进式和对抗式蒸馏方法,能够在一至少数步骤内快速生成1024像素分辨率的高质量图像。该模型提供开源模型和权重,支持与现有的LoRA模块和控制插件兼容,可以轻松集成到现有的图片生成系统中。核心技术包括扩散模型、渐进式蒸馏、对抗式蒸馏和鉴别器设计,以确保生成图像的质量和多样性。

赤兔Chitu

Chitu(赤兔)是清华大学与清程极智联合开发的高性能大模型推理引擎,支持多种GPU及国产芯片,打破对特定硬件的依赖。其具备全场景部署能力,支持低延迟、高吞吐、小显存优化,并在性能上优于部分国外框架。适用于金融风控、智能客服、医疗诊断、交通优化和科研等领域,提供高效、稳定的推理解决方案。

WebRL

WebRL是一种由清华大学与智谱AI共同研发的自我进化的强化学习框架,专注于通过开放大型语言模型优化网络代理性能。该框架采用动态任务生成与结果监督奖励机制,并结合自适应强化学习策略,解决了任务稀缺和反馈稀疏等问题。其显著提升了开源模型在WebArena-Lite基准测试中的表现,具备自我进化、持续改进的特点。

FancyVideo

FancyVideo是一款由360公司与中山大学合作开发的AI文生视频模型,采用创新的跨帧文本引导模块(CTGM)。它能够根据文本描述生成连贯且动态丰富的视频内容,支持高分辨率视频输出,并保持时间上的连贯性。作为开源项目,FancyVideo提供了详尽的文档和代码库,便于研究者和开发者深入研究和应用。主要功能包括文本到视频生成、跨帧文本引导、时间信息注入及时间亲和度细化等。

SmolVLA

SmolVLA是Hugging Face开源的轻量级视觉-语言-行动(VLA)模型,专为经济高效的机器人设计。拥有4.5亿参数,可在CPU上运行,单个消费级GPU即可训练,适合在MacBook上部署。它能够处理多模态输入,生成动作序列,并通过异步推理提高控制效率。适用于物体抓取、家务劳动、货物搬运和机器人教育等场景。

Omnitool

Omnitool是一款开源的AI桌面工具,提供统一界面整合多种AI模型,支持本地运行,保障数据隐私。兼容OpenAI、Stable Diffusion等主流平台,无需复杂配置即可实现图像生成、文本翻译、音频创建等功能。具备高扩展性,支持脚本和第三方工具集成,适用于从初学者到开发者的多场景应用,涵盖艺术创作、教育、企业开发等领域。

Vision Parse

Vision Parse 是一款开源工具,旨在通过视觉语言模型将 PDF 文件转换为 Markdown 格式。它具备智能识别和提取 PDF 内容的能力,包括文本和表格,并能保持原有格式与结构。此外,Vision Parse 支持多种视觉语言模型,确保解析的高精度与高速度。其应用场景广泛,涵盖学术研究、法律文件处理、技术支持文档以及电子书制作等领域。

Windows AI Foundry

Windows AI Foundry 是微软推出的全新 AI 开发平台,提供从模型选择、优化、微调到部署的全生命周期支持。平台整合 Windows ML,支持在多种硬件上高效部署模型,并基于 Foundry Local 提供优化后的开源模型库。同时,提供即用型 AI API 和 LoRA 技术,帮助开发者快速集成和微调模型,提升开发效率与灵活性。