VILA-U 是一款由 MIT 汉实验室开发的统一基础模型,整合了视频、图像和语言的理解与生成能力。它通过自回归框架简化模型结构,支持视觉理解、视觉生成、多模态学习和零样本学习等功能。VILA-U 在预训练阶段采用混合数据集,利用残差向量量化和深度变换器提升表示能力,适用于图像生成、内容创作辅助、自动化设计、教育和残障人士辅助等多种场景。
MLE-Agent是一款面向机器学习工程师和研究人员的智能助手,具备自动化基线创建、智能调试、文件系统集成、工具集成和交互式命令行界面等功能。它通过集成大型语言模型(LLM)、自动化机器学习(AutoML)、代码生成和检索(Code Generation and Retrieval)以及智能调试(Smart Debugging)等技术,提供无缝的AI工程和研究体验。MLE-Agent支持与多个AI