推理

CLEAR

CLEAR是一种由新加坡国立大学推出的新型线性注意力机制,能够有效提升预训练扩散变换器生成高分辨率图像的效率。该机制通过局部注意力窗口和知识蒸馏技术,实现了线性复杂度,显著减少了计算量和时间延迟,同时保持了高质量的图像生成效果。CLEAR还支持跨模型泛化、多GPU并行推理以及稀疏注意力优化,广泛适用于数字媒体创作、虚拟现实、游戏开发等多个领域。

SVDQuant

SVDQuant是一种由MIT研究团队开发的后训练量化技术,专注于通过4位量化减少扩散模型的内存占用和推理延迟。它利用低秩分支技术吸收量化异常值,支持DiT和UNet架构,并能无缝集成LoRAs。SVDQuant适用于移动设备、个人电脑、云计算平台及低功耗设备,可大幅提升图像生成和处理效率。

LocAgent

LocAgent是一款由多所高校联合开发的代码定位工具,通过构建代码库的图结构并结合大语言模型进行多跳推理,帮助开发者快速找到需修改的代码片段。支持多种开发任务,如错误修复、功能添加和性能优化,具备高效的搜索与定位能力,适用于大规模代码维护场景。

Mistral Large

Mistral Large是Mistral AI开发的一款先进的大型语言模型,具备出色的多语言推理能力和强大的上下文理解能力。它在多个基准测试中表现出色,尤其是在多语言处理、推理和知识、数学与编程方面。Mistral Large支持多语言处理,并且能精确遵循指令,还支持函数调用,便于与开发者工具集集成。此外,该模型可通过Azure AI Studio和Azure Machine Learning平

Satori

Satori是一款由MIT和哈佛大学等机构联合开发的7B参数大语言模型,专注于提升推理能力。其采用COAT机制和两阶段训练框架,结合强化学习优化模型性能,具备自回归搜索、数学推理、跨领域任务处理以及自我纠错等核心能力。Satori在数学和逻辑推理任务中表现突出,广泛应用于科研、教育、智能客服等多个领域,代码、数据和模型均已开源。

基石智算

基石智算是青云科技推出的AI算力云服务平台,支持多种异构算力资源的统一调度与管理,具备弹性扩容、分布式任务调度、一站式AI开发及模型部署等功能。平台适用于AI模型训练、高性能计算、数据科学分析及模型推理等多种场景,提供灵活的服务模式和全面的资源监控与管理能力,助力用户高效开展人工智能相关工作。

TPO

TPO(Test-Time Preference Optimization)是一种在推理阶段优化语言模型输出的框架,通过将奖励模型反馈转化为文本形式,实现对模型输出的动态调整。该方法无需更新模型参数,即可提升模型在多个基准测试中的性能,尤其在指令遵循、偏好对齐、安全性和数学推理等方面效果显著。TPO具备高效、轻量、可扩展的特点,适用于多种实际应用场景。

ReasonGraph

ReasonGraph 是一个开源平台,用于可视化和分析大语言模型(LLM)的推理过程。它支持多种主流模型和推理方法,提供直观的图表展示和交互式功能,帮助用户理解 AI 思考逻辑、优化模型表现。模块化设计使其易于扩展,适用于学术研究、教育、开发等多个领域。

OmniSearch

OmniSearch是一款由阿里巴巴通义实验室开发的多模态检索增强生成框架,具备自适应规划能力。它能够动态解析复杂问题,根据检索结果和问题情境调整检索策略,模拟人类解决复杂问题的行为,提升检索效率和准确性。OmniSearch支持多模态信息处理,包括文本、图像等,并通过递归检索与推理流程逐步接近问题解答,显著提高多模态检索的灵活性和效果。

Outspeed

Outspeed 是一个专注于实时语音和视频 AI 应用开发的平台,提供强大的流媒体处理、低延迟推理、即时部署等功能,支持企业级合规标准。其核心特性包括灵活的模型定制、全面的 SDK 支持以及高效的应用监控工具,广泛应用于客户服务、教育、医疗保健、娱乐、安全监控和质量控制等领域。