跳到正文

技术方向

部署工程 最新动态

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

38 条精选近 30 天 22 条共收录 547 条

更新

部署工程的精选

今天11月19日周四第 1–30 条
  1. Simon Willison79

    llm-gemini 0.38

    原文摘录(自动中文摘要暂不可用):llm-gemini 0.38 Release: llm-gemini 0.38 Today Google introduced Gemini 4 Neon . I wrote recently about how confusing the pricing for the Gemini 4 series was - Neon has somehow made this even worse. Previously the Gemini 4 lineup was Hydrogen, Argon, and Carbon - where Argon and Carbon were the same price , and Hydrogen was 3/4 of that price now but will be

    推荐理由:自动中文摘要尚未通过校验,请核对原文与完整来源。

  2. IT之家 AI76

    OpenAI 发布芯片设计最新成果:AMD 旗舰 GPU PPA 最高提升 14%,自研芯片 Jalapeño 面积最高减少 13%

    IT之家 11 月 19 日消息,OpenAI 于当地时间 11 月 18 日发布最新技术报告《Advancing chip design with OpenAI models》,披露了利用 AI 模型辅助芯片设计的最新进展。 据介绍,OpenAI 已将相关技术应用于自研推理芯片 Jalapeño,以及 AMD 下一代 GPU 和 CPU 的设计优化,并通过开源 RISC-V 处理器测试评估不同代际模型的芯片设计能力。 OpenAI 表示,早在 2025 年初,工程师就开始使用 GPT-4o 辅助设计 Jalapeño。即使是当时的模型,也已经能够在芯片性能、功耗和面积(PPA)方面提出实质性改进方案。 在 Jalapeño 的向量计算单元中,AI 模型通过优化浮点加法器、乘法器、转换函数、归约逻辑和特殊功能单元,减少硬件资源占用。 在矩阵计算单元中,AI 模型成功改进了浮点运算和低精度点积电路。其中,一项乘法器重新设计方案使综...

    推荐理由:来自IT之家 AI的《OpenAI 发布芯片设计最新成果:AMD 旗舰 GPU PPA 最高提升 14%,自研芯片 Jalapeño 面积最高减少 13%》。重点看模型能力与工程、开源生态、产品发布。摘要提到:IT之家 11 月 19 日消息,OpenAI 于当地时间 11 月 18 日发布最新技术报告《Advancing chip design with OpenAI models》,披露了利用 AI 模型辅助芯片设计的最新进展。 据介绍,OpenAI 已将相关技术应用于自研推理芯片 Jalapeño,以及 AMD 下一代 GPU 和 CPU 的设计优化,并通过开源 RISC-V 处理器测试评估不同代际模型的芯片设计能力。 OpenAI 表示,早在 2025 年初,工程师就开始使用 GPT-4o 辅助设计 Jalapeño。即使是当时的模型,也已经能够在芯片性能、功耗和面积(PPA)方面提出实质性改进方案。 在 Jalapeño 的向量计算单元中,AI 模型通过优化浮点加法器、乘法器、转换函数、归约逻辑和特殊功能单元,减少硬件资源占用。 在矩阵计算单元中,AI 模型成功改进了浮点运算和低精度点积电路。其中,一项乘法器重新设计方案使综...

11月18日周三
  1. MIT Technology Review AI87

    This smell startup says its AI nose is as good as a human’s

    在新泽西纽瓦克机场附近的一个实验室里,大约有30名人类嗅觉检测员正在逐步分析地球上所有气味。他们细致的笔记——如‘坚果味’‘桃子味’‘海洋味’——与化学分析结合,为AI初创公司Osmo称为‘世界首个基础’的项目生成丰富训练数据。

    推荐理由:请对照MIT Technology Review AI原文,核对完整说明及适用条件。

  2. Simon Willison87

    External sandboxes for coding agents

    外部沙箱用于编码代理:我探索了新的方法来沙箱执行由代理的代码,重点在于在不担心误操作或提示注入攻击可能导致机器受损的情况下安全地尝试本地模型。我与Prime Radiant(Superpowers等项目的AI研究实验室)合作开发了该项目。Prime Radiant博客上的帖子介绍了外部沙箱模式,其中代理执行的代码在专用沙箱内运行,而代理本身则位于该沙箱之外。为演示该模式,我们发布了三种沙箱服务器实现:external-sandbox-v86运行一个Node.js服务器,然后使用v86在WebAssembly中运行Alpine Linux;external-sandbox-container是一个Python Web服务器,运行沙箱在Apple Containers实例中;external-sandbox-quicksand是另一个Python Web服务器,使用Microsoft的Quicksand沙箱库。

    推荐理由:请对照Simon Willison原文,核对完整说明及适用条件。

  3. Simon Willison87

    GPT‑6.2 Astra and GPT‑6.2 Sol

    原文摘录(自动中文摘要暂不可用):GPT‑6.2 Astra and GPT‑6.2 Sol GPT‑6.2 Astra and GPT‑6.2 Sol OpenAI: We’re introducing GPT‑6.2 Astra, our new frontier model for your hardest projects, and GPT‑6.2 Sol, our efficient, versatile model for everyday work. They're available in the API as gpt-6.2-astra and gpt-6.2-sol . I shipped LLM 0.38 with support for the new models. 6.2 Astra is 80% of the pr

    推荐理由:自动中文摘要尚未通过校验,请核对原文与完整来源。

  4. GitHub Changelog94

    OpenAI’s GPT-6.2 Astra and GPT-6.2 Sol now available

    原文摘录(自动中文摘要暂不可用):OpenAI’s GPT-6.2 Astra and GPT-6.2 Sol now available OpenAI’s GPT-6.2 Astra and GPT-6.2 Sol are now generally available in GitHub Copilot. Both models are designed for agentic coding and code review, with stronger coding judgment than earlier GPT-6… The post OpenAI’s GPT-6.2 Astra and GPT-6.2 Sol now available appeared first on The Gi

    推荐理由:自动中文摘要尚未通过校验,请核对原文与完整来源。

  5. GitHub Changelog88

    GitHub Copilot Fusion updates: more availability, benchmarks, and models

    今天,我们正在通过新的模型扩展GitHub Copilot Fusion,其在更多Copilot表面可用,并在两个公共Terminal-Bench排行榜上取得成果,为您提供更多使用Fusion的方式和比较方法。GitHub Copilot Fusion更新内容:更多可用性、基准测试和模型首次出现在GitHub博客上。

    推荐理由:请对照GitHub Changelog原文,核对完整说明及适用条件。

11月14日周六
  1. GitHub Changelog94

    Gemini 4 Hydrogen in GitHub Copilot

    原文摘录(自动中文摘要暂不可用):Gemini 4 Hydrogen in GitHub Copilot Gemini 4 Hydrogen, Google’s latest Flash model, is now generally available in GitHub Copilot. It is designed for fast, efficient agentic coding, tool use, and multistep workflows, with improved instruction… The post Gemini 4 Hydrogen in GitHub Copilot appeared first on The GitHub Blog .

    推荐理由:自动中文摘要尚未通过校验,请核对原文与完整来源。

11月12日周四
  1. Simon Willison86

    llm 0.37.2

    发布:llm 0.37.2 修复了Daniel de Araujo在GHSA-v9h7-jj4g-f862和GHSA-r639-rr7r-x72w报告的安全问题。llm现在拥有一个机制,称为extra-openai-models.yaml,该机制由新发布的0.37 llm openai端点添加命令管理,用于从其他供应商的OpenAI兼容API端点调用LLM。Daniel报告了两种可能导致其配置的OpenAI API密钥被发送到其中一个供应商的方式:如果api_key_name所指的密钥从未被存储,或者如果运行了responses: true模型并设置了-o chat_completions 1。标签:projects,security,llm,releases

    推荐理由:请对照Simon Willison原文,核对完整说明及适用条件。

11月11日周三
  1. GitHub Changelog93

    Gemini 4 Carbon in GitHub Copilot

    原文摘录(自动中文摘要暂不可用):Gemini 4 Carbon in GitHub Copilot Gemini 4 Carbon, Google’s latest model, is now generally available in GitHub Copilot. It is designed for complex coding, agentic, and reasoning tasks, with a focus on secure code generation… The post Gemini 4 Carbon in GitHub Copilot appeared first on The GitHub Blog .

    推荐理由:自动中文摘要尚未通过校验,请核对原文与完整来源。

11月5日周四
11月2日周一
  1. Apple Machine Learning Research87

    Online Dense Reinforcement Learning with Planning-Grounding Agent for UI Navigation on Live iOS Apps

    尽管前沿视觉语言模型在用户界面(UI)导航方面表现出色,但其高推理成本限制了日常使用。相反,通过监督微调(SFT)或离线强化学习训练的小型模型往往记忆静态轨迹,导致执行脆弱且无法从错误中恢复。为解决这些问题,我们提出一种新的在线强化学习框架,直接在实时运行的iOS应用程序上训练UI导航代理。我们的框架将代理解耦为两个专用组件:规划模块/...

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月30日周五
10月28日周三
10月23日周五
10月21日周三
10月20日周二
10月17日周六
  1. Claude Code Releases86

    Claude Code Releases v2.1.302:Added CLAUDE_CODE_AUTO_MODE_MODEL to choose the model the ...

    新增了CLAUDE_CODE_AUTO_MODE_MODEL,用于客户端自动模式分类器选择模型;不改变服务器端自动模式的模型。新增了/config中的Idle compaction行,用于关闭或开启空闲压缩;退出时显示的提示信息现在说明如何关闭。新增了/设计-同步和/设计-登录的提示,说明独立Claude设计(claude.ai/design)在14年前将关闭。修复了在停止会话时因提示内容过长而出现的错误。修复了切换到Vertex或Bedrock中间会话时因额外输入被拒绝的问题。修复了读取工具加载任意大小图像文件或类似图像的管道或设备时的内存占用问题;超过128MB的图像来源现在被拒绝。修复了当网关命名如anthropic/claude-opus-4-1时,/autocompact和/effort saving错误地应用到Opus 4或4.1模型。修复了/ no_think提示缓存缺失的问题。

    推荐理由:请对照Claude Code Releases原文,核对完整说明及适用条件。

10月15日周四
  1. Apple Machine Learning Research83

    Selection-Based Structured Reasoning: Toward Efficient Multimodal Search Agents

    多模态代理在执行每个动作前通常生成自由形式推理。小型模型因模型容量有限,可能导致推理过程冗长,虽能提供少量有用指导,但会带来较高的推理成本。为解决此问题,我们引入基于选择的结构化推理(SSR),该框架将推理转化为选择而非开放式生成。SSR将重复的高层推理表示为预定义、可复用的自然语言候选。在每一轮中,模型根据候选推理内容进行选择,以优化推理效率。

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月14日周三
  1. Apple Machine Learning Research83

    The Design Space of Tri-Modal Masked Diffusion Models

    离散扩散模型作为自回归语言模型的有力替代方案,近期工作从文本、图像-文本和音频-文本数据中零初始化并微调基础单模态模型,实现多模态生成。与以往方法不同,我们首次提出三模态掩码扩散模型(MDM),并系统分析多模态缩放规律、模态混合比例、噪声调度、批大小效应,提供优化的推理采样默认值。批大小分析得出新颖的随机微分方程(SDE)...

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月13日周二
  1. Simon Willison81

    llm-meta-ai 0.2

    发布:llm-meta-ai 0.2 Meta AI 发布 Muse Wonder(及 Muse Wonder Full),其新 '最强大模型'。这些看起来可能是 Meta 首次发布 Fable 类型模型——Artificial Analysis 将 Muse Wonder (Max) 评为与 GPT-6.1 Sol 相当。我更新了 llm-meta-ai 插件以适配新模型。Muse Wonder 的六种推理级别(最小、低、中、高、x高、最大)的 pelican 说明如下:最大者为对比,提供 Muse 1.3(于第 2 日发布)和 Muse 1.2(于第 5 日发布)的 pelican 说明。Meta AI 每月发布新模型,各模型间改进(至少在绘制 pelican 方面)显著。标签:ai,生成式AI,LLMs,Meta,骑自行车的pelican,LLM发布

    推荐理由:请对照Simon Willison原文,核对完整说明及适用条件。

10月12日周一
  1. Apple Machine Learning Research86

    Self-Compacting Language Model Agents

    长代理轨迹由思维链和工具调用组成,积累过时内容,成为后续生成的锚点,最终超出上下文窗口。现有框架通过固定间隔压缩缓解此问题,触发条件基于令牌阈值。此类触发不关注轨迹结构,可能在推理或搜索中丢弃部分结果。我们提出SELFCOMPACT,一种框架,允许模型自身决定何时及如何压缩。具体而言,它结合两个推理元素:(i)模型调用的压缩工具,用于总结积累内容……

    推荐理由:请对照Apple Machine Learning Research原文,核对完整说明及适用条件。

10月10日周六
  1. Claude Code Releases90

    Claude Code Releases v2.1.296:Added a code key to the Claude apps gateway's managed.poli...

    新增了对Claude应用网关的managed.policies[]的代码密钥,与CLI设置相同,也应用于Claude桌面的代码标签;除桌面外,还启用了Claude桌面的网关模式。新增了autoCompactWindow到子代理的frontmatter和--agents定义中,使子代理可在主对话窗口打开前自动压缩。新增CLAUDE_CODE_WORKFLOW_SUBAGENT_MODEL,使所有工作流代理在单一模型上运行,其他子代理保留各自模型。新增CLAUDE_CODE_OVERLOADED_RETRY_MAX_DELAY_MS环境变量,用于设置重试时的延迟上限。在插件的/plugin路径新增说明,指出当其他启用的插件有相同名称时,该插件的钩子被忽略。新增Read工具的allow_large选项,使Claude可一次读取超过常规大小限制的文本文件。修复了managed-settings PreToolUse钩子,防止工具调用时出现'continue': false的情况。

    推荐理由:请对照Claude Code Releases原文,核对完整说明及适用条件。