中文 ▾
Uncensored Coding无审查地编写代码。获取 API 密钥
每 1M 输入 token
$0.15
输出 token / 1M
$0.50
token 上下文
100,000
试用额度
$0.50
每分钟请求数
300
uncensoredcodingai.com

本地编码 LLM 与 Claude:成本与质量

选择本地编码 LLM 与 Claude 实际上是在三者之间做出选择:在自有 GPU 上运行权重、付费使用高级助手,或按 token 租用开放权重模型。每种方案在不同场景下占优。

更新于

从代码编辑器到家用电脑、云服务器和小芯片的三条路径,比较编码 LLM 选项
终端旁有流动的代码,旁边是一小堆预付 token,展示免费试用然后按 token 付费的编程场景

要点

  1. 在复杂的多文件工作中,托管的高级助手通常会胜过只能装在一个消费级 GPU 上的模型。
  2. 如果你已拥有硬件,本地方案在隐私、离线使用和零边际成本方面胜出。
  3. 托管开放权重 API 处于中间位置:无需硬件,按会话计费,价格以美分计。
  4. 大多数开发者使用两种工具效果最好:一种用于批量工作的廉价工具,一种用于解决难题的强大工具。

三种选项的通俗解释

开发者在比较 本地 LLM 与 Claude 时,往往比较两个不对等的对象。你的 GPU 上的模型受限于显存。Claude 等高级助手运行在提供商的数据中心,拥有更大的模型和配套工具。第三个选择较少受关注:由他人托管的开放权重模型,通过 OpenAI 兼容 API 按 token 计费。

本地模型高级助手托管开放权重 API
前期成本GPU 和 PC无无
边际成本电力订阅或按 token 计费,查看其当前定价此处每 1M token 价格为 $0.15 和 $0.50
模型大小受 VRAM 限制提供商的最大模型一个开放权重模型
数据离开你的机器否是是
支持离线使用是否否
设置工作量高低低

质量:各自获胜的领域

这里要现实一点。对于跨多个文件的复杂重构、细微的并发 bug 或根据模糊需求设计系统,顶级付费助手通常是更强大的工具,而能放入 24 GB 显存的模型通常较弱。这一差距是人们选择付费选项的主要原因。

对于日常编码工作的主体,差距较小:解释错误、根据清晰规范编写函数、生成测试、在语言间转换代码片段、编写正则表达式或 SQL 查询、编写文档字符串。开放权重模型能很好地处理这些任务,且你可以通过运行来验证输出。

不要轻信任何人的说法,包括我的。从你过去两周的工作中选取十个任务,并在每个选项中运行。统计通过测试的数量。免费试用无审查编程 AI 一文展示了无需花费太多即可进行测试的方法。

成本:计算示例

假设一名开发者在一天工作中重度使用助手:3M 输入 token(文件、历史记录、每步重新发送的工具结果)和 0.3M 输出 token。

  • 在此处托管开放权重 API:3M x $0.15 = $0.45,加上 0.3M x $0.50 = $0.15。每天 $0.60,22 个工作日总计 $13.20。
  • 本地:无按 token 计费,但硬件必须存在。中端配置需花费四位数金额,加上电力成本。如果显卡已用于游戏,则只计算电力成本,每月仅需几美元。
  • 高级助手:查看提供商的当前定价,可能是固定订阅含用量限制,或按 token 计费。将相同的每日用量代入适用的计费方式。

关键在于按 token 计费的选项可以缩减至零。如果你每周两天使用助手,则只支付两天的费用。订阅或 GPU 无论是否使用都要付费。充值详情见 定价页面。

隐私和控制

本地方案在此维度明显胜出。提示词不会离开你的机器,你可以离线运行,除非你更新它,否则环境不会变化。如果你的雇主禁止将代码发送给第三方,本地模型可能是你唯一被允许的选择。

使用托管 API 时,提示词会发送到服务器。对于此服务,提示词不用于训练,但你仍应避免发送密钥、生产环境凭证或个人数据。对待任何托管模型应如同对待任何外部服务:先从上下文中移除密钥。

中间路径:编辑器中的托管开放权重 API

如果你想要低成本且无需硬件,请将现有工具指向 OpenAI 兼容的接口。大多数编辑器和编码代理都有用于自定义 base URL、密钥和模型名称的字段。使用:

  • Base URL:https://api.uncensoredcodingai.com/v1
  • 模型:uncensored
  • 密钥:来自API 密钥页面

对于命令行代理 Aider,设置如下:

export OPENAI_API_BASE=https://api.uncensoredcodingai.com/v1
export OPENAI_API_KEY=YOUR_KEY
aider --model openai/uncensored

对于使用 OpenAI Python SDK 的脚本:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredcodingai.com/v1", api_key="YOUR_KEY")
reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a Python function that merges overlapping intervals."}],
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

上下文窗口为 100,000 token,支持函数调用、JSON 模式和流式输出。这是由独立提供商在开放权重模型上运行的纯文本服务,并非任何模型厂商的官方 API。参数见 文档。

日常摩擦和常见错误

基准测试掩盖了你每小时都会注意到的事情。

  • 上下文窗口。本地部署受内存限制:上下文越长,KV 缓存占用的显存越多,因此人们通常将其限制在几千 token 以保持速度。这对编码来说太小了,因为一个大文件就能占满。此处的托管 API 允许 100,000 token 的提示词加补全。
  • 速度。 单个消费级 GPU 的生成速度取决于模型大小和量化程度。托管服务可以同时处理多个请求,此处的完整密钥允许 8 个并发请求,当代理运行并行步骤时这很有帮助。
  • 工具。付费助手通常提供完善的编辑器集成和代理。使用开放权重模型需要更多自行组装,尽管编辑器对 OpenAI 兼容的支持让这一切每月都变得更容易。
  • 维护。 本地意味着驱动更新、新量化版本和内存不足错误。托管意味着密钥和 URL。

这些成本对某些人来说很小,对其他人来说则是致命缺陷。如果你喜欢调整设置,本地是一种有回报的爱好。如果你想今天就能交付代码,API 更省事。

比较时要避免的错误

  • 将小型本地模型与旗舰模型在困难任务上比较。 结果已注定。在你实际执行的任务上进行比较。
  • 忽略输入 token。 编程代理会重新发送大型上下文。每输出 token 看起来很低的价格仍可能累积,因此需计算两端。
  • 将硬件视为免费。 即使你拥有 GPU,它也有更换成本并消耗电力。
  • 跳过验证。 无论你使用什么,都要运行测试。任何模型都可能生成看起来正确但在边缘情况下失败的代码。
  • 粘贴密钥。 在任何托管服务中,将 API 密钥和密码保持在提示词之外。

实用拆分

许多开发者最终采用混合方案而非单一赢家:

  1. 批量和常规工作交给廉价选项:如果你拥有 GPU 则使用本地模型,否则使用托管开放权重 API。
  2. 难题会交给高级助手,每周几次。为困难的 10% 付费比支付所有费用更容易合理化。
  3. 敏感代码留在本地。

保持提示词可移植:系统提示和测试列表在任何 OpenAI 兼容的接口上都能工作,让你自由切换。如果一个工具拒绝合法的安全任务(例如分析你有权研究的样本),这是保留第二个选项的另一个理由。

决策指南

  • 你拥有 24 GB 显卡且注重隐私:运行本地,并使用 API 处理它无法完成的任务。
  • 你每周编码几小时且不想维护:按 token 付费。
  • 你的团队需要在大型代码库上获得最强的推理能力:为此使用高级助手。
  • 你想在决定之前进行比较:领取 $0.50 试用额度,有效期 7 天,无需绑卡,并在你自己的任务上衡量成本和通过率。

问答

本地 LLM 在编程方面与 Claude 一样好吗?

通常在复杂的跨文件任务上表现不佳,因为较大的托管模型往往更强。对于日常任务,差异较小,你可以在自己的代码上进行测试。

本地 LLM 比 Claude 订阅更便宜吗?

仅当你已经拥有合适的硬件或每天使用它很多小时时。请查看当前订阅价格,并将其与你的硬件和电力成本进行比较。

我可以在编辑器中使用托管开放权重模型吗?

可以,只要编辑器或代理接受自定义的 OpenAI 兼容 Base URL、密钥和模型名称。在此处,这意味着上述 Base URL 和模型 uncensored。

此 API 能替代 Claude 吗?

不能。它是一个独立的开放权重模型,不是 Claude,也不是任何供应商的官方 API。将其视为批量任务的廉价选项。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改 base URL。这就是全部设置。

获取 API 密钥