最佳编程 LLM API:对比要点
最适合编程的 LLM API 是那些能通过你自身任务测试且价格可承受的产品。本页面列出了区分编程 API 的标准,以及你可以在一小时内运行的测试。
更新于


要点
- 根据你自身的仓库任务对 API 进行排名,而不是依赖排行榜。
- 在查看价格之前,先检查上下文大小、工具调用、JSON 模式、流式输出和速率限制。
- 每次编程会话的成本很容易计算;一次典型的代理运行,按每 100 万 token $0.15 和 $0.50计算,成本低于 20 美分。
- 如果你从事合法的安全工作,拒绝行为是一个真正的选择标准。
从任务开始,而不是从品牌开始
搜索 最佳编程 llm api 的人通常想要以下四种功能之一:编辑器内的自动补全和聊天、编辑文件并运行命令的编程代理、代码审查或测试生成等批处理作业,或者协助安全相关工作(如分析可疑脚本)。每种功能对模型的不同属性提出不同要求。自动补全需要低延迟。代理需要可靠的工具调用。批处理作业需要便宜的 token 和高并发。安全工作需要一个不会拒绝合法请求的模型。
没有单个 API 在所有方面都排名第一。大型专有模型可能比中型开放权重模型解决更复杂的多文件推理问题。当你发送大量小型请求时,廉价的开放权重模型可能是更好的选择。首先确定对你来说最重要的是哪一方面。
关键标准
| 标准 | 为什么对代码很重要 | 如何测试 |
|---|---|---|
| 上下文窗口 | 完整文件、差异和测试输出必须能够容纳,并留有回答的余地 | 粘贴一个 3,000 行的文件并要求进行特定更改 |
| 工具调用 | 代理读取文件、运行测试并通过工具应用补丁 | 提供三个工具和需要按顺序使用其中两个的任务 |
| JSON 模式 | 用于代码检查器、审查机器人和管道的结构化输出 | 请求固定模式 50 次,统计解析失败次数 |
| 流式输出 | 编辑器在 token 到达时显示它们 | 在你所在的区域测量首个 token 到达时间 |
| 速率限制 | 并行测试生成会触及并发上限 | 同时发送 10 个请求并读取 429 响应体 |
| 每次会话的价格 | 代理在每一步重新发送上下文 | 记录真实任务期间的 token 使用情况 |
| 拒绝响应 | 安全、恶意软件分析和漏洞研究在某些模型上会被阻止 | 运行你自己的合法提示词并统计拒绝次数 |
| 接口格式 | 编辑器和代理期望 OpenAI 的传输格式 | 仅更改基础 URL 和密钥,查看是否有效 |
注意缺失了什么:供应商名称。该表格关注的是你可以衡量的行为。
此 API 在每个标准上的表现
以下是该网站 API 的事实,以便你填写自己的对比表。
- 上下文: 100,000 tokens,包含提示词和补全。补全可以使用窗口的剩余部分,
max_tokens是可选的。 - 工具调用: 支持
tools和tool_choice,包括流式输出的tool_calls,结果以role: "tool"形式返回。 - JSON 模式:
response_format: {"type":"json_object"}。 - 流式传输: 使用
stream: true的 SSE,并在末尾提供使用情况。 - 采样控制: temperature、top_p、stop、seed 和惩罚参数均透传。
- 限制: 完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 和 60。超过限制时,你会收到 HTTP 429,并带有
rate_limited或concurrency。 - 价格: 输入 token 每 1M 个 $0.15,输出 token 每 1M 个 $0.50,按量付费。失败或被拒绝的请求不收费。
- 模型: 一个开放权重模型,由独立提供商运行,经过调整以在不拒答的情况下回答,适用于合法的成人用途。它不是任何模型供应商的官方 API,也不是路由器。
它仅支持文本。不支持嵌入,因此代码搜索设置需要单独的嵌入源。
真实编程会话的成本
代理在每一步重新发送对话,因此输入 token 占主导地位。假设一次会话包含 50 次模型调用,每次包含 20,000 个输入 token(文件、历史、工具输出)和 1,000 个输出 token。
- 输入:50 x 20,000 = 1,000,000 token,每 1M 个 $0.15,成本为 $0.15。
- 输出:50 x 1,000 = 50,000 token,每 1M 个 $0.50,成本为 $0.025。
- 总计:$0.175,即约 17.5 美分。
工作日中运行二十次此类会话总计 $3.50。用相同的算术方法与你当前的支出进行比较;对于其他提供商,请查看其当前定价并将他们的费率代入相同的公式。定价页面 列出了充值金额和奖励。
安全和代码相关主题的拒绝
许多托管模型会拒绝涉及逆向工程、漏洞开发、恶意软件样本或渗透测试的请求,即使用户是获得许可的专业人士。如果你的工作包括合法的安全研究、CTF 练习、自有系统的红队工具或混淆代码分析,请在评估中统计拒绝次数。
该 API 基于一个经过调整的模型,在不拒答的情况下回答,适用于合法的成人用途。这并不免除你的责任:只测试你有权测试的系统。有一个硬性限制:禁止涉及未成年人的性内容。若要更广泛地了解具有该行为的模型,请参阅关于 无审查 LLM(如 Grok) 的页面。
一小时评估脚本
不要相信任何人的排名,包括本排名。从你的仓库中收集十个任务:三个错误修复、三个小功能、两个重构、两个编写测试的工作。将每个任务针对每个候选者运行,然后根据测试是否通过进行评分。下面的脚本将相同的提示词发送到此 API;通过更改 Base URL、密钥和模型,你可以将其复制到其他接口。
from openai import OpenAI
import time
client = OpenAI(base_url="https://api.uncensoredcodingai.com/v1", api_key="YOUR_KEY")
tasks = [
"Fix the off-by-one error in this function:\n\ndef last_n(items, n):\n return items[len(items)-n+1:]",
"Write pytest tests for a function slugify(text) that lowercases and replaces spaces with hyphens.",
]
for prompt in tasks:
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=0.2,
)
print(f"{time.time() - t0:.1f}s, {r.usage.completion_tokens} output tokens")
print(r.choices[0].message.content[:400])
print("-" * 40)编写代码时请保持较低的温度,如果需要可重复运行,请使用 seed。记录每个任务的成功或失败以及 token 使用情况,然后将成本除以通过的任务数。这个数值(每个已解决任务的成本)是用于比较的指标。
在信任代理之前测试工具调用
工具调用是编程 API 在实际应用中最不同的地方。一个能写出好代码但发出格式错误的工具参数的模型会让代理停滞。使用一个工具和需要该工具的提示词直接测试它。
curl https://api.uncensoredcodingai.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Run the tests in the tests/ folder."}],
"tools": [{
"type": "function",
"function": {
"name": "run_command",
"description": "Run a shell command in the project root",
"parameters": {
"type": "object",
"properties": {"command": {"type": "string"}},
"required": ["command"]
}
}
}],
"tool_choice": "auto"
}'在响应中查找 tool_calls,并确保 arguments 中的 JSON 有效。重复请求 20 次并统计格式错误的参数。然后发送一个 role: "tool" 消息,附带一个虚构的结果,并检查模型是否继续合理响应。如果你使用如 Aider 之类的代理,你可以将其指向同一个接口,使用其兼容 OpenAI 的选项,并通过它运行你的任务列表。
当其他模型是更好的选择时
诚实地看待这种权衡。在以下情况下选择其他 API:
- 你的任务涉及复杂的、多文件的推理问题,且测试表明更大的模型能解决更多问题。为每个解决的任务支付更高的费用,总体成本可能更低。
- 你需要图像输入、嵌入或微调。此服务仅支持文本。
- 你的公司要求使用特定供应商的官方 API 和合同。
当你发送大量请求,需要支持工具调用和 JSON 模式的 OpenAI 兼容访问,需要低 token 价格下的 100,000 token 长上下文窗口,或在合法的安全工作中遇到拒绝时,选择此 API。常见的配置是同时使用两者:对最复杂任务使用高端模型,对批量工作使用廉价模型。还有 免费试用无审查编码 AI 页面,文档 涵盖了上述所有参数。
更多指南
问答
哪种 LLM API 最适合编码?
没有单一的最佳选择。在你自己的任务上测试两到三个候选者,比较每个解决任务的成本,以及函数调用可靠性和针对你使用场景的拒绝率。
更大的上下文窗口是否意味着更好的代码输出?
并非如此。大上下文窗口允许你包含更多文件,但质量仍取决于模型。100,000 token 足以容纳许多代码库切片。
我可以在编辑器中使用此 API 吗?
任何接受 OpenAI 兼容基础 URL 和密钥的编辑器或代理均可使用。将基础 URL 设置为 https://api.uncensoredcodingai.com/v1,并将模型设置为 uncensored。
我如何低成本尝试?
注册后,在 API 密钥页面一键领取 $0.50 试用额度。无需信用卡,有效期为 7 天。
只差一张表单,即可获得密钥
创建账户,复制密钥,更改基础 URL。这就是全部设置。