最佳程式碼編寫 LLM API:比較重點
最適合程式碼編寫的 LLM API 是能通過你自己任務且價格可負擔的那一個。本頁列出了區分程式碼 API 的標準,以及你可以在一小時內執行的測試。
更新於


重點摘要
- 根據你自己的程式庫任務來排名 API,而不是根據排行榜。
- 在價格之前,先檢查上下文大小、工具呼叫、JSON 模式、串流輸出和速率限制。
- 每次程式碼工作階段的成本很容易計算;典型的代理程式執行,每 1M 個 token 費用為 $0.15 和 $0.50 時,總費用低於 20 美分。
- 如果你從事合法的安全工作,拒絕行為是一個真正的選擇標準。
從任務開始,而不是從品牌開始
搜尋 用於程式碼編寫的最佳 LLM API 的人通常有四個需求:編輯器內的自動完成與聊天、可編輯檔案並執行指令的程式碼代理程式、程式碼審查或測試生成等批次工作,或是協助安全相關工作,例如分析可疑腳本。每項需求都會考驗不同的特性。自動完成需要低延遲。代理程式需要可靠的工具呼叫。批次工作需要便宜的 token 和高並行。安全工作需要一個不會拒絕合法請求的模型。
沒有單一 API 在所有項目中都排名第一。大型專有模型可能解決比中型開放權重模型更複雜的多檔案推理問題。當你發送大量小型請求時,廉價的開放權重模型可能是更好的選擇。首先決定哪個項目對你最重要。
重要的標準
| 標準 | 為什麼對程式碼很重要 | 如何測試 |
|---|---|---|
| 上下文視窗 | 完整檔案、差異和測試輸出必須能容納並留有回答的空間 | 貼上 3,000 行的檔案並要求進行特定變更 |
| 函式呼叫 | 代理程式透過工具讀取檔案、執行測試並套用修補程式 | 提供三個工具和一個需要依序使用其中兩個工具的任務 |
| JSON 模式 | 用於程式碼檢查器、審查機器人和工作流程的結構化輸出 | 請求固定 schema 50 次,計算解析失敗次數 |
| 串流輸出 | 編輯器會顯示即時到達的 token | 在你自己的地區測量第一個 token 的時間 |
| 速率限制 | 平行測試生成會觸發並行限制 | 同時發送 10 個請求並讀取 429 回應主體 |
| 每次工作階段的價格 | 代理程式在每個步驟重新發送上下文 | 記錄真實任務中的 token 使用情況 |
| 拒絕回應 | 安全、惡意軟體分析和漏洞研究在某些模型上會被阻止 | 執行你自己的合法提示詞並計算拒絕次數 |
| 介面格式 | 編輯器和代理程式預期使用 OpenAI 的傳輸格式 | 僅更改 Base URL 和金鑰,看看是否有效 |
注意缺少的內容:供應商名稱。表格關注的是你可以測量的行為。
此 API 在各標準上的表現
以下是本網站背後 API 的事實,以便你填寫自己的比較表。
- 上下文: 100,000 個 token,包含提示詞與補全。補全可以使用視窗剩餘的空間,且
max_tokens為選填。 - 工具呼叫: 支援
tools和tool_choice,包括串流的tool_calls,結果以role: "tool"形式回傳。 - JSON 模式:
response_format: {"type":"json_object"}。 - 串流輸出: 使用
stream: true的 SSE,並在結尾提供用量資訊。 - 採樣控制: temperature、top_p、stop、seed 和懲罰因子都會直接傳遞。
- 限制: 完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個和 60 個。超過限制時,你會收到 HTTP 429 錯誤,並帶有
rate_limited或concurrency。 - 價格: 每 1M 個輸入 token $0.15,每 1M 個輸出 token $0.50,隨用隨付。失敗或被拒絕的請求不會收費。
- 模型: 單一開放權重模型,由獨立供應商運行,並針對合法成人用途調整為不會拒絕內容。它不是任何模型供應商的官方 API,也不是路由。
它僅支援文字。不支援嵌入,因此程式碼搜尋設定需要單獨的嵌入來源。
真實程式碼會話的成本
代理程式在每個步驟重新發送對話,因此輸入 token 佔主導地位。取一個包含 50 次模型呼叫的工作階段,每次包含 20,000 個輸入 token(檔案、歷史記錄、工具輸出)和 1,000 個輸出 token。
- 輸入:50 x 20,000 = 1,000,000 個 token,每 1M 個 token 費用為 $0.15,總計 $0.15。
- 輸出:50 x 1,000 = 50,000 個 token,每 1M 個 token 費用為 $0.50,總計 $0.025。
- 總計:$0.175,約 17.5 美分。
一個工作日內進行二十次此類工作階段,總計 $3.50。使用相同的算術與你目前的支出進行比較;對於其他供應商,請查看他們當前的定價,並將他們的費率代入相同的公式。定價頁面列出了儲值金額和獎金。
安全和程式碼相關主題的拒絕行為
許多託管模型會拒絕涉及逆向工程、漏洞開發、惡意軟體樣本或滲透測試的請求,即使用戶是擁有權限的專業人士。如果你的工作包括合法的安全研究、CTF 練習、自有系統的紅隊工具或混淆程式碼分析,請在評估中計算拒絕次數。
此 API 基於一個針對合法成人用途不會拒絕內容的微調模型建構。這並不免除你的責任:僅測試你獲授權測試的系統。有一個硬性限制:禁止涉及未成年人的性內容。若要更廣泛地了解具有此行為的模型,請參閱 類似 Grok 的無審查 LLM 頁面。
一小時的評估腳本
不要相信任何人的排名,包括這個。從你的程式庫中收集十個任務:三個錯誤修復、三個小功能、兩個重構、兩個測試編寫工作。將每個任務與每個候選者進行比較,然後根據測試是否通過來評分。下面的腳本將相同的提示詞發送到此 API;通過更改 Base URL、金鑰和模型,你可以將其複製到其他端點。
from openai import OpenAI
import time
client = OpenAI(base_url="https://api.uncensoredcodingai.com/v1", api_key="YOUR_KEY")
tasks = [
"Fix the off-by-one error in this function:\n\ndef last_n(items, n):\n return items[len(items)-n+1:]",
"Write pytest tests for a function slugify(text) that lowercases and replaces spaces with hyphens.",
]
for prompt in tasks:
t0 = time.time()
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": prompt}],
temperature=0.2,
)
print(f"{time.time() - t0:.1f}s, {r.usage.completion_tokens} output tokens")
print(r.choices[0].message.content[:400])
print("-" * 40)編碼時請保持低溫度,若希望結果可重複,請使用 seed。記錄每個任務的通過或失敗情況以及 token 使用量,然後將成本除以通過的任務數。這個「每解決任務的成本」才是應該比較的數值。
在信任代理程式之前測試工具呼叫
在實際操作中,函式呼叫是各編碼 API 差異最大的地方。一個能寫出好程式碼但發出格式錯誤的函式參數的模型,會讓代理程式停滯。使用一個函式以及需要該函式的提示詞直接測試。
curl https://api.uncensoredcodingai.com/v1/chat/completions \
-H "Authorization: Bearer YOUR_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Run the tests in the tests/ folder."}],
"tools": [{
"type": "function",
"function": {
"name": "run_command",
"description": "Run a shell command in the project root",
"parameters": {
"type": "object",
"properties": {"command": {"type": "string"}},
"required": ["command"]
}
}
}],
"tool_choice": "auto"
}'在回應中尋找 tool_calls,並確認 arguments 中的 JSON 格式有效。重複請求 20 次並計算格式錯誤的數量。然後傳送一個帶有假結果的 role: "tool" 訊息,並檢查模型是否繼續合理運作。如果你使用 Aider 等代理程式,你可以將其指向具有 OpenAI 相容選項的相同端點,並透過它執行你的任務清單。
當其他模型是更好的選擇時
誠實面對這項取捨。在以下情況選擇不同的 API:
- 你的任務是困難的多檔案推理問題,且你的測試顯示較大的模型能通過更多測試。為每個解決的任務支付更多費用,可能是整體更便宜的途徑。
- 你需要影像輸入、嵌入或微調。此服務僅限文字。
- 你的公司需要特定供應商官方的 API 和合約。
當你發送大量請求、需要具有函式呼叫和 JSON 模式的 OpenAI 相容存取、需要低 token 價格的 100,000 token 長上下文視窗,或在合法安全工作中遇到拒絕時,請選擇此方案。常見的配置是同時使用:一個高階模型處理最困難的任務,一個便宜模型處理大量工作。還有 免費試用無審查程式碼 AI 頁面,以及 文件涵蓋上述所有參數。
更多指南
問答
哪種 LLM API 最適合編碼?
沒有單一的贏家。請在您的任務上測試兩到三個候選模型,並比較每個解決任務的成本,以及工具呼叫的可靠性和您用途的拒絕率。
更大的上下文視窗是否意味著更好的程式碼輸出?
並非如此。大的上下文視窗允許您包含更多檔案,但品質仍取決於模型。100,000 token 足以容納許多整個儲存庫的切片。
我可以在我的編輯器中使用此 API 嗎?
任何接受 OpenAI 相容 Base URL 和金鑰的編輯器或代理程式都可以使用它。將 Base URL 設定為 https://api.uncensoredcodingai.com/v1,並將模型設定為 uncensored。
我如何以低廉的價格試用?
註冊後,在 API 金鑰頁面按一下即可領取 $0.50 試用額度。無需綁定信用卡,有效期為 7 天。
只差一張表單,即可取得金鑰
建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。