繁中 ▾
Uncensored Coding無拒絕的程式碼。取得 API 金鑰
每 1M 輸入 token
$0.15
輸出 token / 1M
$0.50
token 上下文
100,000
試用額度
$0.50
每分鐘請求數
300
uncensoredcodingai.com

本地編碼用 LLM 與 Claude 比較:成本與品質

選擇本地編碼用 LLM 與 Claude 比較,實際上是在三個選項之間做出選擇:在自有 GPU 上執行權重、付費使用高級助理,或按 token 租用開放權重模型。每種選項在不同的情況下具有優勢。

更新於

從程式碼編輯器到家用電腦、雲端伺服器和小晶片,比較編碼 LLM 選項的三種路徑
終端機旁有流動的程式碼,旁邊堆疊著預付 token,顯示免費試用然後按 token 付費編碼

重點摘要

  1. 在高階、多檔案的工作中,高級託管助理通常會勝過能裝入單一消費型 GPU 的模型。
  2. 如果你已經擁有硬體,本地方案在隱私、離線使用和零邊際成本方面具有優勢。
  3. 託管開放權重 API 處於中間位置:無需硬體,token 價格以每場次幾美分計算。
  4. 大多數開發者使用兩種工具效果最好,一種用於大量工作的便宜工具,一種用於解決難題的強大工具。

三個選項的簡要說明

開發者在權衡 本地 LLM 編碼與 Claude 時,經常比較兩個不平等的選項。GPU 上的模型受你的顯存限制。高級助理(如 Claude)運行在供應商的資料中心中,擁有更大的模型和周圍的工具。第三個較少受關注的選項是:由他人託管的開放權重模型,並透過 OpenAI 相容 API 按 token 計費。

本地模型高級助理託管開放權重 API
前期成本GPU 和 PC無無
邊際成本電力訂閱或按 token 計費,請查看其當前定價$0.15 和 $0.50 每 1M token
模型大小受 VRAM 限制供應商的最大模型單一開放權重模型
資料離開您的機器否是是
離線可用是否否
設定工作量高低低

品質:各自的優勢領域

請務實看待。對於跨越多個檔案的複雜重構、細微的並行錯誤,或從模糊的需求設計系統,頂級付費助手通常是更強的工具,而能裝入 24 GB 顯示記憶體的模型通常較弱。這個差距是人們願意付費購買高級方案的主要原因。

對於日常的編碼工作,差距較小:解釋錯誤、根據明確規範撰寫函式、生成測試、在語言之間轉換程式碼片段、撰寫正規表示式或 SQL 查詢、撰寫文件註解。開放權重模型能很好地處理這些任務,你可以透過執行輸出來驗證。

不要輕信任何人的說法,包括我的。從你過去兩週的工作中挑選十個任務,並用每個選項執行一次。計算有多少任務通過你的測試。嘗試免費使用無審查編碼 AI一文展示了如何以較低的成本進行測試。

成本:一個計算範例

考慮一位在工作日大量使用助理的開發者:3M 輸入 token(檔案、歷史記錄、每個步驟重新發送的工具結果)和 0.3M 輸出 token。

  • 託管開放權重 API 在此處:3M x $0.15 = $0.45,加上 0.3M x $0.50 = $0.15。這 每天為 $0.60,或在 22 個工作日內為 $13.20。
  • 本地運行:沒有每 token 費用,但必須具備硬體。中階組裝需要四位數的支出,加上電費。如果顯示卡已經在你的 PC 中用於遊戲,則只計算電費,每月僅需幾美元。
  • 高級助理:請查看供應商的當前定價,可能是固定訂閱(帶有使用限制)或按 token 計費。將相同的每日用量代入適用的方案。

關鍵點在於按 token 計費的選項成本可趨近於零。如果你每週兩天使用助理,你只需支付兩天的費用。訂閱或 GPU 無論你是否使用都要付費。儲值詳情請見 定價頁面。

隱私與控制

本地方案在此軸線上明顯勝出。提示詞不會離開你的機器,你可以離線運行,除非你更新它,否則不會有任何變化。如果你的雇主禁止將程式碼發送給第三方,本地模型可能是你唯一允許的選擇。

使用託管 API 時,提示詞會傳送到伺服器。對於此服務,提示詞不會用於訓練,但你仍應避免發送機密、生產環境憑證或個人資料。將任何託管模型視為你處理任何外部服務的方式:首先從上下文中移除金鑰。

中間路徑:在你的編輯器中使用託管開放權重 API

如果你想要低成本且無需硬體,請將現有工具指向 OpenAI 相容的端點。大多數編輯器和編碼代理程式都有用於自訂 Base URL、金鑰和模型名稱的欄位。使用:

  • Base URL:https://api.uncensoredcodingai.com/v1
  • 模型:uncensored
  • 金鑰:來自 API 金鑰頁面 的金鑰

對於命令列代理程式 Aider,設定如下所示:

export OPENAI_API_BASE=https://api.uncensoredcodingai.com/v1
export OPENAI_API_KEY=YOUR_KEY
aider --model openai/uncensored

對於使用 OpenAI Python SDK 的腳本:

from openai import OpenAI

client = OpenAI(base_url="https://api.uncensoredcodingai.com/v1", api_key="YOUR_KEY")
reply = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write a Python function that merges overlapping intervals."}],
    stream=True,
)
for chunk in reply:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")

上下文視窗為 100,000 token,支援函式呼叫、JSON 模式和串流輸出。這是一個由獨立供應商運行的開放權重模型的純文本服務,不是任何模型供應商的官方 API。參數請見 文件。

日常摩擦和常見錯誤

基準測試隱藏了你每小時都會注意到的事項。

  • 上下文長度。 本地設置受記憶體限制:上下文越長,KV 快取佔用的 VRAM 越多,因此人們通常將其限制在幾千個 token 以保持速度。這對於編碼來說很小,因為一個大檔案就可以填滿它。託管 API 允許 100,000 token 的提示詞加輸出。
  • 速度。 單一消費型 GPU 的生成速度取決於模型大小和量化。託管服務可以同時處理多個請求,此處的金鑰允許 8 個並行請求,這有助於代理程式執行並行步驟。
  • 工具。 高級助理通常提供完善的編輯器整合和代理程式。對於開放權重模型,你需要自行組裝更多內容,儘管編輯器中的 OpenAI 相容支援每月都在讓這變得更容易。
  • 維護。 本地意味著驅動程式更新、新的量化版本和記憶體不足錯誤。託管意味著金鑰和 URL。

這些成本對某些人來說很小,對其他人來說則是致命傷。如果你喜歡調整設置,本地是一個有回報的愛好。如果你想今天發布程式碼,API 的工作量更少。

比較時應避免的錯誤

  • 將小型本地模型與旗艦模型在困難任務上進行比較。 結果是預定的。在你實際執行的任務上進行比較。
  • 忽略輸入 token。 編碼代理程式會重新發送大型上下文。每輸出 token 看起來很低的價格仍然會累積,因此請計算兩邊。
  • 將硬體視為免費。 即使你擁有 GPU,它也有更換成本並消耗電力。
  • 跳過驗證。 無論你使用什麼,請運行測試。任何模型都可能產生看起來正確但在邊緣情況下失敗的程式碼。
  • 貼上機密。 在任何託管服務中,請將 API 金鑰和密碼排除在提示詞之外。

實用分割

許多開發者最終會獲得混合方案,而不是一個贏家:

  1. 大量且常規的工作 交給便宜的選項:如果你擁有 GPU,則使用本地模型,否則使用託管開放權重 API。
  2. 難解的問題通常會交給付費助手,每週執行幾次。為困難的 10% 付費比為所有內容付費更容易說服自己。
  3. 敏感程式碼 保留在本地。

保持提示詞的可移植性:系統提示詞和測試列表在任何 OpenAI 相容的端點上都能運作,讓你可以自由切換。如果一個工具拒絕合法的資安任務,例如分析你有權研究的樣本,這是保留第二個選項的另一個原因。

決策指南

  • 你擁有 24 GB 的顯示卡並重視隱私:在本地運行模型,並使用 API 處理它無法處理的事情。
  • 你每週花幾小時寫程式且不想維護:按 token 計費。
  • 你的團隊需要在大型程式碼庫上具備最強的推理能力:為此工作使用高級助手。
  • 你想在決定前進行比較:領取 $0.50 試用額度,有效期 7 天且無需信用卡,並在你自己的任務上測量成本與通過率。

問答

本地 LLM 在程式碼編寫上與 Claude 一樣好嗎?

在困難的多檔案工作上通常不是,因為較大的託管模型往往更強。對於常規任務,差異較小,你可以在自己的程式碼上進行測試。

本地 LLM 比 Claude 訂閱更便宜嗎?

僅當你已經擁有合適的硬體或每天使用許多小時時才成立。請查看目前的訂閱價格,並將其與你的硬體和電力成本進行比較。

我可以在編輯器中使用託管開放權重模型嗎?

可以,如果編輯器或代理程式接受自訂 OpenAI 相容的 base URL、金鑰和模型名稱。在此情況下,這意味著上述的 base URL 和模型 uncensored。

這個 API 會取代 Claude 嗎?

不會。它是一個獨立的開放權重模型,不是 Claude,也不是任何廠商的官方 API。將其視為處理大量工作的便宜選項。

只需填寫一張表單即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰