OpenRouter

目標:做一個本機優先的多家大型語言模型 API 閘道,用統一格式呼叫我有權使用的模型並記錄成本。 技術棧建議:Python FastAPI、SQLite、httpx、SSE,前端使用純 HTML/CSS/JavaScript,以 OpenAI 相容格式作為內部介面。 需求: - 提供 OpenAI 相容的 /v1/chat/completions 端點 - 支援 OpenAI、Anthropic、Google Gemini 三種供應商,各自讀取環境變數 API 金鑰 - 將不同供應商的訊息、工具呼叫、串流事件轉成統一格式 - 支援模型別名,可把短名稱對應到供應商與實際模型名稱 - 支援依序備援與逾時重試,只在可重試的網路或伺服器錯誤時切換 - 支援串流與非串流回應,並正確轉發停止原因與 token 用量 - 可設定每個模型的輸入、輸出單價,依回應用量估算單次與累計成本 - SQLite 記錄請求時間、模型、供應商、延遲、狀態、token 用量與估算費用 - 提供本機管理頁,可查看請求清單、模型用量、錯誤率與每日成本 - 提供模型路由規則,可依模型名稱、最大費用或供應商偏好選擇目標 - 供應商金鑰只從環境變數讀取,管理頁不得顯示完整金鑰 - 提供健康檢查端點與各供應商連線測試,錯誤訊息需隱藏金鑰 - 可將請求紀錄、路由設定與成本報表匯出為 JSON 與 CSV 明確不做(out of scope):模型訓練、代替供應商提供模型、OpenRouter 全部模型目錄與價格自動同步、多人帳號與權限、雲端部署、跨裝置同步、繞過供應商限制。 README 要求:說明啟動方式、環境變數、供應商設定、OpenAI 相容 API 範例、路由與計價格式、資料庫位置、匯出與備份方式。