好物分享 2025年7月13日

Gemini Balance 部署體驗：從零開始的AI代理服務搭建心得

分享使用 Gemini Balance 搭建 AI 代理服務的完整體驗，包括在 ClawCloud 上部署 SQLite 版本的實戰心得與技術要點

作者：Tommy Pan 閱讀時間： 8 分鐘

前言

在探索AI服務部署的過程中，我發現了一個非常實用的項目 - Gemini Balance。這是一個專為 Gemini API 設計的輪詢代理服務，能夠實現負載均衡、API密鑰管理和使用監控等功能。本文將分享我從零開始部署這個服務的完整體驗和心得。

什麼是 Gemini Balance？

Gemini Balance 是一個開源的 Gemini API 代理服務，主要特色包括：

🔄 負載均衡：支援多個 API 密鑰輪詢使用
📊 使用監控：提供詳細的 API 使用統計和監控面板
🔐 訪問控制：支援自定義訪問令牌管理
💾 數據持久化：支援 SQLite 和其他數據庫存儲
🌐 易於部署：支援多種部署平台

技術架構分析

核心組件

Gemini Balance 的技術架構包含以下核心組件：

代理服務器：處理 API 請求轉發和負載均衡
監控模組：收集和展示使用統計數據
數據存儲：SQLite 數據庫存儲配置和統計信息
Web 界面：提供管理和監控功能

負載均衡策略

服務採用輪詢（Round Robin）策略進行負載均衡：

請求分發：按順序將請求分配給不同的 API 密鑰
故障轉移：當某個密鑰出現問題時自動切換
使用統計：記錄每個密鑰的使用情況和響應時間

架構流程圖

graph TD A[客戶端請求] --> B[Gemini Balance 代理] B --> C{負載均衡器} C --> D[API Key 1] C --> E[API Key 2] C --> F[API Key N] D --> G[Gemini API] E --> G F --> G G --> H[響應結果] H --> I[統計記錄] I --> J[監控面板] H --> A

這個架構確保了：

高可用性：多個 API 密鑰提供冗余
負載分散：避免單一密鑰過載
透明代理：客戶端無需關心底層實現

為什麼選擇 Gemini Balance？

在實際使用 Gemini API 的過程中，我遇到了幾個常見問題：

1. API 配額限制

單個 API 密鑰的請求限制往往無法滿足高頻使用需求，需要多個密鑰輪詢使用。

2. 使用監控困難

缺乏直觀的方式來監控 API 使用情況和成本控制。

3. 訪問管理複雜

在團隊環境中，需要統一的訪問控制和密鑰管理機制。

'Retrying langchain_google_genai.llms._completion_with_retry.<locals>._completion_with_retry in 4.0 seconds as it raised ResourceExhausted: 429 You exceeded your current quota, please check your plan and billing details. For more information on this error, head to: https://ai.google.dev/gemini-api/docs/rate-limits. [violations {
  quota_metric: "generativelanguage.googleapis.com/generate_content_free_tier_requests"
  quota_id: "GenerateRequestsPerMinutePerProjectPerModel-FreeTier"
  quota_dimensions {
    key: "model"
    value: "gemini-2.5-flash"
  }
  quota_dimensions {
    key: "location"
    value: "global"
  }
  quota_value: 10
}
, links {
  description: "Learn more about Gemini API quotas"
  url: "https://ai.google.dev/gemini-api/docs/rate-limits"
}
, retry_delay {
  seconds: 28
}
].

Gemini Balance 正好解決了這些痛點，提供了一個完整的代理服務解決方案。

ClawCloud 部署實戰

平台選擇考量

我選擇在 ClawCloud 上部署，主要考慮因素：

💰 成本效益：ClawCloud 提供免費額度，適合個人項目

github登入了話，只要滿180天的賬號，就有一個入門的伺服器可以架設

🚀 部署簡便：支援 Docker 容器化部署
🔧 配置靈活：環境變量配置方式簡單直觀

部署步驟詳解

這個doc寫的蠻詳細的，不過有遇到一個問題，可以在我的文章説明
https://gb-docs.snaily.top/guide/setup-clawcloud-sqlite.html

1. 先準備MySQL

根據官方doc的設置，注冊aiven的賬號就可以。

https://gb-docs.snaily.top/guide/setup-hf.html
https://console.aiven.io/

將下面的MySQL的欄位的内容記下來。 Gemini Balance 部署體驗

2. 注冊clawcloud

https://gb-docs.snaily.top/guide/setup-clawcloud-sqlite.html

我是選擇German地區，主要要看每一個地區的伺服器負載，選擇不要紅色的基本上很快就可以部署好了 Gemini Balance 部署體驗

3. 設置 gemini balance 配置

將你手上有的google ai studio的API令牌停入下面這個密鑰列表中。 Gemini Balance 部署體驗然後你要自己設定一個允許的令牌列表，這個簡單來説就是gemini balance會整合你提供的所有的Gemini API,然後輸出一個獨特的token，這個token是經過gemini balance處理過後的token。