跳至主要内容

服務概觀

客製化流程設計前台​

  1. 什麼是客製化流程設計前台？

    • 此服務採用分層架構，包含前端平台（Tier 1）、API代理伺服器（Tier 2）及LLM推論加速器（Tier 3）。
    • 結合AI工具與工作流程，提供直覺易用的開發環境。
    • 無需技術背景，即可靈活配置AI應用。
    • 支援快速佈署與介面設計，加速應用落地

  2. 國網中心提供哪些前端服務？

    • 我們提供OpenWebUI、AnythingLLM等開源前端服務，未來將進一步整合更多選項以及導入Agentic AI框架。
    • 我們亦積極徵詢各單位開發的前端選項，整合進入客製化流程設計前台服務，創造本土AI聚落。

  3. 如何申請客製化流程設計前台？

    • 請至iService官方網站
    • 點選「註冊」，依iService官方網站頁面指示申請
      iservice_signup
      • 若發生註冊問題，請洽iService客服
    • 註冊成功後，請於iService官方網站申請計畫並申購額度，額度核可通過後，即可自TAIWAN AI RAP官方網站啟用服務。詳細說明請見：計價與申購說明

多模型 API 服務​

  1. 什麼是多模型 API 服務？

    • 此服務基於 API 代理伺服器（Tier 2）及 LLM 推論加速器（Tier 3）架構，提供多種開源模型 API，適用於不同應用場景。
    • 幫助企業快速開發 AI 加值服務，增強競爭力。

  2. 如何申請多模型API服務？

    • 請至iService官方網站
    • 點選「註冊」，依iService官方網站頁面指示申請
      iservice_signup
      • 若發生註冊問題，請洽iService客服
    • 註冊成功後，請於iService官方網站申請計畫並申購額度，額度核可通過後，即可自TAIWAN AI RAP官方網站啟用服務。詳細說明請見：計價與申購說明

  3. 什麼是國網中心 API 服務金鑰（API Key）？

    • 是存取國網中心多模型 API 服務的憑證，需通過此金鑰與 LiteLLM 模組來訪問大語言模型。

  4. 為何需要申請 API Key？

    • API Key 是存取國網中心所提供模型的必要條件。

  5. 所有 LLM 服務都需透過 LiteLLM 模組嗎？

    • 是的，所有 LLM 服務均需透過 LiteLLM 模組及 API Key 進行存取。

  6. 一把 API Key 可以同時多人使用嗎？

    • 可以，但需由您自行負責管理您的單位內 API Key 的使用狀況。
    • 一旦發現異常使用，國網中心將通知用戶並進行停權處理。

  7. 申請 API Key 有數量限制嗎？

    • 沒有限制，可根據需求申請及管理。

  8. 模型有輸入Tokens數量的上限嗎？

    • 有上限，上限為一次不超過 131K Tokens，否則會報API ERROR。
    • 請注意，131K ≠ 131K 字。中文的換算為 1 Token ≈ 0.6字；英文的換算為 1 Token ≈ 0.75字。
    • 最大可接受文本量: 中文 ≈ 78,000 字；英文 ≈ 100,000 字。
    • 建議精簡一次輸入的內容，或是將內容分批餵給模型。

  9. 出現400錯誤可能是什麼情況造成的？

  • 出現這一問題可能是用錯誤的方式呼叫模型，如下範例，欲使用reranker類模型，卻使用 /chat/completions 方式打API，而導致錯誤
Chat result: False

reply: 

400 Client Error: Bad Request for url: https://portal.genai.nchc.org.tw/api/v1/chat/completions

LLM 呼叫失敗: 400 Client Error: Bad Request for url: https://portal.genai.nchc.org.tw/api/v1/chat/completions

模型微調與評估​

  1. 什麼是模型微調與評估？
  • 簡化 AI 訓練與數據處理流程，提高模型精準度。
  • 適用於公文訓練等特定應用，提升專業領域適用性。
  • 內建模型評分機制，提供優化參考數據。
  1. 如何申請模型微調與評估？
  • 請至iService官方網站
  • 點選「註冊」，依iService官方網站頁面指示申請
    iservice_signup
    • 若發生註冊問題，請洽iService客服
  • 註冊成功後，請於iService官方網站申請計畫並申購額度，額度核可通過後，即可自TAIWAN AI RAP官方網站啟用服務。詳細說明請見：計價與申購說明

收費方式​

  1. TAIWAN AI RAP 的服務如何計價？
  • 本服務定價僅基於計算資源之使用，計費依據包含vCPU&Memory、GPU、API Token、儲存空間。不同服務依使用的資源而有不同計費依據。
  • 詳細定價資訊與特惠費率請見計價與申購說明。

帳號相關問題​

  1. 一個公司／單位可以有多個 iService 帳號共同使用服務嗎？
  • 可以。請將貴單位欲使用服務的 iService 帳號新增至您的計畫中，即可共同使用服務。
  1. 登入iService發現無法登入

  • 請先確認帳號是否輸入正確，須使用申請時的帳號才能登入。

  • 若未申請過帳號，將會出現以下畫面，系統會提示帳號是否正確。

    alt text

  • 若帳號正確，則會出現以下畫面

    alt text