跳至主要内容

多模型API服務

服務介紹​

多模型API服務包含三層鬆耦合架構中的API代理伺服器（Tier 2）和LLM推論加速器（Tier 3），可供使用者租用及串接。

內建多種開源模型API，專為台灣繁體中文應用進行深度優化，能夠更加理解並處理台灣地區獨特的語言結構、語境和文化背景。除了提升了語言理解的準確度，還能顯著改善文本處理、語音識別和情感分析等領域的應用效果。

透過精準的語言處理能力，企業能夠快速開發出高效且符合本地需求的AI加值服務。

服務優點​

  • 整合API 代理伺服器（Tier 2）與LLM 推論加速器（Tier 3）
  • 提供標準化 API 介面及安全控制機制（Safety Guard），讓使用者可透過 API 租用方式快速建立 LLM 應用服務。
  • 提供多種開源模型，適用不同應用場景。
  • 針對台灣繁體中文優化，提升語言理解與應用效果。
  • 幫助企業快速開發AI加值服務，增強競爭力。

架構介紹​

API 代理伺服器（Tier 2）​

  • 建構高效能、低成本、安全可靠的AI開發環境。
  • 整合多重安全防護工具，利用Safety Guard Proxy打造堅固的資安防護層，確保資料安全無虞。
  • 提供輕量化LLM服務，高效能且低資源消耗，讓開發者在有限資源條件下，依然能順暢執行AI推理與應用。
  • 內建關聯式資料庫管理系統，支援複雜查詢與大規模應用，確保數據存取與管理的靈活性。
  • 整合國網中心計算資源，提供GPU高速運算、GPU容器、CPU虛擬機器、儲存與網路服務，支援AI技術研發與雲端部署。

LLM 推論加速器（Tier 3）​

  • 提供Embedding Engine，專為開源文字嵌入模型的部署與應用設計，支援多模型架構，實現高效嵌入提取，強化生成式AI的準確性與運算效率。
  • 支援 vLLM 及 Ollama推論框架，透過GPU 密集運算處理複雜推論需求。
  • 未來將持續整合TGI、UnieInfra(by UnieAI)等更多推論框架，及本土non-GPU解決方案如Neuchips(API)、ITRI QiLai(TVM+LLMI)等，提供更多元推論加速選項。
  • 提供TAIDE、Llama、Phi、Mistral、Ministral等開源模型API，並持續更新，確保技術與應用的前瞻性。

LLM 推論加速器（Tier 3）​

  • 提供Embedding Engine，專為開源文字嵌入模型的部署與應用設計，支援多模型架構，實現高效嵌入提取，強化生成式AI的準確性與運算效率。
  • 支援 vLLM 及 Ollama推論框架，透過 GPU 密集運算 處理複雜推論需求。
  • 未來將持續整合TGI、UnieInfra(by UnieAI)等更多推論框架，及本土non-GPU解決方案如Neuchips(API)、ITRI QiLai(TVM+LLMI)等，提供更多元推論加速選項。
  • 提供TAIDE、Llama、Phi、Mistral、Ministral等開源模型API，並持續更新，確保技術與應用的前瞻性。

使用情境​

  • 智能客服系統：企業可利用台灣繁體中文優化的多模型API服務，打造一個能夠理解台灣地區特有語言結構的智能客服系統。該系統能自動處理顧客的查詢，提供快速、準確的回應，並能夠識別情感語氣，有效提升顧客滿意度並減少人工客服的工作負擔。
  • 醫療文書自動化處理：醫療機構可以使用多模型API服務來自動化醫療文書的處理，包含病歷錄入、診斷報告生成及醫囑記錄等。該服務特別針對繁體中文進行優化，能高效解析醫學術語及複雜文本，幫助醫療機構提高工作效率、減少錯誤並提升服務品質。
  • 電子商務智能推薦系統：電子商務平台可以利用多模型API服務開發個性化的商品推薦引擎。根據用戶的歷史行為、購物習慣及偏好，系統能快速提供精準的商品推薦，提升用戶體驗並提高轉化率，從而幫助企業在競爭激烈的市場中脫穎而出。