客製化流程設計前台
客製化流程設計前台採用三層鬆耦合架構，支援兩種提供模式：
- Hydra：結合前端應用平台、API代理伺服器與LLM推論加速器
- Humming Bird：僅提供前端應用平台。
本服務靈活調度了前端應用平台、API代理伺服器與LLM推論加速器，結合先進的AI工具與工作流程，為用戶提供一個直覺且易於使用的開發環境。用戶無需具備高度的技術背景，便可輕鬆配置並靈活應用各種AI技術，快速實現自動化流程與智能化應用。不僅支援快速佈署，用戶亦能透過前端工具根據具體需求進行介面設計，顯著加速應用的落地。
架構介紹
1. 前端應用平台（Tier 1）
- 整合開源與專有AI介面，提供完整的AI應用開發環境。
- 支援多樣化前端互動介面，包括開源對話介面、具備流程引擎的工作流設計工具、整 合RAG系統的知識問答介面，以及企業自訂開發的開源前端架構。
- 搭載Embedding Engine高效能分散式框架，支援嵌入計算與管理，無縫整合至AI工作流程，提升應用效能與可擴展性。
2. API 代理伺服器（Tier 2）
- 建構高效能、低成本、安全可靠的AI開發環境。
- 整合多重安全防護工具，利用Safety Guard Proxy打造堅固的資安防護層，確保資料安全無虞。
- 提供輕量化LLM服務，高效能且低資源消耗，讓開發者在有限資源條件下，依然能順暢執行AI推理與應用。
- 內建關聯式資料庫管理系統，支援複雜查詢與大規模應用，確保數據存取與管理的靈活性。
- 整合國網中心計算資源，提供GPU高速運算、GPU容器、CPU虛擬機器、儲存與網路服務，支援AI技術研發與雲端部署。
3. LLM 推論加速器（Tier 3）
- 提供Embedding Engine，專為開源文字嵌入模型的部署與應用設計，支援多模型架構，實現高效嵌入提取，強化生成式AI的準確性與運算效率。
- 支援各式推論框架，透過 GPU 密集運算處理複雜推論需求。未來將持續整合更多開源推論框架及本土non-GPU解決方案，提供更多元推論加速選項。
- 提供TAIDE、Llama、Phi、Mistral、Ministral等開源模型API，並持續更新，確保技術與應用的前瞻性。
服務優點
- 整合並提供各式開源及合作企業開發之前端介面
- 結合AI工具與工作流程，提供直覺易用的開發環境。
- 支援快速佈署，加速應用落地。
- 支援兩種提供模式
- 針對需要前端、API、推論框架、算力等全方面資源的用戶提供前端平台（Tier 1）、API代理伺服器（Tier 2）、LLM推論加速器（Tier 3），提供最完整的推論解決方案。
- 針對僅需要前端介面，想自行串接各式API的用戶，提供僅包含前端平台（Tier 1）的模式，用戶可自行串接 API，靈活開發AI應用。
使用情境
- 自動化業務流程：企業可根據特定需求設計自動化的業務流程，如電子表單處理、客戶服務自動化、文件分類與管理等，提升工作效率與準確性。
- 智能應用開發：不具備技術背景的企業或開發者可以通過該平台快速設計並實現具有AI功能的應用，例如智能客服系統、AI推薦引擎、數據分析工具等。
- 跨部門協作：在跨部門協作過程中，該系統提供了簡單的流程設計工具，可以迅速整合不同部門的需求並協同工作，加快項目推進。