欢迎使用HaiDDF2！

HaiDDF2是高能AI分布式部署框架（Distributed Deployment Framework）的简称，是高能AI平台的核心组件，是解决异构资源部署的AI模型、科学工具、矢量数据库、知识图谱等服务统一访问问题的关键核心技术。

v2.0具有如下特性：

• 统一的API网关，API-KEY身份认证
• 支持异构资源CPU、GPU、DCU部署的模型、算法等的统一接入
• 支持AI模型、科学工具、矢量数据库、知识图谱等等服务
• 自动心跳和负载均衡调度
• 支持流式和非流式输出
• 🆕远程模型！将模型部署在远程服务器上，像本地模型一样调用。

更新日志

• 2024.12.19 v2.1.5，支持/verify_api_key路由，支持传入umt_id来创建api_key；支持按team、按customer和按tags统计使用量。
• 2024.12.17 支持/apiv2/models路由。
• 2024.09.29 开发了openai的proxy_site，测试成功对话、图像生成、图像变体、列出模型等功能