Skip to content

Admin使用指引

Admin是指高能AI框架HaiDDF的管理员。

  • Admin可以登录管理界面AdminUI
  • Admin可以启动、停止、重启、查看、删除Worker,查看Worker的状态、日志、配置等信息。
  • Admin可以创建、删除、查看用户,查看用户的API-KEY,查看用户的请求日志等。

1 快速运行高能AI框架

通过快速开始,部署运行HaiDDF控制器、工作节点和客户端,实现一个简单的分布式服务。

1.1 部署API网关(Controller)

python run_haiddf.py

运行后,自动打开42601端口,等待Worker注册和用户请求。 命令行会自动输出AdminSecret KeyAPI-KEY,用于登录管理界面和进行API请求。

Contoller的API接口可查看http://localhost:42601/docs

1.2 部署微服务(Worker)

python run_worker_demo.py \
    --name "hepai/demo_worker" \
    --controller-address http://localhost:42601

微服务可运行在任意机器上,运行后,自动与Controller建立连接,每隔60秒发送一次心跳,worker退出或过期后自动移除。

Worker的API接口可查看http://localhost:42602/docs,其中42602为默认端口。

1.3 通过客户端(Client)发起请求

python run_client_demo.py

代码中展示了通过HepAI客户端向worker发起请求的方法,测试了不同函数及不同类型的返回值,包括:int, float, str, list, dict, pdf, image, txt, stream等。

API网关接收到客户端的请求后,自动进行权限验证、负载均衡,并调度到对应的worker上执行,最后返回结果或流式结果给客户端。

2 创建AppAdmin用户

AppAdmin用户需要由Admin创建。

操作:

2.1 登录管理界面

部署好HaiDDF后,访问http://localhost:42601/admin_ui,登录管理页面,如下:

LOGO

登录账号为admin,密码默认为sk-123,请在部署HaiDDF时通过.env中的ADMIN_PASSWD设置。

2.2 创建AppAdmin

点击创建用户按钮,填写用户名、密码,用户等级选择app_admin,填入相关信息:

LOGO

点击提交创建。 创建后用户信息自动显示在表格中,app_admin用户可以登录管理页面,自行创建API-KEY。