第五课 LMDeploy 大模型量化部署实践

输入“/”快速插入内容

第五课 LMDeploy 大模型量化部署实践

用户1002

2024年1月25日修改

课堂链接：https://www.bilibili.com/video/BV1iW4y1A77P/

参考文档：https://github.com/InternLM/tutorial/blob/vansin-patch-4/lmdeploy/lmdeploy.md

大模型部署背景

common.docs_name - LarkCCM_Docs_Menu_Image

common.docs_name - LarkCCM_Docs_Menu_Image

LMDeploy

common.docs_name - LarkCCM_Docs_Menu_Image

https://github.com/InternLM/lmdeploy

核心功能——量化

量化有效果

common.docs_name - LarkCCM_Docs_Menu_Image