网站怎么 备案,宁波建设网站价格,网站建设总体规划,thinkphp做中英文网站目录 1、auto-gptq是什么#xff1f;2、auto-gptq安装3、auto-gptq不正确安装可能会出现的问题#xff08;1#xff09;爆出#xff1a;CUDA extension not installed.#xff08;2#xff09;没有报错但是推理速度超级慢 1、auto-gptq是什么#xff1f;
Auto-GPTQ 是一… 目录 1、auto-gptq是什么2、auto-gptq安装3、auto-gptq不正确安装可能会出现的问题1爆出CUDA extension not installed.2没有报错但是推理速度超级慢 1、auto-gptq是什么
Auto-GPTQ 是一种专注于 量化深度学习模型 的工具库。它的主要目标是通过量化技术Quantization将大型语言模型LLM等深度学习模型的大小和计算复杂度显著减少从而提高推理效率同时尽可能保持模型的性能。
2、auto-gptq安装
在Linux和Windows上AutoGPTQ可以通过预先构建的轮子为特定的PyTorch版本安装:
AutoGPTQ versionCUDA/ROCm versionInstallationBuilt against PyTorchlatest (0.7.1)CUDA 11.8pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.2.1cu118latest (0.7.1)CUDA 12.1pip install auto-gptq2.2.1cu121latest (0.7.1)ROCm 5.7pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm571/2.2.1rocm5.70.7.0CUDA 11.8pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.2.0cu1180.7.0CUDA 12.1pip install auto-gptq2.2.0cu1210.7.0ROCm 5.7pip install auto-gptq --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm571/2.2.0rocm5.70.6.0CUDA 11.8pip install auto-gptq0.6.0 --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.1.1cu1180.6.0CUDA 12.1pip install auto-gptq0.6.02.1.1cu1210.6.0ROCm 5.6pip install auto-gptq0.6.0 --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm561/2.1.1rocm5.60.5.1CUDA 11.8pip install auto-gptq0.5.1 --extra-index-url https://huggingface.github.io/autogptq-index/whl/cu118/2.1.0cu1180.5.1CUDA 12.1pip install auto-gptq0.5.12.1.0cu1210.5.1ROCm 5.6pip install auto-gptq0.5.1 --extra-index-url https://huggingface.github.io/autogptq-index/whl/rocm561/2.1.0rocm5.6
AutoGPTQ is not available on macOS. 注意安装的auto-gptq版本必须与CUDA和pytorch版本都适配安装完之后推理速度很慢可能是需要从源码安装
3、auto-gptq不正确安装可能会出现的问题
1爆出CUDA extension not installed. 这个问题我一直以为是CUDA和pytorch没配置好或者不适配硬件甚至以为是没有安装cudnn的原因但最后发现原来是安装的auto-gptq不适配当下环境。
注意按照上面的方法安装auto-gptq仍然可能报错或者不适配此时应该从源码安装可以参考教程AutoGPTQ/README_zh.md at main · AutoGPTQ/AutoGPTQ或者解决 GPTQ 模型导入后推理生成 Tokens 速度很慢的问题从源码重新安装 Auto-GPTQ_auto gptq 源码构建非cuda版本-CSDN博客 以下摘自官方文档 克隆源码: git clone https://github.com/PanQiWei/AutoGPTQ.git cd AutoGPTQ 然后从项目目录安装: pip install . 正如在快速安装一节你可以使用 BUILD_CUDA_EXT0 来取消构建 cuda 拓展。 如果你想要使用 triton 加速且其能够被你的操作系统所支持请使用 .[triton]。 对应 AMD GPUs为了从源码安装以支持 RoCm请设置 ROCM_VERSION 环境变量。同时通过设置 PYTORCH_ROCM_ARCH (reference) 可提升编译速度例如对于 MI200 系列设备该变量可设为 gfx90a。例子 ROCM_VERSION5.6 pip install . 对于 RoCm 系统在从源码安装时额外需要提前安装以下包rocsparse-dev, hipsparse-dev, rocthrust-dev, rocblas-dev and hipblas-dev。 2没有报错但是推理速度超级慢
此时查看auto-gptq版本如果版本后没有带cu1xx则可能是需要从源码安装
