开原 铁岭网站建设秦皇岛百度推广

笔者使用 Quadro M4000 显卡用于 LLM 相关任务，但奈何该卡发布的年代过于久远，以至于 LLM 相关任务只能使用例如：Phi3 mini、Qwen 2 2B、GLM 4 8B 以及 Gemini v2 2B等小参数模型，且速度不堪理想，也经常因为显卡过热降频导致对话效率低下。

对于家用而言，不会去考虑那些特别新的 Tesla 计算卡，而会考虑一些旧的大显存平台，最好是大于10 GB 的显存，这样可以跑一些经过量化的、参数量高一些的模型。对于计算相关，推理相关的更应注重FP16的计算能力，如果有微调需求，同时也应注重FP32的计算能力。

最近总想着置办一张计算卡用于 Homelab 的 LLM 应用，但是市面上的计算卡/显卡种类太多了，有的时候不晓得要看哪一张显卡，故从TechPowerUp 网站摘录下表，以供参考。