大模型权重类型与大模型推理部署框架总体梳理对比分析
目录 第1章：基础概念与背景第2章：权重数据类型详解第3章：主流权重格式第4章：量化技术详解第5章&#...
标签：#GGUF
admin零基础本地部署大模型完整教程｜GPU&CPU双环境实测
摘要：本文面向电脑小白、零基础入门者，无需深度学习理论、无需代码基础、无需复杂编译配置，手把手拆解本地大语言模型部署全...
6.1 模型优化：量化 INT4/INT8、GPTQ、AWQ、GGUF
一个 70B 参数的 LLM，FP16 精度需要 140GB 显存——这超出了绝大多数人的预算。模型量化就是通过牺牲一点点精度，...
Windows 11 配置 CUDA 版 llama.cpp 并实现系统全局调用（GGUF 模型本地快速聊天）
Windows 11 配置 CUDA 版 llama.cpp 并实现系统全局调用（GGUF 模型本地快速聊天） 前言 在本地快速部...
Windows 11 配置 CUDA 版 llama.cpp 并实现系统全局调用（GGUF 模型本地快速聊天）
Windows 11 配置 CUDA 版 llama.cpp 并实现系统全局调用（GGUF 模型本地快速聊天） 前言 在本地快速部...