LLM on 火炬树

撼动 Nvidia CUDA？Intel Arc Pro B70 本地推理调研

Sun, 26 Apr 2026 09:16:27 +0800

一条社交媒体帖子将 Intel Arc Pro B70 描述为"以更低价格实现本地推理高性价比"的选项，并认为在 AI 辅助编程和开源社区优化的推动下，Intel 与 NVIDIA CUDA 生态的差距正在缩小。本文基于社区实测数据、技术评测与官方资料，对该观点涉及的事实进行梳理。

一、硬件规格与定价

Intel Arc Pro B70 于 2026 年 3 月发布，基于 Battlemage G31 架构。

规格项	数值
Xe Core 数量	32
显存	32 GB GDDR6
显存位宽	256-bit
显存带宽	608 GB/s
TBP（整卡功耗）	230 W
供电接口	单 8-pin PCIe
官方建议零售价	949 美元

国内渠道方面，蓝戟（GUNNIR）版 Arc Pro B70 TF 32G 在京东等平台的标价约为 6,540 元至 10,000 元人民币不等。什么值得买报道

二、LLM 推理性能实测数据

2.1 单卡性能

Phoronix 于 2026 年 4 月发布了 Arc Pro B70 的 Linux 平台初步评测，测试环境为 Ubuntu 26.04、Linux 7.0 内核、Mesa 26.0 驱动，搭配 Ryzen Threadripper 9980X 工作站。Phoronix 评测

GitHub 用户 PMZFX 发布了更详细的单卡与双卡实测数据，测试基于 llama.cpp SYCL + Vulkan 后端以及 vLLM XPU 后端。GitHub 基准数据

模型	类型	量化	显存占用	GPU 数量	预填充速度 (pp512)	生成速度 (tg128)	平均功耗
Llama 3.1-8B Instruct	Dense	Q4_K_M	4.6 GiB	1	2,452 t/s	82.6 t/s	37 W
Qwen 3.6-35B-A3B	MoE	UD-Q4_K_M	20.6 GiB	1	615 t/s	54.7 t/s	114 W
Qwen 3.5-35B-A3B	MoE	Q4_K_M	20.5 GiB	1	618 t/s	54.5 t/s	92 W
Gemma 4 26B-A4B	MoE	Q4_K_M	15.7 GiB	1	1,129 t/s	52.6 t/s	102 W

2.2 双卡性能

模型	类型	量化	显存占用	GPU 数量	预填充速度 (pp512)	生成速度 (tg128)	平均功耗
Qwen3-Coder-Next 80B-A3B	MoE	Q4_K_M	45.1 GiB	2	305 t/s	43.4 t/s	79 W
DeepSeek-R1-Distill-Llama-70B	Dense	Q4_K_M	39.6 GiB	2	336 t/s	11.5 t/s	185 W

上述数据表明，MoE（混合专家）模型在 B70 上的能效比（tokens per joule）显著优于同规模 Dense 模型。Qwen 35B-A3B MoE 单卡可达约 54 t/s，而 DeepSeek-R1 70B Dense 双卡仅约 11.5 t/s。

三、与 NVIDIA 方案的对比

3.1 硬件规格对比

GPU	显存	显存带宽	功耗	参考价格
Intel Arc Pro B70	32 GB	608 GB/s	230 W	~$949（国内约 6,540–10,000 元）
RTX 3090（二手）	24 GB	936 GB/s	350 W	~5,200 元（2026 年 4 月二手最低成交价）
RTX 5090	32 GB	1,792 GB/s	575 W	$2,000+

RTX 3090 二手价格方面，据 nickystyle 2026 年 4 月 24 日的二手市场采集数据，RTX 3090 最低成交价为 5,209 元，较此前有所下跌。nickystyle 二手显卡价格排行

Hardware Corner 的评测指出，B70 的显存带宽约为 RTX 3090 的 65%，这一差距在单流生成场景下构成显著瓶颈。Hardware Corner 对比

3.2 性能对比

Hardware Corner 的单用户推理测试（llama.cpp，Qwen 3.5 27B，4K 上下文，Q4 GGUF）显示：

指标	RTX 3090	Intel B70（估算）
预填充 (Prefill)	1,104 t/s	低于 3090
生成 (Generation)	33 t/s	低于 3090

该评测同时指出，在批量并发场景下（4x B70 vs 4x RTX 3090，vLLM，Qwen 3.5 27B，50 并发请求），B70 的吞吐量和首 token 延迟与 RTX 3090 处于同一水平甚至略有优势。

四、软件生态现状

4.1 支持的推理框架

框架/后端	支持状态	说明
llama.cpp (SYCL)	可用	性能最优，需手动编译配置
llama.cpp (Vulkan)	可用	Ollama、LM Studio 直接支持，配置最简单
IPEX-LLM	可用	Intel 官方优化，性能较好，配置复杂
vLLM	上游支持中	Intel 与 vLLM 社区合作推进，需特定内核版本和 Docker 部署
TensorRT-LLM	不支持	NVIDIA 独占

PMZFX 的测试发现，SYCL 后端的生成速度约为 Vulkan 的 2.2 倍（以 Qwen 1.5B Q4_K_M 为例：229 t/s vs 102 t/s）。GitHub 发现汇总

4.2 vLLM 的进展

vLLM 官方博客于 2025 年 11 月发布了 Intel Arc Pro B 系列 GPU 的支持公告，介绍了针对 MoE 模型的持久化零间隔内核、动态负载均衡等优化，并给出了 8x B60 GPU 上的性能数据。vLLM 官方博客

需要注意的是，上述博客主要基于 Arc Pro B60（24GB 版本）进行测试，B70（32GB 版本）的 vLLM 性能数据目前仍较有限。

4.3 已知问题与社区反馈

PMZFX 的 GitHub 仓库汇总了多项非显而易见的发现：

Q8_0 量化性能修复：社区 PR 合并前，Qwen 27B Q8_0 的生成速度仅为 4.88 t/s，修复后提升至 15.3 t/s（约 3.13 倍）。
NDEBUG 构建陷阱：默认构建配置未启用 -DNDEBUG，导致断言开销使预填充速度损失近 2 倍。
双卡层拆分为顺序执行：双卡配置不会加速单卡即可容纳的模型，仅对超大模型（如 70B Dense、80B MoE）有意义。
Linux 驱动仍在完善：Phoronix 测试时，Intel Xe 驱动尚未通过 sysfs 暴露功耗数据。

五、不同来源的观点

5.1 支持性观点

Compute Market 的分析认为，截至 2026 年 4 月，Arc Pro B70 是"最便宜的 32GB 本地 LLM 推理 GPU"，是"首个低于 1000 美元的单卡方案，可在 Q4 量化下运行 70B 参数模型"。该分析同时指出，70B 模型在 Q4_K_M 下的权重接近 40GB，32GB 单卡仍需使用 Q3_K_M 或 IQ3_XXS，或进行部分 CPU 卸载。Compute Market 分析

5.2 审慎观点

前 Hugging Face 工程师 Julien Simon 的评论被多家分析引用：“Intel Arc 家族目前的处境类似于 2023 年的 AMD ROCm——它能工作，生态真实存在，但你仍然是先驱者。如果你的时间比 1000 美元的差价更值钱，不要买 Arc。"Compute Market 分析

Hardware Corner 的评测结论为：“Arc B70 是一张显存优先的 GPU。它在原始速度上无法击败 RTX 3090，但为 27B 到 34B 范围的模型提供了无需多卡配置的高质量推理路径。"Hardware Corner

六、选购参考

基于上述数据，不同需求下的硬件选择可参考以下框架：

需求优先级	可选方案	理由
预算优先，可接受软件配置投入	Arc Pro B70	32GB 显存成本最低，单卡可跑 27B–35B MoE
单用户推理速度优先	RTX 3090 / RTX 4090	更高显存带宽带来更快生成速度，生态成熟
需要 32GB+ 显存且不愿买二手	Arc Pro B70	新品有保修，避免矿卡风险
生产级多并发服务部署	RTX 5090 或双 3090	vLLM、FlashAttention、CUDA 批处理生态更成熟
主要运行 MoE 模型	Arc Pro B70	MoE 低激活参数量对带宽瓶颈不敏感，能效比高
追求开箱即用	NVIDIA 方案	CUDA 生态的即插即用程度目前仍显著领先

七、总结

Arc Pro B70 的核心优势在于 32GB 显存与较低的单价，使其成为目前单卡 32GB 方案中价格最低的新品。在 MoE 模型（如 Qwen 35B-A3B）上，单卡生成速度可达约 54 t/s，能效比表现较好。但在单流 Dense 模型推理中，其 608 GB/s 的显存带宽低于 RTX 3090（936 GB/s），生成速度通常慢于后者。

软件生态方面，llama.cpp（SYCL/Vulkan）和 IPEX-LLM 已可用，vLLM 支持正在推进，但配置复杂度高于 CUDA 方案，部分功能需手动编译和调参。TensorRT-LLM 等 NVIDIA 独占工具链目前无法在 B70 上运行。

对于不愿投入时间进行环境配置的用户，NVIDIA 方案在生态成熟度、开箱即用程度和社区支持广度上仍保持领先。B70 更适合追求显存/价格比、愿意处理软件配置、或主要运行 MoE 模型的场景。

八、数据来源汇总

来源	类型	URL
Phoronix	硬件评测	https://www.phoronix.com/review/intel-arc-pro-b70-linux
PMZFX GitHub	社区基准测试	https://github.com/PMZFX/intel-arc-pro-b70-benchmarks
Hardware Corner	性能对比分析	https://www.hardware-corner.net/intel-arc-b70-llm-gpu-march-31/
Compute Market	选购分析	https://www.compute-market.com/blog/cheapest-32gb-gpu-local-llm-2026
vLLM 官方博客	框架支持公告	https://vllm.ai/blog/intel-arc-pro-b
什么值得买	国内售价报道	https://post.smzdm.com/p/apq82nd0/
nickystyle	二手显卡价格采集	https://nickys.cn:5201/?p=137
Intel 官方数据手册	规格参数	https://www.intel.com/content/dam/www/central-libraries/us/en/documents/2026-03/datasheet-b70-gpu.pdf

DeepSeek V4 发布：百万上下文普惠时代到来，双模型策略解析

Fri, 24 Apr 2026 04:41:50 +0800

2026 年 4 月 23 日，深度求索（DeepSeek）正式发布 DeepSeek-V4 预览版，并同步开源模型权重。这是继 V3 系列之后，DeepSeek 在 MoE（Mixture-of-Experts）架构上的又一次重大迭代。官方将其定位为"迈入百万上下文普惠时代"，1M token 上下文长度成为所有官方服务的标配。

本文基于官方发布信息、API 文档、HuggingFace 技术报告以及 V2EX 等中文技术社区的初步讨论，对 V4 的核心技术特点、产品策略和早期市场反馈进行梳理。

一、双模型策略：Pro 与 Flash 的分工

DeepSeek-V4 采用双版本并行策略，覆盖不同场景的性能与成本需求：

维度	DeepSeek-V4-Pro	DeepSeek-V4-Flash
总参数量	1.6T	284B
激活参数量	49B	13B
上下文长度	1M	1M
最大输出长度	384K	384K
精度	FP8 Mixed	FP4+FP8 Mixed
输入定价（缓存命中/百万 tokens）	1 元	0.2 元
输入定价（缓存未命中/百万 tokens）	12 元	1 元
输出定价（百万 tokens）	24 元	2 元

Pro 版本面向需要最强推理和知识能力的场景，Flash 版本则主打性价比和快速响应。官方在微信公众号文章中提到，Pro 版本的 Agentic Coding 能力已超越 Sonnet 4.5，交付质量接近 Opus 4.6 非思考模式，但与 Opus 4.6 思考模式仍存在一定差距。

二、三大架构创新

根据 HuggingFace 技术报告，V4 系列引入了以下关键架构升级：

1. 混合注意力机制（CSA + HCA）

V4 设计了结合 Compressed Sparse Attention（CSA） 与 Heavily Compressed Attention（HCA） 的混合注意力架构，在 1M token 长上下文场景下实现了显著的效率提升。技术报告显示，DeepSeek-V4-Pro 在该场景下的单 token 推理 FLOPs 仅为 V3.2 的 27%，KV 缓存仅为 10%。

2. Manifold-Constrained Hyper-Connections（mHC）

mHC 用于强化传统的残差连接，在保持模型表达能力的同时，增强跨层信号传播的稳定性。

3. Muon Optimizer

训练阶段采用 Muon 优化器，官方称其在收敛速度和训练稳定性方面优于传统方案。

三、训练与后训练范式

V4 系列的预训练数据量超过 32T token。后训练采用两阶段范式：

独立培养领域专家：通过 SFT 和 GRPO（Group Relative Policy Optimization）强化学习，分别训练不同领域的专家能力
统一模型整合：通过 on-policy distillation 将各领域专家能力蒸馏整合到单一模型中

这种"先分后合"的策略，旨在让最终模型在代码、推理、知识等多个领域同时达到高水平。

四、API 与产品变化

模型名更新

API 调用时，base_url 保持不变（https://api.deepseek.com），model 参数需更新为：

deepseek-v4-pro
deepseek-v4-flash

旧模型名 deepseek-chat 和 deepseek-reasoner 将于 2026 年 7 月 24 日 废弃。出于兼容考虑，二者目前分别映射到 Flash 的非思考模式和思考模式。

思考模式（Thinking Mode）

V4 两个版本均支持思考模式，默认开启。API 通过以下参数控制：

thinking: {type: "enabled/disabled"} — 思考模式开关
reasoning_effort: "high/max" — 思考强度控制

思考内容通过 reasoning_content 字段返回，与 content 同级。需要注意的是，思考模式下不支持 temperature、top_p、presence_penalty、frequency_penalty 参数。

详细文档可参考 DeepSeek 思考模式指南。

五、社区初步反馈

V4 发布后，V2EX deepseek 节点和 HuggingFace 讨论区迅速出现大量讨论。以下是截至 4 月 24 日中午的主要反馈类型：

正面评价

期待兑现：“从去年 12 月就开始传，终于正式发布”
架构认可：1.6T 参数规模配合 MoE 架构，被认为"值得探索其逻辑潜力"
开源态度：HuggingFace 讨论区大量用户打卡支持，“源神牛逼”、“国货之光"等评价集中出现
长上下文普惠：1M 上下文成为标配，被视作降低长文本应用门槛的积极信号

质疑与担忧

定价争议：Pro 版本定价（输入 12 元/百万 tokens、输出 24 元/百万 tokens）被部分用户认为偏高，“只能用得起 Flash"成为常见说法
与闭源差距：官方自身承认与 Opus 4.6 思考模式存在差距；社区有用户直言"刚出来就被 GPT-5.5 当头一棒”
Web 版实际体验：有用户指出官方 Web 端给普通用户实际使用的是 Flash 版本，“专家模式"也并非 Pro 版，前几周 Web 体验"绝对性能没达到期待”
实用性存疑：“Pro 版本似乎贵了挺多，但也没多好用”——部分早期体验者的直观感受

技术讨论

本地部署硬件需求成为热点话题，FP8/FP4 量化方案引发讨论
推理框架适配：社区关注 vLLM、SGLang 等框架何时支持 V4
昇腾支持：有用户提到"支持了昇腾”，但具体适配情况尚不明确

六、昇腾支持现状

关于华为昇腾（Ascend）芯片的适配情况，目前的信息较为有限：

官方立场：DeepSeek 官方目前未在其公开仓库中提供对昇腾芯片的正式支持或适配计划。在 GitHub 相关 issue 中，官方贡献者曾回应用户"请向华为昇腾寻求更多支持"，暗示当前主要由第三方或社区驱动适配
社区动态：V2EX 讨论中有用户提到 V4 “支持了昇腾”，但缺乏具体的技术细节（如支持的昇腾型号、推理框架、性能数据等）
媒体层面：截至发稿，尚未发现国内主流科技媒体有关于 DeepSeek V4 正式适配昇腾的深度报道或性能评测

若业务依赖昇腾部署，建议关注华为昇腾官方社区（MindSpore 或 Ascend 开发者社区）是否有相关的推理适配方案，而非等待 DeepSeek 官方提供原生支持。

七、小结

DeepSeek-V4 的发布延续了该团队"开源 + 高性价比"的核心策略。1M 上下文普惠化、MoE 架构效率优化、以及 Pro/Flash 的双版本覆盖，构成了其产品竞争力的基本面。

不过，从社区早期反馈来看，以下几点值得关注：

定价敏感度：Pro 版本定价较 V3 时代有明显提升，用户是否会为此买单，取决于其实际性能能否在复杂任务中体现出与 Flash 的显著差异
与闭源模型的竞争：官方承认与 Opus 4.6 思考模式存在差距，而 GPT-5.5 等闭源模型的迭代速度仍在加快
生态适配：昇腾支持、推理框架集成等生态建设尚处于早期，可能影响企业级用户的采纳决策

深度实测对比（与 GPT-5.x、Claude Opus 4.x、GLM-5.1 等）预计将在未来 1-3 天内陆续出现，届时可对 V4 的真实竞争力做出更准确的判断。

参考来源

量化模型 Q4 与 UD-Q4 的关键区别

Thu, 23 Apr 2026 05:32:47 +0800

在大型语言模型（LLM）的本地部署与推理优化中，量化技术（Quantization）是降低显存占用、提升运行速度的关键。其中，Q4（4-bit 量化）因其在性能与精度之间的卓越平衡，已成为行业事实上的“黄金标准”。

近期，随着 Unsloth 等优化框架的流行，一种名为 UD-Q4（Unsloth Dynamic Q4）的新格式进入了开发者视野。本文将深入解析标准 Q4 与 UD-Q4 的核心差异，并探讨 4-bit 量化在模型量化领域中的重要地位。

1. 核心定义与技术差异

Q4 (Standard Quantization)

标准的 4-bit 量化（如 GGUF 格式中的 Q4_K_M 或更早期的 Q4_0）通常采用静态量化策略。

比特分配：每一层、每一个权重块都使用固定的比特数（4-bit）。
技术特点：实现相对简单，推理后端兼容性极佳。
局限性：对所有权重“一视同仁”，无法针对模型中更重要的层（如注意力机制的关键权重）进行重点保护。

UD-Q4 (Unsloth Dynamic Q4)

UD-Q4 代表 Unsloth Dynamic 动态量化。它通过改变“均匀分配”的思路，引入了更精细的优化。

动态比特分配：根据权重对模型输出的影响力（通常结合 imatrix 数据校准），动态调整不同层的比特数。核心层可能分配到 6-bit，而次要层则降低至 3-bit。
精度优势：在维持平均 4-bit（bpw ≈ 4.5）的前提下，UD-Q4 能够通过这种“拆东墙补西墙”的策略，显著降低量化损耗（Perplexity），其精度表现往往能逼近传统的 5-bit 模型。

特性	标准 Q4 (Q4_K_M)	Unsloth UD-Q4
量化策略	静态/固定	动态/重要性感知
平均精度	行业基准	高于基准，逼近 Q5
计算开销	极低	略高（仅在量化阶段），推理一致
适用场景	通用、高性能	追求极致精度与体积平衡

2. Q4 在量化领域中的标准地位

在 LLM 的发展史中，4-bit 量化（Q4）的出现是一个里程碑。它之所以能占据统治地位，主要源于以下三个维度的平衡：

2.1 精度与压缩比的“甜蜜点”

根据大量的学术研究（如 GPTQ 和 GGUF/llama.cpp 的测试数据），模型精度随比特数减少的曲线在 4-bit 处通常表现为一个“拐点”。高于 4-bit（如 5-bit、8-bit）带来的精度提升边际效应递减；而低于 4-bit（如 3-bit、2-bit）则会导致精度出现断崖式下跌。

2.2 显存容量的适配性

4-bit 量化能将原始 FP16 权重的体积缩小约 4 倍（考虑到元数据，实际约为 3.5-3.8 倍）。这使得：

7B/8B 参数模型可以在 6GB/8GB 显存的家用显卡上流畅运行。
70B 参数模型可以在 48GB 显存（如双 A6000 或 Mac 共享内存）环境下部署。

2.3 硬件加速的支持

目前的 GPU 和 NPU（如 Apple Silicon 的 Neural Engine）对 4-bit 计算有着良好的原生或指令集级优化支持。相比于非标准的 3.5-bit 等格式，Q4 在数据对齐和计算效率上更具天然优势。

结论

Q4 (Q4_K_M) 是目前 LLM 本地推理的工业标准，代表了最广泛的兼容性与可靠的性能。而 UD-Q4 则是技术演进的下一步，通过重要性感知的动态分配，在不改变硬件门槛的前提下，榨取模型最后的精度潜力。

对于普通用户，Q4_K_M 始终是“闭眼选”的安全牌；而对于希望在有限显存下获得更聪明回复的开发者，UD-Q4 无疑是当下的最优解。

引用与相关资料

Demystifying LLM Quantization Suffixes: What Q4_K_M, Q8_0, and Q6_K really mean - Medium
Quantization for Local LLMs: How It Works and Which Formats Fit Your Setup - Hardware Corner
Choosing a GGUF Model: K-Quants, I-Quants, and Legacy Formats - Kaitchup Substack
GGUF Quantization Explained — Q4_K_M vs Q5_K_M vs Q8: VRAM, Quality - Will It Run AI
Unsloth Model Explorer (for UD-Q4 variants) - Hugging Face