Apple M4 Max (128GB) vs RTX 5090 for local LLMs

Prices are US launch prices (MSRP) for comparison; street prices change daily. Links go to Amazon, where we earn a commission at no cost to you.

Every model, side by side

Best quant that fits and estimated speed at 8K context.

Model	Apple M4 Max (128GB)	RTX 5090
Qwen3 0.6B	FP16 · ~218 tok/s	FP16 · ~717 tok/s
Gemma 3 1B	FP16 · ~164 tok/s	FP16 · ~538 tok/s
Llama 3.2 1B	FP16 · ~132 tok/s	FP16 · ~434 tok/s
Qwen3 1.7B	FP16 · ~81 tok/s	FP16 · ~265 tok/s
Llama 3.2 3B	FP16 · ~51 tok/s	FP16 · ~167 tok/s
Phi-3.5 Mini 3.8B	FP16 · ~43 tok/s	FP16 · ~141 tok/s
Phi-4 Mini 3.8B	FP16 · ~43 tok/s	FP16 · ~140 tok/s
Qwen3 4B	FP16 · ~41 tok/s	FP16 · ~134 tok/s
Gemma 3 4B	FP16 · ~38 tok/s	FP16 · ~125 tok/s
Mistral 7B v0.3	FP16 · ~23 tok/s	FP16 · ~74 tok/s
Qwen2.5 7B	FP16 · ~21 tok/s	FP16 · ~71 tok/s
Qwen2.5 Coder 7B	FP16 · ~21 tok/s	FP16 · ~71 tok/s
DeepSeek R1 Distill Qwen 7B	FP16 · ~21 tok/s	FP16 · ~71 tok/s
Llama 3.1 8B	FP16 · ~20 tok/s	FP16 · ~67 tok/s
Granite 3.3 8B	FP16 · ~20 tok/s	FP16 · ~66 tok/s
Qwen3 8B	FP16 · ~20 tok/s	FP16 · ~66 tok/s
DeepSeek R1 0528 Qwen3 8B	FP16 · ~20 tok/s	FP16 · ~66 tok/s
Gemma 2 9B	FP16 · ~18 tok/s	FP16 · ~58 tok/s
Gemma 4 12B	FP16 · ~14 tok/s	FP16 · ~45 tok/s
Mistral Nemo 12B	FP16 · ~13 tok/s	FP16 · ~44 tok/s
Gemma 3 12B	FP16 · ~13 tok/s	FP16 · ~44 tok/s
Qwen2.5 14B	FP16 · ~11 tok/s	FP16 · ~37 tok/s
Phi-4 14B	FP16 · ~11 tok/s	FP16 · ~37 tok/s
Phi-4 Reasoning 14B	FP16 · ~11 tok/s	FP16 · ~37 tok/s
Qwen3 14B	FP16 · ~11 tok/s	FP16 · ~36 tok/s
Qwen2.5 Coder 14B	FP16 · ~11 tok/s	FP16 · ~36 tok/s
DeepSeek R1 Distill Qwen 14B	FP16 · ~11 tok/s	FP16 · ~36 tok/s
gpt-oss 20B	FP16 · ~45 tok/s	Q8_0 · ~281 tok/s
Mistral Small 24B	FP16 · ~7 tok/s	Q8_0 · ~43 tok/s
Devstral Small 24B	FP16 · ~7 tok/s	Q8_0 · ~43 tok/s
Magistral Small 24B	FP16 · ~7 tok/s	Q8_0 · ~43 tok/s
Mistral Small 3.2 24B	FP16 · ~7 tok/s	Q8_0 · ~42 tok/s
Gemma 4 26B-A4B	FP16 · ~43 tok/s	Q8_0 · ~266 tok/s
Gemma 2 27B	FP16 · ~6 tok/s	Q8_0 · ~37 tok/s
Gemma 3 27B	FP16 · ~6 tok/s	Q8_0 · ~37 tok/s
Qwen3.8 27B	FP16 · ~6 tok/s	Q8_0 · ~36 tok/s
Qwen3.6 27B	FP16 · ~6 tok/s	Q8_0 · ~36 tok/s
Qwen3 30B-A3B	FP16 · ~50 tok/s	Q6_K · ~397 tok/s
Qwen3 Coder 30B-A3B	FP16 · ~50 tok/s	Q6_K · ~397 tok/s
GLM-4.7 Flash 30B-A3B	FP16 · ~55 tok/s	Q6_K · ~437 tok/s
Gemma 4 31B	FP16 · ~5 tok/s	Q6_K · ~42 tok/s
Nemotron 3 Nano 30B-A3B	FP16 · ~47 tok/s	Q6_K · ~375 tok/s
Qwen2.5 32B	FP16 · ~5 tok/s	Q6_K · ~40 tok/s
DeepSeek R1 Distill Qwen 32B	FP16 · ~5 tok/s	Q6_K · ~40 tok/s
Qwen3 32B	FP16 · ~5 tok/s	Q6_K · ~40 tok/s
QwQ 32B	FP16 · ~5 tok/s	Q6_K · ~40 tok/s
Qwen2.5 Coder 32B	FP16 · ~5 tok/s	Q6_K · ~40 tok/s
Qwen3.6 35B-A3B	FP16 · ~55 tok/s	Q6_K · ~437 tok/s
Mixtral 8x7B	FP16 · ~13 tok/s	Q4_K_M · ~137 tok/s
Llama 3.1 70B	Q8_0 · ~4 tok/s	Q2_K · ~41 tok/s
Llama 3.3 70B	Q8_0 · ~4 tok/s	Q2_K · ~41 tok/s
DeepSeek R1 Distill Llama 70B	Q8_0 · ~4 tok/s	Q2_K · ~41 tok/s
Qwen2.5 72B	Q8_0 · ~4 tok/s	Q2_K · ~39 tok/s
Qwen3 Coder Next 80B-A3B	Q8_0 · ~103 tok/s	Q2_K · ~956 tok/s
GLM-4.5-Air 106B-A12B	Q6_K · ~33 tok/s	Too big
Llama 4 Scout 17B-16E	Q6_K · ~24 tok/s	Too big
gpt-oss 120B	Q5_K_M · ~90 tok/s	Too big
Qwen3.8 Flash Next	Q3_K_M · ~112 tok/s	Too big
Qwen3 235B-A22B	Q2_K · ~40 tok/s	Too big
DeepSeek V4 Flash 284B-A13B	Too big	Too big
GLM-5.3 Flash 320B-A18B	Too big	Too big
MiniMax M3 428B-A23B	Too big	Too big
GLM-5 744B-A40B	Too big	Too big
GLM-5.3	Too big	Too big
DeepSeek V4.1 Flash	Too big	Too big
Mistral Large 4 1T-A52B	Too big	Too big
DeepSeek V4 Pro 1.6T-A49B	Too big	Too big
Qwen3.8 2.4T-A95B	Too big	Too big
Kimi K3.1 Pro 2.8T-A104B	Too big	Too big

More comparisons

• RTX 4090 vs RTX 5090
• RTX 3090 vs RTX 4090
• RTX 3090 vs RTX 5090
• RTX 5080 vs RTX 4090
• Radeon RX 7900 XTX vs RTX 4090
• Radeon RX 7900 XTX vs RTX 3090
• RTX 4060 Ti 16GB vs RTX 5060 Ti 16GB
• RTX 4070 Ti Super vs RTX 5070 Ti
• RTX 5070 vs RTX 5060 Ti 16GB
• RTX 3060 12GB vs RTX 4060
• Apple M4 Pro (48GB) vs RTX 4090