Dolphin 2.5 Mixtral 8x7B: requisitos de hardware y compatibilidad GPU en local
← Todos los modelos

Modelo de IA local

Dolphin 2.5 Mixtral 8x7B

de Cognitive Computations

1 de 22 máquinas de referencia lo ejecutan entero en la memoria del acelerador con contexto 8k, y 12 más con descarga a CPU.

46.7B Parámetros 32k Contexto máximo 1 Cuantización Completa Cobertura de compatibilidad
Comprobar mi PC

Resumen

Editor
Cognitive Computations
Familia
Dolphin
Serie
Dolphin 2.5
Tarea
Generación de texto
Arquitectura
mezcla de expertos · mixtral
Parámetros
46.7B
Contexto máximo
32.768 tokens
Licencia
apache-2.0
Publicación
2023-12-14
Formatos
gguf, safetensors
Caché KV por token (f16)
131.072 B · atención estándar, exacto
Cobertura de compatibilidad
Completa: veredictos calculados
Repositorio de origen
dphn/dolphin-2.5-mixtral-8x7b
Página oficial
https://dphn.ai/

Cuantizaciones y tamaños de archivo

Cuantización Runtime Pesos Mínimo de memoria a 4k Identidad
Q4_0gguf ollamaollama run dolphin-mixtral:8x7b-v2.5 24.6 GB 25.1 GB digest verificado

Los tamaños proceden del registro del runtime o del listado del repositorio. El mínimo de memoria suma la caché KV de 4.096 tokens cuando esa cifra no puede sobrestimar; es una estimación, no un requisito.

Runtimes

Compatibilidad en máquinas de referencia

Contexto 8k, 32 GB de RAM del sistema, mejor cuantización catalogada por máquina.

Máquina Memoria Respuesta Datos conocidos
GeForce RTX 5090 32GB 32.0 GB VRAM Cabe entero en memoria estimado · Q4_0 Pesos 24.6 GB frente a 32.0 GB VRAM: cabenCaché KV a 8k: 1.00 GB
GeForce RTX 3060 Laptop GPU 6GB 6.00 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 6.00 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 4060 8GB 8.00 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 8.00 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 3080 10GB 10.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 10.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 3060 12GB 12.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 4070 12GB 12.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 5070 12GB 12.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 4060 Ti 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 4080 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 5060 Ti 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 5080 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 3090 24GB 24.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 24.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
GeForce RTX 4090 24GB 24.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 24.6 GB frente a 24.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
Radeon RX 7600 8GB 8.00 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 24.6 GB frente a 8.00 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
Radeon RX 7800 XT 16GB 16.0 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
Radeon RX 9070 XT 16GB 16.0 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
Radeon RX 7900 XTX 24GB 24.0 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 24.6 GB frente a 24.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GB
Intel Arc B580 12GB 12.0 GB VRAM Datos insuficientes sin verificar · Q4_0 Pesos 24.6 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GBsoporte del runtime en esta máquina: unknown
Intel Arc A770 16GB 16.0 GB VRAM Datos insuficientes sin verificar · Q4_0 Pesos 24.6 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 1.00 GBsoporte del runtime en esta máquina: unknown
MacBook Pro 14-inch M4 Max 36GB 36.0 GB unificada Datos insuficientes sin verificar · Q4_0 Pesos 24.6 GB frente a 36.0 GB unificada: cabenCaché KV a 8k: 1.00 GB
Mac mini M4 24GB 24.0 GB unificada No cabe estimado · Q4_0 Pesos 24.6 GB frente a 24.0 GB unificada: no cabenCaché KV a 8k: 1.00 GB
Mac mini M4 Pro 24GB 24.0 GB unificada No cabe estimado · Q4_0 Pesos 24.6 GB frente a 24.0 GB unificada: no cabenCaché KV a 8k: 1.00 GB

Las respuestas definitivas («funciona», «no cabe») salen del motor calibrado o de una prueba física. Las filas «potencial» solo comparan los pesos con la memoria: el resto del requisito no está modelado, así que no son veredictos. Desconocido nunca es un fallo.

Hardware para este modelo

Las GPU de referencia con 32 GB de VRAM o más lo ejecutan entero en memoria con contexto 8k: GeForce RTX 5090 32GB.

  • Artefacto catalogado más pequeño: 24.6 GB de pesos (Q4_0).
  • Una GPU con al menos 32 GB de VRAM contiene esos pesos.
  • Espacio en disco: 500 GB o más para guardar este modelo y sus variantes.
Ver GPU de 32 GB de VRAMVer SSD NVMe de 500 GBVer equipos con GPU de 32 GB
Estos enlaces abren una búsqueda por categoría de hardware, no una recomendación de producto concreto. Affiliate link — I may earn a commission from qualifying purchases. Estos enlaces nunca cambian una respuesta de compatibilidad. Siguen la memoria que los datos justifican, no la comisión.

Fuentes y evidencias

0 campos medidos, 23 con fuente, 4 estimados y 3 desconocidos.

Ficha de catálogo verificada el 2026-09-17.

¿Qué más puede ejecutar tu PC?

Elige tu GPU y tu RAM para ver cada modelo catalogado que cabe, con respuestas probadas, estimadas y potenciales por separado.

Comprobar mi PC