Dolphin 2.5 Mixtral 8x7B : configuration requise et compatibilité GPU en local
← Tous les modèles

Modèle d’IA locale

Dolphin 2.5 Mixtral 8x7B

par Cognitive Computations

1 des 22 machines de référence l’exécutent entièrement en mémoire accélérateur en contexte 8k, et 12 de plus avec délestage CPU.

46.7B Paramètres 32k Contexte maximal 1 Quantification Complète Couverture de compatibilité
Tester mon PC

Vue d’ensemble

Éditeur
Cognitive Computations
Famille
Dolphin
Série
Dolphin 2.5
Tâche
Génération de texte
Architecture
mixture d’experts · mixtral
Paramètres
46.7B
Contexte maximal
32 768 tokens
Licence
apache-2.0
Publication
2023-12-14
Formats
gguf, safetensors
Cache KV par token (f16)
131 072 B · attention standard, exact
Couverture de compatibilité
Complète : verdicts calculés
Dépôt source
dphn/dolphin-2.5-mixtral-8x7b
Page officielle
https://dphn.ai/

Quantifications et tailles de fichiers

Quantification Runtime Poids Plancher mémoire à 4k Identité
Q4_0gguf ollamaollama run dolphin-mixtral:8x7b-v2.5 24.6 GB 25.1 GB digest vérifié

Les tailles proviennent du registre du runtime ou du listing du dépôt. Le plancher mémoire ajoute le cache KV pour 4 096 tokens quand ce chiffre ne peut pas surestimer ; c’est une estimation, pas une exigence.

Runtimes

Compatibilité sur les machines de référence

Contexte 8k, 32 Go de RAM système, meilleure quantification cataloguée par machine.

Machine Mémoire Réponse Faits connus
GeForce RTX 5090 32GB 32.0 GB VRAM Tient entièrement en mémoire estimé · Q4_0 Poids 24.6 GB vs 32.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 3060 Laptop GPU 6GB 6.00 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 6.00 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 4060 8GB 8.00 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 8.00 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 3080 10GB 10.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 10.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 3060 12GB 12.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 4070 12GB 12.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 5070 12GB 12.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 4060 Ti 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 4080 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 5060 Ti 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 5080 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 3090 24GB 24.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 24.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
GeForce RTX 4090 24GB 24.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_0 Poids 24.6 GB vs 24.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
Radeon RX 7600 8GB 8.00 GB VRAM Potentiel : poids avec délestage non vérifié · Q4_0 Poids 24.6 GB vs 8.00 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
Radeon RX 7800 XT 16GB 16.0 GB VRAM Potentiel : poids avec délestage non vérifié · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
Radeon RX 9070 XT 16GB 16.0 GB VRAM Potentiel : poids avec délestage non vérifié · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
Radeon RX 7900 XTX 24GB 24.0 GB VRAM Potentiel : poids avec délestage non vérifié · Q4_0 Poids 24.6 GB vs 24.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GB
Intel Arc B580 12GB 12.0 GB VRAM Données insuffisantes non vérifié · Q4_0 Poids 24.6 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Intel Arc A770 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_0 Poids 24.6 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
MacBook Pro 14-inch M4 Max 36GB 36.0 GB unifiée Données insuffisantes non vérifié · Q4_0 Poids 24.6 GB vs 36.0 GB unifiée : tiennentCache KV à 8k : 1.00 GB
Mac mini M4 24GB 24.0 GB unifiée Ne tient pas estimé · Q4_0 Poids 24.6 GB vs 24.0 GB unifiée : ne tiennent pasCache KV à 8k : 1.00 GB
Mac mini M4 Pro 24GB 24.0 GB unifiée Ne tient pas estimé · Q4_0 Poids 24.6 GB vs 24.0 GB unifiée : ne tiennent pasCache KV à 8k : 1.00 GB

Les réponses définitives (« fonctionne », « ne tient pas ») viennent du moteur calibré ou d’un test physique. Les lignes « potentiel » comparent seulement les poids à la mémoire : le reste du besoin n’est pas modélisé, ce ne sont donc pas des verdicts. Inconnu n’est jamais un échec.

Matériel pour ce modèle

Les GPU de référence avec 32 Go de VRAM ou plus l’exécutent entièrement en mémoire en contexte 8k : GeForce RTX 5090 32GB.

  • Plus petit artefact catalogué : 24.6 GB de poids (Q4_0).
  • Un GPU d’au moins 32 Go de VRAM contient ces poids.
  • Espace disque : 500 Go ou plus pour conserver ce modèle et ses variantes.
Voir les GPU 32 Go de VRAMVoir les SSD NVMe 500 GBVoir les PC avec GPU 32 Go
Ces liens ouvrent une recherche par catégorie de matériel, pas une recommandation de produit précis. Affiliate link — I may earn a commission from qualifying purchases. Ces liens ne modifient jamais une réponse de compatibilité. Ils suivent la mémoire que les données justifient, pas la commission.

Sources et preuves

0 champs mesurés, 23 sourcés, 4 estimés et 3 inconnus.

Fiche catalogue vérifiée le 2026-09-17.

Que peut faire tourner votre PC ?

Choisissez votre GPU et votre RAM pour voir chaque modèle catalogué qui tient, en séparant réponses testées, estimées et potentielles.

Tester mon PC