llama 3 typhoon v1.5 8B instruct : configuration requise et compatibilité GPU en local
← Tous les modèles

Modèle d’IA locale

llama 3 typhoon v1.5 8B instruct

par Typhoon (SCB 10X)

12 des 22 machines de référence l’exécutent entièrement en mémoire accélérateur en contexte 8k, et 1 de plus avec délestage CPU.

8B Paramètres 8k Contexte maximal 1 Quantification Complète Couverture de compatibilité
Tester mon PC

Vue d’ensemble

Éditeur
Typhoon (SCB 10X)
Famille
Typhoon
Série
llama 3
Tâche
Génération de texte
Architecture
dense · llama
Paramètres
8B
Contexte maximal
8 192 tokens
Licence
llama3
Publication
2024-05-06
Formats
gguf, safetensors
Cache KV par token (f16)
131 072 B · attention standard, exact
Couverture de compatibilité
Complète : verdicts calculés
Dépôt source
typhoon-ai/llama-3-typhoon-v1.5-8b-instruct
Page officielle
https://opentyphoon.ai/

Quantifications et tailles de fichiers

Quantification Runtime Poids Plancher mémoire à 4k Identité
Q4_K_Mgguf llama.cpptyphoon-ai/llama-3-typhoon-v1.5-8b-instruct-gguf/llama-3-typhoon-v1.5-8b-instruct.Q4_K_M.gguf 4.58 GB 5.08 GB digest vérifié

Les tailles proviennent du registre du runtime ou du listing du dépôt. Le plancher mémoire ajoute le cache KV pour 4 096 tokens quand ce chiffre ne peut pas surestimer ; c’est une estimation, pas une exigence.

Runtimes

Compatibilité sur les machines de référence

Contexte 8k, 32 Go de RAM système, meilleure quantification cataloguée par machine.

Machine Mémoire Réponse Faits connus
GeForce RTX 4060 8GB 8.00 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 8.00 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 3080 10GB 10.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 10.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 3060 12GB 12.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 4070 12GB 12.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 5070 12GB 12.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 4060 Ti 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 4080 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 5060 Ti 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 5080 16GB 16.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 3090 24GB 24.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 24.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 4090 24GB 24.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 24.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 5090 32GB 32.0 GB VRAM Tient entièrement en mémoire estimé · Q4_K_M Poids 4.58 GB vs 32.0 GB VRAM : tiennentCache KV à 8k : 1.00 GB
GeForce RTX 3060 Laptop GPU 6GB 6.00 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 4.58 GB vs 6.00 GB VRAM : tiennentCache KV à 8k : 1.00 GB
Radeon RX 7600 8GB 8.00 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 8.00 GB VRAM : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Intel Arc B580 12GB 12.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 12.0 GB VRAM : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Radeon RX 7800 XT 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Radeon RX 9070 XT 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Intel Arc A770 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 16.0 GB VRAM : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Radeon RX 7900 XTX 24GB 24.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 24.0 GB VRAM : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Mac mini M4 24GB 24.0 GB unifiée Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 24.0 GB unifiée : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
Mac mini M4 Pro 24GB 24.0 GB unifiée Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 24.0 GB unifiée : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown
MacBook Pro 14-inch M4 Max 36GB 36.0 GB unifiée Données insuffisantes non vérifié · Q4_K_M Poids 4.58 GB vs 36.0 GB unifiée : tiennentCache KV à 8k : 1.00 GBprise en charge du runtime sur cette machine : unknown

Les réponses définitives (« fonctionne », « ne tient pas ») viennent du moteur calibré ou d’un test physique. Les lignes « potentiel » comparent seulement les poids à la mémoire : le reste du besoin n’est pas modélisé, ce ne sont donc pas des verdicts. Inconnu n’est jamais un échec.

Matériel pour ce modèle

Les GPU de référence avec 8 Go de VRAM ou plus l’exécutent entièrement en mémoire en contexte 8k : GeForce RTX 4060 8GB, GeForce RTX 3080 10GB, GeForce RTX 3060 12GB, GeForce RTX 4070 12GB.

  • Plus petit artefact catalogué : 4.58 GB de poids (Q4_K_M).
  • Un GPU d’au moins 8 Go de VRAM contient ces poids.
Voir les GPU 8 Go de VRAM
Ces liens ouvrent une recherche par catégorie de matériel, pas une recommandation de produit précis. Affiliate link — I may earn a commission from qualifying purchases. Ces liens ne modifient jamais une réponse de compatibilité. Ils suivent la mémoire que les données justifient, pas la commission.

Sources et preuves

0 champs mesurés, 20 sourcés, 4 estimés et 3 inconnus.

Fiche catalogue vérifiée le 2026-09-17.

Que peut faire tourner votre PC ?

Choisissez votre GPU et votre RAM pour voir chaque modèle catalogué qui tient, en séparant réponses testées, estimées et potentielles.

Tester mon PC