llama 3 Korean Bllossom 70B : configuration requise et compatibilité GPU en local
← Tous les modèles

Modèle d’IA locale

llama 3 Korean Bllossom 70B

par Bllossom

0 des 22 machines de référence l’exécutent entièrement en mémoire accélérateur en contexte 8k, et 7 de plus avec délestage CPU.

70.6B Paramètres 8k Contexte maximal 1 Quantification Complète Couverture de compatibilité
Tester mon PC

Vue d’ensemble

Éditeur
Bllossom
Famille
Bllossom
Série
llama 3
Tâche
Génération de texte
Architecture
dense · llama
Paramètres
70.6B
Contexte maximal
8 192 tokens
Licence
llama3
Publication
2024-05-08
Formats
gguf, safetensors
Cache KV par token (f16)
327 680 B · attention standard, exact
Couverture de compatibilité
Complète : verdicts calculés
Dépôt source
Bllossom/llama-3-Korean-Bllossom-70B
Page officielle
https://huggingface.co/Bllossom

Quantifications et tailles de fichiers

Quantification Runtime Poids Plancher mémoire à 4k Identité
Q4_K_Mgguf llama.cppBllossom/llama-3-Korean-Bllossom-70B-gguf-Q4_K_M/llama-3-Korean-Bllossom-70B-gguf-Q4_K_M.gguf 39.8 GB 41.0 GB digest vérifié

Les tailles proviennent du registre du runtime ou du listing du dépôt. Le plancher mémoire ajoute le cache KV pour 4 096 tokens quand ce chiffre ne peut pas surestimer ; c’est une estimation, pas une exigence.

Runtimes

Compatibilité sur les machines de référence

Contexte 8k, 32 Go de RAM système, meilleure quantification cataloguée par machine.

Machine Mémoire Réponse Faits connus
GeForce RTX 4060 Ti 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 4080 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 5060 Ti 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 5080 16GB 16.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 3090 24GB 24.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 24.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 4090 24GB 24.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 24.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 5090 32GB 32.0 GB VRAM Fonctionne avec délestage CPU estimé · Q4_K_M Poids 39.8 GB vs 32.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
Radeon RX 7800 XT 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
Radeon RX 9070 XT 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
Intel Arc A770 16GB 16.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 39.8 GB vs 16.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
Radeon RX 7900 XTX 24GB 24.0 GB VRAM Données insuffisantes non vérifié · Q4_K_M Poids 39.8 GB vs 24.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
GeForce RTX 3060 Laptop GPU 6GB 6.00 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 6.00 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
Radeon RX 7600 8GB 8.00 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 8.00 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
GeForce RTX 4060 8GB 8.00 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 8.00 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 3080 10GB 10.0 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 10.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
Intel Arc B580 12GB 12.0 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
GeForce RTX 3060 12GB 12.0 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 4070 12GB 12.0 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
GeForce RTX 5070 12GB 12.0 GB VRAM Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 12.0 GB VRAM : ne tiennent pasCache KV à 8k : 2.50 GB
Mac mini M4 24GB 24.0 GB unifiée Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 24.0 GB unifiée : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
Mac mini M4 Pro 24GB 24.0 GB unifiée Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 24.0 GB unifiée : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown
MacBook Pro 14-inch M4 Max 36GB 36.0 GB unifiée Ne tient pas estimé · Q4_K_M Poids 39.8 GB vs 36.0 GB unifiée : ne tiennent pasCache KV à 8k : 2.50 GBprise en charge du runtime sur cette machine : unknown

Les réponses définitives (« fonctionne », « ne tient pas ») viennent du moteur calibré ou d’un test physique. Les lignes « potentiel » comparent seulement les poids à la mémoire : le reste du besoin n’est pas modélisé, ce ne sont donc pas des verdicts. Inconnu n’est jamais un échec.

Matériel pour ce modèle

Le plus petit artefact (39.8 GB) dépasse tous les GPU grand public catalogués. Aucun fournisseur de GPU cloud n’est configuré : aucune offre n’est affichée.

  • Plus petit artefact catalogué : 39.8 GB de poids (Q4_K_M).
  • Plus gros que tous les GPU grand public catalogués (32 Go). En local, il faut un délestage CPU avec 64 Go de RAM ou plus ; sinon un GPU de datacenter loué.
  • Espace disque : 500 Go ou plus pour conserver ce modèle et ses variantes.
Voir les kits mémoire 64 GoVoir les SSD NVMe 500 GB

GPU cloud — LocalAIReady n’a aucun partenaire GPU cloud : aucun fournisseur ni prix n’est affiché ici. Contenir ces poids dans un seul accélérateur demande au moins 40 Go de mémoire, ce qui passe aujourd’hui par un GPU de datacenter loué.

Ces liens ouvrent une recherche par catégorie de matériel, pas une recommandation de produit précis. Affiliate link — I may earn a commission from qualifying purchases. Ces liens ne modifient jamais une réponse de compatibilité. Ils suivent la mémoire que les données justifient, pas la commission.

Sources et preuves

0 champs mesurés, 20 sourcés, 4 estimés et 3 inconnus.

Fiche catalogue vérifiée le 2026-09-17.

Que peut faire tourner votre PC ?

Choisissez votre GPU et votre RAM pour voir chaque modèle catalogué qui tient, en séparant réponses testées, estimées et potentielles.

Tester mon PC