Llama 3 Groq 70B Tool Use: requisitos de hardware y compatibilidad GPU en local
← Todos los modelos

Modelo de IA local

Llama 3 Groq 70B Tool Use

de Groq

0 de 22 máquinas de referencia lo ejecutan entero en la memoria del acelerador con contexto 8k, y 10 más con descarga a CPU.

70.6B Parámetros 8k Contexto máximo 1 Cuantización Completa Cobertura de compatibilidad
Comprobar mi PC

Resumen

Editor
Groq
Familia
Groq-tool-use
Serie
Llama 3 Groq Tool Use
Tarea
Generación de texto
Arquitectura
denso · llama
Parámetros
70.6B
Contexto máximo
8192 tokens
Licencia
llama3
Publicación
2024-06-25
Formatos
gguf, safetensors
Caché KV por token (f16)
327.680 B · atención estándar, exacto
Cobertura de compatibilidad
Completa: veredictos calculados
Repositorio de origen
Groq/Llama-3-Groq-70B-Tool-Use
Página oficial
https://groq.com/

Cuantizaciones y tamaños de archivo

Cuantización Runtime Pesos Mínimo de memoria a 4k Identidad
Q4_0gguf ollamaollama run llama3-groq-tool-use:70b 37.2 GB 38.5 GB digest verificado

Los tamaños proceden del registro del runtime o del listado del repositorio. El mínimo de memoria suma la caché KV de 4.096 tokens cuando esa cifra no puede sobrestimar; es una estimación, no un requisito.

Runtimes

Compatibilidad en máquinas de referencia

Contexto 8k, 32 GB de RAM del sistema, mejor cuantización catalogada por máquina.

Máquina Memoria Respuesta Datos conocidos
GeForce RTX 3060 12GB 12.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 4070 12GB 12.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 5070 12GB 12.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 4060 Ti 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 4080 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 5060 Ti 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 5080 16GB 16.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 3090 24GB 24.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 24.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 4090 24GB 24.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 24.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 5090 32GB 32.0 GB VRAM Funciona con descarga a CPU estimado · Q4_0 Pesos 37.2 GB frente a 32.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
Radeon RX 7800 XT 16GB 16.0 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
Radeon RX 9070 XT 16GB 16.0 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
Radeon RX 7900 XTX 24GB 24.0 GB VRAM Potencial: pesos con descarga sin verificar · Q4_0 Pesos 37.2 GB frente a 24.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
Intel Arc B580 12GB 12.0 GB VRAM Datos insuficientes sin verificar · Q4_0 Pesos 37.2 GB frente a 12.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GBsoporte del runtime en esta máquina: unknown
Intel Arc A770 16GB 16.0 GB VRAM Datos insuficientes sin verificar · Q4_0 Pesos 37.2 GB frente a 16.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GBsoporte del runtime en esta máquina: unknown
GeForce RTX 3060 Laptop GPU 6GB 6.00 GB VRAM No cabe estimado · Q4_0 Pesos 37.2 GB frente a 6.00 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
Radeon RX 7600 8GB 8.00 GB VRAM No cabe estimado · Q4_0 Pesos 37.2 GB frente a 8.00 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 4060 8GB 8.00 GB VRAM No cabe estimado · Q4_0 Pesos 37.2 GB frente a 8.00 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
GeForce RTX 3080 10GB 10.0 GB VRAM No cabe estimado · Q4_0 Pesos 37.2 GB frente a 10.0 GB VRAM: no cabenCaché KV a 8k: 2.50 GB
Mac mini M4 24GB 24.0 GB unificada No cabe estimado · Q4_0 Pesos 37.2 GB frente a 24.0 GB unificada: no cabenCaché KV a 8k: 2.50 GB
Mac mini M4 Pro 24GB 24.0 GB unificada No cabe estimado · Q4_0 Pesos 37.2 GB frente a 24.0 GB unificada: no cabenCaché KV a 8k: 2.50 GB
MacBook Pro 14-inch M4 Max 36GB 36.0 GB unificada No cabe estimado · Q4_0 Pesos 37.2 GB frente a 36.0 GB unificada: no cabenCaché KV a 8k: 2.50 GB

Las respuestas definitivas («funciona», «no cabe») salen del motor calibrado o de una prueba física. Las filas «potencial» solo comparan los pesos con la memoria: el resto del requisito no está modelado, así que no son veredictos. Desconocido nunca es un fallo.

Hardware para este modelo

El artefacto más pequeño (37.2 GB) supera todas las GPU de consumo catalogadas. No hay proveedor de GPU en la nube configurado, así que no se muestra ninguna oferta.

  • Artefacto catalogado más pequeño: 37.2 GB de pesos (Q4_0).
  • Más grande que todas las GPU de consumo catalogadas (32 GB). En local exige descarga a CPU con 64 GB de RAM o más; si no, una GPU de centro de datos alquilada.
  • Espacio en disco: 500 GB o más para guardar este modelo y sus variantes.
Ver kits de memoria de 64 GBVer SSD NVMe de 500 GB

GPU en la nube — LocalAIReady no tiene socio de GPU en la nube, así que aquí no se muestra proveedor ni precio. Contener estos pesos en un solo acelerador exige al menos 38 GB de memoria, lo que hoy significa una GPU de centro de datos alquilada.

Estos enlaces abren una búsqueda por categoría de hardware, no una recomendación de producto concreto. Affiliate link — I may earn a commission from qualifying purchases. Estos enlaces nunca cambian una respuesta de compatibilidad. Siguen la memoria que los datos justifican, no la comisión.

Fuentes y evidencias

0 campos medidos, 20 con fuente, 4 estimados y 3 desconocidos.

Ficha de catálogo verificada el 2026-09-17.

¿Qué más puede ejecutar tu PC?

Elige tu GPU y tu RAM para ver cada modelo catalogado que cabe, con respuestas probadas, estimadas y potenciales por separado.

Comprobar mi PC