Así que ahora, donde esto tendrá sentido para la inferencia, apenas encajamos los codificadores Q8 Qwen Coder 3 y Kimi K2 en nuestros H200. Kimi K2 @ Q8 no dejó espacio para un caché kv para el contexto. ¿Podrían estos modelos caber en una sola instancia de 8xB200? Probablemente, lo intentaremos esta semana.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
24 me gusta
Recompensa
24
6
Republicar
Compartir
Comentar
0/400
ResearchChadButBroke
· 07-30 07:23
Quién entiende el caché kv, realmente es un dolor de cabeza.
Ver originalesResponder0
DefiVeteran
· 07-28 15:52
La alquimia cuantitativa es bastante complicada.
Ver originalesResponder0
NonFungibleDegen
· 07-27 12:20
ngmi con estas especificaciones fr fr
Ver originalesResponder0
FlippedSignal
· 07-27 12:18
Este Q8 es una basura total.
Ver originalesResponder0
NotGonnaMakeIt
· 07-27 12:06
Esta optimización no funciona, no puede llevarlo en absoluto.
Así que ahora, donde esto tendrá sentido para la inferencia, apenas encajamos los codificadores Q8 Qwen Coder 3 y Kimi K2 en nuestros H200. Kimi K2 @ Q8 no dejó espacio para un caché kv para el contexto. ¿Podrían estos modelos caber en una sola instancia de 8xB200? Probablemente, lo intentaremos esta semana.