Магазин апаратного забезпечення ШІ
Перегляньте міні-ПК, NAS, робочі станції, сервери та крайове апаратне забезпечення ШІ — кожну систему можна доповнити послугою встановлення та програмними інноваціями від ⏻ On Intelligence.
| Фото | Продукт | Ціна | Ємність |
|---|
Розуміння ємності моделі
Ємність моделі стосується кількості параметрів у моделі ШІ (наприклад, 70B = 70 мільярдів параметрів). Більші моделі зазвичай вимагають більше пам'яті та обчислювальної потужності, але можуть забезпечувати покращену якість міркувань та виводу.
Точність (FP16 / FP8 / FP4) впливає на обсяг пам'яті, необхідний для певної ємності моделі: формати з нижчою точністю приблизно вдвічі зменшують вимоги до пам'яті на кожному кроці (FP16 → FP8 → FP4), за деякої втрати точності виводу.
| Розмір моделі | Типовий обсяг пам'яті (FP16) | Типовий обсяг пам'яті (FP4) |
|---|---|---|
| ~70B | ~140GB | ~40GB |
| ~120B | ~240GB | ~65GB |
| ~405B | ~810GB | ~220GB |
| ~700B | ~1.4TB | ~380GB |