Diit.cz - Novinky a informace o hardware, software a internetu

Diskuse k Llamafile 0.7 přináší podporu AVX-512 a BF16, 10× víc výkonu na Zen 4

Pety | 3. 4. 2024 - 07:31

Ajaj, Intel z toho nebude mít radost.

+1
+7
-1
Je komentář přínosný?
Tom Buri | 3. 4. 2024 - 09:18

zkousel jsem hledat jak to jede na meteor lake.. nasel jsem..

''I have a new meteor lake laptop (without nvidia gpu) and llama is responding really slow.
I think the process is forked on the efficieny cores for some reason instead of the performance cores.''
https://github.com/Mozilla-Ocho/llamafile/issues/255

((:

+1
0
-1
Je komentář přínosný?
Martes | 3. 4. 2024 - 10:21

Jen malé doupřesnění - Intel u Alder Lake podporu AVX-512 nakonec deaktivoval u všech řad, VČETNĚ těch, co malá jádra nemají.. AVX-512 funguje jen se starými biosy, v nových biosech už je ale podpora AVX-512 vypnutá, např, i na mém 12400F, který má jen 6 velkých jader.

+1
+4
-1
Je komentář přínosný?
dawe | 3. 4. 2024 - 13:36

Máš Intel, proč by jsi proboha potřeboval avx512 ;)

+1
0
-1
Je komentář přínosný?
Ladis | 3. 4. 2024 - 21:13

Pokud potřebuješ víc než jen pocit ;-)

+1
0
-1
Je komentář přínosný?
melkor | 4. 4. 2024 - 21:11

Před (ne zas tak moc) dávnými časy bylo AVX-512 "must-to-have" killer featura, kterou potřebovalo 13 z 10 uživatelů a dokazovala technologickou nadvládu CPU fy Intel.
Po 5 různě očíslovaných/pojmenovaných generacích desktop procesorů tu vlajku pokroku převzal někdo jiný.
Stane se.

+1
0
-1
Je komentář přínosný?
del42sa | 3. 4. 2024 - 13:36

ono nejde jen o bios, od určitého data výroby/šarže je to už vypnuté přímo na čipu, takže ani se starým biosem AVX 512 nezprovozníš

+1
0
-1
Je komentář přínosný?

Pro psaní komentářů se, prosím, přihlaste nebo registrujte.