To se ale děje tak jako tak. Neserverové aplikace obvykle nebývají NUMA-aware a nesdělují systému že má držet vlákna na NUMA uzlu, který je nejblíže paměti, kterou zrovna používá. Sám OS to nemá jak poznat a tak stěhuje vlánka jak se mu zlíbí obvykle z hlediska spotřeby.
+1
-1
-1
Je komentář přínosný?
To se ale děje tak jako tak.
tomo https://diit.cz/profil/tomas-marny1
30. 1. 2018 - 11:56https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseTo se ale děje tak jako tak. Neserverové aplikace obvykle nebývají NUMA-aware a nesdělují systému že má držet vlákna na NUMA uzlu, který je nejblíže paměti, kterou zrovna používá. Sám OS to nemá jak poznat a tak stěhuje vlánka jak se mu zlíbí obvykle z hlediska spotřeby.https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119110
+
i kdyby to tak bylo, tak proste neni pravda, ze se to deje tak jako tak.. kdyz ma modul vlastni radic a pameti, tak je prinejhorsim 25% sance, ze je pouzije a pristup bude rychlejsi.. kdyz nema, tak je 0% sance, ze je pouzije a pristup bude rychlejsi.. kdyby to fungovalo ciste jak pises, tak je osmikanalovej radic zbytecnost, protoze by to se jednokanalovym fungovalo stejne..
+1
0
-1
Je komentář přínosný?
i kdyby to tak bylo, tak
Tom Buri https://diit.cz/profil/t-b
30. 1. 2018 - 12:12https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskusei kdyby to tak bylo, tak proste neni pravda, ze se to deje tak jako tak.. kdyz ma modul vlastni radic a pameti, tak je prinejhorsim 25% sance, ze je pouzije a pristup bude rychlejsi.. kdyz nema, tak je 0% sance, ze je pouzije a pristup bude rychlejsi.. kdyby to fungovalo ciste jak pises, tak je osmikanalovej radic zbytecnost, protoze by to se jednokanalovym fungovalo stejne..https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119116
+
Jako člověk co mněl mnoho multiCPU numa systémů tě můžu ujistit že u non numa aware SW se skutečně paměť používá naprosto chaoticky a čte se ze všech řadičů najednou. Dokonce i stav kdy třeba jeden CPU má 0 modulů a druhej má všechny ostratní na výkon nemá citelnej vliv. Od toho je tam ostatně QPI/HT/ Infinite fabric aby zajistila dostatenčnej bandwitch mezi CPU. Pokud by se na TR aktivovlay 4 die a jen 2 řadiče bylo by to ihmo ok.
Jediný kde máš benefit měřitelného růstu výkonu jsou hry pokud je lockneš na 1 fyzickej CPU s 1 fyzickym řadičem, ale tam je benefit spíš na vrub jedné L3 cache co maj pak všechny tyhle thready k dispozici. U AMd kde kažřdá CCX se chová jak vlastní CPU a už samotnej TR má 4 je toto utoipe takže tam by to kor bylo úplně fuk.
Jinými slovy Epyc by v boardech pro TR mohl v poho chodit, stačilo by jen upravit biosy.
+1
+1
-1
Je komentář přínosný?
Jako člověk co mněl mnoho
Zenith https://diit.cz/profil/j-j1
31. 1. 2018 - 02:46https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseJako člověk co mněl mnoho multiCPU numa systémů tě můžu ujistit že u non numa aware SW se skutečně paměť používá naprosto chaoticky a čte se ze všech řadičů najednou. Dokonce i stav kdy třeba jeden CPU má 0 modulů a druhej má všechny ostratní na výkon nemá citelnej vliv. Od toho je tam ostatně QPI/HT/ Infinite fabric aby zajistila dostatenčnej bandwitch mezi CPU. Pokud by se na TR aktivovlay 4 die a jen 2 řadiče bylo by to ihmo ok.
Jediný kde máš benefit měřitelného růstu výkonu jsou hry pokud je lockneš na 1 fyzickej CPU s 1 fyzickym řadičem, ale tam je benefit spíš na vrub jedné L3 cache co maj pak všechny tyhle thready k dispozici. U AMd kde kažřdá CCX se chová jak vlastní CPU a už samotnej TR má 4 je toto utoipe takže tam by to kor bylo úplně fuk.
Jinými slovy Epyc by v boardech pro TR mohl v poho chodit, stačilo by jen upravit biosy. https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119320
+
All AMD Family 10h processors (including Barcelona and Istanbul) have two different hardware prefetchers.
The other hardware prefetcher is the "memory controller prefetcher". This is a somewhat more general prefetcher, but only operates within the memory controller (i.e., it does not send the prefetched data to a core -- it just enables the memory controller to return it more quickly when the core requests it). https://stackoverflow.com/questions/2275587/programatically-disable-hard...
V podstate ma radic RAM svoju mensiu SRAM/DRAM-ku, kde si nacita udaje, ktore budu treba...
a tie potom distribuuje p[o jadrach... Aj v ramci dvoch NUMA nodov...
Přístup AMD (obr. 5 vlevo) umožňuje snadnější rozšiřování systému o další procesory. Každý z nich má vlastní řadič paměti, vzájemné propojení procesorů je zajištěno HyperTransport sběrnicemi. Ty jsou taktované na 800 MHz nebo 1 GHz. Jedná se o NUMA systém (non-uniform memory access), přesněji ccNUMA (cache-coherent NUMA) díky protokolu MOESI. Přístupová doba k lokální RAM (připojené k řadiči CPU) se od doby potřebné k přístupu k remote RAM podstatně neliší a AMD proto někdy používá označení SUMO (Sufficiently Uniform Memory Organization). Z pohledu aplikací používá Opteron lineárně uspořádaný paměťový prostor. O tom, na kterém procesoru a ve které z pamětí budou uložena data používaná procesem rozhoduje operační systém. http://noel.feld.cvut.cz/vyu/scs/prezentace2006/Opterons/
S niecim podobnym , netreba NUMa aware SW, okrem OS
+1
0
-1
Je komentář přínosný?
ale on to nepotrebuje
Peter Fodrek https://diit.cz/profil/fotobanew
30. 1. 2018 - 14:37https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseale on to nepotrebuje
3
down vote
accepted
All AMD Family 10h processors (including Barcelona and Istanbul) have two different hardware prefetchers.
The other hardware prefetcher is the "memory controller prefetcher". This is a somewhat more general prefetcher, but only operates within the memory controller (i.e., it does not send the prefetched data to a core -- it just enables the memory controller to return it more quickly when the core requests it).
https://stackoverflow.com/questions/2275587/programatically-disable-hardware-prefetching-on-amd-systems
V podstate ma radic RAM svoju mensiu SRAM/DRAM-ku, kde si nacita udaje, ktore budu treba...
a tie potom distribuuje p[o jadrach... Aj v ramci dvoch NUMA nodov...
Přístup AMD (obr. 5 vlevo) umožňuje snadnější rozšiřování systému o další procesory. Každý z nich má vlastní řadič paměti, vzájemné propojení procesorů je zajištěno HyperTransport sběrnicemi. Ty jsou taktované na 800 MHz nebo 1 GHz. Jedná se o NUMA systém (non-uniform memory access), přesněji ccNUMA (cache-coherent NUMA) díky protokolu MOESI. Přístupová doba k lokální RAM (připojené k řadiči CPU) se od doby potřebné k přístupu k remote RAM podstatně neliší a AMD proto někdy používá označení SUMO (Sufficiently Uniform Memory Organization). Z pohledu aplikací používá Opteron lineárně uspořádaný paměťový prostor. O tom, na kterém procesoru a ve které z pamětí budou uložena data používaná procesem rozhoduje operační systém.
http://noel.feld.cvut.cz/vyu/scs/prezentace2006/Opterons/
S niecim podobnym , netreba NUMa aware SW, okrem OS
https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119176
+
Jako technicke cviceni proc ne.
Ale smysl to podle mne nema. Zajimavjesi by bylo dat TR do Epyc desky. Protoze nejlevnejsi TR je levnejsi nez nejlevnejsi Epyc a to odost.
+1
-1
-1
Je komentář přínosný?
Jako technicke cviceni proc
Dizz https://diit.cz/profil/dizz
30. 1. 2018 - 13:48https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseJako technicke cviceni proc ne.
Ale smysl to podle mne nema. Zajimavjesi by bylo dat TR do Epyc desky. Protoze nejlevnejsi TR je levnejsi nez nejlevnejsi Epyc a to odost.
https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119152
+
Člověk by řekl, že 24C 1S EPYC skoro za cenu 16C TR. bude relevantnější argument než nějaké nepravděpodobné minikonfigurace.
+1
+3
-1
Je komentář přínosný?
Člověk by řekl, že 24C 1S
Gath G https://diit.cz/profil/ggeal
30. 1. 2018 - 13:57https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseČlověk by řekl, že 24C 1S EPYC skoro za cenu 16C TR. bude relevantnější argument než nějaké nepravděpodobné minikonfigurace.https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119155
+
Pro me by bylo zajimavejsi zjisteni zda dva TR v 2S EP desce pojedou - i kdyby to znamenalo nemoznost pouziti poloviny pametovych slotu.
+1
-1
-1
Je komentář přínosný?
Pro me by bylo zajimavejsi
danieel https://diit.cz/profil/danieel
30. 1. 2018 - 17:11https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskusePro me by bylo zajimavejsi zjisteni zda dva TR v 2S EP desce pojedou - i kdyby to znamenalo nemoznost pouziti poloviny pametovych slotu.https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119218
+
EPYC má fyzicky připojené paměti pouze ke dvoum modulům, zkrz které je to připojené k dalším dvěma. Nekompatibilita je zřejmě jen umělá, AMD se asi naučila oblíbený kousek Intelu.
+1
-1
-1
Je komentář přínosný?
EPIC má fyzicky připojené
r23 https://diit.cz/profil/r23
31. 1. 2018 - 02:50https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseEPYC má fyzicky připojené paměti pouze ke dvoum modulům, zkrz které je to připojené k dalším dvěma. Nekompatibilita je zřejmě jen umělá, AMD se asi naučila oblíbený kousek Intelu. https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119323
+
To se nemohl podivat do datasheetu na zapojeni soketu, ze to takhle prelepoval pokus-omyl? Kdysi sme takle blbi s pinama u Socket 370, aby sly rozchodit PIII Tualatiny ve starsich deskach :)
AMD dodava do BIOSu binarni blob, kerej se stara o inicializaci radice pameti, takze ten by to chtelo prehodit z BIOSu pro EPYC, pak by se to mozna chytlo...
+1
0
-1
Je komentář přínosný?
To se nemohl podivat do
RayeR RayeR https://diit.cz/profil/rayer
1. 2. 2018 - 05:06https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseTo se nemohl podivat do datasheetu na zapojeni soketu, ze to takhle prelepoval pokus-omyl? Kdysi sme takle blbi s pinama u Socket 370, aby sly rozchodit PIII Tualatiny ve starsich deskach :)
AMD dodava do BIOSu binarni blob, kerej se stara o inicializaci radice pameti, takze ten by to chtelo prehodit z BIOSu pro EPYC, pak by se to mozna chytlo...https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119755
+
Nejsou veřejně dostupné. Ono se dá očekávat, že TR i EPYC jsou v podstatě to samé. Už se ví, že neaktivní jádra mají uBGA bondy na substrát - jsou tedy reálná. Pravděpodobně i zapojená - což dává smysl, protože to lze v budoucnu využít k beznákladovému rozšíření nabídky o vícejádrové kusy. Z obrázku http://bit.ly/2DSvnJR je patrné, že paměťový řadič na pady vede jen na dva moduly. Pravděpodobně i moduly budou stejný křemík (mikrofotky vypadají stejně a nedává ekonomický smysl vyrábět dvakrát to samé).
+1
0
-1
Je komentář přínosný?
Nejsou veřejně dostupné. Ono
r23 https://diit.cz/profil/r23
1. 2. 2018 - 08:02https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseNejsou veřejně dostupné. Ono se dá očekávat, že TR i EPYC jsou v podstatě to samé. Už se ví, že neaktivní jádra mají uBGA bondy na substrát - jsou tedy reálná. Pravděpodobně i zapojená - což dává smysl, protože to lze v budoucnu využít k beznákladovému rozšíření nabídky o vícejádrové kusy. Z obrázku http://bit.ly/2DSvnJR je patrné, že paměťový řadič na pady vede jen na dva moduly. Pravděpodobně i moduly budou stejný křemík (mikrofotky vypadají stejně a nedává ekonomický smysl vyrábět dvakrát to samé). https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1119773
+
Jo dik za info, obrazek pekny, skoda ze neni ve vetsim. Chvilku sem schvalne hledal nake dataky, ale taky sem nic nenasel. Jen programatorske manualy, naky thermal design soketu a stary AM3, jinak nic. To jako vsecko jinak pod NDA? Aspon u intelu (nekontroloval sem ted) byly bezne plne dataky s pinoutem, naposled sem takle stahoval nake SB/IB/HW...
+1
0
-1
Je komentář přínosný?
Jo dik za info, obrazek pekny
RayeR RayeR https://diit.cz/profil/rayer
1. 2. 2018 - 20:26https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuseJo dik za info, obrazek pekny, skoda ze neni ve vetsim. Chvilku sem schvalne hledal nake dataky, ale taky sem nic nenasel. Jen programatorske manualy, naky thermal design soketu a stary AM3, jinak nic. To jako vsecko jinak pod NDA? Aspon u intelu (nekontroloval sem ted) byly bezne plne dataky s pinoutem, naposled sem takle stahoval nake SB/IB/HW...https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskuse#comment-1120115
+
Diskuse k AMD Epyc v desce pro ThreadRipper [video]https://diit.cz/clanek/amd-epyc-v-desce-pro-threadripper/diskusehttps://diit.cz/sites/default/files/diit-logo.png
To se ale děje tak jako tak. Neserverové aplikace obvykle nebývají NUMA-aware a nesdělují systému že má držet vlákna na NUMA uzlu, který je nejblíže paměti, kterou zrovna používá. Sám OS to nemá jak poznat a tak stěhuje vlánka jak se mu zlíbí obvykle z hlediska spotřeby.
i kdyby to tak bylo, tak proste neni pravda, ze se to deje tak jako tak.. kdyz ma modul vlastni radic a pameti, tak je prinejhorsim 25% sance, ze je pouzije a pristup bude rychlejsi.. kdyz nema, tak je 0% sance, ze je pouzije a pristup bude rychlejsi.. kdyby to fungovalo ciste jak pises, tak je osmikanalovej radic zbytecnost, protoze by to se jednokanalovym fungovalo stejne..
Jako člověk co mněl mnoho multiCPU numa systémů tě můžu ujistit že u non numa aware SW se skutečně paměť používá naprosto chaoticky a čte se ze všech řadičů najednou. Dokonce i stav kdy třeba jeden CPU má 0 modulů a druhej má všechny ostratní na výkon nemá citelnej vliv. Od toho je tam ostatně QPI/HT/ Infinite fabric aby zajistila dostatenčnej bandwitch mezi CPU. Pokud by se na TR aktivovlay 4 die a jen 2 řadiče bylo by to ihmo ok.
Jediný kde máš benefit měřitelného růstu výkonu jsou hry pokud je lockneš na 1 fyzickej CPU s 1 fyzickym řadičem, ale tam je benefit spíš na vrub jedné L3 cache co maj pak všechny tyhle thready k dispozici. U AMd kde kažřdá CCX se chová jak vlastní CPU a už samotnej TR má 4 je toto utoipe takže tam by to kor bylo úplně fuk.
Jinými slovy Epyc by v boardech pro TR mohl v poho chodit, stačilo by jen upravit biosy.
ale on to nepotrebuje
3
down vote
accepted
All AMD Family 10h processors (including Barcelona and Istanbul) have two different hardware prefetchers.
The other hardware prefetcher is the "memory controller prefetcher". This is a somewhat more general prefetcher, but only operates within the memory controller (i.e., it does not send the prefetched data to a core -- it just enables the memory controller to return it more quickly when the core requests it).
https://stackoverflow.com/questions/2275587/programatically-disable-hard...
V podstate ma radic RAM svoju mensiu SRAM/DRAM-ku, kde si nacita udaje, ktore budu treba...
a tie potom distribuuje p[o jadrach... Aj v ramci dvoch NUMA nodov...
Přístup AMD (obr. 5 vlevo) umožňuje snadnější rozšiřování systému o další procesory. Každý z nich má vlastní řadič paměti, vzájemné propojení procesorů je zajištěno HyperTransport sběrnicemi. Ty jsou taktované na 800 MHz nebo 1 GHz. Jedná se o NUMA systém (non-uniform memory access), přesněji ccNUMA (cache-coherent NUMA) díky protokolu MOESI. Přístupová doba k lokální RAM (připojené k řadiči CPU) se od doby potřebné k přístupu k remote RAM podstatně neliší a AMD proto někdy používá označení SUMO (Sufficiently Uniform Memory Organization). Z pohledu aplikací používá Opteron lineárně uspořádaný paměťový prostor. O tom, na kterém procesoru a ve které z pamětí budou uložena data používaná procesem rozhoduje operační systém.
http://noel.feld.cvut.cz/vyu/scs/prezentace2006/Opterons/
S niecim podobnym , netreba NUMa aware SW, okrem OS
Jako technicke cviceni proc ne.
Ale smysl to podle mne nema. Zajimavjesi by bylo dat TR do Epyc desky. Protoze nejlevnejsi TR je levnejsi nez nejlevnejsi Epyc a to odost.
Člověk by řekl, že 24C 1S EPYC skoro za cenu 16C TR. bude relevantnější argument než nějaké nepravděpodobné minikonfigurace.
Pro me by bylo zajimavejsi zjisteni zda dva TR v 2S EP desce pojedou - i kdyby to znamenalo nemoznost pouziti poloviny pametovych slotu.
EPYC má fyzicky připojené paměti pouze ke dvoum modulům, zkrz které je to připojené k dalším dvěma. Nekompatibilita je zřejmě jen umělá, AMD se asi naučila oblíbený kousek Intelu.
To se nemohl podivat do datasheetu na zapojeni soketu, ze to takhle prelepoval pokus-omyl? Kdysi sme takle blbi s pinama u Socket 370, aby sly rozchodit PIII Tualatiny ve starsich deskach :)
AMD dodava do BIOSu binarni blob, kerej se stara o inicializaci radice pameti, takze ten by to chtelo prehodit z BIOSu pro EPYC, pak by se to mozna chytlo...
Nejsou veřejně dostupné. Ono se dá očekávat, že TR i EPYC jsou v podstatě to samé. Už se ví, že neaktivní jádra mají uBGA bondy na substrát - jsou tedy reálná. Pravděpodobně i zapojená - což dává smysl, protože to lze v budoucnu využít k beznákladovému rozšíření nabídky o vícejádrové kusy. Z obrázku http://bit.ly/2DSvnJR je patrné, že paměťový řadič na pady vede jen na dva moduly. Pravděpodobně i moduly budou stejný křemík (mikrofotky vypadají stejně a nedává ekonomický smysl vyrábět dvakrát to samé).
Jo dik za info, obrazek pekny, skoda ze neni ve vetsim. Chvilku sem schvalne hledal nake dataky, ale taky sem nic nenasel. Jen programatorske manualy, naky thermal design soketu a stary AM3, jinak nic. To jako vsecko jinak pod NDA? Aspon u intelu (nekontroloval sem ted) byly bezne plne dataky s pinoutem, naposled sem takle stahoval nake SB/IB/HW...
Pro psaní komentářů se, prosím, přihlaste nebo registrujte.