Diit.cz - Novinky a informace o hardware, software a internetu

Diskuse k Pokud Epyc Zen 2 po 3 letech běhu přejde do režimu spánku, pomůže jen reset

No,"kuriozni"...

Jeste ze jsou u nas jednou za cas planovane odstavky proudu,jinak by na ten vmware nikdo nesahal a nerestartoval server..

+1
-3
-1
Je komentář přínosný?

Jo, ale bacha na UPSky.

+1
+4
-1
Je komentář přínosný?

A vydrzi vam 2 denni odstavku proudu v cele fabrice kvuli revizi? A mate dieselagregat? A mohl bych ho videt? :-)

+1
+1
-1
Je komentář přínosný?

Zazil jsem datacentrum (privatni, kriticka infrastruktura), kde dvakrat (!) s pulrocnim odstupem stalo nasledujici:

Pri testu dieselagregatu na strese odpojili privod proudu, a zapomneli ho pripojit zpatky. Takze datacentrum (a cela budova) bezelo na diesel, dokud je nekdo nevypnul. Pak se jelo na UPS, dokud ty nechciply. Pravidelna udrzba, jak je videt, probihala; baterky se testovaly, agregaty bezely hodinu kazdy tyden, jednou za pul roku test vseho. Jenze monitoring nefungoval. A zjistili to tak, ze jim nekdy v noci, kdyz se vybily baterky na obou větvích, vsechno zhaslo.
Tak jo, dobry, zasmali jsme se, chlapi udelejte si monitoring a dohlizejte si na to, kdyz se provadi testy... a za pul roku uplne ten samy pripad, akorat s jinou smenou.
Elektrikari uz byli davno pryc, technici odpovedni za test spinkali doma v postylkach, a pracovni smene se rozzarilo nouzove osvetleni, zatimco vse ostatni zhaslo. A opet nikoho nenapadlo, ze by to mohlo souviset s tim testem agregatu na strese, ktery probihal vcera odpoledne.

+1
+6
-1
Je komentář přínosný?

jenže to je to co se v lidech záměrně pěstuje - nevšímavost a "hledění si svých povinností". Pak se nereaguje na disharmonické a podivné zvuky pokud nejde už o extra kravál, když se něco dře a netrhá to uši tak ať, koho to zajímá. Někdy už mi lidi přijdou jen jako živí roboti. Ale k tomu je vede styl řízení aby se "zbytečně" nestarali...

+1
+3
-1
Je komentář přínosný?

Znám jednu firmu, kde mají přes 10 let (12?) staré VMware hypervisory (v různých lokalitách) a bojí se je restartovat jak čert kříže. Stává se totiž, že po restartu tu nenajede DRAM modul, tam se rozpadne komunikace s polem, tady začne chybu hlásit interní HDD (plotnový), támhle začne jeden ze zdrojů hlásit chybu ... všechno mají redundantní a na to hřeší (výpadek jakéhokoli kusu HW není problém - i celého hypervisoru), ale "teď přece není vhodná doba kupovat nový HW" (teď je vysoká inflace, před tím byl Covid, před tím se zrovna investovalo do něčeho jiného ...).

Prý na podzim bude nějaké výběrko, že by se v příštím roce něco mohlo nakoupit :) Prý :D Jenže po těch 10 letech (12?) už to znamená všechno zahodit a komplet vše koupit nové.

+1
+5
-1
Je komentář přínosný?

Brr, tam pracovat, to musí být za trest :-/.
Zdar Max

+1
+3
-1
Je komentář přínosný?

Můžeš je uklidnit. Tohle se stává i u nových serverů. DRAM modul řešil Dell firmwarem, pole nabíhající 25 minut Dell řešil firmwarem, zamrznuvší ESX při postu po restartu/rebootu/hot/cold startu řešil otázkou, zda mám aktuální firmware a když jsem odpověděl že jo a druhé identické ESX to nedělá, poradili počkat na další fw.

+1
0
-1
Je komentář přínosný?

To se vůbec nedivím. Jsou případy, kdy při takové odstávce datacentra znovu nenaskočí 30% strojů. Osobně se takových věcí děsím, ale musím zaklepat, zatím mi to vždy proběhlo v pohodě.

Ten problém, čistě už pocitově, vnímám tak, že buďto rebootujete často, a je to pro vás rutina, nebo jste 10 let nerebootoval, a pak máte oprávněný strach. Nejčastěji chcípnou kondíky na zdrojích, kdy ty zdroje už vlastně jsou ve stádiu smrt, protože už se nezvládnou spustit, ale ještě to nikdo neví, protože je nevypnul.

Pak jsou tu ale i featury od výrobce. Třeba určitá disková pole od určitého výrobce, pokud dva roky neaktulizujete firmware, controller nenabootuje. Pokud si platíte support, výrobce onsite vymění controller. Pokud neplatíte, controller končí. Takže jakmile přestanete platit support, proveďte poslední aktualizaci, a máte dva roky na to rebootovat. Tohle je reálná feature, osobně jsem se s tím několikrát potkal, a najdete to i v článku na root.cz o odstávce serverovny na katastrálním úřadě v Kobylisích, kde se jim to také stalo; ale měli zaplacený support, takže na Chodově nastoupil borec do auta a controllery jim dovezl.

Aby chcípl při rebootu DRAM modul, to jsem ještě nepotkal, ty začnou dělat chyby za běhu. Ale dokážu si takovou situaci představit. Fuj :-D

+1
+3
-1
Je komentář přínosný?

Zrovna nedávno se mi stalo, že v jednom SuperMicru začala od sítě odpadávat jedna síťovka. V logu VMw bylo, že karta odpadla od sběrnice. Tak jsme zkusili vyndat a zase zandat, protože bylo podezření na termální creep a povytačení ze slotu. Pak to udělalo zas. Nakonec to byl DRAM modul, který jednou za +- dva měsíce házel chybu ECC, a podle všeho v oblasti, kam se mapovala RAM té síťové karty, které následně havaroval kontrolér a přestal se bavit se sběrnicí.
A v druhém se po 3 letech provozu začalo dít to, že při rebootu se zakousnul a pokračoval až po cvrnknutí do klávesnice. Samozřejmě nikoho nenapadlo se podívat, co to píše. Takhle to provozovali skoro 3/4 roku (bylo to v zařízení, které se stěhuje, takže to udělalo vždycky při zapnutí na nové lokalitě, a řešili to tak že si vozili klávesnici a když to 10 minut nenajelo, připojili ji a zmáčkli mezerník), a řekli mi to, když jsem jel okolo. Psalo to, že je vadný DRAM modul řadiče RAIDu. Laborováním to ukazovalo na vadný superkap zálohování cache, a nakonec se ukázalo, že se zlomil propojovací kabel mezi modulem záložního napájení řadiče a superkapem, který při montáži přitáhli zippáskem tak na krev, až ho zlomili.

+1
0
-1
Je komentář přínosný?

Když máte servery koncipované tak, že se neřeší aktualizace VMW ani systému jako takového, tak máte jistě vypnuté stavy, do kterých se HW nemá za žádnou cenu dostat. Pokud ne, tak je to trochu divné. Tím samozřejmě neříkám, že není chyba na straně AMD, jen že kuriózní je spíš v tomto případě nastavení serverů :-)

+1
+1
-1
Je komentář přínosný?

Uzavrene systemy pro sber dat z vyroby. Kdyz nebezi vyroba,nemaji moc co delat.

+1
0
-1
Je komentář přínosný?

Máme zákazníka co má výrobní linky a určitě tam nemá nastavené to aby se mu dostávali servery do režimu spánku. Je to i docela nesmysl, uspávat servery určené pro nonstop provoz. Netuším jak dlouhé výpadky ve výrobě mají linky, ale uspávat servery mi přijde jako dost nesmysl. Pochopím snížení výkonu na minimum, ale uspávat server ... ola laaa.

+1
+1
-1
Je komentář přínosný?

Nevim,nehrabu se do toho nastaveni tak moc. Nevim,jake mody jsou.tam povolene

+1
0
-1
Je komentář přínosný?

MariaDB server počas víkendu.

+1
0
-1
Je komentář přínosný?

Za časů Novellu se říkal příběh: Nešťastný admin s diskem v ruce chodí po chodbě, prolézá komory a skladiště a hledá server. Problém není v serveru samotném - ten běží, normálně reagují všechny služby jako obyvkle. Problém je v tom, že admin potřebuje do toho serveru přidat disk a za ty roky, co server běží, už nikdo neví, kde vlastně je.

+1
+12
-1
Je komentář přínosný?

No nemůžu říct, že by se mi to stalo. Ale mám pocit, kdyby tenkrát neodešlo CPU, tak jsem ho za tu dobu, co jsem ho "oprašoval" opravdu nerestartoval.

+1
0
-1
Je komentář přínosný?

Už si nevybavuju podrobnosti, ale skutečně byl publikován případ, kdy se hledal dlouhodobě běžící server, který nebyl k nalezení, ačkoli evidentně běžel a dalo se k němu připojit. Tak šli po kabelu a zjistili, že byl při jedné z rekonstrukcí zazděn snad do nějaké příčky.

+1
+17
-1
Je komentář přínosný?

:-D

+1
+1
-1
Je komentář přínosný?

no pekne

inak stacilo by zvysit pocitadlo z 54bit na 56bit a hned sme z cca 3 rokov na cca 12 rokoch a je prakticky po probleme :) a ked nie, tak 58bit je v podstate uplna istota (cca 48 rokov)

+1
0
-1
Je komentář přínosný?

...čekal bych standardní 64-bit (co je asi vedlo ke zbytečnému zkrácení?)

+1
+1
-1
Je komentář přínosný?

jo, veskery HW by sa mal robit tak, aby nejake to pocitadlo pretieklo za radovo mnoheeeeeee desiatky rokov, idealne blizko k storociu, vtedy je istota ze sa to neprejavi

SW a protokoly a technologie by sa mali robit tak, aby vydrzali mnohe tisicrocia, idealne milion rokov, vidme 32-bitovy adresny priestor IPv4, ktore su uz na urovni pridelovanie na jednotlive kontinenty uplne minute, mozno dokonca aj na urovni statov, jedine volne IPv4 su volne iba na urovni statnych providerov, ktori maju nakupene "zasoby"
detto pretecenie 32 bit pocitadla sekund v unix-based systemoch od 1.1.1970, ktore sa udeje niekedy na januari 2038

keby tie veci boli 48-bitove od pociatku (IP adresy by mali 6 oktetov a nie 4) tak iste v tomto storoci ani tisicroci sa nic neminie a nic nepretecie, IPcky by mali ovela jemnejsiu granulaciu sub-netov A,B,C,D,E ... no kraaaaasa, bolo by ich proste 65536-nasobne viac :) a pri doterajsom tempe minania, by vydrzali IPcky tisicrocia, od toho tu ale mame IPv6 ze ano (hehehe, esteze MAC adresy su 48-bitove)

+1
0
-1
Je komentář přínosný?

Podle magického čísla 54 mi připadá, že použili double, takže nic nepřeteklo, jen to přestalo inkrementovat.

+1
0
-1
Je komentář přínosný?

To byly časy, kdy byla bezpečnost na trochu slabší úrovni.
Každopádně znám případ, kdy Novell šel dolu. Mohl za to mailserver od 602, kde měl jeden uživatel nastavený pravidlo s automatickou odpovědí a došlo k tomu, že si ten server mezi více uživateli pořád dokola přeposílal emaily až se vygenerovalo tolik emailů / souborů na FS, že šel Novell do kolen.
Každopádně klient pro Windows byl trochu slabší, na WinXP to šlo, bugy byly, ale né moc zabijácké. Jak přišla Vista, tak nekonečné polofunkční betaverze Novell klientů, což pokračovalo až k Win7. Pak se Novell zahodil a naladilo se AD + FS od MS.
Zdar Max

+1
0
-1
Je komentář přínosný?

jo ale to AD+Exchange aspon vyriesilo ten "mail loop" v prvom odstavci :)

+1
0
-1
Je komentář přínosný?

To opravdu ne. Problém s loopem se vyřešil tak, že se na to přišlo a zastavilo se to.
S Exchangem přišlo hafec jiné zábavy. Naposledy před pár měsíci, po asi pěti letech bez problémů, několika x terových db atd. Řekněme, že Exchange dokáže i po 12 letech dost překvapit :-/.
Zdar Max

+1
+2
-1
Je komentář přínosný?

Někde v českých IT luzích jsem též četl o serveru, který nebyl k nalezení. Přišel na něj náhodou nějaký elektro instalatér či malíř. Na hajzlíku zvednul podhled a za ním byl onen ztracený server...
Když to funguje, nešahej na to. :)

+1
+2
-1
Je komentář přínosný?

Uz jsem to psal vcera. Je to pro AMD fail, hlavne marketingovy.
Planovane restarty nejsou problem. Problem je je zavadet kvuli AMD. A ty Epycy jsou treba v diskovych polich, ktere maji failover na kontroler. na napajeni i disky, a mozna i redundantni cele pole, ale kdyz chcipnou vsechny kontrolory najednou diky chybe AMD, bude prusvih. Treba HPE Primera; Facebook pouziva pole s Epycy. Na diskova pole jsou vyhodne diky mnozstvi PCI-e linek.
Ale tyka se to i Synology. Ruznych embedded systemu, telefonnich ustreden, mediaserveru, dokonce i sitovych prvku. Treba proxy u Netflixu (ale tam restart neboli). Spravci toho vseho budou muset zavest restarty.

A pak jsou provozy, kde to JE problem. Chodi sem experti na mainframe, a zrovna HPE mainframy s Epycy dela. To neni hezke. Ne nadarmo se Linux dlouho ucil patchovat jadro za behu, a umi hotswap CPU i RAM. Problem to bude i pro hypervizory, kde migrace neni a nikdy nebude bezesva, takze bude potreba koordinovat odstavky (u solidnich poskytovatelu). Je to jeste mnohem vetsi prusvih nez s SVE, protoze o tomhle se dozvi vsichni, a pripomina to prave obdobi Windows 95.
Da se to totiz i interpretovat tak, ze AMD nedokaze vyrobit procesor, co by bezel vice nez tri roky v kuse... genialni munice pro ty, co tvrdi, ze AMD do enterprise nepatri.

Zajimalo by me, jestli tim trpi i dalsi Zeny, treba APU. Protoze to taky byva k nalezeni na zajimavych mistech. Ale na nicem kritickem snad ne.

Ja teda verim, ze ty operacni systemy se to nauci. Kdyby nic jineho, tak u mutliprocesorovych systemu to ten CPU proste odpoji a pripoji, bude - li HW podpora. Ty enterprise Unixy a Linuxy to muzou zvladnout. A snad tim netrpi dalsi generace.

+1
-2
-1
Je komentář přínosný?

zadnej problem to neni, staci cist a chapat.. jediny co je potreba, je vypnuti cc6, zadny restarty resit netreba..

+1
+3
-1
Je komentář přínosný?

Kde je problém, jsem docela popsal. Hlavně v marketingu, cloudech, SAN a kritické infrastruktuře. Pokud máte argument, můžeme o tom diskutovat. Jestli chcete dokola opakovat stejné tvrzení bez argumentace, respektive jedinou argumentací vám bude "staci cist a chapat", pak se není o čem bavit.

Máte představu, co to znamená vypnout C6? Co to v kritických provozech vyžaduje, aby se něco takového mohlo udělat? Pokud to vůbec jde! U té Primery to určitě nijak snadno nejde, a spousta těch Primer je v offline provozech - stejně jako spousta dalších storage, které budou na Eypcích postavené. Nehledě na byrokracii, testování a auditování.
A nezapomínejte na to, že když vypnete C6, tak přijdete o C6, ale kupoval jste to s C6.

Otázka samozřejmě je, kdy taková Primera do C6 spadne, pokud vůbec někdy; ovšem protože ji řídí Linux, a ten podporu pro C6 má, a HPE nemělo důvod přepisovat řízení spotřeby procesoru, tak je třeba se ujistit, že taková situace nenastane; protože Primera CPU do C6 určitě uspat umí.

A co jsem si k tomu Googlil, zrovna s C6 má Ryzen problémy už od začátku.

+1
0
-1
Je komentář přínosný?

A kolik z těch kritických systémů má povolený režim spánku? Předpokládám, že expert na mainframe ví první i poslední, jak co nastavit, aby ten systém běžel v co nejlepší kondici.

+1
+3
-1
Je komentář přínosný?

Tipuji, že všechny. Kritický systém může být klidně úplně obyčejný server od supermicra. Kromě těch úplně nejvíc hardcoded věcí, což zrovna mainframy být mohou. U mainframe restart CPU není problém, s tím se počítá; mainframe ustojí, i když mu to CPU seberete bez varování za běhu. Problém by nastal, pokud by chcíply všechny najednou; což už se nestane, protože se na problém přišlo. Ale není to dobré pro pověst, to je ta zásadní potíž.

Když si vzpomenu, jakou pověst si AMD udělalo s SVE, kdy byla "na vyhození" celá datacentra postavená na tom, že to SVE bude fungovat. To jsem slýchal keců, že "AMD na enterprise nemá, kdo chce jistotu, bere Intel". A přesně tímhle AMD tyhle věci podporuje.

"Předpokládám, že expert na mainframe ví první i poslední, jak co nastavit, aby ten systém běžel v co nejlepší kondici."
No to neví. Obávám se, že není jeden jediný člověk, který by dokázal pojmout byť jen ten procesor, natož celý mainframe. Je to jinak. Jakmile se na ten problém přišlo, hoši ve firmách, co takové systémy prodávají, si na to sedli, a udělali nějaký seznam doporučení. Kde může být návod, jak vypnout C6, nebo něco jiného, nebo klidně zhodnocení, že jich se problém netýká. A tohle doporučení se dostane ke správcům toho mainframe, a ti ho implementují s ohledem na specifika konkrétního provozu, a případně kontaktují support.

+1
-1
-1
Je komentář přínosný?

Zase na druhou stranu, Intel mel neopravitelne derave serverove CPU, kde oprava snizila vykon o 20%? Coz je koupit 1/5 serveru navic v tu chvili pokud jsou plne vytizene. To si myslim, ze byl daleko vetsi problem a Intel je porad za spolehliveho? Fakt divny.

+1
+2
-1
Je komentář přínosný?

Jo, to máte pravdu, to v těch cloudech udělalo pořádnou paseku, asi není fér na to zapomínat. Ale chce to připomenout, že AMD se to v nějaké míře týkalo a týká dodnes taky.

Ten argument byl "to má AMD taky", s tím, že AMD má <5% trhu, takže se našlo i jen <5% problémů. Ona ta pozice Intelu je dost pevná a těžce otřesitelná. Reálně se na Intel nadávalo v diskuzích, ale samotní správci měli většinově jasno - Intelem neudělám chybu (nebo se v tom povezeme všichni). Výjimky byly. Potkal jsem serverovnu na úřadě, kde výběrko na servery trvalo dva roky, takže v době největšího hype Epycu jim dorazily zastaralé Xeony, a ti správci z toho skoro brečeli :-) kromě nadšení z AMD to bylo i proto, že by jim s moderními Epycy stačila jen polovina fyzických strojů, což by značně zjednodušilo SAN, klimatizaci i napájení. Taky by licence na VMWare stála jenom polovinu, cenový dopad by tak byl obrovský. Ale v tomto případě nadšení a tedy zklamání z Intelu převládalo.
Za mě byl největší průšvih Intelu ten jejich IME s dírou v síťovce, takže se to dalo zneužít přes integrovanou síťovku. A byl jste pod úrovní CPU, v řídícím procesoru CPU. Už si nepamatuji, do jaké míry se to dalo zneužít, ale byla to díra jako kráva. Jak jsem tu nedávno psal, že Intel síťovky mají vynikající pověst, tak tohle ji vůbec nepošramotilo; a týká se to jen integrovaných síťovek, dedikované Intely by to umožňovat neměly, a já od té doby pro sebe beru servery s integrovaným Broadcomem. Toho si ale kupodivu nikdo moc nevšiml, přinejmenším v ČR ne, snad protože se to dá ovládnout jen ve stejné L2 síti (což znamená třeba ve veřejném datacentru váš soused). Mimochodem v oblasti hackování IME patří ČR ke špičce díky několika šikovným hackerům (a nemyslím crackování, ale vytváření dummy firmwaru, aby IME nic nedělalo, a CPU běžel normálně). Ekvivalent tohohle průšvihu AMD nemělo, ač nějaký servisní procesor také má.
Zatímco Intel byl ochotný přes síťovku vyblít obsah paměti, tady se řešil Huawei, kde se reálně nic neprokázalo.

SVE byl průšvih jiného charakteru. Feature, která ale nefungovala vůbec, respektive byla úplně nepoužitelná. To není 20% výkonu, to buď feature chcete, nebo je vám to fuk. No a protože šifrování paměti ve virtualizaci chcete, a Intel neuměl, našla spousta zákazníků, která objednala AMD právě kvůli tomu; a pak to najednou bylo k ničemu. To takhle vymyslíte investiční projekt na bezpečné virtualizační datacentrům díky šifrované paměti, a za půl roku zjistíte, že máte nakoupeno, ale službu i tak nemáte jak poskytnout. Pokud se vám tohle stane, tak si to budete dlouho pamatovat :-)

Realita je taková, že čím obskurnější platformu zvolíte, přičemž v enterprise je AMD v jistém smyslu obskurní, standard je Intel, tím se můžete více cítit falešně v bezpečí, protože pro váš případ se najde méně chyb. To ale neznamená, že nejsou, a správci jsou raději za známé chyby a známá řešení. Zlatá střední cesta je vyšlapaná, a správci nejsou ti, kteří řeší, že to není cenově efektivní, ale zajímá je, pochopitelně, vlastní pohodlí.
Já AMD pořídil jen jednou, a to ten jejich 16 jádrový Opteron v dvousocketovém provedení. V mé vlastní jednovláknově tupě napsané aplikaci to mělo 5x nižší singlethread výkon než Intel. Takže to zůstalo v labu, a k Epycům jsem byl hodně skeptický. Už v té profesi nejsem, tak nevím, jaká je současnost; ale líbilo se mi, jakou rychlostí se Epyc etabloval právě v diskových polích, kde prakticky automaticky nahradil v nových generacích Xeony díky PCI-e 4.0 a počtu jejich linek. S tím se dalo v NVMe poli udělat mnohem více muziky bez toho, aby člověk musel vyvíjet vlastní ASIC nebo přidávat PCI-e switche. Ale ty výkony byly směšné, nikdo mi z české HPE nedokázal pořádně vysvětlit, jaktože jejich nejšpičkovější pole má jen 1,5 M IOPS, podobně jako tehdejší lepší consumer SSD. To mi zabralo hodně studia :) Stručně řečeno, je to prostě mnohem sofistikovanější systém, což žere čas a zvyšuje latence. Těch 1,5 M IOPS to nabídne i při 100 GB/s a na petabajtových velikostech (což jsem teď odhadnul, tyhle parametry si už nepamatuju), což ten Samsung úplně nedá, a jak je budete množit, IOPS budou klesat :)

+1
+3
-1
Je komentář přínosný?

Hele Noxi, takuto mis-informaciu som od teba fakt necakal - nejedna sa o rezim spanku, ale o AMD variantu C-state. Proste hlboke uspanie jadra CPU - znizenie taktov, napatia a pod.
Nie je to ziadny rezim spanku servera, tak ako pises v poslednom odstavci. CC6 je proste zaidlene jadro, normalny stav CPU aj na serveroch.

+1
0
-1
Je komentář přínosný?

My napríklad na ESXi hostoch máme všade v BIOSe "max performance mode" a "disable C-states", čo je generické odporúčanie pre hypervisory. Takže všetky servery si "idlujú" na 600W

+1
+2
-1
Je komentář přínosný?

Poslední odstavec poukazuje na nepochopení termínu „režim spánku.“

Core-C6 není režim spánku PC, ale jen jednoho jádra. Když jádro není 100% vytížené, místo toho aby dokola provádělo NOP, může zavolat např. instrukci HLT (486) a čekat na probuzení přerušením (nebo jiným jádrem). To šetří spotřebu, a proto moderní CPU žerou méně, když nic nedělají.

Samozřejmě od doby HLT a 486 se toho hodně změnilo. Hlubších a hlubších stavů přibylo bazilion, a s nimi se vypíná více a více křemíku, pro větší a větší úsporu energie. Který stav se použije je na OS a BIOSu. Problém je, čím hlubší stav, tím déle trvá jádro zase probudit.

CC6 je ten nejhlubší režim. Zastavují se všechny časovače, a vyprázdní a vypíná se napájení tuším dokonce i relevantní L2 cache. Tedy hodně velká úspora. Bývá v BIOSu ale defaultně vypnutý. Kvůli stabilitě, a dlouhým reakcím systému na nárazové požadavky na výkon.

+1
+3
-1
Je komentář přínosný?

Pro psaní komentářů se, prosím, přihlaste nebo registrujte.