Bedömning av servrar och nätverksenheter med SPEC riktmärken

Bedömning av servrar och nätverksenheter med SPEC riktmärken

Med de stora krav som ställs på nätverk-baserade servrar och nätverksutrustning som routrar och växlar LAN, behöver systemets och nätverkets chefer ett sätt att bedöma om konkurrerande produkter. Gold standard är sviten av SPEC riktmärken, som vi beskriver här.

Introduktion

Lätt att fånga prestanda åtgärder så som MIPS (miljoner instruktioner per sekund), GFLOPS (miljarder flyttalsoperationer per sekund) och instruktion klockfrekvensen är bedrövligt otillräcklig bedöma olika leverantör produkternas relativa prestanda. Det finns två skäl till detta. Först skillnaden i instruktion anger, antal kärnor, mängd cache och övergripande organisation göra enkel instruktion utförande eller klocka priser ogiltig för att jämföra olika system. Utförandet av en viss processor på ett givet program kanske andra är inte användbara för att fastställa hur det processorn kommer att utföra på en helt annan typ av applikation. Följaktligen med början i slutet av 1980- och början av 1990, industri och akademisk intresse skiftade till funktionsprovning av som använder en uppsättning riktmärke program. Samma uppsättning program kan köras på olika maskiner och körningstider jämfört. Riktmärken ge vägledning till kunder försöker bestämma vilket system att köpa och kan vara nyttigt att leverantörer och designers för att fastställa hur att utforma system för att uppfylla riktmärke mål.

SPEC riktmärken

Den gemensamma behov inom industrin och akademiska och forskarsamhällen för allmänt accepterad dator prestanda mätningar har lett till utvecklingen av standardiserade riktmärke suites. En benchmark suite är en samling program, definieras i ett högnivåspråk, att tillsammans försöka ge ett representativt prov på en dator i ett visst program eller system programmering område. Den mest kända sådan samling av benchmark suites definieras och underhålls av Standard prestanda utvärdering Corporation (SPEC), en industri konsortium. Denna organisation definierar flera riktmärke sviter syftar till att utvärdera datorsystem. SPEC prestanda mätningar används allmänt för jämförelse och forskning. Den mest kända av SPEC riktmärke sviterna är SPEC CPU2006. Detta är på industrin standard suite för processorintensiva program. Det är är SPEC CPU2006 lämplig för att mäta prestanda för program som tillbringar merparten av sin tid att göra uträkningen snarare än I/O. Andra SPEC sviter inkluderar följande:--SPECviewperf: Standard för att mäta 3D-grafikprestanda utifrån professionella program.--SPECwpc: riktmärke att mäta alla viktiga aspekter av arbetsstationsprestanda utifrån olika professionella tillämpningar, inklusive media och underhållning, produktutveckling, biovetenskap, finansiella tjänster och energi.--SPECjvm2008: Syftet är att bedöma prestanda kombinerat maskin- och programvara aspekter av Java Virtual Machine (JVM) client platform.--SPECjbb2013 (Java Business Benchmark) : Ett riktmärke för utvärdering av server-side Java-baserad elektronisk handel program.--SPECsfs2008: utformad för att utvärdera den hastighet och begäran-hantering kapacitet av filservrar--SPECvirt_sc2013: utvärdering av datacenter servrar som används i virtualiserade serverkonsolidering prestanda. Mäter end-to-end prestanda för alla systemkomponenter inklusive hårdvara, virtualization plattform, och virtualiserade gästoperativsystemet och programvara. Riktmärket stöd för hårdvara virtualisering, operativsystemet virtualisering och hårdvara partitionering system.

SPEC2006 element

CPU2006 sviten är baserad på befintliga program som redan har porterats till en mängd olika plattformar av SPEC industri medlemmar. För att göra resultaten pålitlig och realistiska, CPU2006 riktmärken är hämtade från verkliga tillämpningar, snarare än med hjälp av konstgjorda slinga program eller syntetiska benchmarks. Sviten består av 12 heltal riktmärken skrivet i C och C++ och 17 flyttal riktmärken skriven i C, C++ och Fortran. Sviten innehåller över 3 miljoner rader kod. SPEC dokumentationen används följande termer, som du behöver veta för att förstå SPEC resultaten:--riktmärke: ett program skrivet i ett högnivåspråk som kan kompileras och körs på alla datorer som implementerar compiler.--System under testet: detta är systemet som skall utvärderas.--referens maskin: detta är ett system som SPEC för att upprätta en originalplan prestanda för alla riktmärken. Varje riktmärke drivs och mätt på denna maskin att upprätta en referenstid för som riktmärke. Ett system under test utvärderas genom att köra CPU2006 riktmärkena och jämföra resultaten för att köra samma program i referens maskin.--bas metriska: dessa är obligatoriska för alla rapporterade resultat och har strikta riktlinjer för sammanställning. I huvudsak standard-kompilatorn med mer eller mindre standardinställningar bör användas på varje system under testet för att nå jämförbara resultat. - Peak metriska: detta kan du försöka optimera systemets prestanda genom att optimera kompilatorutdata. Till exempel olika compiler alternativ kan användas på varje riktmärke, och feedback-riktad optimering tillåts.--hastighet metriska: detta är helt enkelt ett mått på den tid det tar för att köra ett kompilerat riktmärke. Speed måttet används för att jämföra en dator förmåga för att slutföra enstaka uppgifter.--klassar metriska: detta är ett mått på hur många uppgifter som en dator kan åstadkomma i en viss tid. Detta kallas en genomströmning, kapacitet eller hastighet åtgärd. Rate måttet kan provas att utföra samtidiga aktiviteter för att dra nytta av flera processorer. SPEC använder en historisk Sun system, den Ultra Enterprise 2, som infördes 1997, som referens maskinen. Referens maskinen använder en 296 MHz UltraSPARC II-processorn. Det tar ca 12 dagar för att göra en regel-överensstämmande körning av variabler som bas på CPU2006 referens maskinen.

Hur SPEC beräkningar görs

Låt oss nu titta på hur SPEC resultat erhålls. För heltal riktmärken finns det 12 program i testsviten. Beräkningen är en tre-stegs process: 1. Det första steget att utvärdera ett system under testet är att kompilera och köra alla program i systemet tre gånger. För varje program, runtime mäts och medianvärdet är markerad. Anledningen till att använda tre körningar och medianvärdet är att redogöra för variationer i körningstid som inte är inbyggda i programmet, såsom disken åtkomsttid variationer, och OS kernel utförande variationer från en springa till another.2. Därefter är alla 12 resultat normaliseras genom beräkning av runtime referensandelen den körning till systemet kör time.3. Slutligen beräknas det geometriska medelvärdet av 12 runtime nyckeltalen ge övergripande måttet. För heltal riktmärken, fyra separata mått kan beräknas:--SPECint2006: det geometriska medelvärdet av tolv normaliserade nyckeltal när riktmärkena sammanställs med topp trim.--SPECint_base2006: det geometriska medelvärdet av tolv normaliserade nyckeltal när riktmärkena som sammanställs med bas tuning.--resultaten från SPECint_rate2006: det geometriska medelvärdet av tolv normaliserade genomströmning nyckeltal när riktmärkena sammanställs med topp trim.--SPECint_rate_base2006 : Det geometriska medelvärdet av tolv normaliserade genomströmning nyckeltal när riktmärkena som sammanställs med bas tuning. Pris statistik beakta ett system med flera processorer. För att testa en maskin, ett antal exemplar N väljs--är vanligtvis detta lika med antalet processorer eller antalet samtidiga trådar av utförandet på testsystemet. Varje enskilt testprogram bestäms genom att medianen av tre körningar. Varje körning består av N kopior av programmet körs samtidigt på testsystemet. Genomförandetid är den tid det tar för alla kopior till slut (det vill säga tiden från när den första kopian startar till sista kopiera finish). Kurs betyg för det aktuella systemet testa bestäms utifrån geometriska medelvärdet av priser för varje program i testsviten.

Se: aritmetiska medelvärdet, geometriska medelvärdet, harmoniska medelvärdet: där ska du använda

Slutsats

SPEC riktmärken är den gyllene standarden för att utvärdera systemets prestanda och jämföra ett system till ett annat. En mängd olika benchmark sviter finns tillgängliga för olika behov. För en lista över alla mina artiklar, gå till williamstallings.com/Articles