CPU of GPU/NPU: wat is belangrijker bij het kiezen van een notebook voor AI?

Met de opmars van inteligência kunstmatig en de lancering van AI-pc's door computerfabrikanten zou het onderwerp in 2024 een van de meest besproken onderwerpen in de technologiewereld moeten zijn. NPU's zijn belangrijke spelers geworden bij het verwerken van AI-workloads, maar heb je echt een pc nodig die met deze functie is uitgerust om AI-activiteiten uit te voeren?

op uitnodiging van NVIDIA, we hebben getest hoe een notebook hiermee is uitgerust speciale videokaart voert AI-taken uit, zelfs zonder een processor die niet in aanmerking komt voor de categorie AI-pc's. Begrijp hieronder wat het belangrijkste is voor degenen die dagelijks met AI werken: CPU ou GPU.

Wat is een AI-pc?

De term begon te worden geïmplementeerd door Intel en Microsoft met de lancering van de processorfamilie Intel CoreUltra. In 2023, de Microsoft verklaarde dat een computer moet worden geclassificeerd als AIPC, moet het aan drie eisen voldoen. Zijn zij:

• Heb een sleutel Copilot om de te activeren inteligência kunstmatig op je toetsenbord;
• Mogelijkheid om kunstmatige intelligentie uit te voeren Copilot, aanwezig in Windows 11;
• Heb er een processor bij NPU toegewijd die tenminste reikt 40 TOPS (biljoenen bewerkingen per seconde)

Een NPU is een speciaal gebied van de processor gericht op kunstmatige intelligentie-activiteiten. In de praktijk krijgt de processor er nog een chip bij, zodat de CPU en GPU zich kunnen wijden aan hun hoofdactiviteiten. Deze componenten kunnen zelfs ondersteuning bieden aan de NPU, maar AI-activiteiten zullen in essentie in de NPU worden verwerkt.

Er wordt ook geadverteerd dat processors met deze NPU een betere energie-efficiëntie hebben en indien nodig een langere levensduur van de batterij leveren, zonder dat er prestatieverlies optreedt. Dit is het grote verschil tussen de lijnen Galaxy Boek3 e Book4, gelanceerd door Samsung.

In mei 2024 zal de Microsoft creëerde zijn eigen categorie AI-pc's, die de naam draagt Copiloot+PC, met een hogere TOPS-prestatievereiste voor AI-activiteiten. Te beschouwen als een Copiloot+PCmoet een computer aan de volgende eisen voldoen:

• Zorg voor minimaal 16 GB RAM-geheugen;
• Beschik over minimaal 256 GB opslagruimte via SSD;
• Zorg voor een geïntegreerde NPU met minimaal 40 TOPS van prestaties;
• Zorg dat er een sleutel is gewijd aan kunstmatige intelligentie Copilot op het toetsenbord;
• Er zit geen notch in het display.

Computers gecertificeerd als Copiloot+PC zijn in feite gemaakt om computers in te halen Mac, Van Appel . Een van de eerste aangekondigde modellen waren laptops Oppervlak, van het eigen Microsoft, die processors hebben Leeuwenbek X Elite, Van Qualcomm. Bekijk de TOPS-prestaties op de NPU-processorlijnen die dit jaar zijn gelanceerd:

• AMD Ryzen AI300: tot 50 TOPS aan prestaties;
• Intel Lunar Lake: tot 48 TOP's aan prestaties;
• Leeuwenbek X Elite: tot 45 TOPS aan prestaties.

TOPS is het acroniem voor Biljoenen bewerkingen per secondeof Biljoen bewerkingen per seconde. Dit is de parameter om het vermogen van de NPU om kunstmatige intelligentie op processors te verwerken te meten. Hier geldt de basisregel: hoe meer TOPS een NPU heeft, hoe groter de capaciteit zal zijn om AI-activiteiten uit te voeren. 

Maar hebben eerdere notebooks geen kunstmatige intelligentie?

Er is iets waar processorfabrikanten niet op rekenen: speciale videokaarten leveren al TOPS-prestaties die ver boven wat vereist is voor AI-pc's, en bieden hun gebruikers meer productiviteit bij kunstmatige intelligentie-taken, zelfs op computers die geen NPU hebben.

Echter, de definitie van Microsoft voor AI-pc's e Copilot+ pc's staat niet toe dat deze computers met hoge prestaties op het gebied van AI deze classificaties ontvangen, juist omdat ze geen geïntegreerde NPU hebben. En hier komen we in de discussie dat de NVIDIA heeft gecommuniceerd: computers met kunstmatige intelligentie bestonden al voordat bedrijven dat leuk vonden Samsung, Lenovo, ASUS en zichzelf Microsoft begin met investeren in deze voorwaarden.

De definitie was bedoeld om een ​​categorie te creëren, maar het ontbreken van een NPU sluit niet uit dat een pc met een krachtige GPU wordt gebruikt voor taken waarbij kunstmatige intelligentie betrokken is. In feite houdt niets u tegen om applicaties met AI-mogelijkheden uit te voeren op pc's met speciale grafische kaarten en een niet-NPU-processor.

De AI-pc-markt bevindt zich nog in de beginfase met de komst van de eerste notebooks met NPU, maar het proces van het ontwikkelen van AI-functies en -applicaties gaat in kleine stapjes, waarbij er over het algemeen weinig middelen beschikbaar zijn voor gebruikers.

In onze Galaxy Book4 Pro-recensie, een notebook met een processor Intel Core Ultra 7 en zonder een speciale GPU vermelden we dat het praktische gebruik van de NPU meer merkbaar zou kunnen zijn in de functies voor videogesprekken en energie-efficiëntie. Dit zijn echter punten die ook te zien zijn in notebooks zonder NPU, zelfs als ze vóór 2023 gelanceerd zijn.

Het belang van een grafische kaart (GPU) voor AI

Om dit onderwerp te begrijpen, laten we de verschillen tussen begrijpen CPU e GPU.

De twee componenten dienen om taken op een computer te verwerken, en het belangrijkste verschil tussen de CPU en GPU zijn de activiteiten waarvoor ze bedoeld zijn. A CPU - Waar Centrale verwerkingseenheid — is gericht op het uitvoeren van de algemene activiteiten van een computer, zoals het uitvoeren van het besturingssysteem zelf en al zijn toepassingen. Het wordt gewoonlijk gedefinieerd als het 'brein' van een computer en zonder dit zou het niet eens werken: het varieert van surfen op internet tot het maken van spreadsheets.

A GPU genoeg om de ondersteuning te bieden die de CPU nodig heeft bij het uitvoeren van complexere activiteiten en het efficiënt uitvoeren van grafische activiteiten. Engelse afkorting voor Grafische verwerkingseenheid (en in de volksmond bekend als videokaart), versnelt de GPU de beeldverwerking via duizenden kleinere, meer gespecialiseerde kernen, die samenwerken om prestaties te leveren bij grafische taken.

Veel processors, vooral die voor notebooks, hebben een Geïntegreerde GPU, dat deel uitmaakt van de processor. Deze applicatie is geschikt voor pc's voor algemeen gebruik, die geen intensievere grafische verwerking vereisen. Maar als we intensieve beeldverwerking hebben, zoals bij games en beeld- en videobewerking, kan de Toegewijde GPU (of Discrete GPU) maakt het verschil.

De GPU kan al zijn kracht richten op specifieke taken, zoals games en zelfs hoogwaardige weergave van inhoud, waardoor de verwerkingskracht toeneemt en de uitvoering van robuuste activiteiten op de computer waarop deze is geïnstalleerd wordt vergemakkelijkt, wat bij dit type een grotere snelheid en efficiëntie oplevert. van taak.

En waarom zou je de GPU gebruiken voor AI? NVIDIA wijst op drie redenen:

• GPU's maken gebruik van parallelle verwerking;
• GPU-systemen kunnen opschalen naar supercomputerniveaus;
• De ontwikkeling van AI-software voor GPU's wordt geconsolideerd.

Activiteiten inteligência kunstmatig vereisen een hoog niveau van gespecialiseerde berekeningen. Door instructies in batches te verwerken en grote hoeveelheden gegevens te verwerken, kunnen speciale GPU's werklasten versnellen die verder gaan dan de mogelijkheden van een CPU. Als we dieper ingaan, stelt NVIDIA zelf dat Investeren in een notebook met een speciale kaart is interessanter dan investeren in een model met een geïntegreerde NPU.

Een voorbeeld van het belang van speciale GPU’s voor AI-activiteiten is de ChatGPT: De beroemde bot voor het maken van inhoud die schrijft, problemen oplost en zelfs afbeeldingen maakt, werkt op basis van GPU-platforms.

A OpenAI is een partnerschap aangegaan met NVIDIA, zodat het grote taalmodel door meer dan 100 miljoen mensen kan worden gebruikt. De meest recente informatie is dat de GPT-4, nu bijgewerkt door GPT-4o, had meer dan een biljoen parameters, een maatstaf voor de wiskundige dichtheid ervan – een sprong ten opzichte van de minder dan 100 miljoen parameters in een populaire LLM in 2018, mogelijk gemaakt met behulp van GPU’s.

Dat gezegd hebbende, als je iemand bent die zich bezighoudt met het maken van content, veel videogesprekken voert of zelfs graag speelt, heb je zeker kunstmatige intelligentie nodig om beter te presteren. En dat geldt voor alles:

• Video-oproepeffecten om externe ruis te verminderen en achtergronden te vervagen;
• Toegang hebben tot technologie DLSS e Ray Tracing;
• Foto's sneller kunnen openen;
• Renderen van videocontent (verticaal of horizontaal);
• Gebruik van bepaalde AI om afbeeldingen te vullen, opschaling uit te voeren of zelfs conversie van videoformaten;
• In staat zijn om inhoud in minder tijd te exporteren.

De grote winst bij het gebruik van een grafische kaart is het in minder tijd verwerken van AI-taken. Op uitnodiging van NVIDIAVolg de onderstaande tests en vergelijkt het gebruik van GPU en CPU/NPU voor AI-activiteiten om de resultaten te achterhalen en uw conclusies te trekken.

Vergelijkingen tussen GPU en CPU/NPU voor AI

Laten we nu eens vergelijken hoe de GPU zich verhoudt bij het uitvoeren van AI-taken ten opzichte van de NPU, die speciaal voor dit doel is gemaakt. Controleer de methodologie en testresultaten.

Hoe wij de tests uitvoeren

Om deze tests uit te voeren, zullen we verschillende applicaties en games doorlopen die de GPU gebruiken om betere prestaties te leveren. A NVIDIA, in samenwerking met Avell, leende het notitieboekje A65 ION met verwerker 9e generatie Intel Core i12900-12HX, met een speciale videokaart NVIDIA GeForce RTX 4060 en 16 GB RAM (verdeeld over twee sticks van 8 GB) van het type DDR5.

Om maximale prestaties te garanderen, sluiten we de notebook aan op een stopcontact. Vervolgens hebben we de prestaties van hulpbronnen geanalyseerd om te zien of AI-activiteiten, zelfs zonder een NPU, hetzelfde zouden presteren. Voor het testen was de videoresolutie 2560×1600, met een vernieuwingsfrequentie van 240 Hz.

de videokaart RTX 4060 aanwezig in de notebook voert 233 biljoen bewerkingen per seconde uit. Zie ter vergelijking de bedrijfsnummers van alle modellen uit de RTX 40-serie voor NVIDIA-laptops:

• RTX 4050: 194TOPS aan prestaties;
• RTX 4060: 233 TOPS aan prestaties;
• RTX 4070: 321 TOPS aan prestaties;
• RTX 4080: 521 TOPS aan prestaties;
• RTX 4090: 686 TOPS aan prestaties.

De notebook is uitgerust met een NVME SSD van 500 GB. We hebben alle updates van het besturingssysteem uitgevoerd zodat het toestel in de meest complete versie was, hetzelfde geldt voor de GPU-stuurprogramma's.

Chat-RTX

Dit is een persoonlijke assistent ontwikkeld door NVIDIA wat in de toekomst een interessante concurrent zou kunnen zijn voor opties zoals Copilot, Van Microsoft. Het meest interessante is dat het uitsluitend lokaal draait op een notebook of desktop met speciale NVIDIA grafische kaarten.

Het werkt het beste als informatieorganizer, maar het kan bestanden lezen die zijn opgeslagen in uw computeropslag, wat een grote hulp kan zijn voor degenen die toegang willen hebben tot samenvattingen.

Als u deze applicatie nog nooit heeft gebruikt, is het de moeite waard eraan te denken dat u deze helemaal opnieuw moet trainen, zodat u op de lange termijn de beste functies zult zien. Maar het is een applicatie waarmee je een persoonlijke assistent kunt hebben die lokaal draait en zonder dat je een internetverbinding nodig hebt.

NVIDIA-canvas

Dit is de exclusieve applicatie voor wie graag met de muis tekent, het scherm aanraakt of zelfs via het whiteboard met een pen. Met Canvas hoef je geen kunstenaar te zijn: maak gewoon een schets met eenvoudige vormen en zonder details, zodat het programma een gedetailleerd beeld kan creëren. De applicatie draait alleen op computers of notebooks met speciale kaarten NVIDIA, niet beschikbaar voor computers die alleen NPU hebben.

Het meest interessante is dat dankzij de speciale videokaart met lokale verwerking de resultaten in realtime te zien zijn. Naast dat je je doodles tot leven brengt, kun je met slechts één aanraking een tekening volledig veranderen.

De tijd voordat het resultaat op het scherm verschijnt is minder dan een seconde en ook de themawisseling vindt plaats in een paar duizendsten van een seconde. Wanneer u klaar bent met de tekeningen, exporteert u deze gewoon naar een bewerkingsprogramma en voltooit u uw werk.

NVIDIA-uitzending

Dit is een van de toepassingen die het meest vergelijking mogelijk maken met wat een NPU kan doen totdat dit artikel is gesloten. Zoals we al hebben gezegd in onze speciaal artikel over deze applicatiewerkt het als een geweldige assistent voor degenen die veel videogesprekken voeren en live-uitzendingen doen, door ruis in zowel audio als video te verminderen.

Als we het gebruik van processors met NPU analyseren die in 2023 zijn gelanceerd, is alles nog steeds erg basaal. Chips gericht op AI-activiteiten kunnen zelfs de achtergrond vervagen en ook automatische scherpstelling uitvoeren, maar meer niet. Er is geen ruisonderdrukking, native achtergrondwisseling en zelfs het gebruik van vignet, functies die aanwezig zijn in NVIDIA Broadcast.

Dat gezegd hebbende, het is een feit: de NVIDIA-uitzending, dat alleen werkt op notebooks en desktops met grafische kaarten van NVIDIA, is veel geavanceerder.

Foocus

Dit is de tool die gebruik maakt van de stabiele verspreiding als basis voor het lokaal genereren van afbeeldingen op de computer, zonder dat internet nodig is. Je vraagt ​​je misschien af ​​of Windows Copilot en ChatGPT geen afbeeldingen meer kunnen maken, toch? Ja, dat kan, maar je hebt nog steeds een internetverbinding nodig om deze tools te laten werken, wat niet nodig is Fooocus. Zie deze foto gemaakt met het commando “een olifant op het strand op een zonnige dag”:

Deze applicatie is ontwikkeld voor notebooks en computers met speciale grafische kaarten en gebruikt de GPU als basis. U kunt internet uitschakelen om deze te gebruiken. En de beelden zijn indrukwekkend: in 57 seconden ontvangen we foto's van hoge kwaliteit die grenzen aan realisme, allemaal lokaal gemaakt. Kijk:

Hoewel ze een chip hebben die uitsluitend op AI-activiteiten is gericht, hebben processors met een NPU van 2023 nog steeds meer prestaties nodig om lokale verwerking uit te voeren. Wie weet verandert dit met de lancering van Copiloot + pc-standaard van Microsoft, maar laten we wachten tot de toekomst antwoorden heeft.

Procyon

Het uitvoeren van tests met NPU is momenteel een beetje moeilijk omdat, aangezien we ons in de eerste fase van de implementatie van deze technologie bevinden, toepassingen die voor deze functie zijn geoptimaliseerd nog steeds schaars zijn. Echter, via de AI-benchmarkvisie da Procyon, was het mogelijk om het verschil op te merken, omdat het de AI-verwerking op zowel GPU’s als NPU’s kan meten.

Om te beginnen, de Galaxy Book4 Ultra, met verwerker Intel Core Ultra 9, gelanceerd in 2023 en met een speciale NPU, behaald 494 punten.

je Avell A55 ION we hebben bij het gebruik van de grafische kaart voor AI-activiteiten meer bereikt dan dat. Ze waren 539-punten, een optreden bijna 10% hoger. De onderstaande foto toont de resultaten die zijn verkregen met de notebook aangesloten, in de hoge-prestatiemodus.

Daarom laat deze eenvoudige benchmark ons ​​zien dat een grafische kaart die meer dan 200 TOPS haalt interessanter is dan een processor met minder dan 50 TOPs aan prestaties via NPU.

Adobe-bronnen

Hier hebben we het voor de hand liggende: er zijn verschillende kenmerken van de Photoshop en Lightroom die alleen draaien op notebooks met speciale videokaarten, zoals onder meer filters voor het verwijderen van ruis en het inkleuren van foto's naar zwart-wit.

Met videokaarten van NVIDIA, die toegang heeft tot Photoshop kan gebruik maken van de Neurale filters, die het mogelijk maken gezichtsuitdrukkingen te veranderen, de oriëntatie van het licht te verlichten en zelfs mensen er jonger (of ouder) uit te laten zien. Dit gebeurt allemaal via AI, maar met ondersteuning van de grafische kaart en zonder dat er een NPU nodig is.

Sommige hulpmiddelen, zoals adobe vuurvliegje ou Generatieve vulling (Generatieve vulling), rechtstreeks uitgevoerd vanaf Adobe-servers (evenals Windows Copilot en ChatGPT, van hun respectievelijke bedrijven).

Met andere woorden: het hebben van een computer met een NPU kan u helpen toegang te krijgen tot beeldcorrectietools, maar het hebben van een speciale videokaart is belangrijker voor een grotere dagelijkse productiviteit dankzij lokale verwerking.

Conclusie

Als we aan het einde van deze vergelijking komen, is het gemakkelijk te begrijpen dat een notebook of computer speciale videokaart heeft meer AI-prestaties dan een notebook Toegewijde NPU, genaamd AI PC. En de redenen zijn talrijk.

Ten eerste hebben videokaarten een hoogste aantal TOPS prestaties dan NPU's, waardoor sommige AI-applicaties lokaal en zonder de noodzaak van een internetverbinding kunnen worden uitgevoerd. Dit is nuttig bij verschillende taken: het genereren van tekst en afbeeldingen, fotocorrectie, video-oproepeffecten en zelfs in games, via functies zoals Ray Tracing en DLSS.

Een andere factor die computers met GPU ten goede komt, is de hoge beschikbaarheid van applicaties en functionaliteiten voor deze modellen. Naast NVIDIA's eigen exclusieve applicaties hebben grote spelers op de technologiemarkt al manieren ontwikkeld (en ontwikkelen ze nog steeds) om te profiteren van de hoge prestaties van speciale GPU's.

NPU's beloven brede toegang tot AI-mogelijkheden, maar op het moment dat deze inhoud werd gepubliceerd, was het alleen mogelijk om hun prestaties op het gebied van videogesprekseffecten te testen. Er is nog steeds een gebrek aan toepassingen voor nieuwe NPU-processors die getest kunnen worden, maar er is hoop dat er in grote aantallen nieuwe toepassingen zullen verschijnen.

Aan de andere kant is er een zeer positief punt over degenen die zijn verwerkt met NPU (of deze nu zijn vervaardigd door Qualcomm, Intel ou AMD) is dat ze een lager energieverbruik, iets essentieels voor degenen die meer tijd buiten het stopcontact nodig hebben. Onze batterijtests met de Galaxy Book4 Ultra Ze lieten een gebruik van zes uur zien, iets ongelooflijks vergeleken met voorgaande generaties.

Notebooks met een speciale GPU hebben meer energie nodig voor het prestatieniveau dat ze leveren, waardoor ze meer batterij verbruiken en de tijd dat u niet in de buurt van stopcontacten bent beperkt.

De keuze tussen de twee typen notebooks hangt dus af van het antwoord op de volgende vraag: heb je een notebook nodig die hoge AI-prestaties levert terwijl hij meer energie verbruikt, of geef je de voorkeur aan een model met een grotere energie-autonomie en minder AI-prestaties? Het antwoord op deze vraag zal grotendeels afhangen van het type gebruiker dat u bent.

Als u iemand bent die niet zoveel AI-bronnen zou gebruiken en liever een notebook heeft verbruikt weinig energie, de keuze is een notitieboekje met processor met een NPU. Als u nu een hoge AI-taakverwerking in uw dagelijks leven is de beste aanbeveling om te kiezen voor een pc met Toegewijde GPU.

Heb je het onderwerp begrepen? Wat is je favoriete soort? Met dedicated GPU of geïntegreerde NPU? Vertel ons Commentaar!

Zie ook

NVIDIA bekritiseert AI-pc's en zegt dat notebooks met grafische kaarten krachtiger zijn

Wie is NVIDIA, het bedrijf dat R$10 biljoen waard is

NVIDIA bekritiseert AI-pc's en zegt dat notebooks met grafische kaarten krachtiger zijn

Wie is NVIDIA, het bedrijf dat R$10 biljoen waard is

Met informatie: Pure Storage l Analytics Vidhya l Puget Systems l ASUS l Chill-blast l Automatisch bureau l computer wereld l Quora l NVIDIA

Beoordeeld door Glaucon Vital op 18-6-24.