Meta lanceert Llama 3, een AI-model dat in realtime afbeeldingen kan genereren op WhatsApp

Vandaag (18/4) de meta heeft de eerste twee modellen van de volgende generatie van de Llama aangekondigd, de Meta Lama 3, klaar om uitgebreid te worden gebruikt. Deze nieuwe versie bevat vooraf getrainde en verfijnde taalmodellen, met parameters 8B e 70B, die aan een breed scala aan behoeften kan voldoen. In navolging van de traditie van het ondersteunen van de open source-gemeenschap, heeft Meta de Lama 3 voor de gemeenschap. Dit betekent ook dat de Meta-AI, de kunstmatige intelligentie die aanwezig is op de sociale netwerken van het bedrijf, zal ook worden verbeterd, inclusief de mogelijkheid om in realtime afbeeldingen te maken in de WhatsApp. Bekijk meer!

Maak kennis met Lama 3

De Lama 3 Het bedrijf is van plan open modellen te ontwikkelen die kunnen wedijveren met de beste propriëtaire taalmodellen die momenteel beschikbaar zijn, zoals het geval is met GPT-4. Feedback van ontwikkelaars heeft prioriteit gekregen om de algehele bruikbaarheid van Llama 3 te verbeteren, aldus Meta: “vasthouden aan leiderschap bij het verantwoord gebruik en de implementatie van Grand Language Models (LLM's)'.

Volgens de principes van open codewerd gekozen voor een vroege en frequente release-aanpak, waardoor de gemeenschap in realtime toegang heeft tot en kan bijdragen aan de ontwikkeling van deze modellen. De vandaag geïntroduceerde op tekst gebaseerde sjablonen zijn slechts de eerste in de Llama 3-serie en omvatten verder het uitbreiden van Llama 3 om meertalige en multimodale ondersteuning te bieden, de contextmogelijkheden te vergroten en de prestaties voortdurend te verbeteren op alle belangrijke aspecten van. LLM's, zoals redeneren en coderen.

In lijn met de ontwerpaanpak in Lama 3, Meta koos voor een transformatorarchitectuur alleen decoder, wat een standaardkeuze is. Llama 3 maakt gebruik van tokenisatie met een uitgebreide woordenschat van 128 duizend tokens, resulterend in efficiëntere taalcodering en bijgevolg verbeterde modelprestaties. Om de inferentie-efficiëntie van Llama 3-modellen te optimaliseren, heeft het bedrijf de geclusterde query-aandachtstechniek (GQA) in twee verschillende maten: 8B en 70B. Tijdens de training hebben de gebruikte reeksen een lengte van 8.192 tokens en wordt een masker toegepast om ervoor te zorgen dat de zelfaandacht binnen de documentgrenzen blijft.

Om het beste taalmodel te trainen, is het essentieel om over een grote, hoogwaardige trainingsdataset te beschikken. In lijn met onze ontwerpprincipes hebben we aanzienlijk geïnvesteerd in pre-trainingsgegevens voor Llama 3. Dit model is vooraf getraind op meer dan 15 biljoen tokens, allemaal uit openbaar beschikbare bronnen. Onze trainingsdataset is zeven keer groter dan die van Llama 2 en bevat vier keer zoveel code.

Ter voorbereiding op toekomstige meertalige gebruiksscenario's bestaat meer dan 5% van de Llama 3 pre-training dataset uit hoogwaardige gegevens in andere talen dan Engels, omvat meer dan 30 talen. Meta verwacht echter niet dat ze in deze talen hetzelfde prestatieniveau zal behalen als in het Engels.

Om ervoor te zorgen dat Llama 3 wordt getraind met gegevens van de hoogste kwaliteit, is een reeks gegevensfilterpijplijnen ontwikkeld. Deze pijpleidingen omvatten het gebruik van heuristische filters, filters voor ongepaste inhoud, semantische deduplicatietechnieken en tekstclassificatoren om de gegevenskwaliteit te beoordelen. Eerdere versies van Llama zijn effectief in hoogwaardige gegevensidentificatieVervolgens werd Llama 2 gebruikt om de trainingsgegevens te genereren voor de tekstkwaliteitsclassificatoren die Llama 3 voeden.

Daarnaast gebruikte Meta experimenten om de beste manieren te bepalen om gegevens uit verschillende bronnen samen te voegen in de uiteindelijke pre-training dataset. Dankzij deze experimenten konden we een combinatie van gegevens selecteren die ervoor zorgt dat Llama 3 goed presteert in verschillende gebruiksscenario's, waaronder triviale vragen, STAM (wetenschap, technologie, techniek en wiskunde), codificatie, historische kennis, onder anderen.

Vergelijking met Lama 2

de nieuwe modellen Lama 3, met parameters 8B en 70B, vertegenwoordigen een vooruitgang ten opzichte van de Lama 2, waarmee een nieuwe standaard wordt gezet voor LLM-modellen op deze schalen. Meta beweert dat, dankzij verbeteringen in zowel pre- als post-training, vooraf getrainde en instructie-gefinetunede modellen momenteel de onbetwiste leiders zijn op de 8B- en 70B-parameterschaal.

Optimalisaties in post-trainingsprocedures resulteerden in een het verminderen van foutieve afwijzingspercentages, naast het verbeteren van de afstemming en het vergroten van de diversiteit in modelreacties. Er werden ook aanzienlijke verbeteringen waargenomen in functies zoals redeneren, code genereren en toekomstige begeleiding, waardoor Llama 3 nog flexibeler en doelgerichter werd.

Tijdens de ontwikkeling van Llama 3 vond er een analyse plaats van de prestaties van het model, zowel in standaardbenchmarks als in realistische scenario's. Om effectieve optimalisatie voor praktische toepassingen te garanderen, werd een nieuwe hoogwaardige suite voor menselijke evaluatie gecreëerd. Deze set bestaat uit 1.800 aanwijzingen voor 12 belangrijke gebruiksscenario's, inclusief Advies vragen, brainstormen, sorteren, gesloten vragen beantwoorden, coderen, creatief schrijven, extraheren, karakters/persona's nabootsen, open vragen beantwoorden, redeneren, herschrijven e Resumo.

om de . te vermijden overfitting (of overfitting, de meest gebruikte term) toevallige modellen in deze evaluatieset, hebben zelfs Meta's eigen modelleringsteams er geen toegang toe. De gepresenteerde grafiek toont de geaggregeerde resultaten van menselijke evaluaties in deze categorieën en aanwijzingen, waarbij de prestaties van Llama 3 worden vergeleken met de modellen Claude Sonnet, Mistral-medium e GPT-3.5.

Hoe Llama 3 Meta AI verbetert

Vanwege de vooruitgang die is geboekt met Meta Llama 3, kondigt het bedrijf de internationale uitbreiding van Meta AI aan – waarbij ze bedenken dat de bron exclusief was voor de Verenigde Staten. Meta AI komt als een sterke concurrent van bestaande modellen en is nu beschikbaar voor meer mensen over de hele wereld, waardoor gebruikers van de Facebook, Instagram, WhatsApp e Messenger geniet van deze gratis technologie om een ​​verscheidenheid aan acties uit te voeren, inhoud te creëren en in realtime toegang te krijgen tot informatie.

Meta AI werd vorig jaar voor het eerst onthuld tijdens Connect, en nu voor gebruikers in landen als Australië, Canada, Ghana, Jamaica, Malawi, Nieuw-Zeeland, Nigeria, Pakistan, Singapore, Zuid-Afrika, Oeganda, Zambia e Zimbábue kan ook van de voordelen ervan genieten. Als onderdeel van de uitbreiding van Meta AI zullen mensen er nu ook toegang toe hebben meta.ai, in de webversie.

Ben je van plan om 's avonds uit te gaan met vrienden? Vraag Meta AI om een ​​restaurant aan te bevelen met een geweldig uitzicht en zelfs veganistische opties. Organiseert u een uitje voor het weekend? Vraag Meta AI om shows voor zaterdagavond te vinden. Bent u zich aan het voorbereiden op een toets? Vraag Meta AI om uit te leggen hoe erfelijke eigenschappen werken. Verhuist u naar uw eerste appartement? Vraag Meta AI om de gewenste esthetiek te ‘voorstellen’ en de assistent zal enkele inspiratiefoto’s voor uw meubilair genereren. 

Meta legt een beetje uit hoe AI u kan helpen

O Meta-AI het zal ook direct beschikbaar zijn in de zoekfunctie van Facebook, Instagram, WhatsApp en Messenger. Dit betekent dat je dat kunt toegang tot informatie van internet in realtime zonder te hoeven schakelen tussen applicaties. Stel je voor dat je een reis plant met vrienden in een Messenger-groepschat. Met Messenger Search kun je Meta AI (aangedreven door de nieuwe Llama 3) vragen om vluchten van je vertrekpunt naar je bestemming te vinden en de langzaamste weekenden te ontdekken die je kunt bezoeken. En dit alles uiteraard zonder dat je de Messenger-app hoeft te verlaten.

Mensen zullen ook de mogelijkheid hebben om toegang te krijgen tot Meta AI terwijl ze door hun Facebook-feed bladeren. Als u een bericht vindt dat uw interesse wekt, kunt u vanuit dat bericht rechtstreeks meer informatie opvragen bij Meta AI, net als bij een gewone Google-zoekopdracht, alleen binnen een Facebook-bericht.

Meta versnelt het beeldverwerkingsproces om mensen in staat te stellen realtime afbeeldingen van tekst te maken met behulp van de Imagine-functie van Meta AI. De uitrol van deze functie begon vandaag in bèta, beschikbaar op WhatsApp en de Meta AI-webervaring in de Verenigde Staten. Wanneer ze beginnen te typen, zien mensen onmiddellijk een afbeelding verschijnen. Deze afbeelding evolueert met elke paar letters die u typt, zodat u kunt zien hoe Meta AI uw idee in realtime tot leven brengt.

Volgens het bedrijf presenteren deze gegenereerde afbeeldingen een verbeterde scherpte en kwaliteit, wat een betere mogelijkheid biedt om tekst in afbeeldingen op te nemen. Bovendien geeft het suggesties voor het verbeteren van de afbeelding, zodat u vanaf uw oorspronkelijke uitgangspunt verder kunt verfijnen. Wanneer u een afbeelding vindt, vraagt ​​u Meta AI eenvoudigweg om deze te animeren, aan te passen aan een nieuw formaat of zelfs om te zetten in een GIF om te delen met je vrienden.

Hoewel deze updates specifiek zijn voor Meta AI op Facebook, Instagram, WhatsApp, Messenger en internet, is het belangrijk om te onthouden dat Meta AI ook beschikbaar is in de Verenigde Staten voor slimme brillen. Ray-Ban Meta, en binnenkort binnen Meta-zoektocht — Meta virtual reality-apparaten.

Transparantie met open source en beveiliging

Het potentieel van generatieve AI-technologie kan de gebruikerservaring van Meta's producten en het bredere ecosysteem echt verbeteren. Een ander punt dat moet worden aangepakt, is ervoor te zorgen dat dit op een goede manier gebeurt verantwoordelijk e beveiligen. Daarom neemt het bedrijf maatregelen om de risico’s in alle stadia van de ontwikkeling en implementatie van AI te beoordelen en te beperken. Dit omvat het integreren van waarborgen in het ontwerp- en releaseproces van het Llama-basismodel, evenals het ondersteunen van het ontwikkelaarsecosysteem om verantwoorde praktijken te bevorderen.

Daarom werd bij Llama 3 gekozen voor een systematische aanpak die integreert waarborgen in alle stadia van de ontwikkeling. Dit betekent dat er speciale zorg is besteed aan trainings- en afstemmingsprocessen, naast het aanbieden van tools waarmee ontwikkelaars modellen op een verantwoorde manier kunnen implementeren.

Deze aanpak versterkt niet alleen de inspanningen op het gebied van verantwoorde AI, maar weerspiegelt ook de visie van open innovatie, waardoor ontwikkelaars hun producten veilig kunnen aanpassen ten behoeve van hun gebruikers. Meta heeft ook de Handleiding voor verantwoord gebruik, een belangrijke bron voor ontwikkelaars, die richtlijnen biedt voor het bouwen van producten.

Zoals we hebben uitgelegd toen we Llama 2 uitbrachten, is het belangrijk om doelbewust te zijn bij het ontwerpen van deze maatregelen, omdat er enkele zijn die alleen effectief kunnen worden geïmplementeerd door de modelaanbieder, en andere die alleen effectief werken als ze door de ontwikkelaar worden geïmplementeerd als onderdeel van hun specifieke sollicitatie.

Versterkt het bedrijf

Sinds de lancering van Meta AI vorig jaar heeft het merk de ervaring voortdurend verbeterd op verschillende gebieden:

• De antwoorden van Meta AI op politieke en sociale kwesties zijn verfijnd en bevatten specifieke richtlijnen voor deze onderwerpen. Het doel is om een ​​verscheidenheid aan relevante standpunten over een onderwerp te bieden, terwijl de intenties van de gebruiker worden gerespecteerd bij het stellen van specifieke vragen.
• Inclusief specifieke instructies en antwoorden om het nuttiger te maken, waarbij beloningsmodellen worden gebruikt om uw gedrag te sturen.
• De prestaties van Meta AI worden geëvalueerd in benchmarks en door middel van testen met menselijke experts, waarbij eventuele problemen worden aangepakt die in een doorlopend proces worden geïdentificeerd.
• Beveiligingen op verzoek- en responsniveau, inclusief filters en classificaties om ervoor te zorgen dat interacties in lijn zijn met de richtlijnen en veilig zijn.
• Feedbacktools waarmee gebruikers hun ervaringen kunnen delen, waardoor we de prestaties van Meta AI voortdurend kunnen verbeteren.

En jij, wat vond jij van het nieuws? We kunnen niet wachten om naar Brazilië te gaan, nietwaar? Vertel ons wat je bij ons hebt gevonden Commentaar!

Zie ook:

Google Foto's gratis gratis AI-beeldbewerking voor alle gebruikers.

Met informatie van: Doel [1], [2] e [3].

Beoordeeld door Glaucon Vital op 18-4-24.