Llama 3.2 brengt functies zoals lip-sync videovertaling, stemmen van beroemdheden en meer naar Meta AI

Vandaag (25) gebeurde de MetaConnect 2024, een evenement van het bedrijf dat verantwoordelijk is voor Facebook, Instagram en WhatsApp, met de aankondiging van zijn technologische nieuws, gepresenteerd door het bedrijf zelf Mark Zuckerberg. Verder dan een holografische bril Orion, zagen we nog nieuws over de Lama 3.2 en Meta AI – waarin alle sociale netwerken van het bedrijf zijn geïntegreerd. Bekijk nu de highlights over Meta’s kunstmatige intelligentie

Nieuwe functies komen met Llama 3.2

De twee grootste nieuwe modellen in de collectie Lama 3.2, met 11B en 90B (respectievelijk 11 en 90 miljard) parameters, vallen op door hun ondersteuning voor taken op het gebied van visueel redeneren, zoals het begrijpen van complexe documenten, inclusief tabellen en grafieken, evenals afbeeldingsbijschriften en het identificeren van objecten in visuele scènes op basis van beschrijvingen in natuurlijke taal.

Een praktisch voorbeeld betreft het vermogen van Llama 3.2 grafieken analyseren om snel vragen te beantwoorden over de verkoopprestaties van een bedrijf in een bepaalde maand. In een ander geval kan het model dat wel zijn kaarten interpreteren, die aangeeft wanneer een pad steiler wordt of de afstand van een specifieke route. Deze geavanceerde modellen verbinden ook visie en taal, waarbij je details uit een afbeelding kunt halen en bijschriften kunt genereren om de scène te beschrijven.

Meta kondigde ook lichtere modellen aan, 1B- en 3B-parameters, voor kleinere apparaten zoals smartphones en slimme brillen. Deze zijn gemaakt om meertalige tekstgeneratie en uitvoering van geautomatiseerde opdrachten. Ze maken de ontwikkeling mogelijk van aanpasbare applicaties die rechtstreeks op apparaten werken, waardoor volledige privacy wordt gegarandeerd, aangezien gegevens niet naar de cloud worden verzonden. Deze apps kunnen inkomende berichten samenvatten en belangrijke items identificeren om agenda-uitnodigingen rechtstreeks te verzenden met behulp van de functionaliteit voor het bellen van tools.

Het lokaal uitvoeren van de modellen heeft twee belangrijke voordelen: vrijwel onmiddellijke reacties, vanwege verwerking rechtstreeks op het apparaat, en grotere privacy, door te voorkomen dat gevoelige gegevens naar de cloud worden verzonden. Hierdoor wordt controle mogelijk over welke vragen op het apparaat blijven staan ​​en welke op een overzichtelijke en veilige manier door grotere modellen in de cloud kunnen worden verwerkt.

Dit werk werd ondersteund door onze partners in de AI-gemeenschap. Wij willen graag bedanken en erkennen (in alfabetische volgorde): Accenture, AMD, Arm, AWS, Cloudflare, Databricks, Dell, Deloitte, Fireworks.ai, Google Cloud, Groq, Hugging Face, IBM watsonx, Infosys, Intel, Kaggle, Lenovo, LMSYS, MediaTek, Microsoft Azure, NVIDIA, OctoAI, Ollama, Oracle Cloud, PwC, Qualcomm, Sarvam AI, Scale AI, Snowflake, Together AI en UC Berkeley – Project vLLM.

Meta Bedankt op uw website

Nieuwe Meta AI-functies

En daar stopt het nieuws niet! Meta AI zal profiteren van de volgende nieuwe functies:

Stemmen op WhatsApp, Instagram, Facebook en Messenger

Mark Zuckerberg heeft een nieuwe update aangekondigd voor Meta's AI-assistenten, die nu stemmen van beroemdheden zullen bevatten, zoals Dame Judi Dench, John Cena, Awkwafina, Keegan Michael Key en Kristen Bell. Het idee is om interactie natuurlijker en leuker te maken en een persoonlijke ervaring te bieden op platforms zoals Facebook, Messenger, WhatsApp e Instagram.

Naast nieuwe stemmen is een van de belangrijkste innovaties het vermogen van AI-modellen foto's interpreteren en andere visuele informatie van gebruikers, waardoor interactie-alternatieven worden uitgebreid en nog meer contextuele en relevante antwoorden voor elke gebruiker worden geboden.

Afbeeldingen bekijken, uitleggen en bewerken

De bewerkingsmogelijkheden van Meta AI zijn ook uitgebreid, waardoor verwerking mogelijk is visuele informatie. Het wordt nu mogelijk om tijdens het wandelen een foto van een bloem te maken en dit aan Meta AI te vragen identificeren en/of er meer over uitleggen, of doe de een afbeelding uploaden van een gerecht en ontvang het bijbehorende recept.

Gebruikers zullen dit ook kunnen doen gedetailleerde bewerkingen van uw echte foto's het gebruik van opdrachten in alledaagse taal, zoals het toevoegen of verwijderen van elementen. Voorheen werkte deze functie alleen op afbeeldingen die door Meta AI waren gegenereerd, maar deze is nu beschikbaar voor foto's gemaakt door gebruikers, waardoor gepersonaliseerde aanpassingen mogelijk worden.

met de functie Imagine van Meta AI kun je jezelf invoegen in verhalen, feedposts en zelfs je profielfoto Facebook en Instagram, delen Door AI gegenereerde selfies op een interactieve manier. De AI kan ook ondertitels voorstellen voor je Instagram- en Facebook-verhalen. Kies gewoon een afbeelding en Meta AI zal verschillende ondertitelingsopties voorstellen, waardoor het gemakkelijker wordt om degene te kiezen die het beste bij uw bericht past.

Lipsynchronisatie op rollen

Meta test momenteel ook de automatische video-dubbing met lipsynchronisatie op Instagram en Facebook Reels, te beginnen met talen Engels en Spaans. Met deze functionaliteit kunnen gebruikers inhoud in hun moedertaal bekijken, waardoor deze gemakkelijker te begrijpen en ermee te communiceren is.

In eerste instantie is de functie beschikbaar voor een kleine groep makers, maar er zijn plannen om deze uit te breiden meer makers en voeg andere talen toe binnenkort. Deze vooruitgang heeft het potentieel om het bereik van makers van inhoud aanzienlijk te vergroten, waardoor hun producties taalbarrières kunnen overwinnen en verbinding kunnen maken met een wereldwijd publiek, ongeacht de gesproken taal.

Beschikbaarheid

Het bedrijf beweert dat de Lama 3.2 is nu beschikbaar op Meta-platforms, met uitzondering van Meta AI-spraakupdates. Deze zijn alleen in het Engels beschikbaar in Australië, Canada, Nieuw-Zeeland en de VS.

En jij, wat vond jij van het nieuws? Vertel ons Commentaar!

Zie ook:

Metashows Orion holografische bril, waarmee afbeeldingen op het scherm worden weergegeven.

Met informatie van: Doel [1] e [2].

Tekst proefgelezen door: Daniël Coutinho (25 / 09 / 24)