La Het machine learning-onderzoek van Apple Het is uitgegroeid tot een van de strategische pijlers van het bedrijf, hoewel het jarenlang werd gezien als een meer ingetogen bedrijf dan andere AI-giganten. Tegenwoordig combineert Apple echter enorme technische expertise, eigen hardware en een zeer duidelijke focus op de privacy van gebruikers om geavanceerde modellen te ontwikkelen die zowel in de cloud als direct op het apparaat werken.
Achter functies die we bijna zonder erbij na te denken gebruiken —van de Siri spraakherkenning Van ruisonderdrukking tijdens telefoongesprekken tot intelligente tekstsuggesties, er is een zeer geavanceerde machine learning-engine aan het werk. Apple stimuleert de ontwikkeling van grootschalige terugkerende neurale netwerken, generatieve modellen, natuurlijke taalverwerking en open frameworks zoals MLX, met één vast doel voor ogen: dat AI krachtig, efficiënt en respectvol omgaat met de gegevens van mensen.
Apple zet vol in op machine learning en AI.
Kunstmatige intelligentie en de Machine learning bestaat uit twee belangrijke pijlers. in de toekomst van Apple. Een paar jaar geleden deelde het bedrijf nauwelijks iets over zijn interne ontwikkelingen, maar die aanpak is aanzienlijk veranderd. Tegenwoordig passen ze niet alleen machine learning toe op bijna al hun producten, maar stellen ze hun ingenieurs ook in staat hun werk te publiceren en in contact te komen met de wetenschappelijke gemeenschap.
Deze verschuiving werd concreet met de lancering van Apple Machine Learning-dagboekDit is een officieel blog waar ingenieurs tot in detail uitleggen hoe ze machine learning gebruiken om producten te ontwikkelen die door miljoenen mensen worden gebruikt. Het doel is niet alleen om te beschrijven "wat" ze hebben gedaan, maar ook "hoe" ze het hebben bereikt, met behulp van methodologieën, experimenten en kwantitatieve resultaten.
In deze context is Apple van een bedrijf dat als gesloten werd beschouwd op het gebied van AI, uitgegroeid tot een veel opener speler die onderzoek publiceert, deelneemt aan conferenties en ontwikkeltools uitbrengt. Deze verandering is cruciaal voor Onderzoekstalent aantrekken en behoudenmet cijfers zoals John GiannandreaOp dat punt hadden concurrenten zoals Google, OpenAI of Meta juist een voordeel omdat ze een meer open cultuur hadden.
Tegelijkertijd behoudt het bedrijf zijn kenmerkende aanpak: alles wat het doet op het gebied van machine learning is nauw verbonden met de kernactiviteiten. hardware, besturingssysteem en productontwerpDit blijkt zowel uit hun Apple Silicon-chips als uit de manier waarop ze modellen rechtstreeks integreren in iOS, macOS of watchOS, zonder ontwikkelaars op te zadelen met onnodige complexiteit.
De combinatie van baanbrekend onderzoek, een praktische aanpak en een obsessie met... privacygerichte gebruikerservaring Dit is wat Apple onderscheidt binnen het AI-ecosysteem, zelfs in vergelijking met enorme cloudmodellen zoals ChatGPT of andere grote LLM's.
Grootschalige terugkerende neurale netwerken en de vooruitgang van Apple
Een van de gebieden waarop Apple een aanzienlijke sprong voorwaarts heeft gemaakt, is de terugkerende neurale netwerken (RNN)Traditioneel gezien waren RNN's zeer aantrekkelijk voor sequentiële taken zoals tekst of audio, omdat ze minder geheugen en rekenkracht verbruiken dan op aandacht gebaseerde architecturen (zoals Transformers). Hun sequentiële aard maakte het echter erg moeilijk om deze modellen op te schalen naar miljarden parameters.
Apple-onderzoekers hebben een aanpak ontwikkeld die het mogelijk maakt om... Het trainen van grote RNN's is veel efficiënter.Dit maakt het voor het eerst mogelijk om deze architectuur toe te passen op schalen die voorheen bijna uitsluitend waren voorbehouden aan op aandacht gebaseerde modellen. Door de verwerking van de sequentie te optimaliseren en de berekening te paralleliseren, hebben ze de trainingskosten drastisch verlaagd en de architectuur haalbaar gemaakt op de huidige hardware.
Dit is vooral relevant voor Apple, omdat goed afgestelde RNN's het mogelijk maken om... zeer snelle gevolgtrekkingen en met weinig geheugen.Dit is cruciaal voor het rechtstreeks uitvoeren van modellen op apparaten zoals de iPhone, iPad of Mac, zonder de batterij leeg te trekken of de CPU te overbelasten. In plaats van enorme cloudgebaseerde modellen richt Apple zich op compacte en efficiënte architecturen die lokaal kunnen draaien.
Dit type onderzoek sluit perfect aan bij hun on-device ML AI-strategie, waarbij de balans tussen vermogen, verbruik en latentie Het is cruciaal. Een model dat zeer nauwkeurig is, maar enorme rekenkracht vereist, is minder interessant als het niet soepel kan draaien op miljoenen echte apparaten.
Bovendien kunnen deze vorderingen in RNN's worden gecombineerd met andere benaderingen, zoals generatieve of hybride modellen die terugkerende componenten gebruiken voor bepaalde taken en aandacht voor andere, waardoor de weg wordt vrijgemaakt voor... flexibelere en op maat gemaakte architecturen afhankelijk van de toepassing.
Het Apple Machine Learning Journal en de opening van het onderzoek
Apple stond lange tijd bekend om zijn obsessie met geheimhouding en het feit dat het zijn ingenieurs verbood wetenschappelijke artikelen te publiceren. Volgens veel experts heeft dit beleid het bedrijf... zou aan aantrekkingskracht inboeten in vergelijking met andere AI-bedrijven., waardoor een AI-braindrainwaar onderzoekers konden publiceren, conferenties bijwonen en hun academische reputatie konden opbouwen.
Deze situatie veranderde aanzienlijk toen Apple, via zijn onderzoeksdirecteur Russ Salakhutdinov, aankondigde dat het veel opener zou worden op het gebied van publicatie. Als onderdeel van die verandering, Apple Machine Learning-dagboekEen officiële ruimte waar ingenieurs concrete resultaten delen van projecten die uiteindelijk als consumentenproducten op de markt komen.
De eerste blogpost richtte zich op het verbeteren van de realisme van synthetische beeldenHet probleem was duidelijk: het trainen van neurale netwerken met echte, handmatig gelabelde afbeeldingen is duur en traag, terwijl synthetische (kunstmatig gegenereerde) afbeeldingen veel goedkoper te produceren zijn, maar niet altijd voldoende op de werkelijkheid lijken, wat de prestaties van de modellen vermindert.
Het Apple-team beschreef een methode om deze synthetische afbeeldingen te "verfijnen" zodat ze realistischer lijken, terwijl de belangrijke details die het neurale netwerk nodig heeft, behouden blijven. Hiermee bereikten ze het volgende resultaat. de nauwkeurigheid van de modellen verhogen Zonder al te veel afhankelijk te zijn van handmatig gelabelde gegevens, wat de ontwikkeling van computervisiessystemen aanzienlijk versnelt, bijvoorbeeld voor geavanceerde beeldherkenning in iOS.
Naast die eerste publicatie gebruikt Apple het Journal als platform om de vooruitgang op het gebied van beeldherkenning, taal, spraakherkenning en andere gebieden toe te lichten. Ze nodigen ook uit... onderzoekers, studenten en ontwikkelaars Vragen en feedback per e-mail versturen, waardoor de relatie met de gemeenschap wordt versterkt, iets wat een paar jaar geleden bijna ondenkbaar leek.
Deze interne ideologische verschuiving komt niet alleen de wetenschappelijke gemeenschap ten goede; het is voor Apple ook een manier om zijn diensten te verbeteren, zoals de aanbevelingen van Apple Music, de voorspellende mogelijkheden van Siri of de geavanceerde fotobewerking op de iPhone, die sterk afhankelijk zijn van steeds geavanceerdere machine learning-modellen.
Machine learning-onderzoeksteams binnen Apple
Het onderzoek naar machinaal leren bij Apple is geen monolithisch blok, maar is georganiseerd in gespecialiseerde teams die verschillende gebieden bestrijken. van toegepaste AI. Tot de meest prominente behoren de groepen die zich bezighouden met machine learning-infrastructuur, deep learning en reinforcement learning, en natuurlijke taalverwerking en spraaktechnologieën.
Het team machine learning-infrastructuur Dit team is verantwoordelijk voor het bouwen van de technische basis waarop veel van de meest innovatieve producten van het bedrijf zijn gebaseerd. Ze werken met grote computerplatforms, analysetools en enorme opslagsystemen, waardoor ze efficiënt grootschalige modellen kunnen trainen en implementeren.
Deze groep werkt nauw samen met andere afdelingen van Apple om de aanpassingen te realiseren. hardware, software en algoritmen afgestemd op de specifieke behoeften van elk product. Het is een omgeving waar gezocht wordt naar professionals met expertise in data science, back-end engineering, platformen en systemen, en waar het essentieel is om AI op een robuuste manier te kunnen leveren aan miljoenen apparaten.
Aan de andere kant, het team diep leren en versterkingsleren Het brengt onderzoekers en ingenieurs samen met expertise in een breed scala aan technieken: supervised en unsupervised learning, generatieve modellen, temporeel leren, multimodaal leren, deep reinforcement learning, inverse reinforcement learning, besluitvormingstheorie en speltheorie.
Deze groep verlegt de grenzen van grootschalige kunstmatige intelligentieHet zoeken naar oplossingen voor problemen uit de praktijk die robuuste en efficiënte modellen vereisen. In dit onderdeel wordt alles behandeld, van hoe een agent kan leren optimale beslissingen te nemen op basis van zijn interactie met de omgeving, tot hoe tekst, afbeeldingen en audio kunnen worden gecombineerd in werkelijk multimodale systemen.
Tot slot, het team van natuurlijke taalverwerking en spraaktechnologieën Het brengt wetenschappers uit diverse vakgebieden samen, die zich allemaal richten op het begrijpen en genereren van menselijke taal. Ze werken aan taken zoals machinale vertaling, named entity recognition, antwoord zoeken, topic segmentation en spraakherkenning, met duidelijke toepassingen in Siri, dicteren, vertaling op apparaten en conversationele assistenten.
Deze groepen verwerken doorgaans enorme hoeveelheden data en maken gebruik van geavanceerde deep learning-technieken om uitdagingen aan te pakken in veelheid aan talen en accentenZe zijn op zoek naar profielen op het gebied van natuurlijke taalverwerking, taalmodellering, tekst-naar-spraaksoftware, spraakomgevingsontwikkeling, datawetenschap en fundamenteel onderzoek, wat de breedte van het vakgebied binnen Apple weerspiegelt.
Machine learning op het apparaat en Apple Intelligence: AI op het apparaat
Een van de onderscheidende kenmerken van Apple ten opzichte van andere spelers in de sector is de obsessie met de De AI zal direct op het apparaat werken.Zonder dat alle gegevens naar de cloud hoeven te worden verzonden. Het On-Device Machine Learning-team biedt tools voor ontwikkelaars en enthousiastelingen om Apple Intelligence en machine learning te integreren in apps en persoonlijke projecten.
In deze context zijn concepten zoals platformintelligentiewaarbij machine learning en AI geen loutere toevoegingen zijn, maar juist onderdeel uitmaken van de kern van besturingssystemen. Dankzij deze technologieën worden naadloze ervaringen mogelijk gemaakt, zoals veilige authenticatie, handschrift-herkenning en ruisonderdrukking tijdens telefoongesprekken, die allemaal transparant voor de gebruiker werken.
De afgelopen jaren heeft Apple ook andere zaken geïntegreerd. generatieve intelligentie vormt de kern van de systemen Met functies zoals schrijftools, Genmoji en Image Playground. Deze mogelijkheden zijn ontworpen om eenvoudig te integreren in bestaande apps, waardoor ontwikkelaars hun interfaces kunnen verbeteren en slimme functies kunnen toevoegen zonder modellen helemaal opnieuw te hoeven bouwen.
Daartoe biedt Apple een breed scala aan API's die gebruikmaken van machine learningDeze API's bieden programmatische toegang tot de modellen en mogelijkheden van het systeem. Voorbeelden hiervan zijn ImageCreator voor het genereren van afbeeldingen, en andere API's die intelligente antwoordsuggesties, inhoudsclassificatie of semantische tekstanalyse direct op het apparaat mogelijk maken.
Met de komst van de Foundation Models-structuur in iOS 26Dit proces wordt verder vereenvoudigd. Deze structuur biedt toegang tot een sterk geoptimaliseerd lokaal taalmodel en gespecialiseerd in alledaagse taken zoals samenvatten, informatie extraheren, classificeren of tekst genereren, en dat alles met behoud van de privacy van de gebruiker door volledig offline te werken.
Machine learning API's en frameworks in het Apple-ecosysteem
Om ervoor te zorgen dat al deze vooruitgang niet beperkt blijft tot de laboratoria, onderhoudt en actualiseert Apple een robuuste set van API's voor machine learning Deze API's zijn beschikbaar voor ontwikkelaars en bestrijken alles van computervisie en geluidsanalyse tot natuurlijke taalverwerking en vertaling.
Tot de belangrijkste structuren behoren: Visie, gericht op beeld- en videoanalyse, met functies zoals documentherkenning, gezichtsdetectie, objectclassificatie en, een van de recente innovaties, detectie van vlekken op de cameralens om opnames automatisch te verbeteren.
Op het gebied van taal worden frameworks zoals Natuurlijke taalwaardoor tokenisatie, taaldetectie, sentimentanalyse, tekstclassificatie en entiteitsextractie mogelijk zijn; en Vertaling, gericht op vertalingen tussen meerdere talen, met de nadruk op lokale uitvoering waar mogelijk om de privacy te waarborgen.
Het onderdeel geluid en stem is als volgt gestructureerd: Geluidsanalyse, die geluidspatronen in de omgeving herkent, en Spraakverantwoordelijk voor spraakherkenning en transcriptie. Een opmerkelijke innovatie op dit gebied is de SpeechAnalyzer API, die het mogelijk maakt om spraak te herkennen en te transcriberen. Snellere en flexibelere spraak-naar-tekstverwerking, met name handig voor lange audio-opnames of opnames met microfoons op afstand.
Bovendien kunnen ontwikkelaars deze modellen aanpassen met behulp van de app en het framework. CreëerMLDit vereenvoudigt het trainen van modellen met behulp van bestaande data, zonder dat een complexe infrastructuur nodig is. Hierdoor kunnen kleine tot middelgrote projecten machine learning-technieken toepassen zonder aanzienlijke investeringskosten vooraf.
Core ML, Apple Silicon en de efficiënte uitvoering van modellen.
De kern van Apple's AI-ontwikkelingservaring is Core MLCore ML is het framework dat de integratie van machine learning-modellen in apps voor iPhone, iPad, Mac, Apple Watch en Apple TV vereenvoudigt. Core ML is zo ontworpen dat ontwikkelaars zich kunnen concentreren op de logica van hun applicatie, terwijl het framework de optimalisatie en uitvoering van het model voor zijn rekening neemt.
Core ML-compatibele modellen kunnen al geconverteerd gedownload worden. developer.apple.com Of download het model van de officiële Hugging Face-website van Apple, of converteer vanuit andere formaten met behulp van CoreML Tools. Deze set tools optimaliseert het model voor uitvoering op het apparaat, waardoor de bestandsgrootte wordt verkleind en de prestaties worden verbeterd met behulp van automatische en handmatige technieken.
Zodra het model klaar is, kan het eenvoudig in Xcode worden geïntegreerd. Dit kan rechtstreeks vanuit de ontwikkelomgeving. inspecteer de architectuurAnalyseer de theoretische prestaties op verschillende apparaten en genereer Swift-interfaces die veilig zijn voor verschillende typen, zodat ze gemakkelijk te gebruiken zijn zonder typefouten of compatibiliteitsproblemen.
Tijdens de uitvoering maakt Core ML op intelligente wijze gebruik van de CPU, GPU en neurale engine Er worden Apple Silicon-chips gebruikt, waarbij de meest efficiënte combinatie wordt gekozen op basis van de werkbelasting. Hierdoor kunnen complexe modellen soepel draaien, zelfs op draagbare apparaten, zonder de batterij leeg te trekken.
Voor gevallen waarin nog fijnere controle vereist is, biedt Apple de mogelijkheid om Core ML-modellen te combineren met frameworks op een lager niveau, zoals MPSGrafiekMetal Compute of Accelerate's BNNS Graph API. Van de recente mogelijkheden springt BNNSGraphBuilder eruit, ontworpen voor CPU-gebaseerde, realtime machine learning-taken, ideaal voor toepassingen die een zeer lage latentie vereisen.
MLX en de impuls voor onderzoek bij Apple Silicon
De snelheid waarmee onderzoek naar machine learning zich ontwikkelt, vraagt ​​om krachtige en flexibele tools. Om aan deze behoefte te voldoen, heeft Apple het volgende ontwikkeld: MLX, een open-source framework voor numerieke berekeningen en machine learning, specifiek ontworpen om te profiteren van de architectuur van Apple Silicon.
Met MLX kunt u optreden vanaf het verfijnen van modellen voor training en gedistribueerd leren van de volgende generatie modellen rechtstreeks in Apple-apparaten. Dankzij de uniforme geheugenarchitectuur van Apple Silicon kunnen de CPU en GPU parallel op dezelfde buffer werken, wat de code vereenvoudigt en de prestaties aanzienlijk verbetert.
Een van de aantrekkelijke eigenschappen van MLX is dat het gebruikt kan worden in Python, Swift, C++ en andere talenHet past zich aan de voorkeuren van verschillende ontwikkelaars- en onderzoeksprofielen aan. Bovendien maakt het het mogelijk om grote taalmodellen met één enkele opdrachtregel uit te voeren, wat erg handig is voor snelle experimenten.
Hoewel Apple MLX promoot als een eigen framework, biedt het ook robuuste ondersteuning voor populaire frameworks zoals PyTorch of JAX via Metal, de grafische API op laag niveau. Dit betekent dat onderzoekers die bekend zijn met deze ecosystemen de kracht van Apple Silicon kunnen benutten zonder al hun code te hoeven herschrijven.
Om op de hoogte te blijven, heeft de gemeenschap toegang tot diverse hulpmiddelen, zoals: developer.apple.com en de GitHub-repositories van Applewaar bibliotheken, voorbeelden en bijgewerkte documentatie over de nieuwste machine learning-innovaties binnen het Apple-ecosysteem worden gepubliceerd.
Apple Machine Learning als platform voor ontwikkelaars en datawetenschappers
Onder de noemer Apple Machine Learning vallen een aantal technologieën, tools en diensten Het is gericht op zowel ontwikkelaars als datawetenschappers. Het doel is om het creëren, trainen en implementeren van AI-modellen snel, eenvoudig en veilig mogelijk te maken, zonder dat dit ten koste gaat van de kwaliteit van de resultaten.
Het platform biedt een combinatie van vooraf gedefinieerde modellen en aanpasbare modellenHierdoor kunnen gebruikers kiezen tussen standaardoplossingen of modellen aanpassen aan specifieke behoeften. Dit heeft gevolgen voor taken zoals beeldherkenning, natuurlijke taalverwerking, voorspellende analyses en vele andere gangbare machine learning-toepassingen.
Een van de sterke punten van Apple Machine Learning is de focus op de veiligheid en betrouwbaarheidAlles is erop gericht om ervoor te zorgen dat de modellen een hoge mate van nauwkeurigheid en validiteit behouden, terwijl gebruikersgegevens worden beschermd door waar mogelijk uitvoering op het apparaat zelf en zeer strikte privacyregels.
De interface en bijbehorende tools zijn ontworpen om intuïtief en goed geïntegreerd met de workflow Dit is typerend voor de ontwikkeling in Xcode en de rest van het Apple-ecosysteem. Het verbetert de productiviteit en vermindert de frictie bij de overgang van een prototype naar een app die door miljoenen mensen wordt gebruikt.
Of het nu gaat om kleine persoonlijke projecten of complexe producten op wereldwijde schaal, Apple Machine Learning biedt een robuuste infrastructuur en flexibele tools waarmee u ideeën kunt omzetten in concrete AI-oplossingen, met een duidelijke focus op de gebruikerservaring.
Alles bij elkaar genomen laten de verschillende onderdelen die Apple heeft ontwikkeld – van de vooruitgang in efficiënte terugkerende neurale netwerken tot frameworks zoals Core ML, API's zoals Vision en Natural Language, het Research Journal en MLX voor Apple Silicon – een samenhangende strategie zien: Het doel is om krachtige, efficiënte AI te bieden die diep in de hardware is geïntegreerd., zonder afbreuk te doen aan de privacy of de gebruikerservaring die kenmerkend is voor het merk.
