Hallottál már Moravec paradoxonjáról? A paradoxon kijelenti, hogy a fejlett érvelés nagyon kevés számítási erőt igényel a mesterséges intelligencia (AI) rendszer számára, miközben az észlelési-motoros készségek megvalósítása, amelyeket az emberek magától értetődőnek tekintenek, óriási számítási erőforrásokat igényel. Lényegében az összetett logikai feladatok könnyebbek az AI -hez, mint az alapvető szenzoros feladatok, amelyeket az emberi ösztönök elvégezhetnek. Ez a paradoxon kiemeli az AI és az emberi kognitív képességek közötti különbséget ebben a szakaszban.
Az emberek természetüknél fogva multimodálisak. Mindannyian olyanok, mint egy intelligens terminál, amelynek általában iskolába kell mennie, hogy képzettek legyenek (képzésben), de ennek a képzésnek és a tanulásnak az a célja, hogy képesek legyenek dolgozni és autonóm módon élni anélkül, hogy mindig a külső utasításokra támaszkodnánk, és ellenőrzés.
A körülöttünk lévő világról több szenzoros módszerrel, például látás, beszéd, hang, érintés, íz és illat révén tanulunk meg, hogy elemezzük, érveljünk, döntsünk és cselekedjenek.
Az érzékelő fúziója és az AI evolúció után a robotok nagyrészt multimodális érzékelőkkel vannak felszerelve ebben a szakaszban. Ahogy több számítástechnikai teljesítményt hozunk az élvonalbeli eszközökhöz, például a robotokhoz, ezek az eszközök okosabbak és okosabbak, képesek érzékelni a környezetüket, megérteni és kommunikálni a természetes nyelven, a haptikákat digitális érzékelő interfészek révén, valamint a robot sajátos erejének érzékelésére, valamint a robot sajátos erejének. Szög sebesség, sőt a robot körüli mágneses mező, gyorsulásmérők, giroszkópok és magnetométerek és még sok más kombinációján keresztül.
A robotika és a gépi megismerés új korszaka felé
A transzformátor és a nagy nyelvi modellek (LLMS) előtt a multimodalitás bevezetése az AI -ben általában több különálló modell használatát igényelt, amely felelős a különféle típusú adatokért (szöveg, képek, audio) és a különböző modalitások integrációját egy komplex folyamaton keresztül.
A transzformátor modellek és az LLM -ek megjelenésével a multimodalitás integráltabbá vált, lehetővé téve az egyetlen modell számára, hogy egyszerre dolgozzon fel és értse meg a több adattípust, és olyan AI rendszereket eredményez, amelyek jobban képesek átfogóan érzékelni a környezetüket. Ez a váltás jelentősen javította a multimodális AI alkalmazások hatékonyságát és hatékonyságát.
Noha az LLM-ek, mint például a GPT -3, elsősorban szöveges alapúak, az iparág gyorsan haladást ért el a multimodalitás felé. Az Openai klipéből és a Dall-E-ből, és most a Sora és a GPT -4 o-ból olyan modellek példái, amelyek a multimodalitás és a természetes ember-komputer interakció felé mozogtak. Például a Clip megérti a természetes nyelvvel párosított képeket, ezáltal áthidalva a rést a vizuális és a szöveges információk között; A Dall-E célja a képek előállítása a szöveges leírások alapján. Látjuk, hogy a Google Gemini modell hasonló evolúción megy keresztül.
2024 -ben a multimodális evolúció felgyorsul. Februárban az Openai kiadta a Sorát, amely a szöveges leírások alapján reális vagy ötletes videókat generál. Ha erre gondolsz, ez ígéretes utat biztosíthat az egyetemes világszimulátorok felépítéséhez, vagy fontos eszközévé válhat a robotok edzéséhez. Három hónap elteltével a GPT -4 o jelentősen javította az emberi-robot interakció teljesítményét, és valós időben képes érvelni az audio, a látás és a szöveg között. A szöveges, a vizuális és audioinformációk kombinálása egy új modell kiképzéséhez, a végponttól a végéig kiküszöböli a két modális átmenetet a bemeneti modalitásról a szövegre, majd a szövegről a kimeneti modalitásra, ami viszont drasztikusan javítja a teljesítményt.
Ugyanebben a héten februárban a Google kiadta a Gemini 1,5 -et, amely drasztikusan kibővítette a kontextus hosszát 1 millió tokenre. Ez azt jelenti, hogy az 1,5 Pro egyszerre nagy mennyiségű információt tud feldolgozni, beleértve egy órás videót, 11 órás audio -t és egy kódot, amely több mint 30, 000 kódvonalat vagy 700, 000 tartalmaz A Words.Gemini 1.5 a Google vezető kutatásán, a Transformer és a vegyes tagú szakértői építészet (MOE), valamint a 2B és 7B nyílt forráskódú modellekre épül, amelyeket az él oldalán lehet telepíteni. A májusban tartott Google I/O konferencián a kontextus hosszának megduplázása és a generatív AI eszközök és alkalmazások sorozatának kiadása mellett a Google feltárta a Project Astra jövőbeli jövőképét, egy általános célú AI asszisztens, amely feldolgozza a multimodális információkat , megérti a felhasználó elhelyezésének összefüggését, és nagyon természetes módon kölcsönhatásba lép az emberekkel a beszélgetésekben.
Mivel a nyílt forráskódú LLM láma mögött álló társaság, a Meta csatlakozik az általános mesterséges intelligencia (AGI) pályához is.
Ez az igazi multimodalitás nagymértékben növeli a gépi intelligencia szintjét, és számos iparág számára új paradigmákhoz vezet.
Például a robotok régen nagyon homogének voltak, néhány érzékelővel és mozgási képességekkel, de általában nem volt „agyuk”, hogy új dolgokat tanuljanak, és alkalmazkodjanak a strukturálatlan és ismeretlen környezetekhez.
A multimodális LLM -ek várhatóan átalakítják a robotok azon képességét, hogy elemezzék, érveljék és megtanulják, és a specializációról az általánosításra mozgatják őket. A PC-k, a szerverek és az okostelefonok vezetői az általános célú számítástechnikai platformon, és sokféle szoftveralkalmazást futtathatnak a funkciók sokféleségének elérése érdekében. Az általánosítás elősegíti a méretarányt, a méretgazdaságosságot generálva, és az árak drasztikusan csökkenthetők, amikor felfelé mutatnak, ami több területen erényes elfogadási ciklust eredményez.
Elon Musk korán észrevette az általános technológia előnyeit, mivel a Tesla robotjai 2022-ben a Bumblebee-ből az Optimus Gen 1-re fejlődtek, amelyet 2023 márciusában jelentettek be, és a Gen 2, amelyet 2023 végén jelentettek be, az egyre növekvő sokoldalúsággal és tanulási képességekkel. Az elmúlt 6-12 hónapokban számos áttörés tanúja volt a robotika és a humanoid robotika területén.
Új technológiák a következő generációs robotika és a megtestesített intelligencia mögött
Nem kétséges, hogy még sok tennivalónk van, mielőtt a megtestesített hírszerzés eléri a tömegtermelést. Szükségünk van világosabb tervekre, hosszabb futási időkre és gyorsabb, erősebb Edge számítási platformokra, hogy feldolgozzuk és összeolvadjunk az érzékelő adatai számára az időszerű döntések és az irányítási műveletek meghozatalához.
És a humanoid robotok létrehozása felé haladunk; Az emberi civilizáció ezrei évezredek az emberek számára tervezett mindenütt jelenlévő környezetet hozott létre, és a humanoid robotrendszerek várhatóan kényelmesen kölcsönhatásba lépnek az emberekkel és a környezettel, és elvégzik az ember létező környezetében szükséges műveleteket, mivel az emberekkel való hasonlóságuk van. Ezek a rendszerek jól alkalmasak lesznek a piszkos, veszélyes és unalmas feladatok kezelésére, például a betegellátás és a rehabilitáció, a vendéglátóiparban végzett szolgáltatási munka, az oktatási területek oktatási vagy tanulási társai, valamint a veszélyes feladatok, például a katasztrófaelhárítás és a veszélyes anyagkezelés kezelése - Az ilyen alkalmazások a humanoid gépek emberi tulajdonságait használják a természetes emberi-robot kölcsönhatások megkönnyítésére, az emberközpontú terekben való hatályok megkönnyítésére és a hagyományos robotok számára gyakran nehéz elvégzendő feladatokat végezni.
Számos AI és robotikai vállalat új kutatást és együttműködést indít a robotok kiképzésére az új, strukturálatlan környezetben való jobb okok és tervezés érdekében. Mivel a robotok új "agya", a nagy mennyiségű adaton előzetesen képzett modellek kiváló általánosítási képességekkel rendelkeznek, lehetővé téve a robotok számára, hogy átfogóan láthassák és megértsék környezetüket, módosítsák mozgásukat és műveleteiket szenzoros visszajelzések alapján, és optimalizálják teljesítményüket, és optimalizálják teljesítményüket. különféle dinamikus környezetekben.
Érdekes példaként a Boston Dynamics robotkutya, a Spot, idegenvezetőként működhet egy múzeumban, kapcsolatba léphet a látogatókkal, bemutatja őket a különféle kiállításokhoz és válaszoljon a kérdéseikre. Lehet, hogy nehéz elhinni, de ebben a felhasználási esetben a Spot szórakoztató, interaktív és finom előadásai sokkal fontosabbak, mint a tények helyes megbizonyosodása.
Robotika Transformer: A robotika új agya
A robotika transzformátor (RT) gyorsan fejlődik, hogy a multimodális bemeneteket közvetlenül a cselekvési kódba fordítsa. A Google DeepMind RT -2 elődje, valamint elődje, RT -1, közel 100% -os sikerességi arányt végez, amikor a korábban látott feladatok elvégzése során végeztek. A Palm-E (robot-orientált, megtestesített multimodális nyelvmodell) és a PALI-X (egy nagyszabású többnyelvű látás és nyelvmodell, amelyet nem kifejezetten robotokhoz terveztek) képzéskor, az RT -2 jobb általánosítási képességekkel rendelkezik. és felülmúlja az rt -1 -et láthatatlan feladatokon.
A Microsoft bemutatta a Llava-t, egy nagyszabású nyelv- és látási asszisztenst. Az eredetileg szöveges feladatokhoz tervezték, az LLAVA kihasználja a GPT -4 erejét, hogy új paradigmát hozzon létre a multimodális utasításokhoz az adatok követésére, a szöveges és vizuális összetevők zökkenőmentes integrálására, amely hasznos lehet a robotfeladatokhoz. Bevezetése után az LLAVA új rekordokat állított fel a multimodális csevegéshez és a tudományos vetélkedési feladatokhoz, amelyek már meghaladják az emberi átlagos képességeket.
Mint korábban említettük, a Tesla humanoid és AI általános célú robotikája nemcsak azért, mert méretarányt és tömegtermelést tervez, hanem azért is, mert a Tesla autopilotjának erős, teljesen önálló vezetési (FSD) technológiai alapja felhasználható az autópilóta számára. Robotok. A Tesla intelligens gyártási felhasználási esetet is alkalmaz az Optimus alkalmazásához az új energia járművek gyártási folyamatában.
A kar a robotika jövőjének sarokköve
ARM úgy véli, hogy a robot agynak, mind a "nagy agynak", mind a "kis agynak" heterogén AI számítástechnikai rendszernek kell lennie, amely kiváló teljesítményt, valós idejű reakciót és energiahatékonyságot biztosít.

A robotika magában foglalja a feladatok széles skáláját, beleértve az alapvető számításokat (pl. A jelek küldése és fogadása a motorokba és a motorokból), fejlett adatfeldolgozás (pl. A kép- és érzékelőadatok értelmezése), valamint a korábban említett multimodális LLM -ek futtatására. A CPU jól alkalmas általános célú feladatokra, míg az AI gázpedálok és a GPU-k hatékonyabban kezelhetik a párhuzamos feldolgozási feladatokat, például a gépi tanulást (ML) és a grafikus feldolgozást. További gázpedálok, például a képjel -processzorok és a video -kodekek is integrálhatók a robot látási képességeinek és a tárolási/átviteli hatékonyság javításához. Ezenkívül a CPU-nak valós idejű reagálással kell rendelkeznie, és képesnek kell lennie olyan operációs rendszerek futtatására, mint a Linux és a ROS csomagok.
Ha a robotszoftver-veremre kiterjesztik, az operációs rendszerréteghez valós idejű operációs rendszert (RTO) is igényelhet, amely megbízhatóan kezelheti az időkritikus feladatokat, valamint a robotikához testreszabott Linux elosztást, például a ROS-t, amely biztosíthatja A heterogén számítási klaszterekhez tervezett szolgáltatások. Úgy gondoljuk, hogy az ARM-szponzorált szabványok és tanúsítási programok, például a Systemready és a PSA Certified elősegítik a robotszoftverek fejlesztését. A SystemReady célja annak biztosítása, hogy a standard gazdag operációs rendszerek eloszlása a System-on-Chips (SOCS) széles skáláján működjön az ARM architektúrán alapul, míg a PSA Certified segíti a biztonsági megvalósítási megoldások egyszerűsítését a csatlakoztatott eszközök regionális biztonsági és szabályozási követelményeinek való megfelelés érdekében.
A nagyszabású multimodális modellekben és a generatív AI-ben új korszakban az AI robotok és humanoid robotok fejlesztése. Az AI számítástechnika és az ökoszisztémák mellett az energiahatékonyság, a biztonság és a funkcionális biztonság elengedhetetlen a robotika mainstream készítéséhez ebben az új korszakban. Az ARM processzorokat már széles körben használják a robotikában, és reméljük, hogy szorosan együttműködhetünk az ökoszisztémával annak érdekében, hogy az ARM az AI robotika jövőjének sarokkövévé váljon.




