El xip més gran del món

Aug 23, 2021

Deixa un missatge

En la carrera per accelerar la intel·ligència artificial, l'empresa Cerebras de Silicon Valley està adoptant una estratègia inusual: fer-se gran.


Tot i que un xip d’ordinador típic té la mida d’una ungla, Cerebras' xip és de la mida d’un plat de sopar.


L’aprenentatge profund, una tecnologia d’intel·ligència artificial que permet assistents de veu, vehicles amb conducció automàtica i campions de Go, es basa en complexes" xarxa neuronal" programari disposat en capes. Els sistemes d’aprenentatge profund poden funcionar en un sol ordinador, però els sistemes més grans s’estenen per milers de màquines connectades, de vegades en grans centres de dades, com ara els operats per Google. En un gran clúster, fins a 48 servidors de mida caixa de pizza es llisquen en bastidors per a un home; Les prestatgeries s’alineen en files i omplen un edifici de la mida d’un magatzem. Les xarxes neuronals d’aquests sistemes poden resoldre problemes descoratjadors, però també s’enfronten a reptes evidents. Una xarxa que prolifera en un clúster és com un cervell escampat per una habitació i connectat entre si. Els electrons es mouen ràpidament, però tot i així, la comunicació entre xips és lenta i consumeix molta energia.


Eric Vishria, soci general de la firma de capital risc de San Francisco Benchmark, es va adonar del problema per primera vegada quan va sentir parlar a Cerebras Systems, una nova empresa de xips informàtics, a la primavera del 2016. Benchmark és conegut per ser un inversor primerenc en empreses com Twitter, Uber i ebay, és a dir, en programari, no en maquinari. L’empresa analitza unes 200 empreses emergents a l’any i inverteix en una." Estàvem jugant a aquest joc de besar mil granotes," Em va dir Vishria. Al principi del seu discurs, va decidir llançar la granota cap enrere." Vaig pensar, per què hi vaig estar d'acord?"&no invertirem en maquinari," va recordar haver pensat." És' estúpid."


El cofundador de Cerebras, Andrew Feldman, va començar amb la portada de la diapositiva del seu equip i va cridar l'atenció de Vishria &: el seu talent era impressionant. Feldman va comparar els dos tipus de xips d’ordinador. En primer lloc, va examinar les unitats de processament de gràfics o Gpus, xips dissenyats específicament per crear imatges en 3D. Avui els sistemes d'aprenentatge automàtic&# 39 confien en aquests xips gràfics per diversos motius. A continuació, va examinar les unitats centrals de processament, o cpus, els xips d’ús general que fan la major part del treball en un ordinador típic." La tercera diapositiva era sobre' Gpus,' que són realment dolents per a l’aprenentatge profund: són cent vegades millors que els cpus." Cerebras ha creat un nou tipus de xip que no està dissenyat per a gràfics, sinó dissenyat específicament per a la intel·ligència artificial.


Vishria està acostumat a escoltar presentacions d’empreses que tenen previst utilitzar un aprenentatge profund en ciberseguretat, imatges mèdiques, chatbots i altres aplicacions. Després de la xerrada de Cerebras &, va parlar amb enginyers de companyies finançades per Benchmark, incloses Zillow, Uber i Stitch Fix; Li van dir que tenien problemes amb la IA perquè trigava massa a" a entrenar" la xarxa neuronal. Google ha començat a utilitzar&super ràpid; unitats de processament de tensors," o Tpus, xips especials dissenyats per a la intel·ligència ARTIFICIAL. Vishria sabia que hi havia una febre d’or i algú havia de fer els pics i les pales.


Aquell any, Benchmark i Foundation Capital, una altra empresa de capital risc, van liderar una ronda de finançament de 27 milions de dòlars per a Cerebras, que ha recaptat prop de 500 milions de dòlars. Altres empreses també fabriquen els anomenats acceleradors d’intel·ligència artificial; Cerebras' els competidors groq, Graphcore i Sambanova van recaptar més de 2.000 milions de dòlars de capital entre ells. Però Cerebras' l’enfocament és únic. En lloc d’imprimir dotzenes d’hòsties en un gran tros de silici, tallar-les i connectar-les entre elles, l’empresa ha creat un gegant" wafer level" xip. Tot i que un xip d’ordinador típic té la mida d’una ungla, Cerebras té la mida d’un plat de sopar i és el xip d’ordinador més gran del món.


Fins i tot els competidors van trobar la proesa impressionant." Aquesta és una ciència nova," Nigel Toon, cap executiu i cofundador de Graphcore&# 39, em va dir." És una obra d’enginyeria increïble.&és una obra mestra." Mentrestant, un altre enginyer amb qui vaig parlar el va descriure com un projecte científic, gran per als grans &. En el passat, la companyia ha intentat i no ha pogut fabricar fitxes gegants; Cerebras' El pla equival a una aposta per la superació de reptes d’enginyeria possibles i val la pena." Per ser honest, per a mi la ignorància és un avantatge," Va dir Vishria." Jo no sé' si sabés el difícil que és fer el que fan, tindria el valor d’invertir."


És fàcil donar per descomptat que els ordinadors són cada cop més ràpids. Això s'explica sovint per la llei de Moore &: el patró establert el 1965 pel pioner dels semiconductors Gordon Moore, segons el qual el nombre de transistors d'un xip es duplica cada any o cada dos anys. Per descomptat, la llei de Moore&no és realment una llei, i els enginyers treballen incansablement per reduir els transistors alhora que milloren la" architecture" de cada xip per crear dissenys més eficients i potents.


Els arquitectes de xips s’han preguntat durant molt de temps si un sol xip d’ordinador a gran escala pot ser més eficient que un munt de xips més petits, de la mateixa manera que una ciutat amb recursos concentrats i blocs densos és més eficient que un suburbi. La idea es va provar per primera vegada als anys seixanta, quan Texas Instruments va limitar la producció de xips d’alguns centímetres d’amplada. Però els enginyers de la companyia&van tenir problemes de rendiment. En qualsevol hòstia de silici, els defectes de fabricació posen inevitablement en perill un cert nombre de circuits. Si una hòstia conté 50 fitxes, l’empresa pot llençar les dolentes i vendre les bones. Però si tots els xips reeixits depenguessin del circuit de treball d’una sola hòstia, es deixarien de costat moltes hòsties. Texas Instruments va trobar una solució, però la tecnologia i la necessitat encara no hi eren &.


Als anys vuitanta, un enginyer anomenat Gene Amdahl va tornar a intentar resoldre el problema amb una empresa que va fundar anomenada Trilogy Systems. Es va convertir en la startup més gran de la història de Silicon Valley &, amb prop de 250 milions de dòlars en finançament. Per solucionar el problema de rendiment, Trilogy va imprimir components redundants al xip. Aquest mètode augmenta la producció però redueix la velocitat del xip. Mentrestant, Trilogy lluita per altres maneres. Amdahl va atropellar un motorista amb el seu Royce, provocant problemes legals; El seu president va morir d'un tumor cerebral; Les fortes pluges han endarrerit la construcció de fàbriques, oxidant els sistemes de climatització i recollint pols sobre estelles. El 1984, Trilogia va renunciar." No em vaig adonar de&# 39 que dur seria," El fill d'Amdahl&va dir a The Times.


Si la tecnologia de Trilogy&té èxit, ara es podria utilitzar per a l’aprenentatge profund. En canvi, Gpus (xips utilitzats en videojocs) resolen problemes científics en laboratoris nacionals. La reutilització de gpus per a IA depèn del fet que les xarxes neuronals, tot i que són molt complexes, depenen de moltes multiplicacions i addicions. Quan el" neurones" a la xarxa s'activen mútuament, s'amplifiquen o redueixen els senyals &, multiplicant-los per coeficients anomenats pesos de connexió. Un processador intel·ligent AI computarà moltes activacions en paral·lel; Els combina en una sèrie de nombres anomenats vectors, o quadrícules de nombres anomenats matrius, o blocs de dimensions superiors anomenats tensors. Idealment, voleu multiplicar una matriu o tensor per una altra alhora. Els Gpus estan dissenyats per fer alguna cosa similar:


& quot; L'ombra de la trilogia és tan gran," Feldman em va dir recentment, &, que la gent deixa de pensar i comença a dir:' És impossible&# 39.'" Les empreses de GPU, inclosa Nvidia, van aprofitar l’oportunitat de personalitzar els seus xips per a un aprenentatge profund. El 2015, Feldman i un grup d’arquitectes informàtics van començar a discutir la idea de xips més grans després de fundar un fabricant de servidors d’ordinadors, Seamicro, que van vendre al fabricant de xips AMD per 334 milions de dòlars. Van treballar el tema durant quatre mesos en una oficina prestada a una empresa de capital risc. Quan van tenir un esbós d’una solució viable, van parlar amb vuit empreses; Vaig obtenir finançament de Benchmark, Foundation Capital i Eclipse i vaig començar a contractar.


Cerebras' la primera tasca és resoldre els problemes de fabricació que afecten grans xips. Originalment, el xip era un lingot cilíndric de silici cristal·lí d’un peu de diàmetre i el lingot d’acer es va tallar en hòsties de menys d’un mil·límetre de gruix. El circuit és llavors" imprès" a l’hòstia mitjançant un procés anomenat litografia. Els productes químics sensibles als UV es dipositen acuradament a la superfície i després es projecta un feix de llum UV a través d’una plantilla detallada anomenada màscara. Aquests productes químics reaccionen formant circuits.


Normalment, l'àrea coberta per la llum projectada a través de la màscara es converteix en un xip. Llavors el xip es mou i la llum es torna a projectar. Després d’haver imprès desenes o centenars de fitxes, es tallen amb làser de l’hòstia." La manera més senzilla de fer-ho és que la vostra mare tregui una massa rodona de galetes," —Va dir Feldman." Té un motlle de galetes i les talla amb cura." Les lleis de la física i l’òptica fan que sigui impossible fer un tallador de galetes més gran. Com a resultat," hem desenvolupat una tecnologia perquè pugueu comunicar-vos mitjançant una mica de massa entre dues galetes."


En el sistema d’impressió Cerebras desenvolupat en col·laboració amb TSMC, l’empresa que fabrica el xip, les vores de les galetes es superposen perquè els seus cables estiguin connectats. El resultat és un únic" mida de la hòstia" hòstia, quadrat de color coure i 21cm a cada costat. (Els Gpus més grans tenen una mica de menys de 3 cm de diàmetre.) Cerebras va produir el seu primer xip, Wafer-scale Engine 1, el 2019. El Wse-2, presentat aquest any, utilitza un circuit més dens, amb 2,6 bilions de transistors empaquetats en 850.000 unitats de processament , o" nuclis" ;. (Els Gpus superiors només tenen uns quants milers de nuclis, mentre que la majoria dels cpus en tenen menys de 10).


& quot; 2,6 bilions de transistors és sorprenent," va dir Aart de Geus, president i codirector general de Synopsys. Synopsys proporciona alguns programes que Cerebras i altres fabricants de xips utilitzen per fer i validar els seus dissenys de xips. De Geus diu que a l’hora de dissenyar xips, els enginyers han de considerar primer dues qüestions bàsiques:" d’on provenen les dades?" On es tracta?" Quan les fitxes eren més senzilles, els dissenyadors podien respondre aquestes preguntes amb un llapis sobre una taula de dibuix; Quan treballeu amb els xips més complexos d’avui &, introduïu un codi que descrigui l’arquitectura que voleu crear i, a continuació, passeu a les eines de visualització i codificació." Penseu en com es veu la casa des del terrat," de Geus va dir." El garatge és a prop de la cuina? O és a prop del dormitori? El voleu a prop de la cuina; en cas contrari,&haurà de portar queviures per tots els racons de la casa." Després de dissenyar la planta, va explicar," podeu utilitzar equacions per descriure el que passa a la sala."


La complexitat del disseny dels xips és al·lucinant." Aquí hi ha moltes capes," de Geus, va dir, amb circuits entrecreuats i en capes superposats l’un sobre l’altre, com un pas elevat de la carretera principal. Per als enginyers de Cerebras, treballant a l’escala d’una hòstia, la complexitat augmenta. Sinopsi' el programari ajuda en forma d’intel·ligència artificial: els algorismes de concordança de patrons identifiquen problemes comuns i proposen solucions; El programa d'optimitzadors mou l'habitació cap a una disposició més ràpida i eficient. Si hi ha massa carrils que intenten ficar-se en un edifici de dos blocs, el programari permet als enginyers jugar a Robert Moses i moure el bloc.


Al final, diu Feldman, hi ha diversos avantatges en els dissenys de xips de grans dimensions. Quan els nuclis es troben al mateix xip, es comuniquen més ràpidament: el cervell de l'ordinador&ara es concentra en un sol crani, en lloc de dispersar-se per una habitació. Els xips més grans també gestionen millor la memòria. Normalment, un xip petit preparat per processar un fitxer primer ha d’obtenir el fitxer d’un xip de memòria compartida situat en un altre lloc de la placa de circuit; Només les dades més utilitzades es guarden a la memòria cau més a prop de casa. En descriure l’eficiència dels xips de nivell d’hòstia, Feldman va oferir una analogia: em va demanar que m’imaginés un grup de companys de pis (nuclis) que vivien en un dormitori (xip) que volien veure un partit de futbol (fer feina d’informàtica). Per veure el joc, diu feldman, els companys de pis han de guardar cervesa a la nevera (les dades s’emmagatzemen a la memòria); Cerebras manté una nevera a cada habitació perquè els companys de pis no tinguin el risc d’anar a la cuina comunitària o Safeway del dormitori&# 39. Això té l'avantatge addicional de permetre que cada nucli processi diferents dades més ràpidament." Així que puc tenir Bud al meu dormitori," —Va dir Feldman." Al vostre dormitori, podeu tenir Schlitz."


Finalment, les cerebres han de superar els problemes de rendiment. Els enginyers de la companyia&# 39 utilitzen el truc de Trilogy&# 39: redundància. Però aquí tenen un avantatge sobre els seus predecessors. Trilogia intenta fabricar xips genèrics amb molts components diferents, de manera que el cablejat al voltant d’un sol component fallit pot necessitar connectar-se a un substitut remot. On Cerebras' xip, tots els nuclis són idèntics. Si una galeta s’equivoca, les que l’envolten són igual de bones.