Pentru a alimenta produsele de inteligenta artificiala, start-up-urile si investitorii iau masuri extraordinare pentru a obtine cipuri critice cunoscute sub numele de unitati de procesare grafica sau GPU.
In ultimul an, Jean Paoli, directorul executiv al start-up-ului de inteligenta artificiala Docugami, cauta ceea ce a devenit cel mai tare produs din tehnologie: cipurile de computer.
In special, domnul Paoli are nevoie de un tip de cip cunoscut sub numele de unitate de procesare grafica, sau GPU, deoarece este cea mai rapida si mai eficienta modalitate de a rula calculele care permit companiilor de ultima generatie AI sa analizeze cantitati enorme de date.
Asa ca ii cheama pe toti cei pe care ii cunoaste din industrie care ii pot ajuta. A solicitat un grant guvernamental care permite accesul la jetoane. El a incercat sa faca tehnologia AI a lui Docugami mai eficienta, astfel incat sa necesite mai putine GPU-uri. Doi dintre oamenii sai de stiinta au reutilizat chiar cipuri vechi de jocuri video pentru a ajuta.
„ In acest moment cred ca este un metal de pamant rar ” , a spus domnul Paoli despre jetoane.
Mai mult decat bani, talent ingineresc, hype sau chiar profituri, companiile de tehnologie in acest an sunt disperate dupa GPU-uri. Cautarea pentru componenta esentiala a fost inceputa anul trecut, cand chatbotii online precum ChatGPT au declansat un val de entuziasm fata de AI, ceea ce a condus intreaga industrie tehnologica sa se inmulteasca si creand o lipsa de cipuri. Ca raspuns, start-up-urile si investitorii lor fac acum eforturi mari pentru a pune mana pe bucati mici de siliciu si pe „puterea de calcul” cruciala pe care o ofera.
Lipsa de cipuri AI a fost exacerbata deoarece Nvidia, un furnizor de multa vreme de cipuri, are pe piata o blocare virtuala. Inondata de cerere, compania din Silicon Valley – care a crescut la o evaluare de 1 trilion de dolari – este de asteptat sa raporteze rezultate financiare record saptamana viitoare.
Companiile tehnologice cumpara de obicei acces la cipuri AI si puterea lor de calcul prin servicii de cloud computing de la Google, Microsoft si Amazon. In acest fel, ei nu trebuie sa construiasca si sa opereze propriile centre de date pline de servere de computer conectate cu echipamente de retea specializate.
Dar explozia AI a insemnat ca exista liste lungi de asteptare – care se intind pana la aproape un an in unele cazuri – pentru a accesa aceste cipuri la companiile de cloud computing, creand un obstacol neobisnuit intr-un moment in care industria tehnologiei nu vede decat oportunitati si crestere fara limite pentru companii care construiesc IA generativa, care isi poate crea propriile imagini, text si videoclipuri.
Cele mai mari firme de tehnologie pot, in general, sa puna mana pe GPU-uri mai usor datorita dimensiunii, buzunarelor adanci si a pozitiilor pe piata. Acest lucru i-a lasat pe start-up-uri si pe cercetatori, care de obicei nu au relatiile sau puterea de cheltuire, sa se incurce.
Disperarea lor este palpabila. Pe retelele de socializare, postari de blog si panouri de conferinte, fondatorii de start-up-uri si investitorii au inceput sa impartaseasca sfaturi foarte tehnice pentru a aborda deficitul. Unii isi dau seama cat de mult cred ca va dura lista de asteptare a Nvidia pentru a se sterge. Exista chiar si o melodie YouTube demna de geamat, pe tonul piesei „We Didn’t Start the Fire” de Billy Joel, in care un artist cunoscut sub numele de Weird AI Yankochip canta „GPU-urile sunt foc, nu le putem gasi niciodata, dar vrem. cumpara-le.”
Unele firme de capital de risc, inclusiv Index Ventures, isi folosesc acum conexiunile pentru a cumpara cipuri si apoi le ofera companiilor din portofoliu. Antreprenorii reunesc start-up-urile si grupurile de cercetare pentru a cumpara si a partaja un grup de GPU-uri.
La Docugami, domnul Paoli a cantarit posibilitatea de a devia resursele GPU de la cercetare si dezvoltare catre produsul sau, un serviciu AI care analizeaza documente. In urma cu doua saptamani, a lovit aurul: Docugami si-a asigurat accesul la puterea de calcul de care avea nevoie printr-un program guvernamental numit Access, care este condus de Fundatia Nationala pentru Stiinta, o agentie federala care finanteaza stiinta si inginerie. Docugami castigase anterior un grant de la NSF.
„Aceasta este viata unui start-up atunci cand aveti nevoie de GPU”, a spus el.
Lipsa cipurilor AI a fost cea mai acuta pentru companiile care sunt abia la inceput. In iunie, Eric Jonas a parasit un loc de munca de predator de informatica la Universitatea din Chicago pentru a strange bani pentru a infiinta o companie de descoperire a medicamentelor AI. Accesul limitat la GPU pentru proiectele de cercetare universitare a fost deja frustrant, dar dl Jonas a fost socat sa descopere ca este la fel de greu pentru un start-up, a spus el.
„Este Vestul Salbatic”, a spus el. „Literal nu exista capacitate.”
Dl. Jonas a spus ca a luat in considerare o serie de optiuni nedorite, inclusiv utilizarea de cipuri mai vechi si mai putin puternice si crearea propriului centru de date. De asemenea, s-a jucat cu utilizarea cipurilor de la platforma de exploatare Bitcoin a unui prieten – un computer conceput pentru a face calculele care produc moneda digitala – dar s-a gandit ca ar crea mai multa munca, deoarece acele cipuri nu au fost programate pentru genul de lucru cerut de AI.
Deocamdata, domnul Jonas cere favoruri de la prietenii vanzatorilor mari de echipamente si de la oameni care lucreaza la firme de tranzactionare cantitativa de actiuni care ar putea avea GPU-uri suplimentare sau laboratoare de testare care au GPU-uri pe care le-ar putea folosi. El a spus ca nu are nevoie de multe – doar 64 de GPU-uri timp de sase ore o data.
Tensiunea este cea care i-a determinat recent pe doi fondatori, Evan Conrad si Alex Gajewski, sa inceapa San Francisco Compute Group, un proiect care intentioneaza sa permita antreprenorilor si cercetatorilor sa cumpere acces la GPU-uri in cantitati mici. Dupa sute de e-mailuri si o duzina de apeluri telefonice catre companii de cloud, producatori de echipamente si brokeri, acestia au anuntat luna trecuta ca au asigurat 512 de cipuri H100 ale Nvidia si le vor inchiria partilor interesate.
Anuntul a devenit „hilar viral”, a spus domnul Conrad, si a dus la sute de mesaje de la fondatori, studenti absolventi si alte organizatii de cercetare.
Domnul Conrad si domnul Gajewski intentioneaza acum sa stranga 25 de milioane de dolari intr-o datorie specializata care foloseste cipurile computerului ca garantie. Vanzatorul lor, pe care fondatorii au refuzat sa-l numeasca de teama ca cineva ar putea sa intre si sa cumpere GPU-urile de sub ei, a promis acces in aproximativ o luna.
Cei doi au spus ca spera sa ajute start-up-urile sa economiseasca bani cumparand doar puterea de calcul de care au nevoie pentru a experimenta, in loc sa-si asume angajamente mari, de ani de zile.
„In caz contrar, toti titularii castiga”, a spus domnul Conrad.
Investitorii de capital de risc au un obiectiv similar. Luna aceasta, Index Ventures a incheiat un parteneriat cu Oracle pentru a oferi o combinatie de cipuri Nvidia H100 si o versiune mai veche, numita A100, companiilor sale foarte tinere din portofoliu, fara costuri.
Erin Price Wright, un investitor Index Ventures, a declarat ca firma si-a vazut start-up-urile lupta pentru a naviga in procesul complicat de obtinere a puterii de calcul si de aterizare pe liste de asteptare care dureaza pana la noua luni. Doua companii sunt setate sa foloseasca noul program al companiei, iar altele isi exprima interesul.
Inainte de deficit, George Sivulka, directorul executiv al Hebbia, un producator de software de productivitate AI, a cerut pur si simplu furnizorului sau de cloud mai multe „instante” sau servere virtuale pline de GPU-uri, pe masura ce compania se extindea. Acum, a spus el, contactele lui de la companiile de cloud fie nu raspund solicitarilor sale, fie il adauga pe o lista de asteptare de patru luni. El a recurs la utilizarea clientilor si a altor conexiuni pentru a-si prezenta cazul companiilor de cloud. Si este in permanenta cautare pentru mai mult.
„Este aproape ca si cum ai vorbi despre droguri: „Cunosc un tip care are H100”, a spus el.
In urma cu cateva luni, unii ingineri Hebbia au creat un server cu cateva GPU-uri mai putin eficiente in biroul companiei din Manhattan, au parcat aparatul intr-un dulap si l-au folosit pentru a lucra la proiecte mai mici. Unitatile de racire cu lichid impiedica supraincalzirea serverului, a spus domnul Sivulka, dar este zgomotos.
„Inchidem usa”, a spus el. „Nimeni nu sta langa el.”
Lipsa a creat un contrast puternic intre cei care au si cei care nu au. In iunie, Inflection AI, un start-up AI din Palo Alto, California, a anuntat ca a achizitionat 22.000 de cipuri H100 ale Nvidia. De asemenea, a mai spus ca a strans 1,3 miliarde de dolari de la Microsoft, Nvidia si altii. Mustafa Suleyman, directorul executiv al Inflection, a declarat intr-un interviu ca compania planuieste sa cheltuiasca cel putin 95% din fonduri pe GPU-uri.
„Este o cantitate seismica de calcul”, a spus el. „Este doar uluitor.”
Alte start-up-uri i-au cerut sa distribuie, a spus el, dar compania este deja la capacitate maxima.