Google представила новий процесор штучного інтелекту, сьоме покоління власної архітектури TPU. Як повідомляється, чіп, відомий як Ironwood, був розроблений для нових потреб найпотужніших моделей Google Gemini, таких як імітація міркувань, яку Google вважає за краще називати “мисленням”. Компанія стверджує, що цей чіп являє собою значну зміну, яка відкриє більш потужні можливості. Google називає це “епохою висновків”.
Кожного разу, коли Google розповідає про можливості нової версії Gemini, вона зазначає, що можливості моделі пов’язані не тільки з кодом, але й з інфраструктурою Google. Апаратне забезпечення штучного інтелекту є ключовим елементом прискорення висновків і розширення контекстних вікон. З Ironwood Google заявляє, що має найбільш масштабований і потужний TPU, який дозволить ШІ діяти від імені користувача, проактивно збирати дані і генерувати результати. Саме це Google має на увазі, коли говорить про агентний ШІ.
Ironwood забезпечує вищу пропускну здатність у порівнянні з попередніми тензорними процесорами Google (TPU), і Google дійсно планує впроваджувати ці чіпи. Ironwood призначений для роботи в кластерах до 9 216 чіпів з рідинним охолодженням, які будуть безпосередньо взаємодіяти один з одним через новий вдосконалений міжчіповий інтерконектор (ICI).
Такий дизайн стане перевагою не тільки для власних моделей Gemini, але й для розробників, які хочуть запускати проекти зі штучного інтелекту в хмарі. Розробники зможуть використовувати Ironwood у двох різних конфігураціях: 256-чиповий сервер або повнорозмірний кластер на 9216 чіпів.
У своєму більшому втіленні капсули Ironwood від Google можуть генерувати приголомшливі 42,5 ексафлопса обчислень виводу. Пікова пропускна здатність кожного чипа становить 4,614 Тфлопс, що, за словами Google, є значним поліпшенням порівняно з попередніми чипами. Google також збільшила обсяг пам’яті для нових TPU: кожен чіп має 192 ГБ, що в шість разів більше, ніж у Trillium TPU останнього покоління від Google. Пропускна здатність пам’яті також збільшилася до 7,2 Тбіт/с, що в 4,5 рази краще.
Існує безліч способів вимірювання пропускної здатності ШІ, що ускладнює порівняння чіпів. Google використовує точність FP8 як еталон для нового TPU, але порівнює його з деякими системами, такими як суперкомп’ютер El Capitan, які не підтримують FP8 в апаратному забезпеченні. Тому до твердження, що “стручки” Ironwood у 24 рази швидші за аналогічні сегменти найпотужнішого у світі суперкомп’ютера, слід ставитися з певною часткою скептицизму. Апаратне забезпечення Google TPU v6 також помітно відсутнє у наведеній вище порівняльній таблиці. Хоча компанія стверджує, що Ironwood вдвічі потужніший на ват порівняно з цим чіпом.
Хоча надані бенчмарки дещо дивні, Ironwood, безумовно, є значним покращенням для екосистеми штучного інтелекту Google. Він значно швидший і ефективніший за попередні TPU, а наявна інфраструктура Google дозволила швидко вдосконалити LLM і симульовані міркування. Лідер ринку Google зараз працює на TPU останнього покоління, і Google заявляє, що вища швидкість та ефективність висновків Ironwood створює передумови для нових проривів у наступному році.