Alphabet (GOOGL) представляє двоцільові чіпи TPU 8-го покоління, розроблені разом із Broadcom

Ключові моменти

• Alphabet представила тензорні процесори 8-го покоління: TPU 8t, оптимізований для навчання, та TPU 8i для задач інференсу
• TPU 8i, орієнтований на інференс, забезпечує на 80% вищу продуктивність на долар порівняно зі своїм попередником, Ironwood
• Обидва процесори розроблені у партнерстві з Broadcom та створені у співпраці з Google DeepMind
• Тренувальний процесор TPU 8t може масштабуватися до 9 600 чіпів і пропонує вдвічі більшу міжчіпову пропускну здатність порівняно з Ironwood
• Клієнти Google Cloud отримають доступ до обох варіантів чіпів пізніше у 2025 році

Підрозділ Google компанії Alphabet у середу представив два спеціалізовані процесори штучного інтелекту, що стало першим випадком, коли архітектура тензорних процесорів була розділена на окремі чіпи для навчання та інференсу.

TPU 8t спеціально розроблений для навчання моделей ШІ, тоді як його аналог, TPU 8i, зосереджений виключно на інференсі — процесі розгортання навчених моделей у реальних застосунках. Broadcom виступив партнером зі спільної розробки, продовжуючи співпрацю, що тривала понад десять років.

Alphabet Inc., GOOGL

Це представляє стратегічний поворот від попередніх підходів. Попередні ітерації TPU поєднували можливості навчання та інференсу в одному процесорі. Google пояснює цю зміну появою агентних систем ШІ — автономних моделей, що працюють у безперервних циклах зворотного зв'язку з мінімальним людським контролем, — які потребують більш спеціалізованих кремнієвих рішень.

TPU 8i, орієнтований на інференс, містить 384 мегабайти SRAM на процесор — втричі більше, ніж у Ironwood. За словами Google, це архітектурне вдосконалення усуває вузьке місце «зали очікування», зменшуючи затримки, що виникають, коли кілька користувачів одночасно звертаються до моделі.

Можливості інференсу зазнають кардинальних покращень

Порівняно з Ironwood, TPU 8i досягає на 80% кращої рентабельності. На практиці організації можуть задовольнити майже вдвічі більший попит користувачів без збільшення бюджету.

Чіп також демонструє до 2x покращену енергоефективність на ват, що забезпечується технологією динамічного управління живленням, яка регулює споживання енергії залежно від вимог робочого навантаження в реальному часі.

Вперше обидва процесори використовують Axion CPU від Google як хост-процесор, що дозволяє здійснювати оптимізацію на рівні системної архітектури, а не обмежуватися покращенням продуктивності окремих чіпів.

Щодо можливостей навчання, конфігурація суперподу TPU 8t підтримує кластери з до 9 600 процесорів з 2 петабайтами пам'яті з високою пропускною здатністю. Це вдвічі більша міжчіпова пропускна здатність порівняно з Ironwood, і Google стверджує, що це може скоротити терміни розробки передових моделей з місяців до кількох тижнів.

Тренувальний процесор забезпечує в 2,8 рази більшу обчислювальну продуктивність порівняно з архітектурою Ironwood сьомого покоління за аналогічною ціною.

Ранні користувачі та вплив на галузь

Раннє впровадження набирає обертів. Citadel Securities розробила платформи для кількісних досліджень за допомогою інфраструктури TPU від Google. Усі сімнадцять національних лабораторій Міністерства енергетики США запускають застосунки ШІ-співученого на цих процесорах. Anthropic взяла на себе зобов'язання використовувати кілька гігават обчислювальних потужностей Google TPU.

Аналітики DA Davidson у вересні прогнозували, що підрозділ TPU Google у поєднанні з Google DeepMind може отримати оцінку, що наближається до 900 мільярдів доларів.

Google дотримується ексклюзивної моделі розповсюдження TPU — вони недоступні для прямої покупки і можуть використовуватися лише через сервіси Google Cloud. Nvidia продовжує постачати GPU-обладнання для Google, і компанія підтвердила, що стане одним із перших хмарних провайдерів, що пропонуватимуть майбутню платформу Vera Rubin від Nvidia після її запуску пізніше цього року.

Процесори розроблені у тісній співпраці з Google DeepMind, який використав їх для навчання мовних моделей Gemini та оптимізації алгоритмів, що підживлюють платформи Search і YouTube.

Google оголосила, що як TPU 8t, так і TPU 8i стануть загальнодоступними для клієнтів хмарної платформи пізніше у 2025 році.

The post Alphabet (GOOGL) Unveils Dual-Purpose 8th-Gen TPU Chips Developed With Broadcom appeared first on Blockonomi.