Вычислительная мощность искусственного интеллекта (ИИ) в 2023 году на рынке Китая стремительно растет. С одной стороны, приложения ИИ в тысячах отраслей открыли возможности структурного роста вычислительной мощности, чипы ИИ находят все больше областей применения и продолжают развиваться. С другой стороны, спрос на вычислительную мощность резко возрос.
Эти процессы вызывают постоянные дискуссии в отрасли: какие вопросы нельзя игнорировать в борьбе за более ёмкие и быстрые вычислительные мощности? Как решить проблему высокого энергопотребления в крупномасштабных приложениях ИИ с интенсивным использованием данных?
Эти процессы вызывают постоянные дискуссии в отрасли: какие вопросы нельзя игнорировать в борьбе за более ёмкие и быстрые вычислительные мощности? Как решить проблему высокого энергопотребления в крупномасштабных приложениях ИИ с интенсивным использованием данных?
Китай достиг значительного прогресса в интеграции внутреннего хранилища и вычислений
В новом раунде конкуренции вычислительных мощностей одним из основных направлений стало исследование парадигмы, прорывающей традиционную архитектуру фон Неймана. Интегрированная архитектура хранения и вычислений разрушает барьер между раздельными модулями вычисления и хранения данных. Это похоже на новый рабочий режим «работы из дома», который снижает потребление энергии на «доставку работника до рабочего пространства», исключает временную задержку «перемещения», экономит «офисное пространство» и эксплуатационные расходы. Таким образом достигается высокий коэффициент энергоэффективности и значительно экономится временной ресурс.
Недавно произошло знаковое событие в сфере хранения и вычислений. Команда из Университета Цинхуа разработала первый в мире полностью системно-интегрированный мемристорный чип для хранения и вычислений, который поддерживает эффективное обучение на кристалле (машинное обучение может осуществляться непосредственно на аппаратной стороне).
Мемристор является четвертым основным компонентом схемы после резисторов, конденсаторов и катушек индуктивности. Он может «запоминать» проходящий заряд после отключения питания, поэтому его считают новым типом наноэлектронного синаптического устройства. В рамках той же задачи энергопотребление чипа для внутрикристального обучения составляет всего 1/35 от энергопотребления системы специализированных интегральных схем (ASIC) с использованием передовых технологий. Ожидается, что это позволит достичь 75-кратного повышения энергоэффективности.
Текущие международные исследования в этой области направлены на демонстрацию функций обучения на уровне мемристорной матрицы, но полностью интегрированный обучаемый мемристорный чип ещё не реализован. Исследование ученых Университета Цинхуа оказалось прорывом мирового уровня. Оно продемонстрировало высокую энергоэффективность и потенциал вычислительной мощности технологий хранения и вычислений, позволяющий прорваться через традиционную вычислительную архитектуру. Кроме того, благодаря эффективным возможностям встроенного обучения можно обеспечить локальную обработку и динамическое обновление данных, что может снизить зависимость от мощности облачных вычислений и пропускной способности сети.
Мемристор является четвертым основным компонентом схемы после резисторов, конденсаторов и катушек индуктивности. Он может «запоминать» проходящий заряд после отключения питания, поэтому его считают новым типом наноэлектронного синаптического устройства. В рамках той же задачи энергопотребление чипа для внутрикристального обучения составляет всего 1/35 от энергопотребления системы специализированных интегральных схем (ASIC) с использованием передовых технологий. Ожидается, что это позволит достичь 75-кратного повышения энергоэффективности.
Текущие международные исследования в этой области направлены на демонстрацию функций обучения на уровне мемристорной матрицы, но полностью интегрированный обучаемый мемристорный чип ещё не реализован. Исследование ученых Университета Цинхуа оказалось прорывом мирового уровня. Оно продемонстрировало высокую энергоэффективность и потенциал вычислительной мощности технологий хранения и вычислений, позволяющий прорваться через традиционную вычислительную архитектуру. Кроме того, благодаря эффективным возможностям встроенного обучения можно обеспечить локальную обработку и динамическое обновление данных, что может снизить зависимость от мощности облачных вычислений и пропускной способности сети.
Интеграция хранения и вычислений имеет огромное значение
Глобальных игроков на рынке интегрированных систем вычисления и хранения можно условно разделить на два лагеря:
– международные гиганты, такие как Intel, IBM, Tesla, Samsung, Alibaba и др. Они уже разработали технологии хранения и вычислений, например, такие продукты, как магниторезистивная операционная память (MRAM) и энергонезависимая резистивная память (RRAM);
– активно развивающиеся стартапы Китая и других стран, такие как Mythic, Tenstorrent, Zhicun Technology, Houmo Intelligence, Qianxin Technology, Yizhu Technology, Jiutian Ruixin, Pingxin Technology и др.
Из-за разных стартовых позиций, разных преимуществ и разных целевых сценариев интегрированные решения для хранения и вычислений каждой компании также различны. В основном это отражается в трех основных различиях: технический путь, носители данных, использование аналоговых или цифровых технологий.
Различие 1. Технический путь
По степени интеграции блоков хранения и вычислительных блоков память внутри самого процессора можно разделить на две категории: независимый блок (хранение и вычисление раздельные) и интегрированный блок (хранение и вычисление в едином блоке).
Вычисления в первом случае представляют собой раздельную архитектуру хранения и вычислений, когда вычислительный модуль размещается рядом с массивом ячеек памяти, а данные находятся ближе к вычислительному блоку, что снижает задержку и энергопотребление при перемещении данных. При этом характеристики обработки данных классической архитектуры Фон-Неймана сохраняются. Массив хранения обычно не нуждается в модификации и по-прежнему обеспечивает только функции доступа к данным.
Типичными представителями такой технологии являются процессоры серии AMD Zen, Tesla Dojo, интегрированные чипы хранения и вычислений Alibaba Damo Academy, реализованные с использованием технологии гибридного соединения 3D-стекинга.
Технологии с интегрированным в вычислительные операции блоком памяти требует модификации самого массива хранения для поддержки высокоскоростных вычислений. В узком смысле это настоящая интеграция хранения и вычислений. В этой архитектуре блок хранения и вычислительный блок полностью интегрированы, и нет независимого вычислительного блока: алгоритм непосредственно встроен в частицу памяти, а вычислительная операция выполняется блоком хранения внутри чипа памяти.
На пути развития интегрированных продуктов хранения и вычислений компании стремятся:
– быстро преодолеть узкие места вычислительной мощности и энергопотребления;
– разработать технологии, отвечающие будущим потребностям клиентов, либо использовать существующую зрелую экосистему для быстрого внедрения в различные приложения.
Главное ожидание от интеграции систем хранения и вычислений – практичность и высокая скорость реализации. Примеры китайских стартапов, работающих над решением проблем интегрированных блоков: Zhicun Technology, Jiutian Ruixin, Qianxin Technology и Houmo Intelligence.
Различие 2. Носители данных
Носители данных, от которых зависят хранение и вычисления, разнообразны и представлены такими типами энергонезависимой памяти как, например, SRAM, DRAM, Flash. Каждый из носителей информации имеет свои преимущества и недостатки.
NOR Flash, DRAM, SRAM и др. NOR Flash – это энергонезависимые носители данных с преимуществами низкой стоимости и высокой надежности, но у них есть узкие места. DRAM имеет низкую стоимость и большую емкость, но работает медленно, требует постоянного обновления питания. SRAM имеет преимущества в скорости, но плотность емкости мала, а цена высока, при работе с большими массивами сложно обеспечить точность работы. В Китае большинство производителей в настоящее время предпочитают SRAM для разработки интегрированных чипов хранения и вычислений. Однако сегодня актуален вопрос инвестирования в новые носители с более высокой плотностью данных (такие как MRAM, RRAM и т.д.), чтобы получить больше конкурентных преимуществ по мере развития технологий.
Различие 3. Цифровое или аналоговое хранилище
В соответствии с классификацией путей схемотехники интегрированное хранилище и вычисления можно разделить на цифровые и аналоговые. Каждая из технологий имеет свои преимущества и недостатки.
Во-первых, цифровые хранилища и вычисления сохраняют высокую помехоустойчивость традиционных цифровых схем и демонстрируют высокую устойчивость к внешним воздействиям в различных производственных процессах, напряжении источника питания и температуре. Это делает их более подходящими для реализации крупномасштабных вычислений с высокой точностью.
Благодаря низкому энергопотреблению аналоговой вычислительной схемы, аналоговое хранение и вычисления могут обеспечить более высокую энергоэффективность при условии, что точность вычислений относительно фиксирована и низка.
Во-вторых, цифровое хранение и вычисления требуют, чтобы содержимое единицы хранения было представлено в виде цифровых сигналов.
В то время как аналоговое хранение и вычисления могут реализовывать операции в разных аналоговых доменах на основе разных механизмов хранения единицы хранения. Аналоговые вычисления могут быть реализованы с помощью любого запоминающего устройства.
В-третьих, по сравнению с аналоговыми хранилищами и вычислениями, цифровые хранилища и вычисления обеспечивают большую вычислительную гибкость и больше подходят для сценариев общего назначения.
Технологические прорывы накладываются на рыночный спрос, а интеграция хранения и вычислений достигла переломного момента в индустриализации. В последние годы в Китае появились стартапы в области хранения данных и вычислительной техники. Активные инвестиции и государственное финансирование поддержали их развитие и помогли конкурентно выйти в индустриальных рынок.
Компании, созданные ранее 2017 года, склонны внедрять более зрелые технологии и реализовывать сценарии, требующие низкого энергопотребления и высокой энергоэффективности. Проекты стартапов, созданных в последние годы, становятся более дальновидными и смелыми, они предлагают новшества с точки зрения крупномасштабного распределения вычислительных мощностей и новых технологических приложений. К концу 2023 года ожидается качественный прорыв в процессе индустриализации систем хранения данных и интеграции вычислений.
Например, компания Zhicun Technology в прошлом году массово произвела первый в мире аналоговый интегрированный чип флэш-памяти и вычислений WTM2101, который может потреблять мощность менее милливатта для выполнения крупномасштабных операций глубокого обучения. Как один из простых примеров – он подходит для интеллектуальной обработки голоса.
В этом году компания Zhicun Technology и Китайский исследовательский институт мобильной связи завершили проверку технологии видео сверхвысокого разрешения на основе флэш-памяти NOR и интегрированных вычислительных чипов, представив на рынке новые чипы для хранения и вычислений.
Увеличение вычислительных мощностей позволило достичь важного поворотного момента в коммерциализации. В первой половине этого года Houmo Intelligent выпустила первый интегрированный интеллектуальный чип управления Houmo Hongtu H30 с максимальной физической вычислительной мощностью 256 TOPS и типичным энергопотреблением 35 Вт. Компания стала первой в Китае, запустившей чип искусственного интеллекта, объединяющий хранилище и вычисления с большой вычислительной мощностью. H50 второго поколения уже находится в стадии разработки и будет запущен в 2024 году и выйдет в массовое производство в 2025 году.
– международные гиганты, такие как Intel, IBM, Tesla, Samsung, Alibaba и др. Они уже разработали технологии хранения и вычислений, например, такие продукты, как магниторезистивная операционная память (MRAM) и энергонезависимая резистивная память (RRAM);
– активно развивающиеся стартапы Китая и других стран, такие как Mythic, Tenstorrent, Zhicun Technology, Houmo Intelligence, Qianxin Technology, Yizhu Technology, Jiutian Ruixin, Pingxin Technology и др.
Из-за разных стартовых позиций, разных преимуществ и разных целевых сценариев интегрированные решения для хранения и вычислений каждой компании также различны. В основном это отражается в трех основных различиях: технический путь, носители данных, использование аналоговых или цифровых технологий.
Различие 1. Технический путь
По степени интеграции блоков хранения и вычислительных блоков память внутри самого процессора можно разделить на две категории: независимый блок (хранение и вычисление раздельные) и интегрированный блок (хранение и вычисление в едином блоке).
Вычисления в первом случае представляют собой раздельную архитектуру хранения и вычислений, когда вычислительный модуль размещается рядом с массивом ячеек памяти, а данные находятся ближе к вычислительному блоку, что снижает задержку и энергопотребление при перемещении данных. При этом характеристики обработки данных классической архитектуры Фон-Неймана сохраняются. Массив хранения обычно не нуждается в модификации и по-прежнему обеспечивает только функции доступа к данным.
Типичными представителями такой технологии являются процессоры серии AMD Zen, Tesla Dojo, интегрированные чипы хранения и вычислений Alibaba Damo Academy, реализованные с использованием технологии гибридного соединения 3D-стекинга.
Технологии с интегрированным в вычислительные операции блоком памяти требует модификации самого массива хранения для поддержки высокоскоростных вычислений. В узком смысле это настоящая интеграция хранения и вычислений. В этой архитектуре блок хранения и вычислительный блок полностью интегрированы, и нет независимого вычислительного блока: алгоритм непосредственно встроен в частицу памяти, а вычислительная операция выполняется блоком хранения внутри чипа памяти.
На пути развития интегрированных продуктов хранения и вычислений компании стремятся:
– быстро преодолеть узкие места вычислительной мощности и энергопотребления;
– разработать технологии, отвечающие будущим потребностям клиентов, либо использовать существующую зрелую экосистему для быстрого внедрения в различные приложения.
Главное ожидание от интеграции систем хранения и вычислений – практичность и высокая скорость реализации. Примеры китайских стартапов, работающих над решением проблем интегрированных блоков: Zhicun Technology, Jiutian Ruixin, Qianxin Technology и Houmo Intelligence.
Различие 2. Носители данных
Носители данных, от которых зависят хранение и вычисления, разнообразны и представлены такими типами энергонезависимой памяти как, например, SRAM, DRAM, Flash. Каждый из носителей информации имеет свои преимущества и недостатки.
NOR Flash, DRAM, SRAM и др. NOR Flash – это энергонезависимые носители данных с преимуществами низкой стоимости и высокой надежности, но у них есть узкие места. DRAM имеет низкую стоимость и большую емкость, но работает медленно, требует постоянного обновления питания. SRAM имеет преимущества в скорости, но плотность емкости мала, а цена высока, при работе с большими массивами сложно обеспечить точность работы. В Китае большинство производителей в настоящее время предпочитают SRAM для разработки интегрированных чипов хранения и вычислений. Однако сегодня актуален вопрос инвестирования в новые носители с более высокой плотностью данных (такие как MRAM, RRAM и т.д.), чтобы получить больше конкурентных преимуществ по мере развития технологий.
Различие 3. Цифровое или аналоговое хранилище
В соответствии с классификацией путей схемотехники интегрированное хранилище и вычисления можно разделить на цифровые и аналоговые. Каждая из технологий имеет свои преимущества и недостатки.
Во-первых, цифровые хранилища и вычисления сохраняют высокую помехоустойчивость традиционных цифровых схем и демонстрируют высокую устойчивость к внешним воздействиям в различных производственных процессах, напряжении источника питания и температуре. Это делает их более подходящими для реализации крупномасштабных вычислений с высокой точностью.
Благодаря низкому энергопотреблению аналоговой вычислительной схемы, аналоговое хранение и вычисления могут обеспечить более высокую энергоэффективность при условии, что точность вычислений относительно фиксирована и низка.
Во-вторых, цифровое хранение и вычисления требуют, чтобы содержимое единицы хранения было представлено в виде цифровых сигналов.
В то время как аналоговое хранение и вычисления могут реализовывать операции в разных аналоговых доменах на основе разных механизмов хранения единицы хранения. Аналоговые вычисления могут быть реализованы с помощью любого запоминающего устройства.
В-третьих, по сравнению с аналоговыми хранилищами и вычислениями, цифровые хранилища и вычисления обеспечивают большую вычислительную гибкость и больше подходят для сценариев общего назначения.
Технологические прорывы накладываются на рыночный спрос, а интеграция хранения и вычислений достигла переломного момента в индустриализации. В последние годы в Китае появились стартапы в области хранения данных и вычислительной техники. Активные инвестиции и государственное финансирование поддержали их развитие и помогли конкурентно выйти в индустриальных рынок.
Компании, созданные ранее 2017 года, склонны внедрять более зрелые технологии и реализовывать сценарии, требующие низкого энергопотребления и высокой энергоэффективности. Проекты стартапов, созданных в последние годы, становятся более дальновидными и смелыми, они предлагают новшества с точки зрения крупномасштабного распределения вычислительных мощностей и новых технологических приложений. К концу 2023 года ожидается качественный прорыв в процессе индустриализации систем хранения данных и интеграции вычислений.
Например, компания Zhicun Technology в прошлом году массово произвела первый в мире аналоговый интегрированный чип флэш-памяти и вычислений WTM2101, который может потреблять мощность менее милливатта для выполнения крупномасштабных операций глубокого обучения. Как один из простых примеров – он подходит для интеллектуальной обработки голоса.
В этом году компания Zhicun Technology и Китайский исследовательский институт мобильной связи завершили проверку технологии видео сверхвысокого разрешения на основе флэш-памяти NOR и интегрированных вычислительных чипов, представив на рынке новые чипы для хранения и вычислений.
Увеличение вычислительных мощностей позволило достичь важного поворотного момента в коммерциализации. В первой половине этого года Houmo Intelligent выпустила первый интегрированный интеллектуальный чип управления Houmo Hongtu H30 с максимальной физической вычислительной мощностью 256 TOPS и типичным энергопотреблением 35 Вт. Компания стала первой в Китае, запустившей чип искусственного интеллекта, объединяющий хранилище и вычисления с большой вычислительной мощностью. H50 второго поколения уже находится в стадии разработки и будет запущен в 2024 году и выйдет в массовое производство в 2025 году.
В будущем на мировом рынке электроники облачные интеллектуальные приложения продолжат расти, а разнообразие реализуемых сценариев будет активно расширяться, соответственно будет расти спрос на интегрированные продукты хранения и вычислений. Тем не менее у компаний-разработчиков пока сохранятся две основные проблемы, которые необходимо будет решить.
Прежде всего, модель параллельных вычислений достаточно энергозатратна и ограничена принципами поддерживаемых вычислений. Это делает проектирование архитектуры трудным и сложным. Необходимо в полной мере использовать эффективность самого IP-вычисления в памяти и уменьшить передачу данных между IP-вычислениями в памяти. При этом необходимо учитывать недостаточную универсальность поддерживаемых сетевых операторов и возможность физической реализации.
Второе — задача быстрой разработки и внедрения интегрированного компилятора программного обеспечения для систем хранения и вычислений. Цепочка программных инструментов имеет решающее значение для максимизации эффективности хранилища и вычислительной микросхемы.
Сегодня, когда вычислительная мощность становится все более востребованной, интеграция систем хранения данных и вычислений как важное техническое направление, направленное на устранение узких мест в производительности чипов, начинает требовать все больше и больше внимания.
Китайские инновационные интегрированные чипы для хранения и вычислений могут в ближайшее время выйти на рынок и положить начало масштабному промышленному развитию.
В краткосрочной перспективе конкуренция среди игроков отрасли в основном будет сосредоточена на реализации различных носителей информации и технологических маршрутах. В долгосрочной перспективе ключом к развитию и внедрению станет всесторонняя конкуренция в методологии проектирования, тестировании, массовом производстве, программном обеспечении, выборе сценариев и т. д. Стартапам необходимо будет освоить ряд технологий, от современных технологий производства микросхем памяти до производства серийных чипов искусственного интеллекта.
Если интегрированная технология хранения и вычислений в Китае сможет дополнительно интегрировать новые мемристоры, интегрированную архитектуру хранения и вычислений, 3D-упаковку и другие технологии, ожидается достижение большей эффективной вычислительной мощности, более высокого коэффициента энергоэффективности и лучшей совместимости с программным обеспечением. Тем самым будет обеспечено дальнейшее развитие чипов искусственного интеллекта.
Прежде всего, модель параллельных вычислений достаточно энергозатратна и ограничена принципами поддерживаемых вычислений. Это делает проектирование архитектуры трудным и сложным. Необходимо в полной мере использовать эффективность самого IP-вычисления в памяти и уменьшить передачу данных между IP-вычислениями в памяти. При этом необходимо учитывать недостаточную универсальность поддерживаемых сетевых операторов и возможность физической реализации.
Второе — задача быстрой разработки и внедрения интегрированного компилятора программного обеспечения для систем хранения и вычислений. Цепочка программных инструментов имеет решающее значение для максимизации эффективности хранилища и вычислительной микросхемы.
Сегодня, когда вычислительная мощность становится все более востребованной, интеграция систем хранения данных и вычислений как важное техническое направление, направленное на устранение узких мест в производительности чипов, начинает требовать все больше и больше внимания.
Китайские инновационные интегрированные чипы для хранения и вычислений могут в ближайшее время выйти на рынок и положить начало масштабному промышленному развитию.
В краткосрочной перспективе конкуренция среди игроков отрасли в основном будет сосредоточена на реализации различных носителей информации и технологических маршрутах. В долгосрочной перспективе ключом к развитию и внедрению станет всесторонняя конкуренция в методологии проектирования, тестировании, массовом производстве, программном обеспечении, выборе сценариев и т. д. Стартапам необходимо будет освоить ряд технологий, от современных технологий производства микросхем памяти до производства серийных чипов искусственного интеллекта.
Если интегрированная технология хранения и вычислений в Китае сможет дополнительно интегрировать новые мемристоры, интегрированную архитектуру хранения и вычислений, 3D-упаковку и другие технологии, ожидается достижение большей эффективной вычислительной мощности, более высокого коэффициента энергоэффективности и лучшей совместимости с программным обеспечением. Тем самым будет обеспечено дальнейшее развитие чипов искусственного интеллекта.
