Протестировал видеокарты nvidia 3090, 4090, A100 в задаче инференса нейросети Llama 70b.

Summary

В видео рассматривается сравнение производительности видеокарт для нейросетей, с акцентом на Ламу 70Б в квантизации 4 бита. Тестируются такие карты, как 3090, 4090, A100 и H100 на серверных и десктопных конфигурациях. Автор делится результатами тестов с акцентом на отличия в производительности в зависимости от конфигурации и типа запроса. Рассматриваются как преимущества, так и ограничения различных видеокарт, а также влияние стоимости и доступности карт на выбор между игровыми и серверными решениями. Видео также включает обновления о проблемах с производительностью и дефицитом видеокарт.

Takeaways

• 😀 Видеокарты с 4-битной квантизацией, такие как Llama 70B, позволяют запускать нейросети на менее мощном оборудовании.
• 😀 В тесте сравниваются несколько видеокарт: 3090, 4090, A100 и H100, включая арендованные серверы и персональный сервер с 3090 Ti.
• 😀 Мой сервер с 3090 Ti показал более низкую производительность по сравнению с арендованным сервером на четырех 3090.
• 😀 Обновление библиотек и драйверов NVIDIA на сервере дало улучшение производительности на 20-30%, но все равно не достигло уровня арендованного сервера.
• 😀 Видеокарты 4090 и 3090 показывают хорошие результаты в тестах на экстракцию, однако 4090 превосходит 3090 на 30-40%.
• 😀 Серверные видеокарты, такие как A100, показывают лучшие результаты в задачах с большим количеством параллельных запросов.
• 😀 Видеокарта A100 выигрывает при большом числе параллельных воркеров, так как все данные находятся внутри карты и не нужно их передавать.
• 😀 Видеокарта H100 должна быть значительно быстрее A100, но в компании, где проводились тесты, карты H100 были недоступны из-за дефицита.
• 😀 В тестах на генерацию токенов видеокарты 4090 и 3090 показывают более высокую производительность, чем A100, особенно в генерации с несколькими воркерами.
• 😀 Важно учитывать стоимость аренды и покупки видеокарт: серверные видеокарты (A100, H100) стоят значительно дороже, чем игровые (3090, 4090).

Q & A

Какие видеокарты тестируются в этом видео?

В видео тестируются видеокарты 3090, 4090, серверные А100 и H100, а также сервер с пятью видеокартами 3090 Ti.

Что такое квантизация 4 бита, упомянутая в видео?

Квантизация 4 бита позволяет уменьшить размер модели нейросети, что делает её запуск возможным на меньшем оборудовании, сохраняя при этом высокое качество работы.

Какие особенности отличают серверные видеокарты от игровых?

Серверные видеокарты, такие как А100 и H100, предлагают лучшую производительность при работе с большими объемами данных и многозадачностью, в отличие от игровых видеокарт, которые лучше подходят для меньших нагрузок и однозадачных процессов.

Почему сервер с пятью видеокартами 3090 Ti работает медленнее, чем арендованный сервер с четырьмя картами 3090?

Причина может заключаться в различиях в железе или конфигурации софта. Даже после обновления драйверов и программного обеспечения сервер с 3090 Ti показывает хуже результаты, что может быть связано с особенностями процессора или настройки системы.

Какие видеокарты показывают лучшие результаты при экстракции данных (extract)?

Видеокарты 4090 показывают результаты на 30-40% быстрее, чем 3090, что связано с их более высокой производительностью, хотя 4090 также стоят дороже.

Почему A100 не может конкурировать с несколькими 3090 в задачах с большим количеством запросов?

При большом числе запросов серверные карты A100 начинают отставать, поскольку данные нужно передавать между картами, что снижает эффективность. В то время как на одной карте A100 все данные находятся внутри, что дает преимущество в скорости при меньших запросах.

Какова разница в производительности между игровыми картами и серверными картами для генерации токенов?

Игровые видеокарты, такие как 3090 и 4090, показывают лучшие результаты при генерации токенов на одну карту, по сравнению с серверными картами, такими как A100, у которых производительность значительно ниже.

Что важно учитывать при аренде серверных видеокарт для нейросетей?

Важно учитывать, что серверные видеокарты, такие как A100 и H100, предлагают большую пропускную способность и производительность для многозадачности, но стоят значительно дороже, чем игровые карты, и их часто трудно найти в аренду.

Почему в компании Mcloud не было доступных видеокарт H100 для тестирования?

Компания Mcloud сообщила, что все видеокарты H100 были раскуплены на ближайшие месяцы, что отражает текущий дефицит серверных видеокарт на рынке.

Как обновление программного обеспечения повлияло на результаты тестов?

Обновление драйверов и Docker улучшило результаты на сервере, увеличив производительность на 20-30%, но сервер все равно не смог достичь уровня арендованного сервера с 3090.