Модери використали PS5 для запуску ШІ-моделі з 27 млрд параметрів

Група користувачів Reddit успішно розробила неофіційний порт, що дозволяє запускати моделі штучного інтелекту на PS5. Це стало можливим завдяки архітектурі консолі, зокрема 16 ГБ оперативної пам'яті GDDR6 та високій пропускній здатності у 448 ГБ/с, що є достатнім для роботи квантованих або невеликих ШІ-моделей.

Початкові спроби залучали центральний процесор (CPU), що обмежувало доступну пам'ять до 6 ГБ. Проте завдяки інтеграції порту llama.cpp як нативного застосунку із використанням Vulkan та драйвера AMD RADV, обсяг доступної пам'яті вдалося збільшити до 11,4 ГБ. Це дозволило успішно запустити квантовану версію моделі Qwen3.8-27B-UD-IQ2_XXS, розмір якої після стиснення становив близько 6,8 ГБ.

Під час тестування модель Qwen3.8-27B досягла швидкості генерації 20,9 токенів на секунду при 100% завантаженні графічного процесора та 2% навантаженні на центральний процесор. Загальне енергоспоживання становило 86 Вт, що підтримувало стабільну температуру консолі. Компактніші моделі, такі як Gemma 4 E4B та Llama 3.2 3B, показали значно вищі результати – 61 токен/с та 124 токени/с відповідно.

Незважаючи на вражаючі результати, існують певні обмеження. Обсяг ОЗП у 16 ГБ дозволяє запускати лише сильно квантовані або менші за розміром ШІ-моделі. Для встановлення нативного порту llama.cpp на PS5 потрібен так званий «джейлбрейк» консолі, що анулює гарантію виробника та може призвести до блокування доступу до онлайн-сервісів.

Продажі ігрових консолей PlayStation 5 та Xbox Series X/S останнім часом продемонстрували тенденцію до зниження, що може свідчити про насичення ринку або зміну споживчих пріоритетів. Цей експеримент показує, що споживча електроніка має потенціал для виконання завдань, що виходять за межі її основного призначення, за умови модифікації програмного забезпечення.