LLMentorGrid Налаштування

[Rilian]

LLMentorGrid

http://boinc.llmentor.org/LLMentorGrid/

Сторінка команди Ukraine - http://boinc.llmentor.org/LLMentorGrid/tea...ay.php?teamid=9

Є тільки додаток під Linux

Дослідження великих мовних моделей та LLMentorGrid

Дослідження великих мовних моделей (LLM) потребує значних обчислювальних ресурсів, що ускладнює проведення наукових досліджень у цій галузі. Саме тому LLMentorGrid пропонує використання платформи розподілених обчислень BOINC, щоб залучити комп’ютери волонтерів для виконання завдань, які сприятимуть розвитку наукових досліджень у сфері LLM.

Чи можна використовувати BOINC для навчання LLM?

На жаль, навчання моделей за допомогою розподіленого підходу, такого як BOINC, є складним завданням. Навчання відбувається послідовно, тому його важко розділити на незалежні робочі блоки (workunit), оскільки кожен наступний блок залежить від попереднього. Це зводить нанівець переваги паралельних обчислень.

Крім того, навчання LLM вимагає надзвичайно високої обчислювальної потужності, великого обсягу пам’яті, інтенсивного введення/виведення даних і пропускної здатності мережі. Через ці обмеження використання BOINC для навчання LLM досі не набуло поширення, хоча великі мовні моделі відіграють ключову роль у сучасному технологічному ландшафті.

Що пропонує LLMentorGrid?

LLMentorGrid не намагається використовувати BOINC для безпосереднього навчання LLM, але пропонує ефективний спосіб використання розподілених обчислень для інших важливих досліджень у цій сфері.

1️⃣ Виконання інференції (запуск уже навчених моделей)
LLMentorGrid використовує обчислювальні ресурси волонтерів для виконання інференції, тобто запуску вже існуючих моделей для генерації корисних даних. Це може включати:

створення синтетичних даних (наприклад, резюме, пари питання/відповідь, ланцюжки логічного висновку),
підготовку тренувальних наборів для майбутніх моделей.

2️⃣ Оцінка та бенчмаркінг моделей
LLMentorGrid дозволяє проводити тестування LLM, щоб оцінити їх продуктивність за різними параметрами.

3️⃣ Дослідження інтерпретованості моделей
Одна з головних цілей LLMentorGrid — вивчення інтерпретованості LLM. Велика мовна модель — це фактично "чорна скринька", оскільки навіть її розробники часто не знають, чому вона ухвалює певні рішення.

Це дослідження є надзвичайно важливим для проблеми узгодженості моделей (AI alignment), тобто забезпечення того, щоб модель працювала відповідно до намірів розробників і не демонструвала небезпечної або небажаної поведінки.

За допомогою LLMentorGrid можна запускати такі інструменти, як:

transformerlens — для збору та аналізу внутрішніх активацій моделі,
розріджені автоенкодери — для виявлення "нейронів", що активуються в різних контекстах.

Ці дослідження легко розподіляються на окремі, незалежні завдання, що робить їх ідеальними для виконання на платформі BOINC.

[Rilian]

довелось з чатжпт встановити докер а також libgomp1

і таски запрацювали