| 0 |
|
Meta Platforms представила Code Llama, модель великої мови з відкритим вихідним кодом, яка може автоматично генерувати фрагменти коду і пояснювати, як вони працюють.
Модель безкоштовна для комерційного використання.
Code Llama базується на іншій відкритій мовній моделі, Llama 2, яку Meta випустила минулого місяця. Остання модель є більш універсальною за своєю природою. Вона може не лише виконувати завдання кодування, але й узагальнювати документи, перекладати текст і відповідати на дрібні запитання.
Llama 2 - одна з найдосконаліших мовних моделей в екосистемі з відкритим вихідним кодом. У серії бенчмарків, проведених дослідниками Meta, вона перевершила кілька інших нейронних мереж, що знаходяться у вільному доступі.
Мета розробила Code Llama шляхом навчання оригінальної нейронної мережі Llama 2 на великому наборі даних зразків коду та «пов’язаних з кодом» файлів. За словами компанії, цей навчальний набір даних складався з 500 мільярдів токенів. Токен - це базова одиниця інформації в проектах штучного інтелекту, яка зазвичай складається з декількох букв або цифр.
Code Llama доступний у трьох варіантах: стандартна версія та дві спеціалізовані версії.
Перша спеціалізована версія призначена для створення програмного забезпечення на мові Python. Вона була навчена на наборі даних, який включав 100 мільярдів токенів коду Python.
Інша спеціалізована версія Code Llama називається Code Llama - Instruct. Вона оптимізована для генерації коду на основі інструкцій природною мовою від користувача. Крім того, модель може пояснити, як працює код, який вона генерує.
Однією з ключових особливостей, яка відрізняє Code Llama від Llama 2, мовної моделі загального призначення, на якій він базується, є його контекстне вікно.
Контекстне вікно AI визначає обсяг даних, які користувач може ввести в одну підказку. У випадку Llama 2 ця кількість даних становить 4096 токенів. Code Llama, навпаки, має максимальне контекстне вікно в 100 000 токенів.
Стратегія охолодження ЦОД для епохи AI
| 0 |
|
