| 0 |
|
Рік тому Microsoft представила малі мовні моделі (SLM), випустивши Phi-3 на Azure AI Foundry, використовуючи результати досліджень SLM для розширення спектра ефективних моделей та інструментів AI, доступних замовникам.
Тепер же компанія представила Phi-4-reasoning, Phi-4-reasoning-plus і Phi-4-mini-reasoning, що знаменує собою нову еру для малих мовних моделей і вкотре визначає можливості малого й ефективного AI.
Моделі міркувань навчаються використовувати масштабування часу виведення для виконання складних завдань, що вимагають багатоетапної декомпозиції та внутрішньої рефлексії. Вони відмінно справляються з математичними міркуваннями і стають основою агентних додатків зі складними, багатогранними завданнями. Такі можливості зазвичай зустрічаються тільки у великих периферійних моделях. Моделі Phi-reasoning являють собою нову категорію невеликих мовних моделей. Використовуючи дистиляцію, навчання з підкріпленням і високоякісні дані, ці моделі балансують між розміром і продуктивністю. Вони досить малі для використання в середовищах із низькою затримкою, але при цьому мають потужні можливості міркування, які можуть змагатися з більшими моделями. Таке поєднання дає змогу навіть пристроям з обмеженими ресурсами ефективно виконувати складні завдання міркувань.
Phi-4-reasoning - це відкрита модель міркувань із 14 млрд параметрів, яка конкурує з більшими моделями під час розв'язання складних завдань міркувань. Навчена за допомогою контрольованого тонкого налаштування Phi-4 на ретельно підібраних демонстраціях міркувань з OpenAI o3-mini, Phi-4-reasoning генерує докладні ланцюжки міркувань, які ефективно використовують додаткові обчислення під час виведення. Модель демонструє, що ретельне опрацювання даних і високоякісні синтетичні набори даних дають змогу невеликим моделям конкурувати з більшими аналогами.
Phi-4-reasoning-plus спирається на можливості Phi-4-reasoning і додатково навчається за допомогою навчання з посиленням, щоб використовувати більше обчислень під час виведення, використовуючи в 1,5 раза більше лексем, ніж Phi-4-reasoning, для досягнення більш високої точності.
Попри значно менший розмір, обидві моделі демонструють кращу продуктивність, ніж OpenAI o1-mini та DeepSeek-R1-Distill-Llama-70B, у більшості бенчмарків, включно з математичними міркуваннями та науковими питаннями рівня докторської дисертації. У тесті AIME 2025, відбірковому турі математичної олімпіади США 2025 року, вони показали результати кращі, ніж повна модель DeepSeek-R1 (з 671 млрд параметрів). Обидві моделі доступні на Azure AI Foundry і HuggingFace.
Моделі міркувань Phi-4 значно перевершують Phi-4, перевершують більші моделі, як-от DeepSeek-R1-Distill-70B, і наближаються до Deep-Seek-R1 за різними міркуваннями та загальними можливостями, включно з математикою, кодуванням, розв'язанням алгоритмічних завдань і плануванням.
Phi-4-mini-reasoning розроблено для задоволення потреби в компактній моделі міркувань. Ця мовна модель на основі трансформаторів оптимізована для математичних міркувань, забезпечуючи високоякісне покрокове розв'язання задач у середовищах з обмеженими обчислювальними ресурсами або затримками. Налаштована на основі синтетичних даних, згенерованих моделлю Deepseek-R1, Phi-4-mini-reasoning поєднує в собі ефективність і здатність до розширених міркувань. Модель підходить для освітніх додатків, вбудованого репетиторства та легкого розгортання на периферійних або мобільних системах. Вона навчена на більш ніж мільйоні різноманітних математичних завдань, що охоплюють кілька рівнів складності - від середньої школи до рівня доктора наук.
Еволюція Phi за останній рік постійно розширює межі співвідношення якості та розміру, поповнюючи сімейство новими функціями для задоволення різних потреб. У масштабах усіх пристроїв з Windows 11 ці моделі доступні для локальної роботи на CPU і GPU.
Оскільки Windows працює над створенням нового типу ПК, моделі Phi стали невіддільною частиною комп'ютерів Copilot+ з варіантом Phi Silica, оптимізованим під NPU. Цю високоефективну та керовану ОС версію Phi розроблено для попереднього завантаження в пам'ять, і вона доступна з блискавичним часом до першої відповіді на маркер та енергоефективною пропускною спроможністю маркера, тож її можна викликати одночасно з іншими застосунками, що працюють на ПК.
Це рішення використовується в таких основних додатках, як Click to Do, надаючи корисні інструменти для аналізу тексту для будь-якого вмісту на екрані, і є доступним у вигляді API для розробників, щоб бути легко інтегрованим у додатки, - вже використовується в декількох продуктивних додатках, таких як Outlook, пропонуючи свої функції зведення Copilot в автономному режимі. Ці маленькі, але потужні моделі вже оптимізовані та інтегровані для використання в декількох додатках у всій екосистемі ПК. Моделі Phi-4-reasoning і Phi-4-mini-reasoning використовують низькобітні оптимізації для Phi Silica і незабаром будуть доступні для роботи на ПК з NPU Copilot+.
У Microsoft відповідальний AI є основоположним принципом розроблення та впровадження AI-систем, включно з моделями Phi. Моделі Phi розробляються відповідно до принципів Microsoft AI: підзвітність, прозорість, справедливість, надійність і безпека, конфіденційність і безпека, а також інклюзивність.
Сімейство моделей Phi використовує надійний підхід до посттренінгового навчання, заснований на поєднанні методів Supervised Fine-Tuning (SFT), Direct Preference Optimization (DPO) і Reinforcement Learning from Human Feedback (RLHF). Ці методи використовують різні набори даних, включно із загальнодоступними наборами даних, орієнтованими на корисність і нешкідливість, а також різноманітні запитання і відповіді, пов'язані з безпекою. Хоча моделі сімейства Phi розроблені для ефективного виконання широкого спектра завдань, важливо визнати, що всі AI-моделі можуть мати обмеження.
| 0 |
|
