| +11 голос |
|
Nvidia запустила нову функцію Chat with RTX, яка дає користувачам можливість створювати власних персональних АІ-помічників, що обробляються на ПК, а не в хмарі.
Як заявляється, рішення використовує методи генерації, доповненої пошуком, або RAG, і програмне забезпечення Nvidia TensorRT-LLM. І при цьому не вимагає великих обчислювальних ресурсів, тобто навантаження Chat with RTX не повинно суттєво знижуватти продуктивность комп'ютера.
Ще важливий момент, оскільки Chat з RTX розміщується на комп'ютері користувача, це означає, що всі чати є повністю приватними.
Щоб скористатися перевагами нової функції, користувачам знадобиться ноутбук або ПК, оснащений графічним процесором GeForce RTX серії 30 або вище. Система також повинна мати щонайменше 8 ГБ відеопам'яті. На додаток до цього компʼютер має використовувати Windows 10 або Windows 11, а також найновіші драйвери графічного процесора Nvidia.
Зазначається, що однією з основних переваг локального чат-асистента є те, що користувачі можуть персоналізувати його на свій смак, вирішуючи, до якого контенту він має доступ, щоб генерувати свої відповіді.
Chat with RTX використовує методи RAG, які дозволяють йому розширювати свої базові знання за допомогою додаткових джерел даних, включаючи локальні файли, розміщені на комп'ютері. А TensorRT-LLM і програмне забезпечення для прискорення Nvidia RTX забезпечують значний приріст обробки даних. Крім того, Nvidia заявила, що користувачі можуть вибирати з ряду базових LLM з відкритим вихідним кодом, включаючи Llama 2 і Mistral.
Nvidia заявила, що персоналізовані асистенти зможуть обробляти ті ж типи запитів, для яких люди зазвичай використовують ChatGPT.
Окрім доступу до локальних файлів, користувачі Chat with RTX також зможуть вказати, які джерела вони хочуть, щоб чат-бот використовував на таких сервісах, як YouTube.
Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365
| +11 голос |
|
