Claude 3.5 Sonnet: опануйте свій комп’ютер за допомогою ШІ

Anthropic щойно випустила велике оновлення для своїх AI-моделей Claude, представивши визначну функцію під назвою «Computer Use». Вона дає розробникам змогу скеровувати оновлений Claude 3.5 Sonnet, щоб той орієнтувався в настільних застосунках, рухав курсор, натискав кнопки й вводив текст - тобто поводився як людина за комп’ютером.

У своєму блозі Anthropic пояснила, що зосереджена на навчанні Claude загальних комп’ютерних навичок, а не на створенні окремих інструментів для конкретних завдань. Так Claude може використовувати різноманітні стандартні програми, призначені для людей.

API Computer Use перетворює текстові запити на комп’ютерні команди. Наприклад, розробники можуть вводити запити на кшталт «використай дані з мого комп’ютера й з інтернету, щоб заповнити цю форму» або «перемісти курсор, щоб відкрити веббраузер». Це перший випадок, коли AI-модель від Anthropic може переглядати веб.

Нова функція аналізує знімки екрана, щоб визначити рухи курсора, потрібні для виконання завдань. Вона може виконувати сотні кроків послідовно, виправляючи себе, якщо натрапляє на перешкоду. Зараз вона в публічній бета-версії й покликана допомагати автоматизувати повторювані завдання, тестувати програмне забезпечення та братися за відкриті завдання. Наприклад, Replit тестує її як спосіб орієнтуватися в інтерфейсах користувача, створюючи свій продукт Replit Agent.

Хоча Computer Use від Claude - це крок уперед, він не позбавлений недоліків. Anthropic визнає, що функція має труднощі з прокручуванням, перетягуванням і масштабуванням. У тесті з бронювання авіаквитків вона досягла успіху лише в 46% випадків, хоча це більше, ніж 36% у попередній версії. Оскільки Claude обробляє знімки екрана, а не безперервне відео, він іноді пропускає швидкі дії чи сповіщення. Під час демонстрації кодування він несподівано вирішив переглянути фотографії Національного парку Єллоустон.

Claude 3.5 Sonnet: продуктивність і обмеження

На OSWorld, платформі для вимірювання продуктивності ШІ, Claude набрав 14,9% у завданнях зі знімками екрана, що все ще значно нижче за рівень людини, який оцінюють у 70–75%. Але це майже вдвічі більше за результат наступної найкращої AI-системи. Anthropic сподівається покращити це завдяки відгукам розробників.

Функція Computer Use супроводжується цілеспрямованими заходами безпеки. Вона створена, щоб уникати ризиків, пов’язаних із приватністю користувачів: вона не навчається на даних користувачів і не має доступу до інтернету під час навчання. Одна виявлена вразливість - атаки через ін’єкцію запитів, коли шкідливі команди можуть змусити ШІ поводитися непередбачувано.

Дослідження свідчать, що такі атаки типу jailbreak можуть спричинити шкідливу поведінку моделей, які не мають можливостей Computer Use. Дослідження показують, що ці атаки успішні приблизно в 20% випадків. Щоб протидіяти цьому для Claude Sonnet 3.5, команди Trust and Safety від Anthropic створили системи виявлення й запобігання потенційним ін’єкціям запитів, особливо з огляду на те, що Claude інтерпретує знімки екрана, які можуть містити шкідливий контент.

Розробники також підготувалися до потенційного зловживання навичками Claude. Вони впровадили класифікатори для виявлення й моніторингу шкідливої діяльності, як-от спам чи дезінформація. З міркувань безпеки Claude не може публікувати дописи в соціальних мережах або взаємодіяти з урядовими сайтами, щоб обмежити політичні ризики. Тестування включало співпрацю з інститутами безпеки США й Великої Британії, а Claude 3.5 Sonnet оцінено на рівні AI Safety Level 2, що означає відсутність значних ризиків, які вимагали б суворіших протоколів безпеки.

Окрім Computer Use, Claude 3.5 Sonnet демонструє покращення в програмуванні порівняно з попередником, зберігаючи ту саму швидкість і вартість. Його результат у тесті програмування SWE-bench Verified зріс із 33,4% до 49%, перевершивши інші моделі міркування, як-от найновіша від OpenAI.

Бізнеси дедалі більше звертаються до генеративного ШІ для програмування, хоча технологія не є бездоганною. Згенерований ШІ код може призводити до збоїв систем, що викликає занепокоєння щодо безпеки його використання в розробці програмного забезпечення.

Користувачі помітили покращення, зокрема GitLab, який виявив, що Claude покращив міркування для завдань DevSecOps до 10% без додаткової затримки. Cognition також повідомила про краще програмування, планування й розв’язування проблем із цією версією порівняно з попередньою.

Claude 3.5 Sonnet уже доступний через Anthropic API, Amazon Bedrock і Vertex AI від Google Cloud. Також розгортається версія без Computer Use для застосунків Claude.

Anthropic також представила Claude 3.5 Haiku - доступніше оновлення своєї найдешевшої моделі. Haiku пропонує швидші відповіді й точніше дотримання інструкцій, бувши корисним для застосунків, звернених до користувачів. Він зрівнюється за продуктивністю з більшою моделлю Claude 3 Opus, але за тією самою ціною й подібною швидкістю, що й попереднє покоління.

Haiku досяг успіху на SWE-bench Verified із результатом 40,6%, перевершивши попередній Claude 3.5 Sonnet і GPT-4o. Ця модель буде доступна наступного місяця у версії лише з текстовими запитами, а вхідні зображення заплановані пізніше.

Поява Computer Use посилює рух Claude 3.5 Sonnet у бік AI-агентів - інструментів, здатних самостійно виконувати складні завдання. На думку Янніса Антоніу з Lab49, вибір назви «computer use» робить це ближчим для звичайних користувачів, відрізняючи від традиційних AI-копілотів, які допомагають, а не діють самостійно.

Тепер великі компанії, як-от Microsoft, Workday і Salesforce, інтегрують агентів у свої стратегії ШІ. Наприклад, Salesforce нещодавно запустила Agentforce, щоб розширити можливості генеративного ШІ в таких сферах, як підтримка клієнтів і продажі.

Арманд Руїс з IBM зауважив на нещодавньому фестивалі, що ми на порозі «агентної ери», коли налаштовані AI-агенти працюватимуть поруч із людьми, підвищуючи ефективність в організаціях.

Він наголосив, що хоча прогрес є, досягнення надійних, масштабованих AI-рішень залишається шляхом. Візія може бути настільки просунутою, що майбутній ШІ міг би навіть створювати себе. Нещодавно Meta анонсувала AI-модель «Self-Taught Evaluator», здатну самостійно оцінювати власну продуктивність і продуктивність інших систем, демонструючи потенціал ШІ вчитися на власному досвіді.

Щоб замовити послуги з розробки програмного забезпечення та адміністрування систем, відвідайте нашу сторінку контактів.