Claude 3.5 Sonnet: освойте свой компьютер с ИИ

Anthropic только что выпустила крупное обновление своих ИИ-моделей Claude, представив выдающуюся функцию «Computer Use». Она позволяет разработчикам направлять обновлённый Claude 3.5 Sonnet, чтобы он управлял десктопными приложениями, двигал курсор, нажимал кнопки и вводил текст - по сути, вёл себя как человек за компьютером.

В своём блоге Anthropic пояснила, что сосредоточена на обучении Claude общим компьютерным навыкам, а не на создании отдельных инструментов под конкретные задачи. Так Claude может использовать разнообразные стандартные программы, рассчитанные на людей.

API Computer Use превращает текстовые запросы в компьютерные команды. Например, разработчики могут вводить просьбы вроде «используй данные с моего компьютера и из интернета, чтобы заполнить эту форму» или «перемести курсор, чтобы открыть браузер». Это первый случай, когда ИИ-модель от Anthropic умеет просматривать веб-страницы.

Новая функция анализирует скриншоты, чтобы определить движения курсора, необходимые для выполнения задач. Она способна пройти сотни шагов подряд, самостоятельно исправляясь при затруднениях. Сейчас она находится в публичной бете и предназначена для автоматизации повторяющихся задач, тестирования ПО и решения открытых задач. Replit, например, тестирует её как способ навигации по пользовательским интерфейсам при создании своего продукта Replit Agent.

Хотя Computer Use у Claude - шаг вперёд, без недостатков не обошлось. Anthropic признаёт, что функция плохо справляется с прокруткой, перетаскиванием и масштабированием. В тесте на бронирование авиабилетов она добилась успеха лишь в 46% случаев, хотя это больше, чем 36% в прошлой версии. Поскольку Claude обрабатывает скриншоты, а не непрерывное видео, он иногда пропускает быстрые действия или уведомления. Во время демонстрации программирования он неожиданно решил посмотреть фотографии национального парка Йеллоустон.

Claude 3.5 Sonnet: производительность и ограничения

На OSWorld, платформе для измерения производительности ИИ, Claude набрал 14,9% в задачах со скриншотами - всё ещё намного ниже человеческого уровня, который оценивается в 70–75%. Но это почти вдвое больше результата следующей по силе ИИ-системы. Anthropic надеется улучшить показатель с помощью отзывов разработчиков.

Функция Computer Use сопровождается продуманными мерами безопасности. Она создана так, чтобы избегать рисков, связанных с приватностью пользователей: модель не обучается на пользовательских данных и не выходит в интернет во время обучения. Одна из выявленных уязвимостей - атаки через внедрение подсказок, когда вредоносные команды могут заставить ИИ вести себя непредсказуемо.

Исследования показывают, что такие атаки типа джейлбрейк могут привести к вредоносному поведению моделей, даже не обладающих возможностями Computer Use. По данным исследований, эти атаки успешны примерно в 20% случаев. Чтобы противостоять этому в Claude Sonnet 3.5, команды Trust and Safety в Anthropic создали системы обнаружения и предотвращения возможного внедрения подсказок - особенно потому, что Claude интерпретирует скриншоты, которые могут содержать вредоносный контент.

Разработчики также подготовились к возможному злоупотреблению навыками Claude. Они внедрили классификаторы для выявления и отслеживания вредоносной активности, например спама или дезинформации. В целях безопасности Claude не может публиковать сообщения в социальных сетях или взаимодействовать с государственными сайтами, чтобы ограничить политические риски. Тестирование включало сотрудничество с институтами безопасности США и Великобритании, а Claude 3.5 Sonnet имеет оценку AI Safety Level 2, что означает отсутствие значительных рисков, требующих более строгих протоколов безопасности.

Помимо Computer Use, Claude 3.5 Sonnet демонстрирует улучшения в программировании по сравнению с предшественником, сохраняя ту же скорость и стоимость. Его результат в бенчмарке программирования SWE-bench Verified вырос с 33,4% до 49%, превзойдя другие рассуждающие модели, включая новейшую от OpenAI.

Компании всё чаще обращаются к генеративному ИИ для программирования, хотя технология не безупречна. Сгенерированный ИИ код может приводить к сбоям систем, что вызывает вопросы безопасности при его использовании в разработке ПО.

Пользователи уже заметили улучшения, включая GitLab, который обнаружил, что Claude улучшил рассуждения в задачах DevSecOps до 10% без дополнительной задержки. Cognition также сообщила о более качественном программировании, планировании и решении задач в этой версии по сравнению с предыдущей.

Claude 3.5 Sonnet уже доступен через API Anthropic, Amazon Bedrock и Vertex AI от Google Cloud. Выпускается версия без Computer Use для приложений Claude.

Anthropic также представила Claude 3.5 Haiku - более доступное обновление своей самой дешёвой модели. Haiku отвечает быстрее и точнее следует инструкциям, оставаясь полезной для пользовательских приложений. Она соответствует производительности более крупной Claude 3 Opus, но при той же стоимости и сопоставимой скорости, что и предыдущее поколение.

Haiku добилась успеха на SWE-bench Verified с результатом 40,6%, превзойдя прежнюю Claude 3.5 Sonnet и GPT-4o. Модель станет доступна в следующем месяце в версии только с текстовыми запросами, а поддержка изображений запланирована позже.

Появление Computer Use усиливает движение Claude 3.5 Sonnet к ИИ-агентам - инструментам, способным самостоятельно решать сложные задачи. По словам Янниса Антониу из Lab49, выбор названия «computer use» делает функцию понятнее для обычных пользователей и отличает её от традиционных ИИ-копилотов, которые помогают, а не действуют самостоятельно.

Сейчас крупные компании вроде Microsoft, Workday и Salesforce интегрируют агентов в свои ИИ-стратегии. Например, Salesforce недавно запустила Agentforce, чтобы усилить генеративный ИИ в таких областях, как поддержка клиентов и продажи.

Арманд Руис из IBM отметил на недавнем фестивале, что мы на пороге «агентной эры», когда специализированные ИИ-агенты будут работать бок о бок с людьми, повышая эффективность организаций.

Он подчеркнул, что, хотя прогресс идёт, путь к надёжным и масштабируемым ИИ-решениям ещё не пройден. Видение может оказаться настолько продвинутым, что будущий ИИ будет создавать себя сам. Недавно Meta анонсировала ИИ-модель «Self-Taught Evaluator», способную автономно оценивать собственную производительность и работу других систем, демонстрируя потенциал ИИ учиться на своём опыте.

Чтобы заказать наши услуги по разработке программного обеспечения и системному администрированию, посетите нашу страницу контактов.