«`html
Phind представляет Phind-405B: флагманскую модель ИИ Phind, улучшающую эффективность технических задач, и мгновенный Phind для превосходной производительности поиска
Phind официально объявил о выпуске своей новой флагманской модели, Phind-405B, а также инновационной модели Phind Instant, направленной на революционизацию поиска и программирования с использованием ИИ. Эти достижения представляют собой веху в технических возможностях, даря разработчикам и техническим пользователям более эффективные и мощные инструменты для решения сложных задач.
Введение Phind-405B
Phind-405B является основой последнего выпуска, отмечая значительный этап в развитии Phind. Построенная на Meta Llama 3.1 405B, Phind-405B разработана для превосходства в программировании и технических задачах. Способная обрабатывать до 128 тыс. токенов контекста, включая 32 тыс. окно контекста, доступное при запуске, эта модель предназначена для решения высококонтекстных технических задач. Phind-405B теперь доступна для всех пользователей Phind Pro, предоставляя им немедленный доступ к ее передовым возможностям.
Одной из наиболее впечатляющих особенностей модели является ее производительность в реальных задачах, особенно в разработке веб-приложений. В заметном примере, когда ей было поручено создание посадочной страницы для «Founder Mode Пола Грэма», Phind-405B использовала несколько поисков и создала ряд вариантов дизайна. Ее возможности выходят за рамки базового программирования; она предлагает решения, объединяющие творчество и эффективность.
Phind-405B также соответствует производительности модели Claude 3.5 Sonnet по метрике HumanEval 0-shot с замечательной точностью 92%. Это одна из лучших моделей для задач, требующих точности и технической экспертизы. Phind обучила эту модель на 256 H100 GPU с использованием FP8 смешанной точности, что обеспечивает работу модели без ущерба для качества, снижая использование памяти на 40%. Эта замечательная эффективность позволяет модели работать более плавно и быстро, сохраняя высокие стандарты, ожидаемые в технических средах.
Phind Instant: скачок в скорости поиска
С Phind-405B Phind также представил Phind Instant, модель, направленную на решение распространенной проблемы задержек в поиске, основанном на ИИ. В отличие от традиционных поисковых систем, таких как Google, поисковые запросы, основанные на ИИ, часто страдают от задержек, несмотря на предоставление более качественных ответов. Phind Instant стремится устранить эту проблему, предлагая мгновенные времена ответа, сохраняя при этом глубину и точность своих ответов.
Основанный на Meta Llama 3.1 8B и работающий на настраиваемых серверах вывода Phind NVIDIA TensorRT-LLM, Phind Instant обрабатывает до 350 токенов в секунду. Эти впечатляющие скорости достигаются благодаря FP8 смешанной точности, флэш-декодированию и объединенным ядрам CUDA для MLP (многослойный персептрон). Технические оптимизации Phind Instant позволяют ему быть высокореагирующим инструментом, особенно в средах, где быстрое получение точной информации критично.
Введение Phind Instant подчеркивает стремление компании к улучшению пользовательского опыта в реальных сценариях поиска в реальном времени. Архитектура и реализация модели демонстрируют внимание Phind к деталям в оптимизации скорости и качества.
Улучшения в эффективности поиска
Параллельно с выпуском этих моделей Phind также внедрил несколько улучшений в свою поисковую инфраструктуру. Понимая, что каждая миллисекунда имеет значение в поиске, Phind сократил задержку до 800 миллисекунд на один поиск. Это улучшение достигнуто благодаря новой обученной модели, которая предварительно загружает веб-результаты до завершения ввода пользователем. Такой проактивный подход значительно улучшает опыт поиска, особенно при работе с запросами, требующими быстрого реагирования или сложных.
Дополнительно улучшая возможности поиска, Phind представил новую, более крупную модель вложений, в 15 раз большую, чем ее предшественник. Несмотря на увеличение размера модели, задержка была снижена благодаря внедрению 16-путной параллельности в вычислении вложений. Эти технические улучшения гарантируют, что в модель поступает наиболее релевантная информация, дополнительно улучшая релевантность и точность результатов поиска.
Более широкое видение будущего
Последние разработки Phind сосредоточены на доверии разработчикам и технологам, оптимизируя их рабочие процессы и обеспечивая более быстрые эксперименты. Представив Phind-405B и Phind Instant, компания позиционирует себя как лидера в предоставлении инструментов для решения сложных технических запросов. То, что отличает Phind, — это ее преданность решению реальных проблем, позволяя пользователям исследовать любопытства за пределами технической области. Благодаря мощным инструментам разработчики могут быстрее переходить от идеи к реализации, открывая путь для инноваций.
По мере расширения своих предложений Phind выражает благодарность своим ключевым партнерам, включая Meta, NVIDIA, Voltage Park, SF Compute и AWS. Эти партнерства подчеркивают совместные усилия за техническими достижениями Phind и более широкие последствия, которые эти модели имеют для сообществ искусственного интеллекта и машинного обучения.
В заключение, выпуск Phind-405B и Phind Instant решает как скорость, так и качество в поиске ИИ и техническом решении задач, и Phind укрепил свою роль в этой области. Будущее выглядит многообещающим для разработчиков и пользователей, полагающихся на высокопроизводительные модели для своих проектов.
«`
