Ключевые слова:Безопасность ИИ, Мониторинг цепочки рассуждений (CoT), OpenCodeReasoning-II, VLV автокодировщик, Малые модели LLM, Очки с ИИ, Робот-компаньон с ИИ, Технология мониторинга цепочек рассуждений, Набор данных для логического анализа кода, Vision-Language-Vision фреймворк, Уязвимости моделей логического вывода LLM, Обучение малых LLM мини-пакетами
🔥 Фокус
«Крестный отец» ИИ совместно с OpenAI, DeepMind, Anthropic: остерегайтесь CoT: OpenAI, Google DeepMind, Anthropic и другие компании, а также несколько исследователей ИИ, включая Yoshua Bengio, опубликовали совместный документ, призывающий к усилению исследований технологий мониторинга CoT (цепочки мыслей). CoT monitoring позволяет отслеживать процесс рассуждений модели ИИ, что дает возможность выявлять нежелательные намерения на ранней стадии. Однако, отслеживаемость CoT не является постоянной и может зависеть от способов обучения, архитектуры модели и других факторов. Исследователи рекомендуют разработку новых методов оценки, изучение способов поддержания прозрачности CoT и ее применения в качестве меры безопасности для управления AI-агентами. (Источник: 36氪)
Выпущен набор данных OpenCodeReasoning-II: Выпущен набор данных OpenCodeReasoning-II, содержащий 2,5 миллиона триад «вопрос-решение-комментарий», что почти вдвое превышает размер предыдущего крупнейшего публичного набора данных для рассуждений о коде. В наборе данных используется двухэтапная стратегия контролируемой доработки, предназначенная для генерации кода и комментирования кода. Модель, доработанная на основе Qwen2.5-Instruct, достигла значительных результатов в генерации кода и повысила конкурентоспособность кодирования. Кроме того, бенчмарк LiveCodeBench теперь поддерживает язык C++. (Источник: HuggingFace Daily Papers)
Представлена архитектура Vision-Language-Vision Auto-Encoder: Представлена архитектура автокодировщика Vision-Language-Vision (VLV), использующая предварительно обученный визуальный кодер, декодер модели диффузии текста в изображение и большую языковую модель (LLM). За счет заморозки предварительно обученного T2I диффузионного декодера, архитектура нормализует пространство языкового представления, извлекая знания из модели условной диффузии текста в изображение. Этот метод не требует больших парных наборов данных изображений и текста, стоимость обучения составляет менее 1000 долларов США, и он создает генератор подписей к изображениям SoTA, сопоставимый с такими ведущими моделями, как GPT-4o и Gemini 2.0 Flash. (Источник: HuggingFace Daily Papers)
🎯 Тенденции
Meta может отказаться от Open Source в пользу закрытых моделей: Meta обсуждает возможность отказа от модели с открытым исходным кодом Behemoth в пользу разработки закрытых моделей. Этот шаг может быть связан с неудовлетворительными результатами внутренних тестов Behemoth. Данное обсуждение отражает колебания Meta в стратегии между открытым и закрытым исходным кодом. (Источник: 量子位)
Рост популярности малых LLM-моделей и индивидуального обучения: Небольшие LLM-модели (например, smollm3, olmo2) демонстрируют отличные результаты в выполнении конкретных задач и рабочих процессов со структурированным выводом, что предвещает рост популярности малых моделей и индивидуального обучения. (Источник: Reddit r/LocalLLaMA)
Обострение конкуренции на рынке AI-очков: После выпуска AI-очков Xiaomi рынок отреагировал с энтузиазмом, но в то же время продукт столкнулся с проблемами, связанными с комфортом ношения, качеством фотографий и временем автономной работы. По мере того, как все больше производителей присоединяются к рынку, конкуренция на рынке AI-очков обостряется, наблюдается высокая степень однородности продукции. Для реального прорыва потребуются более длительные циклы отладки продукта и развитие экосистемы. (Источник: 36氪)
Роботы-компаньоны с ИИ охлаждают рынок: Роботы-компаньоны с ИИ привлекли большое внимание на CES 2025, но в настоящее время рыночная реакция слабая. Высокая стоимость, сложность масштабирования «эмоциональной ценности» и отсутствие возможностей долгосрочного обслуживания являются основными препятствиями. В будущем роботам-компаньонам необходимо перейти от пассивного реагирования к активному восприятию эмоций пользователя и предоставлению более персонализированных услуг сопровождения. (Источник: 36氪)
Уязвимости в моделях логического вывода LLM: Исследование показало, что простой двоеточие или другой символ может обмануть модели логического вывода LLM, заставив их выдать ложноположительный результат. Это выявляет уязвимость в основном механизме оценки моделей LLM, а именно, их подверженность манипуляциям поверхностным содержанием. Исследователи предложили улучшенную модель под названием Master-RM, которая может эффективно снизить количество ложноположительных результатов, сохраняя при этом высокую согласованность оценки с GPT-4o. (Источник: 量子位)
Обучение LLM малыми партиями показывает отличные результаты: Исследования показывают, что обучение LLM с использованием малых партий, даже размером 1, и корректировка настроек оптимизатора Adam может привести к лучшей производительности по сравнению с большими партиями. Малые партии более терпимы к выбору гиперпараметров, и в условиях ограниченной памяти могут служить заменой LoRA в сочетании с эффективными по памяти оптимизаторами, такими как Adafactor. (Источник: TheTuringPost)
🧰 Инструменты
amazon-q-developer-cli: Amazon выпустила Amazon Q CLI, инструмент, предоставляющий в терминале функции чата с агентом, позволяющий пользователям создавать приложения с помощью естественного языка. Поддерживает macOS и Linux, предоставляет обширную документацию и описание структуры проекта. (Источник: GitHub Trending)
DocsGPT: DocsGPT — это помощник RAG с открытым исходным кодом, поддерживающий различные форматы документов, который может получать надежные ответы из различных источников знаний, избегая галлюцинаций. Он обеспечивает конфиденциальный и надежный поиск информации, а также имеет встроенные функции инструментов и агентной системы. (Источник: GitHub Trending)
localGPT: localGPT позволяет пользователям общаться с документами с помощью моделей GPT на локальном устройстве, данные не покидают устройство, что гарантирует 100% конфиденциальность. Поддерживает различные модели и встраивания с открытым исходным кодом, предоставляет API и графический интерфейс. (Источник: GitHub Trending)
📚 Обучение
Новый курс Coursera: Retrieval Augmented Generation (RAG): Andrew Ng объявил о запуске нового курса по RAG на Coursera, созданного DeepLearning.AI, преподаватель Zain Hasan. Курс подробно расскажет о проектировании и развертывании систем RAG, охватывая такие аспекты, как поисковые системы, векторные базы данных, генерация и оценка, а также практические примеры из медицины, СМИ и электронной коммерции. (Источник: AndrewYNg, DeepLearningAI)
Курс CS224N в Стэнфорде: В Стэнфордском университете идет курс CS224N по глубокому обучению в области обработки естественного языка. (Источник: stanfordnlp)
8 исследовательских работ по ИИ, которые обязательно нужно прочитать в 2025 году: TuringPost рекомендует 8 исследовательских работ по ИИ, которые обязательно нужно прочитать в 2025 году, охватывающих такие темы, как масштабирование времени рассуждений, машины непрерывного мышления, масштабируемые цепочки мыслей и др. (Источник: TheTuringPost)
Nous выпустил набор данных Hermes 3: Nous Research выпустил набор данных Hermes 3, содержащий 1 миллион образцов, охватывающий неотредактированные данные SOTA, ролевые игры, субъективные/объективные задачи, широкое использование инструментов, структурированный вывод и т.д., что очень полезно для изучения, анализа и построения моделей ИИ. (Источник: Teknium1, ImazAngel, eliebakouch)
💼 Бизнес
Thinking Machines Lab привлекла 2 миллиарда долларов: Новая компания бывшего технического директора OpenAI Миры Мурати, Thinking Machines Lab, привлекла 2 миллиарда долларов в рамках раунда финансирования под руководством a16z. Цель компании — создание мультимодального искусственного интеллекта, способного адаптироваться к тому, как люди естественным образом взаимодействуют с миром. (Источник: op7418, rown, TheRundownAI)
Casstar завершила первый этап привлечения 2,617 млрд юаней: Casstar Pioneer Venture Capital Fund завершила первый этап привлечения 2,617 млрд юаней, 70% средств будут инвестированы в ранние проекты hard-tech, с акцентом на область «Искусственный интеллект +». (Источник: 36氪)
🌟 Сообщество
Обсуждение безопасности и этики ИИ: В социальных сетях продолжается активное обсуждение вопросов безопасности и этики ИИ. Люди выражают обеспокоенность по поводу потенциальных рисков моделей ИИ, конфиденциальности данных, а также того, как ответственно разрабатывать и использовать ИИ. (Источник: sleepinyourhat, zacharynado, brickroad7, Reddit r/ArtificialInteligence)
Факторы успеха крупных LLM-проектов: В отношении факторов успеха крупных LLM-проектов считается, что организационные факторы важнее, чем кадровые, например, распределение вычислительных ресурсов, благоприятная среда для исследований и разработок, а также эффективное управление большими командами. (Источник: jiayi_pirate, jeremyphoward)
Опыт использования инструментов ИИ: Пользователи делятся своим опытом использования различных инструментов ИИ, включая Claude Code, Grok, Gemini и др., а также обсуждают, как оптимизировать рабочие процессы, повысить эффективность и решить возникающие проблемы. (Источник: Reddit r/ClaudeAI, nptacek, TheZachMueller)
Обсуждение будущего развития ИИ: Люди активно обсуждают будущее развитие ИИ, включая новые архитектуры моделей, методы обучения, сценарии применения и т.д., и выражают энтузиазм и ожидания в связи с быстрым развитием технологий ИИ. (Источник: denny_zhou, teortaxesTex, lcastricato)
Опасения по поводу этики ИИ: Люди выражают обеспокоенность по поводу этических проблем ИИ, таких как дезинформация, генерируемая ИИ, предвзятость моделей ИИ, а также влияние технологий ИИ на общество и человечество. (Источник: zacharynado, Reddit r/ArtificialInteligence)
💡 Другое
Система искусственного вкуса: Ученые разработали систему искусственного вкуса на основе графена, способную воспринимать кислое, сладкое, горькое, соленое и другие вкусы с точностью до 90%, и даже различать колу и кофе. (Источник: 量子位)
Meta массово нанимает специалистов по ИИ: Meta активно нанимает специалистов по ИИ и планирует инвестировать сотни миллиардов долларов в создание кластера GW для поддержки обучения и исследований моделей ИИ. (Источник: 量子位)
Применение ИИ в игровой индустрии: Технологии ИИ меняют будущее игровой индустрии, 79% разработчиков используют ИИ и внедряют инновации на всех этапах создания игр. (Источник: 量子位)