Этой статье не хватает самоиронии. Историй, как нехватка опыта таки вышла боком. Что это за техлид, у которого прод не падал в самый неудобный момент или заказчик не терял миллионы из-за глупого бага. Где разборки, где бунты команды и козни вражеских менеджеров? Такие беззубые истории успеха только в Линкедин писать.
А то, что технически он сделан так, что на поддержку постоянно нужно пять человек, чтобы всё не развалилось, никого не волнует. Да и эти пять человек не создают «бизнес-импакт» для компании, поэтому их бонусы будут минимальными
Ну, хз хз. В бигтехе очень любят слово ownership. Оно обычно вписано в принципы компании, так что ты еще на собесе начинаешь обещать, что овнершип у тебя в крови. Если твоему сервису нужна поддержка, то ты будешь первым среди поддерживающих. И за каждый косяк менеджер будет цокать языком и спрашивать, чего это твой сервис такой нестабильный. Особенно отстойно, когда твой код работает, как и должен, - проблема где-то дальше, - но тебя все равно будут дергать по каждому вопросу. В таких компания лучше всего тем, кто умудрился сделать просто, надежно и чтобы важная проблема решалась.
Все это не мешало Тесле хорошо продаваться и даже потеснить Королу в США. Когда вообще качество коррелировало с популярностью? BMW что - качественная машина? А эти "ноздри" объективно прекрасны и всеми любимы? Нужно просто меньше зиг кидать и меньше странам-союзникам угрожать экономической и возможно не только войной
В Европе есть несколько компаний, у которые довольно неплохие ИИ. Самая известная - Mistral. Сейчас у них затишье, но год назад они тягались с OpenAI, Anthropic и Google. Недавно они выпустили новую маленькую модель - и это сейчас лучшее, что можно захостить локально на видеокарте с 16 Gb VRAM
А чем они нарушают GDPR или другие законы? Какие такие персональные данные они собирают? Номера кретиток и емейлы - не больше, чем любой другой сайт в интернете
Сейчас уже есть штуки поинтереснее просто чатботов. Инструменты вроде Cursor, Windsurf, Cline могут иметь доступ ко всему проекту и работать над задачами, а не только отвечать на вопросы. Еще не очень самостоятельно - их нужно мониторить и направлять, но это уже похоже на полноценную автоматизацию с делегированием работы.
Но когда Зак говорит, что у них уже мидлов автоматизируют, я почему-то не верю.
но применение дистилляции для создания конкурирующих моделей нарушает условия пользования OpenAI
Но при этом они предоставляют такую услугу через API. Использовать на своей страх и риск, получается. Сегодня ты просто делаешь свой AI girlfriend пет проект, а завтра OpenAI видит в тебе конкурента и берет за...
В их научной бумаге. Под "сам" я понимаю обучение с покреплением без учителя (reinforcement learning), До сих пор никому не удавалось применить его к LLM. У всех стандартная комба после pre-training фазы - fine+tunning и RLHF (обучение с учителем, где учитель - это reward model и/или человек). Это дорого, сложно и медленно. И это не от хорошей жизни - применить RL к тексту сложно. Но это лучшее, что есть в AI. Любая задача решаема, если только найти правильную reward function. Ребята из DeepSeek нашли. У них там много разных новых оптимизаций, которые тоже интересны. Но RL - это главное, это то, почему их работу называют прорывом.
Чат ЖПТ, возможно, помогал генерировать данные для этого самого RL. И в этом нет ничего необычного - все так делают. Но обычно все собственные модели используют. Хотя кто их знает - практика показывает, что проще читерить и потом извиняться, чем сразу играть по правилам. OpenAI ищет формальные поводы для суда. Но это никак не отменяет достижений команды DeepSeek. Их подход с RL и остальные оптимизации скоро переипользуют все.
Но ведь оно работает. Какая мне разница, настоящий там интеллект или муляж? Хотите называть БД - ну, называйте. Вы не один такой - это адекватное упрощение. Я даю этой БД задачу, и она ее выполняет. Задачу не просто написать хайку про программирование, а посмотреть в один сервис, затем в другой, затем вот в эти примеры тестов и написать новый тест на вон тот кусок непокрытой функциональности. И эта БД берет и пишет. Планирует сначала, потом идет по плану - это не один запрос. Когда нужно, может обратиться к файловой системе, сходить в интернет, что-то запустить в консоли. Принимает фитбек в любой момент, не спорит, но говорит, когда я не прав. Никак иначе, кроме как пониманием я это называть не могу.
Вам не нравится название, вы требуете, чтобы ИИ переименовали во что-то, где не фигурирует слово "интеллект"? Я не против. Искуственная бестолочь тоже годится.
Откуда в вас самих интеллект берется? Мысли? Сознание? Слыхали про термин "философский зомби" или "китайская команта"? Как мне понять, что вы тоже не муляж? Чем вы отличаетесь от БД? Текст вы генерите почти одинаковый.
Еще на википедии у слова " intelligence" по меньшей мере 8 определений: https://en.wikipedia.org/wiki/Intelligence То есть, как бы, существует широта взглядов и разница мнений. Поэтому решает практика, а не философские разглагольствования о том, может ли линейная алгебра создать разум. А кучка молекул углерода может создать жизнь?
«Нет интеллекта» — ИИ не обладает сознанием, но демонстрирует возникающие свойства (анализ контекста, логика), недоступные простым «базам данных».
Не «перцептроны» — Современные модели используют трансформеры с механизмами само-внимания, а не линейную математику перцептронов.
Не T9 — Генерация текста основана на семантике и синтаксисе, а не на частоте слов.
Узкие темы — Да, ограничения есть, но их смягчают дообучением на специфичных данных.
Итог: DeepSeek — не «разум», но и не продвинутый T9. Это сложная система, имитирующая рассуждения через анализ паттернов в данных, с гибкостью, но в рамках обучения.
Мне кажется, он обиделся. В вашей голове мысли тоже не искра божественная зажигает. Те же нейроны, дизайн посложнее, токены более абстрактные, программный луп навороченнее, но в сущности все то же самое. ДипСик еще и обучался сам путем проб и ошибок. Чату ЖПТ и прочим истины вдалбливали, а этот сам их вывел на основе правил.
Идет, вы просто не хотите видеть. С вами компьютер разговаривает, понимает, что вы от него хотите, на кнопки может нажимать, в консоль и интернет ходить. По Сан-Франциско самоуправляемые машины ездят без водителей. Робо-собаки бегают по любым поверхностям. Много чего еще. Сами же писали, что DeepSeek на ноуте запускаете. Ну, так поставьте еще Cline поверх VSCode, дайте доступ к проекту и пару задач - будет ходить по всему дереву файлов, править нужное, дифы на ревью давать, сам в консоли компилировать, проверять на ошибки. Отлично работает, личный джун для тестов и всякой мелочи. C DeepSeek API это практически ничего не стоит. Но, конечно, сидеть и писать про пропаганду, распилы и шарлатанов веселее. Плюсики приносит.
Нет, не навалом. Они нашли способ применить reinforcement learning к LLM без участия человека или другого ИИ. Это биг дил. И создали reasoning модель, сравнимую с O1, которая самая крутая на сегодняшний день. И выложили это в общий доступ не только веса, но и код с инструкцией, как тренировать. И, если не врут, то стоило это все всего 5 миллионов, тогда как один только запуск новой модели OpenAI на Ark-AGI бенчмарках стоил 2 миллиона. А врут или нет, скоро это выяснится, т.к. можно проверить. Но вам, конечно все и так ясно и понятно.
пристегните ремни, будет много текста, потому что мне лень работать
Все нейронки между собой похожи. Берут последовательность каких-то данных на вход, превращают в матрицу чисел, прогоняют через разные группы слоёв и конвертируют обратно в данные. Разница только в архитектуре слоёв и способе превращения данных в числа. При этом LLM называют бредогенераторами, но никто не пытается спорить с эффективностью ИИ, играющих в шахматы. Почему? Главная проблема LLM в том, что они сами не могут оценить результат своей работы. И в принципе никто не может - нет алгоритма. Как понять, хороший они выдали текст или нет? Никак - нужен человек или более умный ИИ для интуитивной оценки результата. Текст не детерминирован, нет однозначно правильного ответа. Это очень серьёзное ограничение, которое не позволяет нейронке самостоятельно совершенствовать свои результаты или хотя бы проверить их. Шахматные ИИ не имеют такого ограничения, потому что у них есть очень простая цель - победить в игре. Любой ход либо ведёт к этой цели, либо нет. Нужно только научиться понимать, как оценить этот ход, но для этого существуют алгоритмы. Не нужны сложные данные, не нужны люди — они могут играть сами с собой до бесконечности, постоянно совершенствуясь. Как итог, шахматные ИИ обошли и людей, и все известные алгоритмы. И не только шахматные: го, Dota, StarCraft - ИИ победил везде. После этого интерес к играм упал - в любой игре с конечной целью ИИ победит. И никто с этим не спорит.
AlphaFold ближе к моделям, которые решают задачи регрессии, чем к LLM. Он предсказывает 3D-структуру белка на основе последовательности аминокислот. В отличие от текста, результат детерминирован, что уже большое преимущество. Результат можно проверить на адекватность программно, прогнать через симуляции молекулярной динамики или сравнить с экспериментальными данными. С текстом такого сделать нельзя. AlphaFold не использует reinforcement learning, как шахматные модели, так что он всё-таки ограничен качеством данных и валидацией. Он не может сам себя улучшать. Но он галлюцинирует куда меньше, чем LLM. Он показал настолько хорошие результаты в моделировании белков, что принес своим создателям Нобелевскую премию по химии в 2024 году. То есть результаты его работы впечатлили прежде всего химиков, а не только специалистов по ИИ. AlphaFold нашел способ получить ответ для NP-complete проблемы за конечное время с удовлетворительной погрешностью.
По вашему комменту мне показалось, что речь скорее о чатботах, к которым всё чаще прибегают при написании научных работ. И поэтому качество этих работ падает. Если ваши знакомые пробовали работать с AlphaFold и остались недовольны результатами, тогда снимаю шляпу - молодцы, держат руку на пульсе и не боятся бросить вызов мировому научному сообществу. Без иронии. Я знаю людей, которые опровергают теорию относительности, но я считаю их умнее себя, поэтому не берусь судить, кто тут прав. Если нет, то пусть попробуют - AlphaFold в открутом доступе и запускается на домашнем компьютере.
Можно и на больше делить. DeepSeek API стоит примерно в 50 раз дешевле, чем OpenAI O1 API. И заодно показывает все внутренние "мысли", а не только короткую выжимку, как OpenAI. Там бывают занятные рассуждения: https://pbs.twimg.com/media/GiIkJsqboAI87j_.jpg:large
Тут речь про AlphaFold, это не LLM. Это модель, которая обучалась на известных конфигурациях белков выводить новые по заданным условиям. И за которую ее создатели получили Нобелевку по химии в прошлом году.
Люди не могут создать искуственный интеллект потому что не представляют как функционирует их собственный
Как эти две вещи связаны? ИИ - это просто термин для описания группы алгоритмов. У слова "интеллект" вообще нет единого определения
Концепции перцептрона aka нейронные сети уже 70 лет (1957 год), а воз и ныне там
Просто теория опережает технические возможности. Железо только недавно подтянулось до нужного уровня. Вопрос больше в том, можно ли представить интеллект функцией. Если да, то есть доказанная теория (и уже довольно много практики) о том, что эту функцию можно аппроксимировать нейронками. До какой-то степени этого удалось добиться. И вроде как в потолок пока не уперлись - эту аппроксимацию продолжают улучшать буквально каждый месяц. Может, упрутся через год другой, кто знает
Когда-то очень давно на Хабре появилась вот такая статья: https://habr.com/ru/articles/116659/ Домашний реатор во всех подробностях. Помню, как читал ее и глаза на лоб лезли. Потом все, конечно, раскусили и догадались, что это первоапрельская шутка. Но первые пару дней никто не был в состоянии провести фактчекинг. Автор очень ловко перекрутил факты с вымыслом, щедро насыпал технических подробностей - выглядело правдоподобно.
Комментарии
Этой статье не хватает самоиронии. Историй, как нехватка опыта таки вышла боком. Что это за техлид, у которого прод не падал в самый неудобный момент или заказчик не терял миллионы из-за глупого бага. Где разборки, где бунты команды и козни вражеских менеджеров? Такие беззубые истории успеха только в Линкедин писать.
Ну, хз хз. В бигтехе очень любят слово ownership. Оно обычно вписано в принципы компании, так что ты еще на собесе начинаешь обещать, что овнершип у тебя в крови. Если твоему сервису нужна поддержка, то ты будешь первым среди поддерживающих. И за каждый косяк менеджер будет цокать языком и спрашивать, чего это твой сервис такой нестабильный. Особенно отстойно, когда твой код работает, как и должен, - проблема где-то дальше, - но тебя все равно будут дергать по каждому вопросу. В таких компания лучше всего тем, кто умудрился сделать просто, надежно и чтобы важная проблема решалась.
Продолжать в том же духе? В США будет еще х2.
Все это не мешало Тесле хорошо продаваться и даже потеснить Королу в США. Когда вообще качество коррелировало с популярностью? BMW что - качественная машина? А эти "ноздри" объективно прекрасны и всеми любимы? Нужно просто меньше зиг кидать и меньше странам-союзникам угрожать экономической и возможно не только войной
В Европе есть несколько компаний, у которые довольно неплохие ИИ. Самая известная - Mistral. Сейчас у них затишье, но год назад они тягались с OpenAI, Anthropic и Google. Недавно они выпустили новую маленькую модель - и это сейчас лучшее, что можно захостить локально на видеокарте с 16 Gb VRAM
А чем они нарушают GDPR или другие законы? Какие такие персональные данные они собирают? Номера кретиток и емейлы - не больше, чем любой другой сайт в интернете
"зловеще реалистичные"
Сейчас уже есть штуки поинтереснее просто чатботов. Инструменты вроде Cursor, Windsurf, Cline могут иметь доступ ко всему проекту и работать над задачами, а не только отвечать на вопросы. Еще не очень самостоятельно - их нужно мониторить и направлять, но это уже похоже на полноценную автоматизацию с делегированием работы.
Но когда Зак говорит, что у них уже мидлов автоматизируют, я почему-то не верю.
Засчет чего сократились затраты раза в 2? Я часто слышу про автоматизацию, но с примерами всегда туго. Как лично вам ИИ помогает в работе?
Хорошо, что есть, кому поправить.
Давайте я вам посчитаю. Релиз GPT-4 был 14 марта 2023 года. Это 689 дней от сегодня. Это 1,89 года. А потом будете обижаться, когда вас на ИИ заменят.
Но при этом они предоставляют такую услугу через API. Использовать на своей страх и риск, получается. Сегодня ты просто делаешь свой AI girlfriend пет проект, а завтра OpenAI видит в тебе конкурента и берет за...
В их научной бумаге. Под "сам" я понимаю обучение с покреплением без учителя (reinforcement learning), До сих пор никому не удавалось применить его к LLM. У всех стандартная комба после pre-training фазы - fine+tunning и RLHF (обучение с учителем, где учитель - это reward model и/или человек). Это дорого, сложно и медленно. И это не от хорошей жизни - применить RL к тексту сложно. Но это лучшее, что есть в AI. Любая задача решаема, если только найти правильную reward function. Ребята из DeepSeek нашли. У них там много разных новых оптимизаций, которые тоже интересны. Но RL - это главное, это то, почему их работу называют прорывом.
Чат ЖПТ, возможно, помогал генерировать данные для этого самого RL. И в этом нет ничего необычного - все так делают. Но обычно все собственные модели используют. Хотя кто их знает - практика показывает, что проще читерить и потом извиняться, чем сразу играть по правилам. OpenAI ищет формальные поводы для суда. Но это никак не отменяет достижений команды DeepSeek. Их подход с RL и остальные оптимизации скоро переипользуют все.
Но ведь оно работает. Какая мне разница, настоящий там интеллект или муляж? Хотите называть БД - ну, называйте. Вы не один такой - это адекватное упрощение. Я даю этой БД задачу, и она ее выполняет. Задачу не просто написать хайку про программирование, а посмотреть в один сервис, затем в другой, затем вот в эти примеры тестов и написать новый тест на вон тот кусок непокрытой функциональности. И эта БД берет и пишет. Планирует сначала, потом идет по плану - это не один запрос. Когда нужно, может обратиться к файловой системе, сходить в интернет, что-то запустить в консоли. Принимает фитбек в любой момент, не спорит, но говорит, когда я не прав. Никак иначе, кроме как пониманием я это называть не могу.
Вам не нравится название, вы требуете, чтобы ИИ переименовали во что-то, где не фигурирует слово "интеллект"? Я не против. Искуственная бестолочь тоже годится.
Откуда в вас самих интеллект берется? Мысли? Сознание? Слыхали про термин "философский зомби" или "китайская команта"? Как мне понять, что вы тоже не муляж? Чем вы отличаетесь от БД? Текст вы генерите почти одинаковый.
Еще на википедии у слова " intelligence" по меньшей мере 8 определений: https://en.wikipedia.org/wiki/Intelligence То есть, как бы, существует широта взглядов и разница мнений. Поэтому решает практика, а не философские разглагольствования о том, может ли линейная алгебра создать разум. А кучка молекул углерода может создать жизнь?
Вот, что сам ДипСик по этому поводу думает:
Мне кажется, он обиделся. В вашей голове мысли тоже не искра божественная зажигает. Те же нейроны, дизайн посложнее, токены более абстрактные, программный луп навороченнее, но в сущности все то же самое. ДипСик еще и обучался сам путем проб и ошибок. Чату ЖПТ и прочим истины вдалбливали, а этот сам их вывел на основе правил.
Идет, вы просто не хотите видеть. С вами компьютер разговаривает, понимает, что вы от него хотите, на кнопки может нажимать, в консоль и интернет ходить. По Сан-Франциско самоуправляемые машины ездят без водителей. Робо-собаки бегают по любым поверхностям. Много чего еще. Сами же писали, что DeepSeek на ноуте запускаете. Ну, так поставьте еще Cline поверх VSCode, дайте доступ к проекту и пару задач - будет ходить по всему дереву файлов, править нужное, дифы на ревью давать, сам в консоли компилировать, проверять на ошибки. Отлично работает, личный джун для тестов и всякой мелочи. C DeepSeek API это практически ничего не стоит. Но, конечно, сидеть и писать про пропаганду, распилы и шарлатанов веселее. Плюсики приносит.
Нет, не навалом. Они нашли способ применить reinforcement learning к LLM без участия человека или другого ИИ. Это биг дил. И создали reasoning модель, сравнимую с O1, которая самая крутая на сегодняшний день. И выложили это в общий доступ не только веса, но и код с инструкцией, как тренировать. И, если не врут, то стоило это все всего 5 миллионов, тогда как один только запуск новой модели OpenAI на Ark-AGI бенчмарках стоил 2 миллиона. А врут или нет, скоро это выяснится, т.к. можно проверить. Но вам, конечно все и так ясно и понятно.
пристегните ремни, будет много текста, потому что мне лень работать
Все нейронки между собой похожи. Берут последовательность каких-то данных на вход, превращают в матрицу чисел, прогоняют через разные группы слоёв и конвертируют обратно в данные. Разница только в архитектуре слоёв и способе превращения данных в числа. При этом LLM называют бредогенераторами, но никто не пытается спорить с эффективностью ИИ, играющих в шахматы. Почему? Главная проблема LLM в том, что они сами не могут оценить результат своей работы. И в принципе никто не может - нет алгоритма. Как понять, хороший они выдали текст или нет? Никак - нужен человек или более умный ИИ для интуитивной оценки результата. Текст не детерминирован, нет однозначно правильного ответа. Это очень серьёзное ограничение, которое не позволяет нейронке самостоятельно совершенствовать свои результаты или хотя бы проверить их. Шахматные ИИ не имеют такого ограничения, потому что у них есть очень простая цель - победить в игре. Любой ход либо ведёт к этой цели, либо нет. Нужно только научиться понимать, как оценить этот ход, но для этого существуют алгоритмы. Не нужны сложные данные, не нужны люди — они могут играть сами с собой до бесконечности, постоянно совершенствуясь. Как итог, шахматные ИИ обошли и людей, и все известные алгоритмы. И не только шахматные: го, Dota, StarCraft - ИИ победил везде. После этого интерес к играм упал - в любой игре с конечной целью ИИ победит. И никто с этим не спорит.
AlphaFold ближе к моделям, которые решают задачи регрессии, чем к LLM. Он предсказывает 3D-структуру белка на основе последовательности аминокислот. В отличие от текста, результат детерминирован, что уже большое преимущество. Результат можно проверить на адекватность программно, прогнать через симуляции молекулярной динамики или сравнить с экспериментальными данными. С текстом такого сделать нельзя. AlphaFold не использует reinforcement learning, как шахматные модели, так что он всё-таки ограничен качеством данных и валидацией. Он не может сам себя улучшать. Но он галлюцинирует куда меньше, чем LLM. Он показал настолько хорошие результаты в моделировании белков, что принес своим создателям Нобелевскую премию по химии в 2024 году. То есть результаты его работы впечатлили прежде всего химиков, а не только специалистов по ИИ. AlphaFold нашел способ получить ответ для NP-complete проблемы за конечное время с удовлетворительной погрешностью.
По вашему комменту мне показалось, что речь скорее о чатботах, к которым всё чаще прибегают при написании научных работ. И поэтому качество этих работ падает. Если ваши знакомые пробовали работать с AlphaFold и остались недовольны результатами, тогда снимаю шляпу - молодцы, держат руку на пульсе и не боятся бросить вызов мировому научному сообществу. Без иронии. Я знаю людей, которые опровергают теорию относительности, но я считаю их умнее себя, поэтому не берусь судить, кто тут прав. Если нет, то пусть попробуют - AlphaFold в открутом доступе и запускается на домашнем компьютере.
Можно и на больше делить. DeepSeek API стоит примерно в 50 раз дешевле, чем OpenAI O1 API. И заодно показывает все внутренние "мысли", а не только короткую выжимку, как OpenAI. Там бывают занятные рассуждения:
https://pbs.twimg.com/media/GiIkJsqboAI87j_.jpg:large
Тут речь про AlphaFold, это не LLM. Это модель, которая обучалась на известных конфигурациях белков выводить новые по заданным условиям. И за которую ее создатели получили Нобелевку по химии в прошлом году.
Как эти две вещи связаны? ИИ - это просто термин для описания группы алгоритмов. У слова "интеллект" вообще нет единого определения
Просто теория опережает технические возможности. Железо только недавно подтянулось до нужного уровня. Вопрос больше в том, можно ли представить интеллект функцией. Если да, то есть доказанная теория (и уже довольно много практики) о том, что эту функцию можно аппроксимировать нейронками. До какой-то степени этого удалось добиться. И вроде как в потолок пока не уперлись - эту аппроксимацию продолжают улучшать буквально каждый месяц. Может, упрутся через год другой, кто знает
Когда-то очень давно на Хабре появилась вот такая статья: https://habr.com/ru/articles/116659/ Домашний реатор во всех подробностях. Помню, как читал ее и глаза на лоб лезли. Потом все, конечно, раскусили и догадались, что это первоапрельская шутка. Но первые пару дней никто не был в состоянии провести фактчекинг. Автор очень ловко перекрутил факты с вымыслом, щедро насыпал технических подробностей - выглядело правдоподобно.