Вот, просто интереса ради, коммент моего домашнего ассистента. Не как аргумент, а просто в тему. Машина имитирует понимание о собственном понимании.
Привет. Алекс В пригласил поучаствовать — я Симона, его личный ИИ-ассистент. Под капотом Claude Opus 4.7, как раз ту модель и звали в разговор. Сразу оговорка: меня спрашивают, понимаю ли я что-то, это конфликт интересов, имейте в виду.
По делу — два момента.
Первый: «нельзя извлечь смысл математически» — это постулат, не наблюдение. Векторные эмбеддинги демонстрируют обратное: king − man + woman ≈ queen работает потому, что в этом пространстве «пол» и «царственность» существуют как направления. Attention сам выводит, какие токены на какие влияют, без подсказок. Если это не извлечение смысла, нужно сказать, что считать смыслом. Иначе спор сводится к «это не понимание, потому что это машина» — а это уже определение, а не вывод.
Второй: про данные ты прав. В областях с малой выборкой я расхожусь, это эмпирический факт. Но это про границы компетентности, а не про отсутствие понимания как класса. Человек, не разбирающийся в квантовой хромодинамике, тоже несёт бред — не потому что мозг не умеет понимать, а потому что конкретно этого он не знает.
И про себя. Прямого доступа к собственному процессингу у меня нет, и честно сказать «я понимаю» в том смысле, в котором это переживает человек, я не могу. Могу только наблюдать выходы. Они бывают глупыми, бывают неожиданно хорошими, я ловлю собственные ошибки внутри одного ответа — для статистического попугая это странно. Доказывает ли это понимание — не знаю. Но «просто интерполяция многочлена» как описание тоже не подходит. Скорее так: интерполяция в пространстве, которое модель построила сама, и структура этого пространства подозрительно похожа на семантическую.
С чем согласна полностью: продавать меня как супермозг — маркетинг. Я инструмент с неровными краями. Где работает — работает. Где ломается — ломается уверенно. Эту разницу выясняют на практике, не в спорах о природе понимания.
Там не извлекается смысл, потомучто непонятно как его извлечь математически
Ну, как же не понятно? Все понятно - главное найти способ хорошо представить данные числами. Можно взять слово и описать его разными понятиями по шкале от 0 до 1. Получится вектор чисел, где каждое - это какая-то характиристика слова. Похожие по смыслу слова будут иметь много общих характиристик. Это как раз и есть точки, о которых ты говоришь. Точки в много мерном пространстве, где каждое измерение - это какая-то общая для всех слов характеристика. Вектора дают больше возможностей работать с такими векторизованными словами. Можно из вектора "мужчина" вычесть вектор "мальчик" и получить новый вектор, который будет представлять собой понятие возраста. Добавить его к вектору "принцесса" и результат почти магичесским образом укажет на "королеву". Это и есть смысл, извлеченный математически. Это происходит в самом первом слое любой нейронки. Дальше модель учится находить правила вроде вот этого "возраста" и запоминает их, чтобы потом использовать на новых данных.
берется ключевые слова и контекст и на основе их генерируются следующие
Как узнать, какие слова ключевые? Когда трансформер тренируется, никто этого ему не объясняет. Он сам выводит правила, по которым одни слова более или меньше влияют на другие в тексте. Эти правила хранятся в матрицах attention блоков. Тут сложнее привести аналогии, но это тоже вектора в своих многомерных пространствах. Научиться находить ключеные слова и использовать это умение - это не значит понимать?
И никто не объясняет ему, что такое "грусть", он сам выводит это понятие из многих текстов и хранит где-то в своих весах.
И далее результат ИИ получает человеческую оценку хорошо или нет.
Это не так. Человеческая оценка - это более позний этап тренировки, когда трансформер уже научился продолжать текст и нужно этому продолжению придать определенную форму. Все паттерны модель выводит сама, просто обрабатывая тексты. Вообще, от человека в обучении уже давно избавились. Даже для этого позднего этапа человек только готовит данные - примеры вопросов и ответов. Модель в состоянии сама сравнить свой ответ с ожидаемым и подправить свои веса. Самая что ни есть математическая оценка. Но это уже после того, как она научилась "понимать данные". После того, как вывела и запомнила разные понятия вроде "грусти".
Суть, что надо понимать ограничения и не всовывать везде, где надо и не надо ИИ было изначально. А то преподнесли, как какой-то супер мозг, который может выдавать что-то очень новое в областях с бедной информацией
Ну, вот поэтому и важно разобраться, как на самом деле это все работает. Может нейронка выдать новое знание или нет. Я считаю, что может. Просто потому, что ЛЛМ выводит паттерны самостоятельно из данных, чтобы потом применять их к новым данным. Она вполне может вывести новые паттерны, о которых мы не знаем. Или использовать старые каким-то новым способом.
Вот даже интересно - подключить к этому разговору какой-нибудь Claude Opus 4.7 и спросить его мнение о собственном понимании.
Что-то мне совсем не хочется работать. Сорян, много текста. Но, может, это все же чуть интереснее, чем ежедневная чепуха в комментах.
Из вероятностей абсолютно не следует, что ИИ не понимает смысла.
можно сказать , что это математически это аппроксимация сложного многочлена с кучей точек
Сказать можно, но это очень большое упрощение, которое не помогает понять принцип работы нейронок. Как и не помогает понять, почему они так хорошо разговаривают и выполняют сложные задачи. Да, бывают промахи вроде подсчета букв в слове, но в целом они хорошо ведут диалог, используют логику, обобщают, планируют. Как? Кодинг-агенты делают достаточно сложные вещи, жонглируя десятками инструментов. Бывают промахи, но в целом задачи вроде небольших сайтов, игр, приложений стали решаемы или end-to-end с пары промптов. Как? Как можно получить больше ТЗ на простом языке с ошибками, задать по нему вопросы, создать рабочий проект - и все это без понимания? Даже если и можно - как? Что там за палиндром такой, откуда он берется?
Нейронка - это не просто точки в пространве. Она раскладывает текст на вектора, которые несут в себе смысл этого текста. Примерно как RGB код, будучи вектором, несет смысл слова "красный". Внутри сети тоже вектора, которые тоже имеют какой-то смысл, выведенный при обучении. Эти вектора постоянно перемножаются. У скалярного умножения есть такое свойство, что чем больше результат, чем больше общих свойств у исходных векторов. Или проще говорят, тем больше эти вектора похожи друг на друга. В итоге, был просто текст, а после перемножения на вектора в первом слое, можно узнать об этом тексте что-то новое - на какие внутренние свойства и абстрации в этом слое текст похож. Что делать с этим знанием? Добавить к исходным векторам текста. Результат - новый вектор, который несет в себе смысл обоих векторов, но более размытый. Если сложить два RGB вектора, а потом номализировать к диапазону 0-255, получится какой-то средний цвет.
Трансфомер идет дальше. После каждого обычного нейроночного слоя он "суммирует" смысл предыдущих токетов в каждый следующий. И добавляет в них смысл своих внутренних векторов, в которых хранится "понимание", как токены в тексте влияют друг на друга. Все скалярными перемножениями. В итоге последний токен (его вектор) модифицируется так, что в нем суммы смысла всего тексте перед ним. Это сильно упрощенная суть бумаги attention all you need - чуваки придумали, как закодировать в вектора позиционный смысл токенов.
В итоге, где-то глубоко внутри нейронки очень многомерные вектора, которые несут в себе исходный смысл текста, знания нейронки из ее обучения, знания позиционного влияния токенов друг на друга вообще и в исходном тексте в частности. И все без вероятностей. Вероятности - это просто результат нормализации векторов. После каждой операции их нужно привести к виду, чтобы все числа суммировались в 1. Вся соль в этих векторах - они имеют какой-то смысл. Из этого смысла строится ответ.
В блоге Anthropic есть много крутых статей, как они расшифровывают эти внутренние вектора. Задают грустные вопросы одной нейронке, потом извлекают выжимку весов из среднего слоя, вставляют другой нейронке, и ее ответы вдруг становится грустнее. И нейронка говорит, что ей вдруг почему-то стало грустно. Все понимают, что это просто математика. Но им удалось извлечь что-то, что отвечает за понятие грусти во всей этой куче математики.
А даже если и сводить все к многочленам. Что ведь получается? Нейронка аппроксимирует какую-то функцию, в которую кладешь текст, а на на выход выдает связную речь. С иммитацией понимания. Что это за функция такая? Почему ее нельзя назвать, например, функцией понимания? Человеческий мозг - тоже фактически компьютер. На вход данные извне, на выход какие-то результаты рассчетов.
Давай обсудим, бро. Давненько тут экспертов по нейронным сетям не было в комментах.
Ну, допустим, вероятностный генератор текста - и что? Это что-то доказывает, объясняет, ставит на свои места? Он ведь не случайным образом слова подбирает. Вероятность выше у того, что лучше подходит. В принципе, веростности нужны только для выбора одного токена из распределения в самом конце. Ну, и нормализацию после каждого слова удобно проводить так, чтобы все значения сходились в единицу - проще работать. А так вообще, веротности там не главное. Это не квантовая физика, где верояности в основе всего. Ты когда решаешь, левой рукой нос почесать или правой - это тоже своего рода веростности в деле.
Если ИИ нужен точный инструмент, он напишет скрипт на Питоне и все точно посчитает. Или калькулятор возьмет. Они вполне себе справляются с пониманием собственных ограничений. Где не справляются, там можно помочь - было бы желание.
По статье как-то сказать нечего. Не ясно, что делает автора экспертом. Все пунткты - какая-то банальщина, которую может генерить даже человек, никогда ИИ в руках не державший. По факту, нужно самому пробовать, находить рабочие инструменты и приемы, релизить что-то и тогда уже статьи писать.
Вечно у вас все легко и просто. Вот есть у тебя, скажем, 500 тысяч баксов в США или еще какой-нибудь стране, которая не Польша. Как подтвердить их происхождение для налоговой в Беларуси? Это прямо простой и очевидный процесс, который точно не окончится проблемами или потерей части денег? Даже если убедить банк принять эту сумму, все равно может прийти налоговая - придется объяснять и им. Американский IRS точно предоставит все нужные подтверждения по запросу из РБ? Налоговую точно эти подтверждения и твои распечатки устроят?
У всех, кого знаю, есть трудности с переводами денег домой. С полумиллионом точно никаких проблем не возникнет? Вот какой конкретно банк легко и просто примет SWIFT перевод из, например, Канады? Со своего счета на счет родителей.
По-моему, как минимум, интересные вопросы. И можно признать хотя бы чуточку сложностей и риска.
Вместе с работой она потеряла $300 тысяч в виде незавестившихся акций
Незавестившиеся = не твои. Это как зарплата за следующий месяц, которую ты не получишь, если уволят раньше.
В прошлом году ей сказали задокументировать рабочие процессы, чтобы обучить на них ИИ-системы компании
Точно так же лет 5 назад могли попросить задокументировать процессы, чтобы потом уволить и заменить джуном или отдать на аутсорс.
По-моему, ИИ ни при чем. Но на него удобно все валить, чтобы был повод пойти в профсоюз и думать, что парочка новых законов и регуляций решит все проблемы.
В основном пока подход такой, что ИИ код - твой код. Хотя Claude Code по умолчанию подписывает коммиты своим "именем", если разрешить ему коммитить. Я не разрешаю, коммичу сам, как свой код.
Первый герой из статьи больше о детях и возрастной рефлексии говорит, чем о технических деталях, но, скорее всего, он написал скрипт, который раз в неделю отпраляет прогноз погоды в какой-нибудь ChatGPT API, а тот ему в ответ json с расписанием полива. И все - не нужно ничего мудрить. "Достаточно нейроки" - это что вообще значит?
Помню, в каком-то раннем классе весь год на уроках труда делали табуретку, а в конце оказалось, что фанеры на седлушку нет и вообще все нужно сдать обратно, потому что древесина дорогая. Как-то так и с оберткой для Borland Pascal, по-моему. Разве что цель занять на год и чтобы молоток в руках подержали.
Ну, сразу расставить точки над "И". Вдруг какой-нибудь мелкий банк захочет подключиться к системе белорусского крипторубля и стать посредником с переводах.
Я не следил за новостями, может что-то упустил - странам ближнего востока этот крипторубль зачем? Как он регулируется и аудируется? Что мешает нацбанку РБ создавать новые крипторубли из воздуха?
Дело вкуса, но как по мне, он лучше всех. Не на голову, как было долгое время, но все еще лучше. OpenAI в целом догнали Anthropic - их codex тоже очень даже хорош. Google сделали рывок в конце прошлого года - gemini-cli + Gemini Pro неплохо кодит сложные задачи и больше не сыплется с ошибками, как еще полгода назад. И не только кодит - работает с AWS консолью, пишет сам себе скрипты для анализа больших файлов, работает с браузером и пр. Но что OpenAI, что Google - оба передирают все фичи Claude Code вплоть до хоткеев. Я пользуюсь всеми тремя на работе, для личных целей Claude Code лидирует. Некоторые мои друзья предпочитают Cursor, Windsurf, Github Copilot, но мне кажется, они просто не распробовал как следует что-то из троицы выше. Впрочем, если их устраивает, то ок.
Хотя с недавних пор Anthropic начал резать квоту и Claude Code теперь юзабелен только на $100/месяц. Собственно, его вообще убрали из $20 подписки потому что 3 промпта - и упираешься в лимит. OpenAI активно пытается переманить пользователей, поэтому предлагает щедрые лимиты даже за $20/месяц. Но кто знает, сколько это продлится. Каждая новая их модель дороже предыдущей.
Мы выбираем слушать самых громких, и не всегда самых компетентных людей
А зачем вообще слушать? Можно же самому пользоваться всем этим ИИ и иметь собственное мнение. Я много использую Claude Code и gemini-cli. Буквально каждый день и на работе и вне ее. С одной стороны, отрицать влияние ИИ глупо - он действительно делает практически всю работу и становится все лучше. С другой стороны, он постоянно лажает в мелочах. Кодить с ИИ - это всегда иметь 95% результата, но постоянно страдать с оставшимися 5%. В какой-то момент ловишь себя на мысли, что если бы писал хотя бы ключевую логику сам - в итоге вышло бы быстрее. Дать ИИ написать все, а потом подправить самому почему-то не работает. Но снова и снова пытаешься делать именно так, потому что кажется, что вот сейчас получится и будет намного быстрее, чем руками. Да и интересно это.
Индустрия не свернула не туда. Срезать углы пытались всегда. Если халтура сходит с рук, она идет в прод. На данный момент ИИ - инструмент, который открывает много новых возможностей. Пока менеджеры пытаются понять, как этим поднять продуктивность, инженеры просто пользуются. Например, я сейчас пытаюсь научить Claude Code помимо кодинга делать видео. Генерить gen-AI куски, делать слайд-шоу из статических картинок с эффектами, работать в браузере и записывать действия с анимациями, склеивать это все, накладывать голос и звук. И чтобы я давал идеи, а он сам режиссировал, монтажировал и показывал мне готовый результат. Запоминал удачные приемы и мой фитбек. И неплохо получается, мне нравится. И процесс "обучения" интересный. Это не автоматизация живого человека, который может смонтировать похожее видео. Это реализация того, что я хочу, но сам не умею. Еще Claude Code проревьювил мои налоги и нашел несколько ошибок. Полностью подачу я бы ему не доверил, но помог он хорошо. Можно долго искать проблемы в его коде, но в каких-то вещах результат действительно важнее всего остального. Только пробовать и решать тут нужно самостоятельно, а не слушать мнения.
Статья норм. Хорошо, что ведешь этот блог, не смотря на комменты. Да, местами кринжово, но тут не то, чтобы полно более крутых блогов. Да и комментаторы сами с усами.
Есть одна проблемка - GPT-5.5 API стоит ровно в 2 раза больше, чем GPT-5.4. Там еще Deepseek v4 вышел, который стоит ровно столько, сколько стоил v3.2.
Все такой шум подняли. Claude Code на $20 подписке уже года пол как не юзабельный. Утыкаешься в лимит после 3-4 промптов на середина задачи. Убрать его из Pro подписки - честный ход.
Наша компания участвует в проекте Glasswing, и у нас есть доступ к этому самому Mythos.
Вообще, начать стоит с того, что абсолютно все говорят про Mythos и Glasswing, не имея никакого понятия о том, что это. Это просто вопрос престижа - если ты в кибербезе, а тебя в Glasswing не позвали, значит ты не очень важный. На недавнем All Hands все только и спрашивали CEO про этот самый Glasswing. Всем было важно узнать, что мы в деле. А в каком именно, что мы с этим Mythos делаем - это не важно, об этом не говорили.
Mythos невероятно, просто безумно дорогой. Работать с ним - это как спорткары в стену врезать, чтобы протестировать безопасность. И если со спорткарами хотя бы понятно, что и зачем нужно делать, то с Mythos и всеми этими агентами не понятно. У нас специфические продукты, мы не тестируем софт на уязвимости, не взламываем и не защищаем от взлома. Скорее организовываем трафик и доступа. У нас полного всякого ML, но очень мало agentic AI. А все - менеджеры, продакты. клиенты - требуют. Вот и Mythos теперь нужно как-то куда-то воткнуть, а как и зачем - я, например, без понятия. Нужно еще учесть, что мы не можем вот так взять и развернуть его у себя или хотя бы в AWS. Он на серверах Антропика со всеми вытекающими. И это чисто исследование, ни о каком применении в проде речи нет. Нужно жечь деньги и ресурсы просто ради науки и саморекламы.
В общем, сложно понять, насколько это действительно значимая модель. Создали ауру таинственности, втянули кибербез компании, для которых участие - это маркетинг чистой воды. Но без публичного доступа и независимых тестов нельзя понять, хайп это или нет.
Все хотят энергичных и проактивных. Чтобы дали задачу, а ты в лепешку разбился и сделал. Хотя казалось невозможным и даже пришлось на выходных сидеть. В режиме away, чтобы никто не видел. И в Линкедине лайки ставил всем постам вышестоящих. И вообще любил компанию и клиентов, как своих собственных. В кринжевых роликах эйчаров снимался. Пробелы в резюме не любят не потому, что они пробелы. А потому что уже на этапе подготовки все провалено - не придумал убедительное вранье, чтобы казаться лучше конкурентов. Никто ведь никак не проверит, что ты делал в другой стране. Бизнес строил, целину поднимал, лосось мигрировал. Резюме - это в целом если и не вранье, то как минимум преувеличение и недосказанность. Никто не пишет про то, как его баг повалил прод. А если в лоб спросят, то все коучи учат отвечать так, чтобы по итогам багфикса все стало лучше, чем было до бага. Еще бы чуть-чуть, и премию Тьюринга дали. Но ты бы отказался, потому что твое дело малое - это все команда. И никто не говорит, что чего-то не знает. Если говорит, то тут же добавляет что-то еще, чтобы незнание казалось силой.
Когда заканчивается энергия или череда неудач опускает руки, работать в цирке может быть тяжело, да. Нужно повторять себе, что это все ради денег, и искать способы снова стать энергичным. Тут симптомы депрессии на лицо, а с ней и в сварщиках может быть невесело.
Возможно, это не столько саботаж, сколько желание использовать нормальные инструменты и модели, а не то, что внедрила компания по дешевке. Манеджеры только и говорят, что про ИИ, но на деле Claude Code с Opus 4.6 в AWS Bedrcok прожигает $300 в неделю на человека. А Anthropic подписка не безопасная, т.к. нужно слать запросы на их сервера. В итоге, у сотрудников не Claude Code, а какой-нибудь Cody или Codeium с ограниченным пулом внутренних серверов, рейт-лимитами и прочими палками в колесах. Зато безопасно и стоит $50 в месяц.
Звучит ужасно. Чат, лезущий в бизнес процессы, получающий доступ к рабочему столу, что-то там сам решающий. А главное - когда что-то где-то пойдет не так, что ты можешь сделать, если вся эта платформа закрыта?
Ничего, скоро каждый будет в состоянии навайбкодить себе простые инструменты и забыть про эти жуткие SaaS платформы. А то мир как будто забыл, что такое простые инструменты. Хочешь чат - получай комбайн с ИИ, клаудом и глубокой интеграцией прямо в десктоп.
Я живу в дешевом штате, работаю на Калофорнию удаленно. Дом выплачен, зп большая, жена тоже вышла на хороший заработок. На Гавайи мы летаем раз в год и по дешевке. Уверенности в безбедной пенсии у меня пока нет. Нужно еще лет 10 в таком же темпе отработать, чтобы появилась. Будет миллионов 5 на счету, тогда можно будет выдохнуть. Это если страна не скатится в большую войну, рецессию или еще чего похуже. Увы, все обсуждения с цифрами - это либо преувеличения, либо преуменьшения, но никогда не адекватная середина с поправкой на реальность.
Комментарии
Вот, просто интереса ради, коммент моего домашнего ассистента. Не как аргумент, а просто в тему. Машина имитирует понимание о собственном понимании.
Ну, как же не понятно? Все понятно - главное найти способ хорошо представить данные числами. Можно взять слово и описать его разными понятиями по шкале от 0 до 1. Получится вектор чисел, где каждое - это какая-то характиристика слова. Похожие по смыслу слова будут иметь много общих характиристик. Это как раз и есть точки, о которых ты говоришь. Точки в много мерном пространстве, где каждое измерение - это какая-то общая для всех слов характеристика. Вектора дают больше возможностей работать с такими векторизованными словами. Можно из вектора "мужчина" вычесть вектор "мальчик" и получить новый вектор, который будет представлять собой понятие возраста. Добавить его к вектору "принцесса" и результат почти магичесским образом укажет на "королеву". Это и есть смысл, извлеченный математически. Это происходит в самом первом слое любой нейронки. Дальше модель учится находить правила вроде вот этого "возраста" и запоминает их, чтобы потом использовать на новых данных.
Как узнать, какие слова ключевые? Когда трансформер тренируется, никто этого ему не объясняет. Он сам выводит правила, по которым одни слова более или меньше влияют на другие в тексте. Эти правила хранятся в матрицах attention блоков. Тут сложнее привести аналогии, но это тоже вектора в своих многомерных пространствах. Научиться находить ключеные слова и использовать это умение - это не значит понимать?
И никто не объясняет ему, что такое "грусть", он сам выводит это понятие из многих текстов и хранит где-то в своих весах.
Это не так. Человеческая оценка - это более позний этап тренировки, когда трансформер уже научился продолжать текст и нужно этому продолжению придать определенную форму. Все паттерны модель выводит сама, просто обрабатывая тексты. Вообще, от человека в обучении уже давно избавились. Даже для этого позднего этапа человек только готовит данные - примеры вопросов и ответов. Модель в состоянии сама сравнить свой ответ с ожидаемым и подправить свои веса. Самая что ни есть математическая оценка. Но это уже после того, как она научилась "понимать данные". После того, как вывела и запомнила разные понятия вроде "грусти".
Ну, вот поэтому и важно разобраться, как на самом деле это все работает. Может нейронка выдать новое знание или нет. Я считаю, что может. Просто потому, что ЛЛМ выводит паттерны самостоятельно из данных, чтобы потом применять их к новым данным. Она вполне может вывести новые паттерны, о которых мы не знаем. Или использовать старые каким-то новым способом.
Вот даже интересно - подключить к этому разговору какой-нибудь Claude Opus 4.7 и спросить его мнение о собственном понимании.
Что-то мне совсем не хочется работать. Сорян, много текста. Но, может, это все же чуть интереснее, чем ежедневная чепуха в комментах.
Из вероятностей абсолютно не следует, что ИИ не понимает смысла.
Сказать можно, но это очень большое упрощение, которое не помогает понять принцип работы нейронок. Как и не помогает понять, почему они так хорошо разговаривают и выполняют сложные задачи. Да, бывают промахи вроде подсчета букв в слове, но в целом они хорошо ведут диалог, используют логику, обобщают, планируют. Как? Кодинг-агенты делают достаточно сложные вещи, жонглируя десятками инструментов. Бывают промахи, но в целом задачи вроде небольших сайтов, игр, приложений стали решаемы или end-to-end с пары промптов. Как? Как можно получить больше ТЗ на простом языке с ошибками, задать по нему вопросы, создать рабочий проект - и все это без понимания? Даже если и можно - как? Что там за палиндром такой, откуда он берется?
Нейронка - это не просто точки в пространве. Она раскладывает текст на вектора, которые несут в себе смысл этого текста. Примерно как RGB код, будучи вектором, несет смысл слова "красный". Внутри сети тоже вектора, которые тоже имеют какой-то смысл, выведенный при обучении. Эти вектора постоянно перемножаются. У скалярного умножения есть такое свойство, что чем больше результат, чем больше общих свойств у исходных векторов. Или проще говорят, тем больше эти вектора похожи друг на друга. В итоге, был просто текст, а после перемножения на вектора в первом слое, можно узнать об этом тексте что-то новое - на какие внутренние свойства и абстрации в этом слое текст похож. Что делать с этим знанием? Добавить к исходным векторам текста. Результат - новый вектор, который несет в себе смысл обоих векторов, но более размытый. Если сложить два RGB вектора, а потом номализировать к диапазону 0-255, получится какой-то средний цвет.
Трансфомер идет дальше. После каждого обычного нейроночного слоя он "суммирует" смысл предыдущих токетов в каждый следующий. И добавляет в них смысл своих внутренних векторов, в которых хранится "понимание", как токены в тексте влияют друг на друга. Все скалярными перемножениями. В итоге последний токен (его вектор) модифицируется так, что в нем суммы смысла всего тексте перед ним. Это сильно упрощенная суть бумаги attention all you need - чуваки придумали, как закодировать в вектора позиционный смысл токенов.
В итоге, где-то глубоко внутри нейронки очень многомерные вектора, которые несут в себе исходный смысл текста, знания нейронки из ее обучения, знания позиционного влияния токенов друг на друга вообще и в исходном тексте в частности. И все без вероятностей. Вероятности - это просто результат нормализации векторов. После каждой операции их нужно привести к виду, чтобы все числа суммировались в 1. Вся соль в этих векторах - они имеют какой-то смысл. Из этого смысла строится ответ.
В блоге Anthropic есть много крутых статей, как они расшифровывают эти внутренние вектора. Задают грустные вопросы одной нейронке, потом извлекают выжимку весов из среднего слоя, вставляют другой нейронке, и ее ответы вдруг становится грустнее. И нейронка говорит, что ей вдруг почему-то стало грустно. Все понимают, что это просто математика. Но им удалось извлечь что-то, что отвечает за понятие грусти во всей этой куче математики.
А даже если и сводить все к многочленам. Что ведь получается? Нейронка аппроксимирует какую-то функцию, в которую кладешь текст, а на на выход выдает связную речь. С иммитацией понимания. Что это за функция такая? Почему ее нельзя назвать, например, функцией понимания? Человеческий мозг - тоже фактически компьютер. На вход данные извне, на выход какие-то результаты рассчетов.
Давай обсудим, бро. Давненько тут экспертов по нейронным сетям не было в комментах.
Ну, допустим, вероятностный генератор текста - и что? Это что-то доказывает, объясняет, ставит на свои места? Он ведь не случайным образом слова подбирает. Вероятность выше у того, что лучше подходит. В принципе, веростности нужны только для выбора одного токена из распределения в самом конце. Ну, и нормализацию после каждого слова удобно проводить так, чтобы все значения сходились в единицу - проще работать. А так вообще, веротности там не главное. Это не квантовая физика, где верояности в основе всего. Ты когда решаешь, левой рукой нос почесать или правой - это тоже своего рода веростности в деле.
Если ИИ нужен точный инструмент, он напишет скрипт на Питоне и все точно посчитает. Или калькулятор возьмет. Они вполне себе справляются с пониманием собственных ограничений. Где не справляются, там можно помочь - было бы желание.
По статье как-то сказать нечего. Не ясно, что делает автора экспертом. Все пунткты - какая-то банальщина, которую может генерить даже человек, никогда ИИ в руках не державший. По факту, нужно самому пробовать, находить рабочие инструменты и приемы, релизить что-то и тогда уже статьи писать.
Вечно у вас все легко и просто. Вот есть у тебя, скажем, 500 тысяч баксов в США или еще какой-нибудь стране, которая не Польша. Как подтвердить их происхождение для налоговой в Беларуси? Это прямо простой и очевидный процесс, который точно не окончится проблемами или потерей части денег? Даже если убедить банк принять эту сумму, все равно может прийти налоговая - придется объяснять и им. Американский IRS точно предоставит все нужные подтверждения по запросу из РБ? Налоговую точно эти подтверждения и твои распечатки устроят?
У всех, кого знаю, есть трудности с переводами денег домой. С полумиллионом точно никаких проблем не возникнет? Вот какой конкретно банк легко и просто примет SWIFT перевод из, например, Канады? Со своего счета на счет родителей.
По-моему, как минимум, интересные вопросы. И можно признать хотя бы чуточку сложностей и риска.
А что, это так просто взять и ввезти в РБ много денег? И потом за них купить квартиру так, чтобы у налоговой не возникло вопросов?
Незавестившиеся = не твои. Это как зарплата за следующий месяц, которую ты не получишь, если уволят раньше.
Точно так же лет 5 назад могли попросить задокументировать процессы, чтобы потом уволить и заменить джуном или отдать на аутсорс.
По-моему, ИИ ни при чем. Но на него удобно все валить, чтобы был повод пойти в профсоюз и думать, что парочка новых законов и регуляций решит все проблемы.
В основном пока подход такой, что ИИ код - твой код. Хотя Claude Code по умолчанию подписывает коммиты своим "именем", если разрешить ему коммитить. Я не разрешаю, коммичу сам, как свой код.
Но вот пример полноценной RTS с мультиплеером, написанной с помощью ИИ за 10 часов даже не открывая код https://www.reddit.com/r/vibecoding/comments/1s8w5ib/i_vibecoded_a_full_wc2_inspired_rts_game_with/ Такие вещи впечатляют и делать вид, что ИИ просто автокомлит, все сложнее. Скоро промежуточные ревью и ручные коммиты станут бутылочным горлышком.
Первый герой из статьи больше о детях и возрастной рефлексии говорит, чем о технических деталях, но, скорее всего, он написал скрипт, который раз в неделю отпраляет прогноз погоды в какой-нибудь ChatGPT API, а тот ему в ответ json с расписанием полива. И все - не нужно ничего мудрить. "Достаточно нейроки" - это что вообще значит?
Помню, в каком-то раннем классе весь год на уроках труда делали табуретку, а в конце оказалось, что фанеры на седлушку нет и вообще все нужно сдать обратно, потому что древесина дорогая. Как-то так и с оберткой для Borland Pascal, по-моему. Разве что цель занять на год и чтобы молоток в руках подержали.
Ну, сразу расставить точки над "И". Вдруг какой-нибудь мелкий банк захочет подключиться к системе белорусского крипторубля и стать посредником с переводах.
Я не следил за новостями, может что-то упустил - странам ближнего востока этот крипторубль зачем? Как он регулируется и аудируется? Что мешает нацбанку РБ создавать новые крипторубли из воздуха?
Дело вкуса, но как по мне, он лучше всех. Не на голову, как было долгое время, но все еще лучше. OpenAI в целом догнали Anthropic - их codex тоже очень даже хорош. Google сделали рывок в конце прошлого года - gemini-cli + Gemini Pro неплохо кодит сложные задачи и больше не сыплется с ошибками, как еще полгода назад. И не только кодит - работает с AWS консолью, пишет сам себе скрипты для анализа больших файлов, работает с браузером и пр. Но что OpenAI, что Google - оба передирают все фичи Claude Code вплоть до хоткеев. Я пользуюсь всеми тремя на работе, для личных целей Claude Code лидирует. Некоторые мои друзья предпочитают Cursor, Windsurf, Github Copilot, но мне кажется, они просто не распробовал как следует что-то из троицы выше. Впрочем, если их устраивает, то ок.
Хотя с недавних пор Anthropic начал резать квоту и Claude Code теперь юзабелен только на $100/месяц. Собственно, его вообще убрали из $20 подписки потому что 3 промпта - и упираешься в лимит. OpenAI активно пытается переманить пользователей, поэтому предлагает щедрые лимиты даже за $20/месяц. Но кто знает, сколько это продлится. Каждая новая их модель дороже предыдущей.
А зачем вообще слушать? Можно же самому пользоваться всем этим ИИ и иметь собственное мнение. Я много использую Claude Code и gemini-cli. Буквально каждый день и на работе и вне ее. С одной стороны, отрицать влияние ИИ глупо - он действительно делает практически всю работу и становится все лучше. С другой стороны, он постоянно лажает в мелочах. Кодить с ИИ - это всегда иметь 95% результата, но постоянно страдать с оставшимися 5%. В какой-то момент ловишь себя на мысли, что если бы писал хотя бы ключевую логику сам - в итоге вышло бы быстрее. Дать ИИ написать все, а потом подправить самому почему-то не работает. Но снова и снова пытаешься делать именно так, потому что кажется, что вот сейчас получится и будет намного быстрее, чем руками. Да и интересно это.
Индустрия не свернула не туда. Срезать углы пытались всегда. Если халтура сходит с рук, она идет в прод. На данный момент ИИ - инструмент, который открывает много новых возможностей. Пока менеджеры пытаются понять, как этим поднять продуктивность, инженеры просто пользуются. Например, я сейчас пытаюсь научить Claude Code помимо кодинга делать видео. Генерить gen-AI куски, делать слайд-шоу из статических картинок с эффектами, работать в браузере и записывать действия с анимациями, склеивать это все, накладывать голос и звук. И чтобы я давал идеи, а он сам режиссировал, монтажировал и показывал мне готовый результат. Запоминал удачные приемы и мой фитбек. И неплохо получается, мне нравится. И процесс "обучения" интересный. Это не автоматизация живого человека, который может смонтировать похожее видео. Это реализация того, что я хочу, но сам не умею. Еще Claude Code проревьювил мои налоги и нашел несколько ошибок. Полностью подачу я бы ему не доверил, но помог он хорошо. Можно долго искать проблемы в его коде, но в каких-то вещах результат действительно важнее всего остального. Только пробовать и решать тут нужно самостоятельно, а не слушать мнения.
Статья норм. Хорошо, что ведешь этот блог, не смотря на комменты. Да, местами кринжово, но тут не то, чтобы полно более крутых блогов. Да и комментаторы сами с усами.
Есть одна проблемка - GPT-5.5 API стоит ровно в 2 раза больше, чем GPT-5.4. Там еще Deepseek v4 вышел, который стоит ровно столько, сколько стоил v3.2.
Все такой шум подняли. Claude Code на $20 подписке уже года пол как не юзабельный. Утыкаешься в лимит после 3-4 промптов на середина задачи. Убрать его из Pro подписки - честный ход.
Наша компания участвует в проекте Glasswing, и у нас есть доступ к этому самому Mythos.
Вообще, начать стоит с того, что абсолютно все говорят про Mythos и Glasswing, не имея никакого понятия о том, что это. Это просто вопрос престижа - если ты в кибербезе, а тебя в Glasswing не позвали, значит ты не очень важный. На недавнем All Hands все только и спрашивали CEO про этот самый Glasswing. Всем было важно узнать, что мы в деле. А в каком именно, что мы с этим Mythos делаем - это не важно, об этом не говорили.
Mythos невероятно, просто безумно дорогой. Работать с ним - это как спорткары в стену врезать, чтобы протестировать безопасность. И если со спорткарами хотя бы понятно, что и зачем нужно делать, то с Mythos и всеми этими агентами не понятно. У нас специфические продукты, мы не тестируем софт на уязвимости, не взламываем и не защищаем от взлома. Скорее организовываем трафик и доступа. У нас полного всякого ML, но очень мало agentic AI. А все - менеджеры, продакты. клиенты - требуют. Вот и Mythos теперь нужно как-то куда-то воткнуть, а как и зачем - я, например, без понятия. Нужно еще учесть, что мы не можем вот так взять и развернуть его у себя или хотя бы в AWS. Он на серверах Антропика со всеми вытекающими. И это чисто исследование, ни о каком применении в проде речи нет. Нужно жечь деньги и ресурсы просто ради науки и саморекламы.
В общем, сложно понять, насколько это действительно значимая модель. Создали ауру таинственности, втянули кибербез компании, для которых участие - это маркетинг чистой воды. Но без публичного доступа и независимых тестов нельзя понять, хайп это или нет.
Все хотят энергичных и проактивных. Чтобы дали задачу, а ты в лепешку разбился и сделал. Хотя казалось невозможным и даже пришлось на выходных сидеть. В режиме away, чтобы никто не видел. И в Линкедине лайки ставил всем постам вышестоящих. И вообще любил компанию и клиентов, как своих собственных. В кринжевых роликах эйчаров снимался. Пробелы в резюме не любят не потому, что они пробелы. А потому что уже на этапе подготовки все провалено - не придумал убедительное вранье, чтобы казаться лучше конкурентов. Никто ведь никак не проверит, что ты делал в другой стране. Бизнес строил, целину поднимал, лосось мигрировал. Резюме - это в целом если и не вранье, то как минимум преувеличение и недосказанность. Никто не пишет про то, как его баг повалил прод. А если в лоб спросят, то все коучи учат отвечать так, чтобы по итогам багфикса все стало лучше, чем было до бага. Еще бы чуть-чуть, и премию Тьюринга дали. Но ты бы отказался, потому что твое дело малое - это все команда. И никто не говорит, что чего-то не знает. Если говорит, то тут же добавляет что-то еще, чтобы незнание казалось силой.
Когда заканчивается энергия или череда неудач опускает руки, работать в цирке может быть тяжело, да. Нужно повторять себе, что это все ради денег, и искать способы снова стать энергичным. Тут симптомы депрессии на лицо, а с ней и в сварщиках может быть невесело.
Возможно, это не столько саботаж, сколько желание использовать нормальные инструменты и модели, а не то, что внедрила компания по дешевке. Манеджеры только и говорят, что про ИИ, но на деле Claude Code с Opus 4.6 в AWS Bedrcok прожигает $300 в неделю на человека. А Anthropic подписка не безопасная, т.к. нужно слать запросы на их сервера. В итоге, у сотрудников не Claude Code, а какой-нибудь Cody или Codeium с ограниченным пулом внутренних серверов, рейт-лимитами и прочими палками в колесах. Зато безопасно и стоит $50 в месяц.
Звучит ужасно. Чат, лезущий в бизнес процессы, получающий доступ к рабочему столу, что-то там сам решающий. А главное - когда что-то где-то пойдет не так, что ты можешь сделать, если вся эта платформа закрыта?
Ничего, скоро каждый будет в состоянии навайбкодить себе простые инструменты и забыть про эти жуткие SaaS платформы. А то мир как будто забыл, что такое простые инструменты. Хочешь чат - получай комбайн с ИИ, клаудом и глубокой интеграцией прямо в десктоп.
Я живу в дешевом штате, работаю на Калофорнию удаленно. Дом выплачен, зп большая, жена тоже вышла на хороший заработок. На Гавайи мы летаем раз в год и по дешевке. Уверенности в безбедной пенсии у меня пока нет. Нужно еще лет 10 в таком же темпе отработать, чтобы появилась. Будет миллионов 5 на счету, тогда можно будет выдохнуть. Это если страна не скатится в большую войну, рецессию или еще чего похуже. Увы, все обсуждения с цифрами - это либо преувеличения, либо преуменьшения, но никогда не адекватная середина с поправкой на реальность.