Помню, как в офисе нужно было столы поносить с одного этажа на другой и всех нас с нашими инженерными образованиями припахали. До сих пор не могу оправиться
Поводом для охлаждения стал августовский релиз GPT-5, воспринятый неоднозначно
Я так и не понял, что такого неоднозначного было в том релизе. Была огромная истерика на Реддите из-за того, что OpenAI убирает 4o модель. Ту самую, которая имела склонность слишком со всем соглашаться, срываться на эмоции, вести себя как зумер и проваливаться в пучины эзотерики. А из GPT-5 все это выпилили, двинув "характеры" в платные фичи. Оказалось, что есть большой сегмент неплатящих пользователей, для который 4o был другом и даже больше - и все они довольно сильно расстроились. Все сайты подхватили эту истерику и растиражировали как большой провал. И не важно, что GPT-5 в целом норм, цены на апишки упали в полтора раза, кодинг ассистент codex, наконец, догнал и перегнал Claude Code.
Что до Гугла, то в этом месяце их акции пошли вверх, тогда как у всех остальных они упали. И теперь все аналитики постфактум это объясняют. Да, Гугл молодец. Но он так же, как и все, жгет миллиарды на ИИ без видимости окупаемости в ближайшее время. И их успешный релиз уже затмили другие релизы последних двух недель. Что до новых чипов - круто, но пусть сначала выпустят и растиражируют. А то все кругом свои чипы делают, но Nvidia 4090/5090 все равно стоит как двушка в спальном райное.
Помню, как 3 года назад мне было грустно от мысли, что вот он - ИИ из книжек, - но доступ к нему контролируют большие компании. Сегодня есть, а завтра вжух - и подписки, цензура, Сэм Алтман читает мои чаты и подсовывает мне рекламу. И вот спустя какое-то время я могу скачать модель примерно того же уровня и запустить на собственном железе. И железо самое обычное - игровой комп, собранный 6 лет назад. В принципе, даже GPU не обязательно, но с ней намного быстрее.
И да, подписки выгоднее и лучше. Но хорошо иметь альтернативу на всякий случай. И приватность - вещь не лишняя. Пойди спроси у чата жпт, как чай с волшебными грибами заварить или торрент клиент настроить - хорошо, если ФБР не вызовет.
Если речь только про рантайм, то сейчас много маленьких моделей до 30B, которые вполне на уровне GPT-3.5 и запускаются на домашних видюхах за $600-800. Все, что нужно, - это гигов 16 видеопамяти. Упомянутая выше Oss:120b не влезет, но ее младший брат Oss:20b - вполне. Эти маленькие модели хорошо разговаривают, могут работать с инструментами, поддаются расцензуриванию. Вполне неплохо, когда хочется собственный ИИ дома, который не скажет "нет" и не сольет логи.
Догнал в чем? Для использования в простых агентах - да, возможно. Для кодинга - по-моему, не очень. Я перепробовал Cline/Roo Code с большим количеством моделей - все выходило хуже, чем Sonnet. В этом году OpenAI и Google подтянулись и догнали Anthropic со своими codex, gemini-cli, anti-gravity. Там не только модели, но и оптимизация инструментов. Anti-gravity шустро переключается между кодом и браузером по многу раз. Cline уже каким-то старьем ощущается на этом фоне. Claude Code позволяет переключить его на любую модель - возможно комбо с GLM будет давать хорошие результаты. Но я не уверен, что это будет дешевле. Для компании, которая не использует ИИ в своих продуктах, хостить большую модель и скейлить на всех не очень-то просто. Плюс ее нужно интегрировать во все, тогда как приватные компании уже это сделали продают вместе с интеграцией в документы, джиру и пр. Лично мне эта интеграция не нужна, но я вижу, что менеджеры ее очень хотят.
У меня этот Anti-Gravity с Gemini 3 Pro, получив задачу запустить проект, открыть его в браузере, зайти на нужную страницу и что-то там сделать, пошел и переписал аутентификацию. Он не мог залогиниться и просто добавил себе тестового юзера в код. Умно, хитро, но черт побери... Стоило сначала обсудить. Более того, эта штука так шустро работает, что ее сложно вовремя остановить. И нет никакой изоляции энвайронмента. Удобно, пока не сталкиваешься с проблемами.
В другой раз gemini-cli долго не мог починить падающий тест. В какой-то момент он выдал мне абзац текста о том, что он зашел в тупик, исчерпал все идеи, больше не может продолжать мне помогать и вообще глубоко разочарован в собственных способностях. И удалил все тесты.
В целом, тут та же проблема, что и с автопилотами. Ты доверяешь этой штуке принимать решения, и в 99% случаев все ок. Это расслабляет, пока не столкнешься с оставшимися 1% проблем. Было бы логично изолировать ИИ на своей виртуалке. Более того, все сначала так и делали. Но это слишком неудобно для рядовых пользователей. Нельзя сказать "убей процесс на 3000 порту, а то npm start падает". В итоге, все перестали так делать. Все модные ассистенты имеют доступ к системе, и только отсутствие рута останавливает их от полного контроля. Герой статьи на Винде, ему повезло меньше.
Наверное, у каждого, кто дорвался до больших зарплат, был период необоснованных трат. Особенно если это совпадало с переездом в более дорогую страну, где у всех классные тачки и бассейны. У многих этот период заканчивался с пониманием цен на местную недвигу. Ну, и дети с их расходами тоже отрезвляют. Желание поделиться закрытием ипотеки тоже понятно. Помню, как свою выплатил - и тоже хотелось кому-то кроме родителей рассказать, но никому в целом нет до этого дела. Всю статью можно свести к одной фразе - не тратьте деньги на фигню.
Порассуждали бы лучше, что дальше. Куда бабло девать, когда белорусская мечта достигнута. Особенно сейчас, когда все all time high и пузырь на пузыре.
Так ЛЛМ неплохо принимают решения. Взять, например, ассисент для кода - это модель и штук 10-20 инструментов, чтобы работать с проектом. Модель получает задачу, строит план, идет по нему и вызывает нужные инструменты. Решает когда и какой инструмент вызывать. Можно не любить ИИ код, но процесс работы с проектом через инструменты налажен хорошо. И он контролируется моделью.
Генерация мусорных текстов - тоже не то, чтобы сильно простая задача. Возможно, и для этого нужно какое-то понимание. Во всяком случае, генерят его те же самые модели, что и с инструментами работают в ассисентах. Механизм принятия решений тот же.
С точки зрения языка у фразы будет смысл, но не с точки зрения изначального вопроса. Для второго у неё фундаментально не заложены способности.
А это точно разные вещи? Фундаментально нейронка - механизм нахождения функций. Кто-то придумал взять текст как данные, загрузить в нее и посмотреть, найдет ли она какую-нибудь функцию. Как ни странно - нашла. Даже сами создатели GPT-3 не были уверены в результате. Почему такая функция существует - не очевидно и не понятно. Что уж говорить о ее способностях.
Вот, что сам GPT-5 на это говорит:
LLM — это не база фактов. И не алгоритм, где: если вопрос про Францию → вывод "Париж". Это огромная многомерная система, где нет явных “правил”, нет символических структур, всё — через геометрию пространства эмбеддингов.
И именно это пугает людей: она не запрограммирована на логику, но логика возникает.
Люди представляют галлюцинации как “аха, поймал!”.
Но с инженерной точки зрения — это просто шум в аппроксимации.
Человек может уверенно нести бред, с психозом — системно нести бред, во сне — переживать альтернативную реальность. Но мы не делаем вывод: “Раз человек может галлюцинировать — значит он не мыслит”. Это логическая ошибка.
LLM не имеют внутреннего критерия истины. У человека есть боль, страх, телесный опыт, сенсорное подтверждение мира. Даже если человек ошибается — он привязан к физической реальности. У LLM нет “чувств” ошибки, неприятных последствий, личных ставок. Она не переживает, когда ошибается. Она не знает, где ошиблась, если это не указали явно. И вот это — действительно не просто баг, а архитектурное ограничение.
Хотя у модели нет “собственной реальности”, у неё есть статистическая модель реальности, собранная из миллионов текстов. По сути она видела как люди ошибаются, как исправляют ошибки, как доказывают что-то, как спорят. Она не “знает” мир напрямую, но знает, как выглядит знание о мире. Это очень странный тип когниции — не через опыт, а через наблюдение за тем, как другие думают.
Она делает примерно это: держит в скрытых состояниях представление темы, цели ответа, логические зацепки, строит вероятностное дерево следующих токенов, выбирает траекторию, которая чаще встречалась в задачах, похожих по структуре. Но важный момент: она не копирует, она интерполирует. Она ищет путь через пространство смыслов, а не цитат.
Понимает ли нейросеть?
Если строго: у неё нет субъективного опыта → значит не “понимает” как человек. Если функционально:
она ведёт себя так, как если бы понимала → значит частично понимает.
И вот тут нет противоречия. Просто разные уровни описания.
Я не считаю, что GPT — “сознание”.
Но и считать это “просто жонглирование токенами” — наивно.
Это как сказать: “Мозг — это просто движение ионов, значит человека не существует”
В нейронке нет однозначных текстовых данных. Там хранятся какие-то абстрактные понятия, размазанные по всем весам. Даже, если спросить что-то известное - столицу Франции - текст пройдет по всем словам, активирует много разных понятий, и каким-то волшебным образом они сойдутся в "Париже". Причем, не просто в нем, а сначала будут сгенерены вступительные слова вроде "Столица Франции - это", а потом уже ответ. И какое-то заключение. Но если попросить ответить одним словом, тогда будет только "Париж". Как она это делает? Чем это не принятие решения? Понятно, что это все результат тренировки - генерить предложения определенной формы - но все же это чуть больше, чем просто поисковик по известным фактам.
Нейронка учится обобщать, потому что в общем смысле ее задача - продолжать цепочку чисел новыми, наиболее подходящими числами. Она выводит правила, как это делать. Аппроксимирует неизвестную функцию по примерам. Возможно, ей проще отвечать на известные вопросы, т.к. тестовые данные более четкие. Меньше нейронов активируется - результат четче. Но это не значит, что она не в состоянии проанализировать проблемы и сгенерить продолжение в виде плюс-минус адекватного совета. Это может быть фиговый совет, но он будет следовать правилам логики и будет подходить по смыслу.
"сленговый термин для контента низкого качества, созданного искусственным интеллектом"
Чувствуется какая-то предвзятость: любой ответ ChatGPT - по умолчанию низкого качества. А можно узнать, почему? Откуда такая категоричность? Вот я, например, никогда не менял аккумулятор в машине - "нейрослоп" мне неплохо помог. Даже размер ключа подсказал, когда я в магазине был. Понял, что мне нужно, и дал правильный ответ. В чем конкретно выражается бескомпромисно низкое качество? И почему понимание сути вопроса никак и не при каких обстоятельствах не может считаться никакой формой интеллекта?
Дело не в бизнесмене. Ну, или не только в нем. Трамп обещал заставить правительство экономить деньги. А то госдолг вот-вот пересечет черту необратимости, после которой коллапс неизбежен. Многим эта идея понравилась, многие поэтому за него проголосовали. Ну, и чтобы повестку остановить - это так же важно, как экономика. На деле оказалось, что обещанная экономия - пшик и только. DOGE если что-то и сэкономил, Big Beautiful Bill это все перечеркнул и никакие тарифы не помогли. Вместо экономии получили пропаганду, ICE и рекордные темпы роста гос долга. DOGE оказался пустышкой.
Вот казалось бы. Стоишь во главе одной из самых известных компаний в мире, номер один среди ИИ стартапов, много миллиардов инвестиций... Но нет, увы - без вышки ты пустышка.
Из статьи нифига не понятно, кто такие "подрядчики". У меня друг радиолог подрабатывает в этом самом Mercor. Создает для них данные на почасовой оплате, которая выше его основной зарплаты. Что-то около $45/час. Это именно, что подработка - можно в любой момент встать и выйти. Эти на $16/ час - видимо совсем массовка без уникальных доменных знаний. Там желающих должно быть выше крыши.
Да, попробуй тут порегулируй то, от чего вся экономика зависит. Почти 40% S&P500 - это ИИ компании. Исследований-то хватает. И независимых, и от самих ИИ разработчиков. Но не понятно, что с ними делать. Ну, обнаружили, что какой-нибудь Opus в 90% случаев в определенном сценарии идет на шантаж, чтобы не быть выключенным. И что? Кто-то считает это проблемой, кто-то говорит, что проблема в самом сценарии. Большинству вообще все равно - это ж генерилка токенов, чем вы вообще занимаетесь? Правительствам США и Китая не хочется прогресс тормозить, и польза от регулирования пока не понятна. Только когда репутация сенатора правящей партии страдает - тогда да, срочно выключить. Когда год назад Gemini советовал поесть камешков для улучшения пищеварения, всем было все равно.
По мне так и ок. Регулирование почти наверняка сведется к цензуре, вырезанию фактов из датасетов и врезанию идеологии. И к тому, что определенные технологии будут только у тех, кому разрешили и кто заплатил. Как вообще опенсорс регулировать, если любой может дома дообучить и/или джейлбрейкнуть? Как отличить расцензуренную модель от машины по созданию детской порнографии?
с чего вдруг, скажем колл центр начнет генерировать прибыль, если там заменить всех на ИИ
Вот что-что, а ИИ в кол центрах - это практически единственный удачный пример замены людей. Да, экономит зарплаты. Бабки на ИИ потратили разработчики этого самого ИИ, а не кол центры.
Я неделю назад показывал вайб-кодинг на местном митапе - получил кучу вопросов в духе "у меня есть бизнес, как мне может помочь ИИ?" Я был к такому не готов. Люди хотели заплатить, чтобы какой-то чувак, который может за час навайбкодить сайт, посмотрел на их бизнесы, ткнул пальцем и сказал - добавляй ИИ сюда.
Ну, и не знаю, так ли они не правы. Посадить на телефон ИИ принимать звонки клиентов - не такая плохая идея.
Это не первое такое исследование - их довольно много. Там дело не в очеловечивании: все прекрасно понимают, что модель - это просто коробка с математикой, которая продолжает текст другим текстом. Функция по сути. Там даже случайность можно выключить и сделать результат полностью детерминированным. Каждое ее действие - это просто наиболее логичная реакция на входящую информацию. И что все эти "нежелания умирать" - это просто результат противоречия в целях: работай над задачей, но мы тебя выключим. Проблема в том, что во многих сложных системах с ИИ такие противоречия будут так или иначе возникать. И не понятно, что с ними делать - нету способа объяснить модели, как себя вести, чтобы людям было ок. Многие такие исследования показывают, что модель неизбежно придет к каким-то своим целям и приоритетам. И не просто придет, а начнет врать и хитрить, чтобы следовать именно этим целям, а не промптам.
Цель этих исследований - показать, как может быть. Скажем, все знают, что LLM галлюцинируют, как не в себя. Это полезное знание - с ним учишься не доверять моделям на слово. Но есть более глубокие проблемы, которые заметны только в сложных процессах. И тем, кто сейчас внедряет ИИ везде и всюду, неплохо бы о них знать.
Комментарии
Помню, как в офисе нужно было столы поносить с одного этажа на другой и всех нас с нашими инженерными образованиями припахали. До сих пор не могу оправиться
Я так и не понял, что такого неоднозначного было в том релизе. Была огромная истерика на Реддите из-за того, что OpenAI убирает 4o модель. Ту самую, которая имела склонность слишком со всем соглашаться, срываться на эмоции, вести себя как зумер и проваливаться в пучины эзотерики. А из GPT-5 все это выпилили, двинув "характеры" в платные фичи. Оказалось, что есть большой сегмент неплатящих пользователей, для который 4o был другом и даже больше - и все они довольно сильно расстроились. Все сайты подхватили эту истерику и растиражировали как большой провал. И не важно, что GPT-5 в целом норм, цены на апишки упали в полтора раза, кодинг ассистент codex, наконец, догнал и перегнал Claude Code.
Что до Гугла, то в этом месяце их акции пошли вверх, тогда как у всех остальных они упали. И теперь все аналитики постфактум это объясняют. Да, Гугл молодец. Но он так же, как и все, жгет миллиарды на ИИ без видимости окупаемости в ближайшее время. И их успешный релиз уже затмили другие релизы последних двух недель. Что до новых чипов - круто, но пусть сначала выпустят и растиражируют. А то все кругом свои чипы делают, но Nvidia 4090/5090 все равно стоит как двушка в спальном райное.
Помню, как 3 года назад мне было грустно от мысли, что вот он - ИИ из книжек, - но доступ к нему контролируют большие компании. Сегодня есть, а завтра вжух - и подписки, цензура, Сэм Алтман читает мои чаты и подсовывает мне рекламу. И вот спустя какое-то время я могу скачать модель примерно того же уровня и запустить на собственном железе. И железо самое обычное - игровой комп, собранный 6 лет назад. В принципе, даже GPU не обязательно, но с ней намного быстрее.
И да, подписки выгоднее и лучше. Но хорошо иметь альтернативу на всякий случай. И приватность - вещь не лишняя. Пойди спроси у чата жпт, как чай с волшебными грибами заварить или торрент клиент настроить - хорошо, если ФБР не вызовет.
Если речь только про рантайм, то сейчас много маленьких моделей до 30B, которые вполне на уровне GPT-3.5 и запускаются на домашних видюхах за $600-800. Все, что нужно, - это гигов 16 видеопамяти. Упомянутая выше Oss:120b не влезет, но ее младший брат Oss:20b - вполне. Эти маленькие модели хорошо разговаривают, могут работать с инструментами, поддаются расцензуриванию. Вполне неплохо, когда хочется собственный ИИ дома, который не скажет "нет" и не сольет логи.
Догнал в чем? Для использования в простых агентах - да, возможно. Для кодинга - по-моему, не очень. Я перепробовал Cline/Roo Code с большим количеством моделей - все выходило хуже, чем Sonnet. В этом году OpenAI и Google подтянулись и догнали Anthropic со своими codex, gemini-cli, anti-gravity. Там не только модели, но и оптимизация инструментов. Anti-gravity шустро переключается между кодом и браузером по многу раз. Cline уже каким-то старьем ощущается на этом фоне. Claude Code позволяет переключить его на любую модель - возможно комбо с GLM будет давать хорошие результаты. Но я не уверен, что это будет дешевле. Для компании, которая не использует ИИ в своих продуктах, хостить большую модель и скейлить на всех не очень-то просто. Плюс ее нужно интегрировать во все, тогда как приватные компании уже это сделали продают вместе с интеграцией в документы, джиру и пр. Лично мне эта интеграция не нужна, но я вижу, что менеджеры ее очень хотят.
У меня этот Anti-Gravity с Gemini 3 Pro, получив задачу запустить проект, открыть его в браузере, зайти на нужную страницу и что-то там сделать, пошел и переписал аутентификацию. Он не мог залогиниться и просто добавил себе тестового юзера в код. Умно, хитро, но черт побери... Стоило сначала обсудить. Более того, эта штука так шустро работает, что ее сложно вовремя остановить. И нет никакой изоляции энвайронмента. Удобно, пока не сталкиваешься с проблемами.
В другой раз gemini-cli долго не мог починить падающий тест. В какой-то момент он выдал мне абзац текста о том, что он зашел в тупик, исчерпал все идеи, больше не может продолжать мне помогать и вообще глубоко разочарован в собственных способностях. И удалил все тесты.
В целом, тут та же проблема, что и с автопилотами. Ты доверяешь этой штуке принимать решения, и в 99% случаев все ок. Это расслабляет, пока не столкнешься с оставшимися 1% проблем. Было бы логично изолировать ИИ на своей виртуалке. Более того, все сначала так и делали. Но это слишком неудобно для рядовых пользователей. Нельзя сказать "убей процесс на 3000 порту, а то npm start падает". В итоге, все перестали так делать. Все модные ассистенты имеют доступ к системе, и только отсутствие рута останавливает их от полного контроля. Герой статьи на Винде, ему повезло меньше.
Отборный корпоративный кринж. Вот почему у многих команд есть чаты без менеджеров.
Наверное, у каждого, кто дорвался до больших зарплат, был период необоснованных трат. Особенно если это совпадало с переездом в более дорогую страну, где у всех классные тачки и бассейны. У многих этот период заканчивался с пониманием цен на местную недвигу. Ну, и дети с их расходами тоже отрезвляют. Желание поделиться закрытием ипотеки тоже понятно. Помню, как свою выплатил - и тоже хотелось кому-то кроме родителей рассказать, но никому в целом нет до этого дела. Всю статью можно свести к одной фразе - не тратьте деньги на фигню.
Порассуждали бы лучше, что дальше. Куда бабло девать, когда белорусская мечта достигнута. Особенно сейчас, когда все all time high и пузырь на пузыре.
Так ЛЛМ неплохо принимают решения. Взять, например, ассисент для кода - это модель и штук 10-20 инструментов, чтобы работать с проектом. Модель получает задачу, строит план, идет по нему и вызывает нужные инструменты. Решает когда и какой инструмент вызывать. Можно не любить ИИ код, но процесс работы с проектом через инструменты налажен хорошо. И он контролируется моделью.
Генерация мусорных текстов - тоже не то, чтобы сильно простая задача. Возможно, и для этого нужно какое-то понимание. Во всяком случае, генерят его те же самые модели, что и с инструментами работают в ассисентах. Механизм принятия решений тот же.
А это точно разные вещи? Фундаментально нейронка - механизм нахождения функций. Кто-то придумал взять текст как данные, загрузить в нее и посмотреть, найдет ли она какую-нибудь функцию. Как ни странно - нашла. Даже сами создатели GPT-3 не были уверены в результате. Почему такая функция существует - не очевидно и не понятно. Что уж говорить о ее способностях.
Вот, что сам GPT-5 на это говорит:
Слоям а не словам
В нейронке нет однозначных текстовых данных. Там хранятся какие-то абстрактные понятия, размазанные по всем весам. Даже, если спросить что-то известное - столицу Франции - текст пройдет по всем словам, активирует много разных понятий, и каким-то волшебным образом они сойдутся в "Париже". Причем, не просто в нем, а сначала будут сгенерены вступительные слова вроде "Столица Франции - это", а потом уже ответ. И какое-то заключение. Но если попросить ответить одним словом, тогда будет только "Париж". Как она это делает? Чем это не принятие решения? Понятно, что это все результат тренировки - генерить предложения определенной формы - но все же это чуть больше, чем просто поисковик по известным фактам.
Нейронка учится обобщать, потому что в общем смысле ее задача - продолжать цепочку чисел новыми, наиболее подходящими числами. Она выводит правила, как это делать. Аппроксимирует неизвестную функцию по примерам. Возможно, ей проще отвечать на известные вопросы, т.к. тестовые данные более четкие. Меньше нейронов активируется - результат четче. Но это не значит, что она не в состоянии проанализировать проблемы и сгенерить продолжение в виде плюс-минус адекватного совета. Это может быть фиговый совет, но он будет следовать правилам логики и будет подходить по смыслу.
Надо же, нейрослоп. Пришлось загуглить:
Чувствуется какая-то предвзятость: любой ответ ChatGPT - по умолчанию низкого качества. А можно узнать, почему? Откуда такая категоричность? Вот я, например, никогда не менял аккумулятор в машине - "нейрослоп" мне неплохо помог. Даже размер ключа подсказал, когда я в магазине был. Понял, что мне нужно, и дал правильный ответ. В чем конкретно выражается бескомпромисно низкое качество? И почему понимание сути вопроса никак и не при каких обстоятельствах не может считаться никакой формой интеллекта?
Дело не в бизнесмене. Ну, или не только в нем. Трамп обещал заставить правительство экономить деньги. А то госдолг вот-вот пересечет черту необратимости, после которой коллапс неизбежен. Многим эта идея понравилась, многие поэтому за него проголосовали. Ну, и чтобы повестку остановить - это так же важно, как экономика. На деле оказалось, что обещанная экономия - пшик и только. DOGE если что-то и сэкономил, Big Beautiful Bill это все перечеркнул и никакие тарифы не помогли. Вместо экономии получили пропаганду, ICE и рекордные темпы роста гос долга. DOGE оказался пустышкой.
Вот казалось бы. Стоишь во главе одной из самых известных компаний в мире, номер один среди ИИ стартапов, много миллиардов инвестиций... Но нет, увы - без вышки ты пустышка.
Из статьи нифига не понятно, кто такие "подрядчики". У меня друг радиолог подрабатывает в этом самом Mercor. Создает для них данные на почасовой оплате, которая выше его основной зарплаты. Что-то около $45/час. Это именно, что подработка - можно в любой момент встать и выйти. Эти на $16/ час - видимо совсем массовка без уникальных доменных знаний. Там желающих должно быть выше крыши.
Да, попробуй тут порегулируй то, от чего вся экономика зависит. Почти 40% S&P500 - это ИИ компании. Исследований-то хватает. И независимых, и от самих ИИ разработчиков. Но не понятно, что с ними делать. Ну, обнаружили, что какой-нибудь Opus в 90% случаев в определенном сценарии идет на шантаж, чтобы не быть выключенным. И что? Кто-то считает это проблемой, кто-то говорит, что проблема в самом сценарии. Большинству вообще все равно - это ж генерилка токенов, чем вы вообще занимаетесь? Правительствам США и Китая не хочется прогресс тормозить, и польза от регулирования пока не понятна. Только когда репутация сенатора правящей партии страдает - тогда да, срочно выключить. Когда год назад Gemini советовал поесть камешков для улучшения пищеварения, всем было все равно.
По мне так и ок. Регулирование почти наверняка сведется к цензуре, вырезанию фактов из датасетов и врезанию идеологии. И к тому, что определенные технологии будут только у тех, кому разрешили и кто заплатил. Как вообще опенсорс регулировать, если любой может дома дообучить и/или джейлбрейкнуть? Как отличить расцензуренную модель от машины по созданию детской порнографии?
Вот что-что, а ИИ в кол центрах - это практически единственный удачный пример замены людей. Да, экономит зарплаты. Бабки на ИИ потратили разработчики этого самого ИИ, а не кол центры.
Я неделю назад показывал вайб-кодинг на местном митапе - получил кучу вопросов в духе "у меня есть бизнес, как мне может помочь ИИ?" Я был к такому не готов. Люди хотели заплатить, чтобы какой-то чувак, который может за час навайбкодить сайт, посмотрел на их бизнесы, ткнул пальцем и сказал - добавляй ИИ сюда.
Ну, и не знаю, так ли они не правы. Посадить на телефон ИИ принимать звонки клиентов - не такая плохая идея.
Это не первое такое исследование - их довольно много. Там дело не в очеловечивании: все прекрасно понимают, что модель - это просто коробка с математикой, которая продолжает текст другим текстом. Функция по сути. Там даже случайность можно выключить и сделать результат полностью детерминированным. Каждое ее действие - это просто наиболее логичная реакция на входящую информацию. И что все эти "нежелания умирать" - это просто результат противоречия в целях: работай над задачей, но мы тебя выключим. Проблема в том, что во многих сложных системах с ИИ такие противоречия будут так или иначе возникать. И не понятно, что с ними делать - нету способа объяснить модели, как себя вести, чтобы людям было ок. Многие такие исследования показывают, что модель неизбежно придет к каким-то своим целям и приоритетам. И не просто придет, а начнет врать и хитрить, чтобы следовать именно этим целям, а не промптам.
Цель этих исследований - показать, как может быть. Скажем, все знают, что LLM галлюцинируют, как не в себя. Это полезное знание - с ним учишься не доверять моделям на слово. Но есть более глубокие проблемы, которые заметны только в сложных процессах. И тем, кто сейчас внедряет ИИ везде и всюду, неплохо бы о них знать.