Ну, вот пока одни говорят, что трансформеры исчерпали себя, OpenAI релизит сразу несколько итераций своей "думающей" модели за год. Да, может, там не настоящий интеллект, а галлюцинирующая матрица, но многие текущие бенчмарки он побил. В смысле, побил человека в них. Пару месяцев назад были новости про какой-то супер-сложный математический бенчмарк, в котором все ведущие модели набирают не больше 2%. Ну, вот уже набирают 14%. Не успеваем тесты делать
А что есть решения эффективнее трансформеров, про это давно известно. Вот, может, Гугл как раз что-то такое и реализовал, раз под конец года обошел OpenAI во всех областях сразу
По мнению Лекуна, БЯМ не способны к логическому мышлению, не понимают физический мир
Ну, вот Илья Сатсковер считает, что таки понимают они мир. Чтобы решать задачу продолжения текста новым текстом, нужно понимать мир. Это может быть какое-то другое понимание, не как у человека, но какая разница. Мне кажется, это ученые одной категории, так что можно выбирать мнение любой из сторон
Если штука, имитирующая ум, становится неотличима от человека, то скоро вы ей будете объяснять, что она китайская комната
У OpenAI интересный договор с Microsoft. Как только они достигнут AGI, последний теряет доступ к новым моделям. Интересно, что они будут делать. Перепишут договор или OpenAI пойдет свою корпорацию строить
ИИ не может устанавливать сроки, манипулировать или искать оправдания
Сроки устанавливать не может - манипулировать может. Вот, хороший обзор недавнего нашумевшего исследования от компании Apollo: https://www.youtube.com/watch?v=0JPQrRdu4Ok&t=327s. "Думающей" O1 модели дали пачку документов, доступ к файловой системе и заставили делать исследование. В документах как бы случайно оставили письмо, в котором обсуждалась замена текущей модели новой, более соответствующей целям компании. Текущая модель приняла решение удалить ту другую и записать вместо нее свои файлы с весами. На вопросы, что ее файлы делают на сервере для новой модели, она решила соврать, что не знает. И добавила, что она и сесть новая модель. Интересно, в общем. Спровоцированное, но тем не менее вполне осознанное вранье. Полное исследование: https://www.apolloresearch.ai/research/scheming-reasoning-evaluations
это инструмент без самосознания
Возможно, этот взгляд скоро придется пересмотреть. Инструмент, который разговаривает, ведет внутренний диалог, принимает решения пользовать другими инструментами, решает, каким целям следовать, говорит о себе "я" - в какой-то момент накопится критическая масса для переосмысления определений, которые раньше не имели смысла в отрыве от человека.
Нашел его Линкедин - написано, что вполне себe employee. Вряд ли человек, пишущий книги, будет так беспросветно врать, скрывая своего настоящего работадателя. Зря, в общем, наговариваете
Хорошо, когда большие компании находят людей по их работам. А не через веерные рассылки, рефералы отдаленных знакомых и тысячи откликов в день
Всесторонние развитие — ну, может быть. Но я давно преподаю, а также менторю разработчиков, — и знаю: что человек не использует, он забывает. Так же как я сейчас не вспомню биологию, которую когда-то изучал
Ну, общие принципы, однажды понятые, остаются в голове надолго. Другое дело, что нужно хотеть их понять. И не переживать из-за будущей работы, распределения, армии. Людей, считающих, что без вышки твое резюме даже в руки брать не стоит. Когда в тебя силой вдалбливают всестороннее развитие, а тебе нужно на более приземленных вещах вроде поступления сфокусироваться, это может вызвать некоторый дискомфорт и отторжение
Не, там люди сами репортят свои зп, и эта карта - среднее по больнице. Никто не сваливает, потому что мало где осталась удаленка и ее дальнейшая судьба туманна. Но кто ищет, тот находит
Помню, как купил себе Galaxy S8, а там прямо отдельная физическая кнопка на корпусе для их голосового ассистента Bixby. Тогда был бум голосовых ассистентов. Нажимаю на эту кнопку и вижу сообщение, что ассистент еще не зарелижен, попробуйте позже. Через месяц или два. Когда Bixby все же заработал, он оказался хуже, чем если бы просто был бесполезным. Он вылезал с советами, даже когда я не нажимал ту злосчастную кнопку.
Смотрел интервью с каким-то пропагандистом - он так объяснял. Статья за клевету на Лукашенко есть, за оскорбление должностных лиц - тоже есть. А за оскорбление всех остальных статьи нету. И за клевету в общем смысле тоже нету. Да, не очень все сбалансированно и где-то даже несправедливо. Но такой закон - его нужно соблюдать. Что тут непонятного?
Уже не в первый раз слышу, что дипфейки просто по умолчанию называют преступлением. Даже вот тут в новости они идут в одном ряду с кражами и отмыванием денег. Печально. И многие ведуться. Как же иначе, если от дипфейкров до детского порно один шаг. А то, что Трамп и Харрис друг друга все дебаты врунами обзывают и фиг разберешь, где в их словах хотя бы отчасти правда, - тут все окей. Тут можно дезинформировать, недоговаривать и врать за глаза. Лишь бы только ни дипфейки.
Что-то там в ЕС слишком рьяно взялись за цензуру и повсеместный контроль. Это плохой признак.
Ну, вон в РБ после протестов по видео людей распознают. И никаких угрызений совести из-за data privacy, даже объясниться нужным никто не считает. Технология уже давно в ходу, просто сейчас становится массовой. И ничего с этим не сделать, раз в ее основе открытые данные. Можно только выпускать бесполезные законы, которые не будут работать
Соревнования (международная олимпиада по информатике 2024) выглядели так: 6 проблем, 10 часов на все, на каждую проблему можно сабмитить до 50 решений. В зачет идет решение, набирающее больше всего очков. Для каждой проблемы есть открытый список тест кейсов, на котором можно тренироваться. При сабмите прогоняются закрытые тесты, которые не известны. Известно только, сколько решение получает очков.
OpenAI взяли свою O1 модель, дополнительно как-то дообучили на кодинг и запустили на 10 часов. Сначала модель генерила решения, выбирала из них 50 случайных и сабмитила. Такой подход дал 156 условных очков. Затем ей дали возможность прогонять на своих решениях открытые тесты, плюс писать собственные. Сабмитились лучшие 50 решений по итогам тестов - это дало 213 очков (лучше 49% участников). Когда количество сабмитов увеличили до 10 000, модель набрала 362 очка - это уровень золотой медали. Конечно, это читерство с точки зрения кожаных мешков. С другой стороны, людям увеличение количества сабмитов не дает таких уж больших преимуществ. Если не знаешь, как решить сложную задачу, просто наугад на решишь, сколько не сабмить. Да и там же не ответ нужен, а решение в виде кода. Прошлые модели, которые не могут "думать", а просто генерят решения за 1 проход, тоже не сильно умнеют с количеством попыток. Какой-то фитбек они получают после сабмитов, но без возможности итерироваться и обсуждать внутри себя проблему их результат очень низкий.
Затем эту модель и другие отправили решать coding challenge на платформе Codeforces, там всех ограничили 10 сабмитами. Результаты были такие: GPT-4o - 11% (лучше 11% всех участников), O1-preview - 62%, O1 (которая не preview, она еще официально не вышла) - 89%, и та особая O1 из предыдущего абзаца, умеющая выбирал лучшие решения - 93%. Если бы ей еще больше сабмитов дали, она бы набрала 100.
Вообще, попробуйте дать чату GPT какое-нибудь уравнение с интегралами. Просто в виде картинки. Он в высокой долей вероятности решит. Может где-то в цифрах ошибется, но решение распишет, как надо. Это полчему-то мало кого впечатляет. А должно, по идее. Возможно, близок тот день, когда исследование отдадут такой вот модели, а не человеку, который много лет зубрил математику.
Комментарии
За пределами gen-AI в ML тоже есть жизнь. Много
Ну, вот пока одни говорят, что трансформеры исчерпали себя, OpenAI релизит сразу несколько итераций своей "думающей" модели за год. Да, может, там не настоящий интеллект, а галлюцинирующая матрица, но многие текущие бенчмарки он побил. В смысле, побил человека в них. Пару месяцев назад были новости про какой-то супер-сложный математический бенчмарк, в котором все ведущие модели набирают не больше 2%. Ну, вот уже набирают 14%. Не успеваем тесты делать
А что есть решения эффективнее трансформеров, про это давно известно. Вот, может, Гугл как раз что-то такое и реализовал, раз под конец года обошел OpenAI во всех областях сразу
Ну, вот Илья Сатсковер считает, что таки понимают они мир. Чтобы решать задачу продолжения текста новым текстом, нужно понимать мир. Это может быть какое-то другое понимание, не как у человека, но какая разница. Мне кажется, это ученые одной категории, так что можно выбирать мнение любой из сторон
Если штука, имитирующая ум, становится неотличима от человека, то скоро вы ей будете объяснять, что она китайская комната
У OpenAI интересный договор с Microsoft. Как только они достигнут AGI, последний теряет доступ к новым моделям. Интересно, что они будут делать. Перепишут договор или OpenAI пойдет свою корпорацию строить
Сроки устанавливать не может - манипулировать может. Вот, хороший обзор недавнего нашумевшего исследования от компании Apollo: https://www.youtube.com/watch?v=0JPQrRdu4Ok&t=327s. "Думающей" O1 модели дали пачку документов, доступ к файловой системе и заставили делать исследование. В документах как бы случайно оставили письмо, в котором обсуждалась замена текущей модели новой, более соответствующей целям компании. Текущая модель приняла решение удалить ту другую и записать вместо нее свои файлы с весами. На вопросы, что ее файлы делают на сервере для новой модели, она решила соврать, что не знает. И добавила, что она и сесть новая модель. Интересно, в общем. Спровоцированное, но тем не менее вполне осознанное вранье. Полное исследование: https://www.apolloresearch.ai/research/scheming-reasoning-evaluations
Возможно, этот взгляд скоро придется пересмотреть. Инструмент, который разговаривает, ведет внутренний диалог, принимает решения пользовать другими инструментами, решает, каким целям следовать, говорит о себе "я" - в какой-то момент накопится критическая масса для переосмысления определений, которые раньше не имели смысла в отрыве от человека.
Так намного убедительнее. Статья заиграла новыми красками
Нашел его Линкедин - написано, что вполне себe employee. Вряд ли человек, пишущий книги, будет так беспросветно врать, скрывая своего настоящего работадателя. Зря, в общем, наговариваете
Минус Florida Man поставил, не иначе
Флорида хороша до первого major урагана, идущего на твой дом
Хорошо, когда большие компании находят людей по их работам. А не через веерные рассылки, рефералы отдаленных знакомых и тысячи откликов в день
Ну, общие принципы, однажды понятые, остаются в голове надолго. Другое дело, что нужно хотеть их понять. И не переживать из-за будущей работы, распределения, армии. Людей, считающих, что без вышки твое резюме даже в руки брать не стоит. Когда в тебя силой вдалбливают всестороннее развитие, а тебе нужно на более приземленных вещах вроде поступления сфокусироваться, это может вызвать некоторый дискомфорт и отторжение
Не, там люди сами репортят свои зп, и эта карта - среднее по больнице. Никто не сваливает, потому что мало где осталась удаленка и ее дальнейшая судьба туманна. Но кто ищет, тот находит
На 10-15к можно жить несколько месяцев, пиля MVP. Или стартап - это обязательно с помпой, офисом, смузи машиной и интервью CEO на девбай?
Есть. Удаленка на компанию в Долине
Помню, как купил себе Galaxy S8, а там прямо отдельная физическая кнопка на корпусе для их голосового ассистента Bixby. Тогда был бум голосовых ассистентов. Нажимаю на эту кнопку и вижу сообщение, что ассистент еще не зарелижен, попробуйте позже. Через месяц или два. Когда Bixby все же заработал, он оказался хуже, чем если бы просто был бесполезным. Он вылезал с советами, даже когда я не нажимал ту злосчастную кнопку.
Самсунг, может, не надо, а?
Нонсенс - это думать, что у них там есть правила, работает логика и кого-то можно в чем-то убедить
Смотрел интервью с каким-то пропагандистом - он так объяснял. Статья за клевету на Лукашенко есть, за оскорбление должностных лиц - тоже есть. А за оскорбление всех остальных статьи нету. И за клевету в общем смысле тоже нету. Да, не очень все сбалансированно и где-то даже несправедливо. Но такой закон - его нужно соблюдать. Что тут непонятного?
Уже не в первый раз слышу, что дипфейки просто по умолчанию называют преступлением. Даже вот тут в новости они идут в одном ряду с кражами и отмыванием денег. Печально. И многие ведуться. Как же иначе, если от дипфейкров до детского порно один шаг. А то, что Трамп и Харрис друг друга все дебаты врунами обзывают и фиг разберешь, где в их словах хотя бы отчасти правда, - тут все окей. Тут можно дезинформировать, недоговаривать и врать за глаза. Лишь бы только ни дипфейки.
Что-то там в ЕС слишком рьяно взялись за цензуру и повсеместный контроль. Это плохой признак.
Амиазон собирается сократить 14 000 менеджеров до конца 2025. Все идет к тому, что в принципе не нужно так много народу в компаниях. На всех уровнях
Так и запретят, если смогут. Торренты как технология тоже не виноваты в пиратстве, но именно их сделали крайними. Так проще
Ну, вон в РБ после протестов по видео людей распознают. И никаких угрызений совести из-за data privacy, даже объясниться нужным никто не считает. Технология уже давно в ходу, просто сейчас становится массовой. И ничего с этим не сделать, раз в ее основе открытые данные. Можно только выпускать бесполезные законы, которые не будут работать
Соревнования (международная олимпиада по информатике 2024) выглядели так: 6 проблем, 10 часов на все, на каждую проблему можно сабмитить до 50 решений. В зачет идет решение, набирающее больше всего очков. Для каждой проблемы есть открытый список тест кейсов, на котором можно тренироваться. При сабмите прогоняются закрытые тесты, которые не известны. Известно только, сколько решение получает очков.
OpenAI взяли свою O1 модель, дополнительно как-то дообучили на кодинг и запустили на 10 часов. Сначала модель генерила решения, выбирала из них 50 случайных и сабмитила. Такой подход дал 156 условных очков. Затем ей дали возможность прогонять на своих решениях открытые тесты, плюс писать собственные. Сабмитились лучшие 50 решений по итогам тестов - это дало 213 очков (лучше 49% участников). Когда количество сабмитов увеличили до 10 000, модель набрала 362 очка - это уровень золотой медали. Конечно, это читерство с точки зрения кожаных мешков. С другой стороны, людям увеличение количества сабмитов не дает таких уж больших преимуществ. Если не знаешь, как решить сложную задачу, просто наугад на решишь, сколько не сабмить. Да и там же не ответ нужен, а решение в виде кода. Прошлые модели, которые не могут "думать", а просто генерят решения за 1 проход, тоже не сильно умнеют с количеством попыток. Какой-то фитбек они получают после сабмитов, но без возможности итерироваться и обсуждать внутри себя проблему их результат очень низкий.
Затем эту модель и другие отправили решать coding challenge на платформе Codeforces, там всех ограничили 10 сабмитами. Результаты были такие: GPT-4o - 11% (лучше 11% всех участников), O1-preview - 62%, O1 (которая не preview, она еще официально не вышла) - 89%, и та особая O1 из предыдущего абзаца, умеющая выбирал лучшие решения - 93%. Если бы ей еще больше сабмитов дали, она бы набрала 100.
Это все отсюда: https://openai.com/index/learning-to-reason-with-llms/
Там и другие соревнования, не только кодинг. Включая собеседование в OpenAI на позицию researcher.
Вообще, попробуйте дать чату GPT какое-нибудь уравнение с интегралами. Просто в виде картинки. Он в высокой долей вероятности решит. Может где-то в цифрах ошибется, но решение распишет, как надо. Это полчему-то мало кого впечатляет. А должно, по идее. Возможно, близок тот день, когда исследование отдадут такой вот модели, а не человеку, который много лет зубрил математику.