Веса это условная вероятность. Условие — контекст (prompt).
Вероятность чего и что значит "условная"? Если условие - это контекст, то условная веростность - это... вероятность контекста? Я не понимаю, что вы хотите сказать. Веса сами по себе не имеют ничего, связанного с вероятностями. Там перемножаются вектора и результат пропускается через функцию активации. В обратную сторону - через производную этой функции. Школьная математика - ни одной формулы из теорвера в базовой нейронке нет. Вероятности там в другом контексте находятся
Теперь вопрос, а откуда для обучения берется целевая переменная?
Я выше довольно подробно расписал
Да, и это не обучения без учителя
Это не так. Pre-training - без учителя, fine-tunning - с учителем
Что-то вы знаете, но, похоже, страх показаться дураком мешает просто взять и нормально поговорить. Местные ИИ эксперты засмеют. Поэтому у нас тут ансамбль регрессий и прочие криптические послания. Вот только почему-то у вас ИИ даже простую задачу выполнить не может, а я с его помощью проекты делаю
У меня есть другой пример. Я бекенд разработчик, мне хочется сделать свой продукт, но я не очень хорош в мобильной разработке и фронтендах. Плюс меня демотивирует количество работы. Сейчас с помощью AI я могу более-менее решить эту проблему. Последние 2 месяца я делаю несколько сервисов со вполне сносным фронтедом и iOS прилагой, в которых я не написал ни строчки кода сам. Да даже бекенд я руками почти не трогаю. Скидываю файлы в GPT-4 или Claude3 Opus, говорю, что мне нужно - они отвечают, что и где добавить. Не всегда правильно, часто нужно просить переделать, дополнительно объяснять, давать примеры. Но все равно дело движется намного лучше, чем если бы я все делал сам
Copilot мне нравится только как автокомплит в IDE. Делать с его помощью задачи получается хуже, чем описанным выше способом
Люблю девбай за то, что тебе с порога говорят, что ты тупой. В англоязычном сегменте интернета такого уже и не встретишь
Ладно, раз уж у нас тут какая-никая дискуссия... Нейронка не вставляет пропущенные слова. Это процесс обучения такой. Убираем слово - загружаем оставшийся текст в нейронку, даем ей угадать. Веса изначально случайные - результат выходит произвольный. После каждой попытки все веса в нейронке правятся пропорционально степени ошибки. Там хитрая, но примерно школьного уровня математика вычисляет, насколько каждый нейрон в каждом слое ошибся (в GPT посложнее, но суть та же). Постепенно она все лучше угадывает пропущенные слова, потому что нейронные сети гарантированно находят связи в данных, если они там есть. А в тексте и тем более в коде они есть. Нейронке не нужны вопросы и правильные ответы - ей нужен просто осмысленный текст в больших количествах. Она умеет кодить не потому, что прочитала весь stackoverflow и запомнила топ комменты, а потому что хорошо вывела связи между "словами" в языках программирования, которые ей скормили в виде кода. Это все первый этап. Второй этап нужен в основном затем, чтобы скорректировать поведение. Чтобы модель лучше понимала, вам нужен код, его объяснение, анализ на ошибки, автокомплит в одну строку или что-то еще. И чтобы матом не ругалась и не хотела убить всех людей. Stackoverflow полезен, т.к. там код сочетается с текстом. Но это не единственный и не самый главный источник знаний. Синтетические данные сейчас очень широко используются в дообучении. Я не настаиваю, чтобы вы мне верили, но описанная вами проблема - из другой области. Она про недостаточное разнообразие данных на первом этапе
Ничего страшного не случится, когда "ресурсы по типу StackOverflow вымрут". Их роль не настолько велика в обучении, как многим кажется. В обучении есть 2 этапа. Сначала в нейронку загружают просто текст. Из него убирают какие-то слова - и нейронка должна их угадать. Годится любой текст, код, записки, чеки - что угодно, где слова хоть как-то связаны друг с другом. Это самая сложная и дорогая часть, она стоит миллионы и требует датацентров с gpu чипами. Второй этап - дообучение и настройка. Вот тут уже нужны качественные данные: конкретные вопросы и конкретные ответы, разные формулировки и ракурсы одного и того же. Где-то тут может быть полезен StackOverflow. Но не только он. Куда надежнее нагенерить синтетических данных - попросить LLM создать код на конкретную задачу, попросить другие LLM его выполнить, проверить, дать отзыв. Повторить это несколько раз - и будет не хуже, чем на StackOverflow.
В общем, это решаемая проблема. Им там куда больше не хватает "сырых" данных для первого этапа. Настолько не хватает, что сейчас куда больший прорыв происходит в мире маленьких моделей. Компании берут объемы данных, какими обучали свои флагманские гигантские модели, и обучают ими модели поменьше. Это дает интересные результаты. Сейчас крошечные модели, которые раз в 50 меньше самых продвинутых, выдают почти соизмеримую производительность. Их можно встраивать в телефоны, IDE, всякие руки-манипуляторы и так далее.
В 1984 есть глава о том, как уменьшают дневную норму шоколада, но этого никто не замечает. Всем, наоборот, кажется, что ее увеличивают, потому что так говорят в новостях. Очень похоже на мантру про нынешние времена. Еще пару лет назад ИТишники в РБ гнались за зарплатами, стеком, хорошими условиями. А сейчас мало того, что стандарты понизились до стабильной зарплаты, так всем еще и железобетонно кажется, что так так везде
Вон уже Китай выкатил модели не хуже - у них там проблем с исками от всяких копирайтеров и обиженных артистов нет. И регуляциями не душат. Так можно и AI гонку проиграть, перекладывая бумажки из одной стопки в другую
Я б послушал какие-нибудь кулстори про бизнесы на ранних этапах. Там и тут, раньше и сейчас. Ну и традиционное - в каком году уже AI начнет заменять кодеров?
Ну, ок, я согласен, что видеть node.js, javascript, .net, bash, python одном списке - это странно. Авторы статьи могли бы разделить языки и платформы. Я помню тот опросник - там просто просили перечислить технологии - можно было Эксель и вязание вписать.
Сейчас довольно много народу пишет бекенды на JS и называет себя node-разработчиками. Я часто слышу фразы вроде "я пишу под ноду", вижу наклейки node.js на ноутах - мне плюс-минус понятно, что они имеют в виду и чем занимаются. А назвались бы JS-разработчиками - пришлось бы гадать. С джавой проще, потому что все ее ветки кроме энтерпрайза умерли. Никто уже не пишет на ней десктопы, фронтенды, не пытается заниматься AI, даже из мобилок ее вытеснили. Так что говоришь "джавист" - и сразу понятно, что ты энтерпрайз пилишь и жить не можешь без ооп.
В статье и не говорят, что это язык. Там просто облако тегов/технологий какое-то, где .Net стоит рядом с Bash. Мне в целом понятно, о чем речь, но кого-то сбивает с толку. Повезло платформам, где все называется одним словом. Под джавой тоже не стоит понимать только язык, если что
Финтех - это в большинстве случаев банки. Банки - это бесконечная бюрократия и размазанная ответственность, где все концы уходят в воду. Программист там пишет код по требованиям бизнес аналитиков, под управлением целой кучи менеджеров и команд по контролю. Если на него при этом еще и материальную ответственность повесить, связь с реальность будет окончательно потеряна
У меня как-то был баг на проде, который едва не стоил банку 10 миллиардов долларов. Баг был уровня “подставили плюс вместо минуса”, но много волос в ту ночь с пятницы на субботу посидело. Бизнес аналитики винили разработчиков, разработчики - аналитиков и QA, QA говорили, что им не дали prod quality данные, менеджеры ныли, что нам нужны другие процессы, инфраструктурная команда требовала забрать у всех доступ и так далее. Месяца два все шумели, потом как-то само собой улеглось, а на проекте появился еще один менеджер. На самом же деле, у нас был крайне плохо написанный код, состоявший из костылей и подпорок, минимум тестов, начальтво часто пропихивало фичи за пару дней до релиза. Плюс еще менеджеры очень боялись откатывать неудавшиеся релизы (их за это ругали), поэтому у нас и процедур таких толком не было. Каждый релиз - как последний. Вот и ищи, на кого тут повесить ответственность
Спец. службы и спец. операции ЕПАМа - это сильно. Закоммитил фигню, а тебе мешок на голову и в багажнике куда-то везут. Или соседний офис конкурента провел референдум, решил присоединиться к ЕПАМ - а у вас уже спринты для них открыты, сторипоинты розданы и кофе стынет
Комментарии
Очень поэтично
Вероятность чего и что значит "условная"? Если условие - это контекст, то условная веростность - это... вероятность контекста? Я не понимаю, что вы хотите сказать. Веса сами по себе не имеют ничего, связанного с вероятностями. Там перемножаются вектора и результат пропускается через функцию активации. В обратную сторону - через производную этой функции. Школьная математика - ни одной формулы из теорвера в базовой нейронке нет. Вероятности там в другом контексте находятся
Я выше довольно подробно расписал
Это не так. Pre-training - без учителя, fine-tunning - с учителем
Что-то вы знаете, но, похоже, страх показаться дураком мешает просто взять и нормально поговорить. Местные ИИ эксперты засмеют. Поэтому у нас тут ансамбль регрессий и прочие криптические послания. Вот только почему-то у вас ИИ даже простую задачу выполнить не может, а я с его помощью проекты делаю
У меня есть другой пример. Я бекенд разработчик, мне хочется сделать свой продукт, но я не очень хорош в мобильной разработке и фронтендах. Плюс меня демотивирует количество работы. Сейчас с помощью AI я могу более-менее решить эту проблему. Последние 2 месяца я делаю несколько сервисов со вполне сносным фронтедом и iOS прилагой, в которых я не написал ни строчки кода сам. Да даже бекенд я руками почти не трогаю. Скидываю файлы в GPT-4 или Claude3 Opus, говорю, что мне нужно - они отвечают, что и где добавить. Не всегда правильно, часто нужно просить переделать, дополнительно объяснять, давать примеры. Но все равно дело движется намного лучше, чем если бы я все делал сам
Copilot мне нравится только как автокомплит в IDE. Делать с его помощью задачи получается хуже, чем описанным выше способом
Расскажите лучше, как там серфинг. Волны подходящие?
Это да. Хочешь мнусов - пиши про кавалерки. Хочешь много минусов - поделись своим опытом тренировки моделей
Люблю девбай за то, что тебе с порога говорят, что ты тупой. В англоязычном сегменте интернета такого уже и не встретишь
Ладно, раз уж у нас тут какая-никая дискуссия... Нейронка не вставляет пропущенные слова. Это процесс обучения такой. Убираем слово - загружаем оставшийся текст в нейронку, даем ей угадать. Веса изначально случайные - результат выходит произвольный. После каждой попытки все веса в нейронке правятся пропорционально степени ошибки. Там хитрая, но примерно школьного уровня математика вычисляет, насколько каждый нейрон в каждом слое ошибся (в GPT посложнее, но суть та же). Постепенно она все лучше угадывает пропущенные слова, потому что нейронные сети гарантированно находят связи в данных, если они там есть. А в тексте и тем более в коде они есть. Нейронке не нужны вопросы и правильные ответы - ей нужен просто осмысленный текст в больших количествах. Она умеет кодить не потому, что прочитала весь stackoverflow и запомнила топ комменты, а потому что хорошо вывела связи между "словами" в языках программирования, которые ей скормили в виде кода. Это все первый этап. Второй этап нужен в основном затем, чтобы скорректировать поведение. Чтобы модель лучше понимала, вам нужен код, его объяснение, анализ на ошибки, автокомплит в одну строку или что-то еще. И чтобы матом не ругалась и не хотела убить всех людей. Stackoverflow полезен, т.к. там код сочетается с текстом. Но это не единственный и не самый главный источник знаний. Синтетические данные сейчас очень широко используются в дообучении. Я не настаиваю, чтобы вы мне верили, но описанная вами проблема - из другой области. Она про недостаточное разнообразие данных на первом этапе
Ничего страшного не случится, когда "ресурсы по типу StackOverflow вымрут". Их роль не настолько велика в обучении, как многим кажется. В обучении есть 2 этапа. Сначала в нейронку загружают просто текст. Из него убирают какие-то слова - и нейронка должна их угадать. Годится любой текст, код, записки, чеки - что угодно, где слова хоть как-то связаны друг с другом. Это самая сложная и дорогая часть, она стоит миллионы и требует датацентров с gpu чипами. Второй этап - дообучение и настройка. Вот тут уже нужны качественные данные: конкретные вопросы и конкретные ответы, разные формулировки и ракурсы одного и того же. Где-то тут может быть полезен StackOverflow. Но не только он. Куда надежнее нагенерить синтетических данных - попросить LLM создать код на конкретную задачу, попросить другие LLM его выполнить, проверить, дать отзыв. Повторить это несколько раз - и будет не хуже, чем на StackOverflow.
В общем, это решаемая проблема. Им там куда больше не хватает "сырых" данных для первого этапа. Настолько не хватает, что сейчас куда больший прорыв происходит в мире маленьких моделей. Компании берут объемы данных, какими обучали свои флагманские гигантские модели, и обучают ими модели поменьше. Это дает интересные результаты. Сейчас крошечные модели, которые раз в 50 меньше самых продвинутых, выдают почти соизмеримую производительность. Их можно встраивать в телефоны, IDE, всякие руки-манипуляторы и так далее.
В 1984 есть глава о том, как уменьшают дневную норму шоколада, но этого никто не замечает. Всем, наоборот, кажется, что ее увеличивают, потому что так говорят в новостях. Очень похоже на мантру про нынешние времена. Еще пару лет назад ИТишники в РБ гнались за зарплатами, стеком, хорошими условиями. А сейчас мало того, что стандарты понизились до стабильной зарплаты, так всем еще и железобетонно кажется, что так так везде
Вот вы подумали своей головой и написали тут ниже, что работать в Innowise не так уж и плохо. Стоило оно того?
Как при помощи нехитрых приспособлений и буханки хлеба убедить читателей девбай, что зашквара не существует
Вон уже Китай выкатил модели не хуже - у них там проблем с исками от всяких копирайтеров и обиженных артистов нет. И регуляциями не душат. Так можно и AI гонку проиграть, перекладывая бумажки из одной стопки в другую
А мужики - все, прям, золото, а не люди. Если и попадаются с плохим характером, то только тут в комментах на девбай
Я б послушал какие-нибудь кулстори про бизнесы на ранних этапах. Там и тут, раньше и сейчас. Ну и традиционное - в каком году уже AI начнет заменять кодеров?
Ну, ок, я согласен, что видеть node.js, javascript, .net, bash, python одном списке - это странно. Авторы статьи могли бы разделить языки и платформы. Я помню тот опросник - там просто просили перечислить технологии - можно было Эксель и вязание вписать.
Сейчас довольно много народу пишет бекенды на JS и называет себя node-разработчиками. Я часто слышу фразы вроде "я пишу под ноду", вижу наклейки node.js на ноутах - мне плюс-минус понятно, что они имеют в виду и чем занимаются. А назвались бы JS-разработчиками - пришлось бы гадать. С джавой проще, потому что все ее ветки кроме энтерпрайза умерли. Никто уже не пишет на ней десктопы, фронтенды, не пытается заниматься AI, даже из мобилок ее вытеснили. Так что говоришь "джавист" - и сразу понятно, что ты энтерпрайз пилишь и жить не можешь без ооп.
Не на столько в центре Европы. Да и откуда у Беларусбанка 10 миллиардов? А релизы в пятницу прекрасны - можно фиксить всю ночь и потом еще два дня
В статье и не говорят, что это язык. Там просто облако тегов/технологий какое-то, где .Net стоит рядом с Bash. Мне в целом понятно, о чем речь, но кого-то сбивает с толку. Повезло платформам, где все называется одним словом. Под джавой тоже не стоит понимать только язык, если что
Это рантайм, sdk, библиотеки, сборщик кода, менеджер зависимостей и т.д. Экостистема или платформа для бекендов на js
А Java - это такой остров в океане и чай
Финтех - это в большинстве случаев банки. Банки - это бесконечная бюрократия и размазанная ответственность, где все концы уходят в воду. Программист там пишет код по требованиям бизнес аналитиков, под управлением целой кучи менеджеров и команд по контролю. Если на него при этом еще и материальную ответственность повесить, связь с реальность будет окончательно потеряна
У меня как-то был баг на проде, который едва не стоил банку 10 миллиардов долларов. Баг был уровня “подставили плюс вместо минуса”, но много волос в ту ночь с пятницы на субботу посидело. Бизнес аналитики винили разработчиков, разработчики - аналитиков и QA, QA говорили, что им не дали prod quality данные, менеджеры ныли, что нам нужны другие процессы, инфраструктурная команда требовала забрать у всех доступ и так далее. Месяца два все шумели, потом как-то само собой улеглось, а на проекте появился еще один менеджер. На самом же деле, у нас был крайне плохо написанный код, состоявший из костылей и подпорок, минимум тестов, начальтво часто пропихивало фичи за пару дней до релиза. Плюс еще менеджеры очень боялись откатывать неудавшиеся релизы (их за это ругали), поэтому у нас и процедур таких толком не было. Каждый релиз - как последний. Вот и ищи, на кого тут повесить ответственность
Играют с судьбами людей - это да, мощно сказано. Нужно жениться на каждом, кого на работу берешь
Спец. службы и спец. операции ЕПАМа - это сильно. Закоммитил фигню, а тебе мешок на голову и в багажнике куда-то везут. Или соседний офис конкурента провел референдум, решил присоединиться к ЕПАМ - а у вас уже спринты для них открыты, сторипоинты розданы и кофе стынет