LLM сравнивают с JPEG, потому что в процессе обучения они, как бы, загружают в себя все знания о мире. И так как внутри не текст, а просто циферки-веса, то это действительно немного похоже на алгоритм сжатия. Было много текста, а стали цифры, которые занимают намного меньше места. Но это все-таки не сжатие - веса не отражают оригинальный текст. Во всяком случае не напрямую, как JPEG. Это больше похоже на то, как если бы взяли много картинок - и их все вместе сжали в один JPEG-файл. Большие LLM иногда могут довольно точно воссоздать оригинальный текст, но это скорее сторонний эффект их работы. Мало кто до конца понимает, как они это делают.
Но это не единственный способ, как можно получать информацию с помощью LLM. Сейчас стали популярны векторные базы, где исходный текст дробится на куски - и вот тут уже куски текста действительно сжимаются в числа (вектора) с помощью AI. LLM очень эффективно могут трансформитьвать текст в другие форматы с сохранением смысла. В данном случае в числа-вектора (это называется embedding, все LLM API предлагают такую функциональность). После можно взять текст-запрос, сжать его тем же алгоритмом и поискать похожие (математически) вектора в базе. На практике это работает так, что по тексту-запросу находятся похожие по смыслу куски текста, которые можно выгрузить в виде оригинальных документов. Эта техника довольно успешно конкурирует с full text search и индексированием.
Попробуйте ради интереса сервис perplexity.ai. Он бесплатный. Просто чтобы увидеть, каким может быть поиск с помощью AI. Он очень быстро отвечает и дает ссылки на сайты-источники. Да и в целом, LLM становятся все быстрее и быстрее. Groq Илона Маска выдает ответы на уровне GPT-3.5, но работает при этом раз в 10 быстрее.
Выше вы написали, что большинство уехало просто потому, что так сказали их компании в РБ. То есть им даже в РБ было страшно менять работу. Одно это уже очень печально. Это означает, что ситуация с ИТ в РБ плачевна. Ну, либо вы окружили себя совершенно безынициативными людьми. Плыть по течению и надеяться, что оно унесет, куда надо.
Там на западе больше работы. Там проще открыть бизнес. Там есть бигтех и около-бигтех компании, о которых на девбай не любят говорить, но которые платят намного больше остального рынка. Там можно заниматься наукой или быть инженером и получать не меньше айтишников. Возможно, не сразу, не в первые год, два, три после релокации. Вы же отметаете все эти возможности. Потому что ваши знакомые, из которых только один отважился на смену работы, ими не пользуются.
Про образование даже начинать не хочу. В РБ оно сводится к трем универам - БГУ, БГУИР, БНТУ. И то последний тут не жалуют. И все, на этом знаменитое белорусское образование исчерпывается. В любой стране найдется пара тройка вузов не хуже.
Винтики, болтики - какой-то депрессивный кружок трудовиков. В вашей картине мира релоканты настолько боятся потерять текущую работу, что едут к черту на куличики себе во вред лишь бы только не обновлять резюме и не ставить Open to work в Линкедине. При этом речь не о Гуглах с Амазонами, а о, прости госоподи, LeverX. Ноунейм аутсорсер с посредственными зарплатами и нулевыми перспективами. Работа - это ведь такое дело... На ней женятся раз и навсегда. Куда она, туда и я.
У абсолютно всего есть погрешность. Даже в финансах так или иначе приходится выбирать, до какого знака после запятой округлять. Float там никто не использует (зато много об этом шутят), но вот с единым подходом к округлению в разных частях системы часто бывают проблемы. Наука так и вовсе вся сейчас на аппроксимациях и вероятносных моделях. В генерации картинок текстом погрешность просто огромная. Особенно если еще тонну цензуры поверх нейронки наложить и в ручную веса подкручивать. У меня сейчас есть один хобби проект, где я пытаюсь генерить изображения блюд по их описаниям в меню. Там иногда такой артхаус получается, что я даже не знаю, можно ли такое релизить.
А статья о проблемах оценки производительности LLM. Сейчас есть много разных тестов, но они все довольно мутные и часто не отражают реальной картины для конечного пользователя. Выходит какая-то новая LLM, ее пиарят тем, что она тесты лучше других прошла. А на практике ничего она не может. Ловит немного хайпа и уходит в забвение после релиза.
Специальная комиссия проверит ваши требования и придет к выводу, что умение играть на флейте нужно вычеркнуть, владение языком Java в совершенстве - заменить на просто умение писать код, а количество требуемного опыта - с 5 лет сократить до 2. Вася идеально подойдет. Что до знаний, то как их оценить формально? Рекомендации, грамоты и "я вас очень прошу, человек он хороший".
С чем-то подобным можно столкнуться, когда проходишь процесс легализации в некоторых странах. Там нужно доказать, что ты уникальный специалист, какого нет на местном рынке. Проверяют при этом не только твои документы, но и требования со стороны компании. Действительно ли им нужен такой уникальный специалист, так много опыта и так много технологий в вакансии.
Мне нравится широта вашей мысли. "Выстаивание отношений с другими людьми в вашей области или отрасли" - это для слабых. Хамить коллегам, унижать джунов, презирать софт скилы - вот, что делает профессионала профессионалом.
Вам просто промыли мозги, будто в Северной Корее плохо. А чем там плохо? Леваков нет, феминисток нет, со всех сторон потенциальные инвесторы (особенно в военной промышленности). Чистыми на руки больше выходит, но цифр я вам не покажу - мы же не можем просто взять и поверить какому-то сайту в интернете.
Так что конкретно поменялось за последние пару лет? ВУЗы каждый год выпускают кучу специалистов. За бесплатно и так работали, кто очень хотел. Я на своей первой работе 3 месяца бесплатно стажировался 15 лет назад. И что там у вас за собеседования, где кандидаты на тяжелую жизнь жалуются?
А видели человека, 6 часов подряд играющего в Доту? Орет, матерится, на внешний мир не реагирует, все кругом в крошках, кот напуган. У всех свои способы расслабляться.
Бедные правообладатели. Пользователи генерируют картинки с персонажами Марвел, монстров в стиле Pixar и истории по Звездным войнам - и никому денег не отстегивают за это. Безобразие. Нужно, чтобы сказал "Дарт Вейдер" - и у тебя с карточки доллар списался.
Комментарии
LLM сравнивают с JPEG, потому что в процессе обучения они, как бы, загружают в себя все знания о мире. И так как внутри не текст, а просто циферки-веса, то это действительно немного похоже на алгоритм сжатия. Было много текста, а стали цифры, которые занимают намного меньше места. Но это все-таки не сжатие - веса не отражают оригинальный текст. Во всяком случае не напрямую, как JPEG. Это больше похоже на то, как если бы взяли много картинок - и их все вместе сжали в один JPEG-файл. Большие LLM иногда могут довольно точно воссоздать оригинальный текст, но это скорее сторонний эффект их работы. Мало кто до конца понимает, как они это делают.
Но это не единственный способ, как можно получать информацию с помощью LLM. Сейчас стали популярны векторные базы, где исходный текст дробится на куски - и вот тут уже куски текста действительно сжимаются в числа (вектора) с помощью AI. LLM очень эффективно могут трансформитьвать текст в другие форматы с сохранением смысла. В данном случае в числа-вектора (это называется embedding, все LLM API предлагают такую функциональность). После можно взять текст-запрос, сжать его тем же алгоритмом и поискать похожие (математически) вектора в базе. На практике это работает так, что по тексту-запросу находятся похожие по смыслу куски текста, которые можно выгрузить в виде оригинальных документов. Эта техника довольно успешно конкурирует с full text search и индексированием.
Попробуйте ради интереса сервис perplexity.ai. Он бесплатный. Просто чтобы увидеть, каким может быть поиск с помощью AI. Он очень быстро отвечает и дает ссылки на сайты-источники. Да и в целом, LLM становятся все быстрее и быстрее. Groq Илона Маска выдает ответы на уровне GPT-3.5, но работает при этом раз в 10 быстрее.
Выше вы написали, что большинство уехало просто потому, что так сказали их компании в РБ. То есть им даже в РБ было страшно менять работу. Одно это уже очень печально. Это означает, что ситуация с ИТ в РБ плачевна. Ну, либо вы окружили себя совершенно безынициативными людьми. Плыть по течению и надеяться, что оно унесет, куда надо.
Там на западе больше работы. Там проще открыть бизнес. Там есть бигтех и около-бигтех компании, о которых на девбай не любят говорить, но которые платят намного больше остального рынка. Там можно заниматься наукой или быть инженером и получать не меньше айтишников. Возможно, не сразу, не в первые год, два, три после релокации. Вы же отметаете все эти возможности. Потому что ваши знакомые, из которых только один отважился на смену работы, ими не пользуются.
Про образование даже начинать не хочу. В РБ оно сводится к трем универам - БГУ, БГУИР, БНТУ. И то последний тут не жалуют. И все, на этом знаменитое белорусское образование исчерпывается. В любой стране найдется пара тройка вузов не хуже.
Винтики, болтики - какой-то депрессивный кружок трудовиков. В вашей картине мира релоканты настолько боятся потерять текущую работу, что едут к черту на куличики себе во вред лишь бы только не обновлять резюме и не ставить Open to work в Линкедине. При этом речь не о Гуглах с Амазонами, а о, прости госоподи, LeverX. Ноунейм аутсорсер с посредственными зарплатами и нулевыми перспективами. Работа - это ведь такое дело... На ней женятся раз и навсегда. Куда она, туда и я.
Но ведь и правда ужас. Я в 11 начинаю, в 5 заканчиваю.
У абсолютно всего есть погрешность. Даже в финансах так или иначе приходится выбирать, до какого знака после запятой округлять. Float там никто не использует (зато много об этом шутят), но вот с единым подходом к округлению в разных частях системы часто бывают проблемы. Наука так и вовсе вся сейчас на аппроксимациях и вероятносных моделях. В генерации картинок текстом погрешность просто огромная. Особенно если еще тонну цензуры поверх нейронки наложить и в ручную веса подкручивать. У меня сейчас есть один хобби проект, где я пытаюсь генерить изображения блюд по их описаниям в меню. Там иногда такой артхаус получается, что я даже не знаю, можно ли такое релизить.
А статья о проблемах оценки производительности LLM. Сейчас есть много разных тестов, но они все довольно мутные и часто не отражают реальной картины для конечного пользователя. Выходит какая-то новая LLM, ее пиарят тем, что она тесты лучше других прошла. А на практике ничего она не может. Ловит немного хайпа и уходит в забвение после релиза.
В последнее время я уверен только в минусах за свои комменты
Люди, которым Цукерберг пишет лично, вряд ли в боятся сокращений
А вы стяните сову с глобуса и прямо мне в лицо расскажите о плюсах принимаемого закона
Специальная комиссия проверит ваши требования и придет к выводу, что умение играть на флейте нужно вычеркнуть, владение языком Java в совершенстве - заменить на просто умение писать код, а количество требуемного опыта - с 5 лет сократить до 2. Вася идеально подойдет. Что до знаний, то как их оценить формально? Рекомендации, грамоты и "я вас очень прошу, человек он хороший".
С чем-то подобным можно столкнуться, когда проходишь процесс легализации в некоторых странах. Там нужно доказать, что ты уникальный специалист, какого нет на местном рынке. Проверяют при этом не только твои документы, но и требования со стороны компании. Действительно ли им нужен такой уникальный специалист, так много опыта и так много технологий в вакансии.
Когда спросят, чего уехал из РБ, будут говорить, что там не понимали моих шуток
Так у меня с нетворкингом все в порядке. Это у вас какие-то проблемы с выстраиванием отношений и хамством.
Мне нравится широта вашей мысли. "Выстаивание отношений с другими людьми в вашей области или отрасли" - это для слабых. Хамить коллегам, унижать джунов, презирать софт скилы - вот, что делает профессионала профессионалом.
Вам просто промыли мозги, будто в Северной Корее плохо. А чем там плохо? Леваков нет, феминисток нет, со всех сторон потенциальные инвесторы (особенно в военной промышленности). Чистыми на руки больше выходит, но цифр я вам не покажу - мы же не можем просто взять и поверить какому-то сайту в интернете.
Почему дешевле? Pro версия - те же $20. API немного дороже выходит, чем OpenAI, но не значительно
Так что конкретно поменялось за последние пару лет? ВУЗы каждый год выпускают кучу специалистов. За бесплатно и так работали, кто очень хотел. Я на своей первой работе 3 месяца бесплатно стажировался 15 лет назад. И что там у вас за собеседования, где кандидаты на тяжелую жизнь жалуются?
Вы забыли про индусов. Они своими дешевыми рейтами вот-вот захватят весь аутсорс. Со дня на день
А видели человека, 6 часов подряд играющего в Доту? Орет, матерится, на внешний мир не реагирует, все кругом в крошках, кот напуган. У всех свои способы расслабляться.
Да не было никогда такого окошка. Раньше тоже было сложно, просто по-другому
Бедные правообладатели. Пользователи генерируют картинки с персонажами Марвел, монстров в стиле Pixar и истории по Звездным войнам - и никому денег не отстегивают за это. Безобразие. Нужно, чтобы сказал "Дарт Вейдер" - и у тебя с карточки доллар списался.
п.с. "эти штуки" не так работают
Ну, все-таки. Вот, например, хочется вам попасть в конкретную компанию на собеседование. В OpenAI, например. Что вы будете делать?