Как мне нравится метафора "токены в голове заканчиваются", я, пожалуй, заберу ее себе. ИИ может оказывать давление, но его использование не плохо само по себе, ведь человек все же решает, в конечном итоге, капитулировать или нет. И еще: если токены в голове заканчиваются, самое время выпить чаю.
Спасибо за ваше рассуждение, потому что, признаюсь, именно из-за распространенности этого убеждения, отчасти, родилась эта статья. Во-первых, вы правы: частота фактов снижает галлюцинации. Именно поэтому модели реже ошибаются в таких фактах, как столицы стран или даты рождения известных учёных. Однако, чем, на мой взгляд, интересно исследование Адама Калая, оно как раз доказывает, что чистота данных не гарантирует отсутствие галлюцинаций. Это лишь одна из фундаментальных причин, но не единственная. Среди других стимулы оценивания, о которых я упоминаю. Авторы рассматривают и отвергают напрашивающееся решение «почистить корпус»: даже на безошибочных данных само предсказание создает давление к галлюцинациям. Также они доказывают, что стимулы оценивания делают галлюцинации устойчивыми. При закрытом оценивании угадывание оказывается доминирующей стратегией и продолжает приводить к галлюцинациям. В качестве выхода авторы предлагают различать контекст: когда угадывать уместно, а когда нет и показывают, что это снижает галлюцинации.
Спасибо, что прочитали. Действительно, ИИ уже неотъемлемая часть нашей жизни. Делегирование задач ИИ хорошая вещь, когда автор заранее продумывает результат, который хочет получить, и может его проверить. В руках критически мыслящего человека модель мощный ускоритель.
Комментарии
Как мне нравится метафора "токены в голове заканчиваются", я, пожалуй, заберу ее себе. ИИ может оказывать давление, но его использование не плохо само по себе, ведь человек все же решает, в конечном итоге, капитулировать или нет. И еще: если токены в голове заканчиваются, самое время выпить чаю.
Спасибо за ваше рассуждение, потому что, признаюсь, именно из-за распространенности этого убеждения, отчасти, родилась эта статья. Во-первых, вы правы: частота фактов снижает галлюцинации. Именно поэтому модели реже ошибаются в таких фактах, как столицы стран или даты рождения известных учёных. Однако, чем, на мой взгляд, интересно исследование Адама Калая, оно как раз доказывает, что чистота данных не гарантирует отсутствие галлюцинаций. Это лишь одна из фундаментальных причин, но не единственная. Среди других стимулы оценивания, о которых я упоминаю. Авторы рассматривают и отвергают напрашивающееся решение «почистить корпус»: даже на безошибочных данных само предсказание создает давление к галлюцинациям. Также они доказывают, что стимулы оценивания делают галлюцинации устойчивыми. При закрытом оценивании угадывание оказывается доминирующей стратегией и продолжает приводить к галлюцинациям. В качестве выхода авторы предлагают различать контекст: когда угадывать уместно, а когда нет и показывают, что это снижает галлюцинации.
Спасибо, что прочитали. Действительно, ИИ уже неотъемлемая часть нашей жизни. Делегирование задач ИИ хорошая вещь, когда автор заранее продумывает результат, который хочет получить, и может его проверить. В руках критически мыслящего человека модель мощный ускоритель.