Изменился, так как оперирование лексемами не подразумевает оперирование готовыми смысловыми конструкциями или шаблонами. Ответ бота строится последовательным выбором лексем, а не копированием/вставкой фраз или словосочетаний. Тут попытался вкратце это описать: https://forum.steelf...entry1059444803
Из твоих прошлых комментариев про компиляцию создалось впечатление, что ты веришь в оперирование модели готовыми частями ответа. Если нет, то хорошо.
Поехали, попробую переложить свое, безусловно - дилетантское понимание, с твоего специфического языка (терминологии) предельно упростив, а потом посмотрим похоже это на то, что я написал или иное. Как говорил тов. Фейман, -" не можете объяснить простыми словами ( предмет/явление) значит вы сами в нем недостаточно разобрались. А от себя добавлю, " см. нейробулшит".
Как за наукообразной терминологией прячется суть явления ( возможно - суть которую нельзя описать).
1. Лексема - единица ( слово, оборот , выражение) , включающая всю совокупность словоформ одного слова и их значений. Ранее -группа ассоцииированных слов.
Ок , я написал ( фразы, словосочетания, слова) - готовые конструкции ( понятно- включающие, правила , синонимы, определенные коснструкции принадлежащие языку, в том числе "контекст" и т.д.).
Где разница принципиальная? Вульгализирированно да-разница есть, принципиально? Поясни"на пальцах".
2. Из твоего поста - "чтобы сеть (как и человек) знала, что она комментирует, она должна получить этот объект либо прямо в запросе, либо заранее обучиться на нём. То есть, если это стих, то его нужно либо написать, либо по названию она должна его найти внутри себя. Если нет ни того, ни другого, она будет интерполировать только по названию, и результат будет далек от содержимого реального стиха.
Ну и в чем отличие человека который быстро делает копипаст, заметки по ключевым терминам, не понимая сути предмета? Что там болван - с сознанием, что здесь болван без сознания.
"Положите песочный час на бок " (с)
Пусть машина не ищет в гугле напрямую, она использует инфу из БД на которых она обучалась. Она не генерит новую информацию. Она не понимает ее смысловую нагрузку, это просто "миллион обезъян за миллион лет печатающие роман - война и мир". Они не понимают ,что они сделали. Просто у тебя есть миллион лет и миллион обезъян в виде мощностей и определенные алгоритмы, которые отсекают мусор от "обезъян" пока они дойдут "до войны и мира".
И даже если "миллион обезъян за миллион лет, напечатают " Мир и война" , у них нет понимания, что -это такое. Только живой может наделить это смыслами, в том числе конечно ложными.
Как пример: Ты восторгался песочными часами на боку, как символом бесконечности, а как всегда правда оказалась банальной, такой символ был уже известен. Ничего нового языковая модель не сгенерила.
3. Когда модель строит ответ, она ранжирует лексемы (токены) по вероятностям, а вероятности составляет по выученному датасету, включая сам предмет. Это очень упрощено, у ChatGPT еще применяется сложная схема "трансформер" и другие фичи, которые влияют на вывод, но я в такие тонкости пока не углублялся .
Ну и опять , в чем отличие от моего вульгарного -" считает вероятности использования словесных конструкций, выделяет их и запоминает". Пусть не гуглит напрямую, но содержит их в своих базах, на которых она обучалась их. Она не создает новые смыслы, а если создает " смотрим про миллион обезъян за миллион лет", то среди всего созданного мусора, люди выбирают ту которая случайным образом сгенерила интересный смысл и наделяют программу - антропоморфностью. Прыгают над этой фразой. Они не обращают внимание на паралелльно сгенеренные тонны -смыслового мусора, оправдывают их.
(Суть в том, что ответ бота – не компиляция мнений по ключевым словам. Он не проводит поиск фраз, чтобы их скопировать и показать. Когда ты отправляешь ему текст, он переводит его в массив чисел (векторы встраивания для лексем) и пропускает эти числа через свои "нейронные" слои. Каждый "нейрон" умножает их на свой вес (коих 175 млрд) и передает дальше, на выходе всё суммируется и выдается новая лексема. Потом выводится следующая. Поэтому он долго "думает".
4. Почему всё это работает – сейчас нет научной теории.
Это вообще пять. Артефакт. Неизвестное устройство, черный ящик.
5. Почему он при обучении так хорошо фиксирует грамматические правила, что почти не нарушает их? Они же у него нигде не прописываются заранее. Почему в большинстве случаев получается настоящий парафраз, а не грамматически правильная белиберда?
"Положите песочный час на бок"
5. Я помню так же тряслись над привиками от ковида ( тоже все такие ученые, разученые. New/) и Пуф... Все просто ушло. Так же было с коллайдером. Займет свое место, но это не интеллект.
"Если бы разгадкой была просто компиляция мнений по ключевым словам, ученые не ломали бы голову по этому поводу".
Товарищам нужно оправдывать денежные вливания. Жизнь показывает, чем громче шумиха вокруг явления тем менее всего- оно того стоит.