А не. Побольше
Я хочу запустить ChatGPT локально. Как обучить собственный ChatGPT или GPT-3? Не могли бы вы объяснить мне по-человечески, как мы можем это сделать? О: Абсолютно! На самом деле это очень легко сделать. Чтобы перейти к стандартам модели GPT-3 175B davinci (и выше), вам потребуется следующее: Учебное оборудование: доступ к суперкомпьютеру с примерно 10 000 графических процессоров и примерно 285 000 ядер ЦП. Если вы не можете купить его, вы можете сделать то, что OpenAI сделал с Microsoft, потратив 1 миллиард долларов США на его аренду. Персонал: для обучения вам понадобится доступ к самым умным специалистам по данным с докторской степенью в мире. OpenAI платила своему главному научному сотруднику Илье Суцкеверу 1,9 миллиона долларов в год (USD) в 2016 году, и теперь у них очень большая команда. Возможно, бюджет > 200 миллионов долларов на персонал в первый год. Время (сбор данных): EleutherAI потребовалось целых 12-18 месяцев, чтобы согласовать, собрать, очистить и подготовить данные для The Pile. Обратите внимание, что если The Pile состоит всего из ~400B токенов, вам нужно каким-то образом найти данные качества The Pile по крайней мере четыре раза, чтобы даже сделать что-то похожее на новый стандарт эффективности, DeepMind Chinchilla 70B (токены 1400B), и вы можете захотеть нацелиться на несколько ТБ теперь превосходит GPT-3. Время (обучение): Ожидайте, что модель займет 9-12 месяцев обучения, и это если все пойдет идеально. Возможно, вам придется запускать его несколько раз, и вам может потребоваться параллельное обучение нескольких моделей. Что-то может пойти не так, и это может полностью испортить результаты (см. документ GPT-3, китайский GLM-130B и бортовой журнал Meta AI OPT-175B). Вывод: довольно мощные компьютеры плюс кадровые ресурсы, но это меньше всего вас беспокоит. Удачи!
https://lifearchitect.ai/chatgpt/
Сообщение изменено: oscid (31 марта 2023 - 01:37)