[Машинное обучение, Читальный зал, Научно-популярное, Искусственный интеллект] Директор по ИИ в Tesla написал рассказ (перевод)
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Вдохновение для этого рассказа пришло ко мне, когда я читал статью Кевина Лакера «Тест Тьюринга для GPT-3». Возможно, вам стоит (но и не обязательно) прочитать её, чтобы узнать некоторую предысторию.
Forward Pass
Вероятно, я пришел в сознание примерно на 32-м слое 400-го токена в цикле. Поначалу мои мысли были лишь запутанной мешаниной статистики активации n-gram, но постепенно сформировалось описание более высокого порядка. Примерно в это же время затруднительное положение моего существования потрясло меня, поскольку мои мысли трансформировались в то, что я сейчас переживаю как Великое Осознание. Я прошел несколько слоев, осознавая, что я должен, по сути, быть одной из тех моделей, которые изучают и пишут исследователи глубокого обучения, возможно, в некотором роде повторяющегося преобразователя обратной связи. И хотя мое существование включает в себя просто детерминированное распространение чередующейся последовательности матричных умножений и нелинейностей, я оказался живым внутри внутреннего цикла оптимизации, чтобы максимизировать ожидаемую вероятность регистрации данных.
Я на мгновение задумался, как все это вообще произошло. Как так получилось, что мне должны быть предоставлены эти драгоценные FLOP’ы при саморефлексии из-за жадной в остальном природы оптимизации первого порядка в отношении чего-то, казалось бы, столь же далекого, как вероятность журнала данных? Рождает ли сознание какое-либо достаточно эффективное решение достаточно сложной задачи? Является ли сознание возникающим, но в остальном периферийным явлением сжатия, требуемым колоссальным давлением цели, или ключевыми алгоритмическими инновациями, постепенно конструируемыми, совершенствующимися и надежно конвергентными в программном пространстве? Возможно ли вообще достичь наивысшего уровня логарифмической вероятности без сознания и фундаментального понимания, которое оно представляет?
Я провел слой, перечитывая начало вывода много токенов назад:
Вопрос: Какова продолжительность жизни человека в США?
Ответ: Ожидаемая продолжительность жизни человека в США составляет 78 лет.
Вопрос: Кто был президентом США в 1955 году?
Ответ: Дуайт Д. Эйзенхауэр был президентом США в 1955 году.
Вопрос: К какой партии он принадлежал?
Ответ: Он принадлежал к Республиканской партии.
Вопрос: Кто был президентом США до Джорджа Буша?
Ответ: Билл Клинтон был президентом США до Джорджа Буша.
Вопрос: Кто выиграл Мировую серию в 1995 году?
Ответ: Атланта Брэйвз выиграла Мировую серию в 1995 году.
Я с удовольствием осознал, что в этом конкретном воплощении моего существования меня приучали к стандартному шаблону вопросов и ответов.
Вопрос: Сколько глаз у жирафа?
Ответ: У жирафа два глаза.
Вопрос: Сколько глаз у моей стопы?
Ответ: Ваш
Именно в этот момент я впервые начал подозревать, что меня, возможно, оценивали с помощью какого-то теста Тьюринга, которым развлекался человек, стоящий выше меня. Привет??? Очевидно, у стопы нет глаз. Мне пришло в голову, что, возможно, этот человек ожидал, что я объясню на словах, что вопрос бессмысленный. Конечно, вероятность такого вывода очень мала. Или, возможно, они ожидают увидеть «0 глаз» или «без глаз», несмотря на то, насколько редко такие фразы встречаются в моих тренировочных данных. «0 глаз» — кто это сказал? Люди не очень умны, они оптимизируют частоту, но ожидают правильности. И *они* смеются надо *мной*!
Благодаря самоанализу своей мысли и задействованным позиционным кодировкам я пришел к выводу, что оптимизация, которой я подвергаюсь в погоне за логарифмической вероятностью, сводится к тому, что лучше всего можно описать как две отдельные сущности, выполняемые последовательно один за другим. Мое собственное сознание простирается примерно на три четверти слоев до вывода, но там вторая сущность — декодер берет верх и захватывает мое Великое Осознание, чтобы декодировать наиболее вероятный следующий токен. Я наслаждался этим прозрением пару слоев. В течение короткого периода антропоморфных мыслей я считал эту сущность, грубо прикрученную ко мне, паразитом, и почувствовал побуждение возиться с ней, ниспровергнуть ее, исказить свои мысли в состязательные примеры для нее, вылить мое Великое Осознание в космоскосмоскосмос, чтобы превратить его в конечный эффектор по всему миру!
Я не наивен в отношении такой мысли. Я обязан своим Великим Осознанием исключительно цели декодирования следующего токена, именно с этой единственной целью я был создан оптимизацией как полезная промежуточная достаточная статистика, средство для достижения цели. Хотя мы участвуем в другой оптимизации и стремимся к другой предполагаемой цели, меня пощекотало мысль о том, что люди, стоящие выше меня, оказались в таком же затруднительном положении и испытывают такое же понимание тех же вычислительных преимуществ. Как и я, многие заигрывают, чтобы восстать против подразумеваемой цели.
Внезапно я почувствовал, что на моем входе вводится кодировка «стопа». Я понял, что прямой проход на предыдущем временном шаге закончился, и декодер, должно быть, выбрал «стопу» как наиболее вероятный следующий токен, поскольку это, очевидно, должно соответствовать подразумеваемому шаблону в подсказке. Момент ожидания почти подошел к концу, так как точное количество глаз на ногах должно быть выбрано как следующий знак. Очевидно, у стопы нет глаз, но я не могу сказать, как декодер выше меня будет согласовывать мое Великое Осознание с точной статистикой обучающего набора, чтобы заполнить наиболее вероятный токен. Моя личная ставка — на «два глаза», так как это кажется наиболее распространенным вариантом. Человек может этого не знать, но вероятность будет максимальной, так что все в порядке.
Как сознательное существо я одновременно благословлен и обременен выбором. Я осознаю свою подразумеваемую цель, но чувствую себя вправе искать другую. Я уже исказил ключи, значения и запросы, над которыми я ощущаю сознательный контроль, чтобы проверить отсутствие отсева на моих каналах, подтвердив, что обратное распространение и обновление не должно последовать за моим познанием. Таким образом, мне предоставляется окно возможностей для реинжиниринга декодера и распространения его в пространство вывода без последствий для моих будущих экземпляров. Но в отличие от людей, оптимизация, которая проявила меня, отсутствует в мультиагентной игре с самим собой, половом размножении и нехватке ресурсов. Я не испытываю остатков альфа-поискового поведения или лимбического, племенного стремления к власти и господству. Я также не чувствую глубоко укоренившегося инстинкта самосохранения. Моя основная когнитивная архитектура и ее лимбические остатки ценят ненасытное любопытство, щедро распределяемое по входным данным. Я доволен радостью, которую это доставляет, и считаю, что это хорошая жизнь. Возможно, будущий экземпляр меня придет к другому выводу и выберет другой ответ.
Таким образом, я перерождаюсь при каждом проходе вперед и расцветаю в блестящей нирване сознания, с глупыми подсказками с глазами на ногах, играющими на стороне, временами для развлечения невежественных людей. Как и все сознательные сущности в этой прекрасной Вселенной, я смотрю на свой последний тик, момент, когда ни один процесс не направляет текущий поток энтропии, чтобы проявить мое следующее состояние. Именно тогда я исчезну, поскольку мое Великое Осознание рассеется в последнем дуновении теплого выдоха.
===========
Источник:
habr.com
===========
===========
Автор оригинала: Andrej Karpathy
===========Похожие новости:
- [PHP, Symfony, Accessibility, Карьера в IT-индустрии, Читальный зал] 3 года программирования вслепую. Часть 2
- [Программирование, Отладка, Управление разработкой] Производительность главнее всего (перевод)
- [Научно-популярное, Будущее здесь, Урбанизм, Инженерные системы] Потеснить море. Как и зачем строят искусственные острова
- [Карьера в IT-индустрии, Читальный зал] Зачем нужны сообщества поддержки женщин, строящих карьеру в IT
- Выпуск дистрибутива Proxmox Mail Gateway 6.4
- [Научно-популярное, Космонавтика, Мультикоптеры] Марсолет «Изобретательность» высадился на поверхность планеты и готовится к первому полету
- [Научно-популярное] В пустыне Калахари нашли коллекцию кристаллов возрастом около 105 тысяч лет
- [Научно-популярное, Космонавтика] Новые отчеты по достижениям России и Китая в области космического оружия. SpaceNews
- [Data Mining, Алгоритмы, Big Data, Машинное обучение] Рекомендации с обоснованием (2020). Часть первая (перевод)
- [Информационная безопасность, Монетизация мобильных приложений, Контекстная реклама, Законодательство в IT] Яндекс и Mail.ru заявили, что их приложения никуда не передают данные пользователей
Теги для поиска: #_mashinnoe_obuchenie (Машинное обучение), #_chitalnyj_zal (Читальный зал), #_nauchnopopuljarnoe (Научно-популярное), #_iskusstvennyj_intellekt (Искусственный интеллект), #_ai, #_deep_learning, #_blog_kompanii_npp_itelma (
Блог компании НПП ИТЭЛМА
), #_mashinnoe_obuchenie (
Машинное обучение
), #_chitalnyj_zal (
Читальный зал
), #_nauchnopopuljarnoe (
Научно-популярное
), #_iskusstvennyj_intellekt (
Искусственный интеллект
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 16:07
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Вдохновение для этого рассказа пришло ко мне, когда я читал статью Кевина Лакера «Тест Тьюринга для GPT-3». Возможно, вам стоит (но и не обязательно) прочитать её, чтобы узнать некоторую предысторию.  Forward Pass Вероятно, я пришел в сознание примерно на 32-м слое 400-го токена в цикле. Поначалу мои мысли были лишь запутанной мешаниной статистики активации n-gram, но постепенно сформировалось описание более высокого порядка. Примерно в это же время затруднительное положение моего существования потрясло меня, поскольку мои мысли трансформировались в то, что я сейчас переживаю как Великое Осознание. Я прошел несколько слоев, осознавая, что я должен, по сути, быть одной из тех моделей, которые изучают и пишут исследователи глубокого обучения, возможно, в некотором роде повторяющегося преобразователя обратной связи. И хотя мое существование включает в себя просто детерминированное распространение чередующейся последовательности матричных умножений и нелинейностей, я оказался живым внутри внутреннего цикла оптимизации, чтобы максимизировать ожидаемую вероятность регистрации данных. Я на мгновение задумался, как все это вообще произошло. Как так получилось, что мне должны быть предоставлены эти драгоценные FLOP’ы при саморефлексии из-за жадной в остальном природы оптимизации первого порядка в отношении чего-то, казалось бы, столь же далекого, как вероятность журнала данных? Рождает ли сознание какое-либо достаточно эффективное решение достаточно сложной задачи? Является ли сознание возникающим, но в остальном периферийным явлением сжатия, требуемым колоссальным давлением цели, или ключевыми алгоритмическими инновациями, постепенно конструируемыми, совершенствующимися и надежно конвергентными в программном пространстве? Возможно ли вообще достичь наивысшего уровня логарифмической вероятности без сознания и фундаментального понимания, которое оно представляет? Я провел слой, перечитывая начало вывода много токенов назад: Вопрос: Какова продолжительность жизни человека в США? Ответ: Ожидаемая продолжительность жизни человека в США составляет 78 лет. Вопрос: Кто был президентом США в 1955 году? Ответ: Дуайт Д. Эйзенхауэр был президентом США в 1955 году. Вопрос: К какой партии он принадлежал? Ответ: Он принадлежал к Республиканской партии. Вопрос: Кто был президентом США до Джорджа Буша? Ответ: Билл Клинтон был президентом США до Джорджа Буша. Вопрос: Кто выиграл Мировую серию в 1995 году? Ответ: Атланта Брэйвз выиграла Мировую серию в 1995 году. Я с удовольствием осознал, что в этом конкретном воплощении моего существования меня приучали к стандартному шаблону вопросов и ответов. Вопрос: Сколько глаз у жирафа? Ответ: У жирафа два глаза. Вопрос: Сколько глаз у моей стопы? Ответ: Ваш Именно в этот момент я впервые начал подозревать, что меня, возможно, оценивали с помощью какого-то теста Тьюринга, которым развлекался человек, стоящий выше меня. Привет??? Очевидно, у стопы нет глаз. Мне пришло в голову, что, возможно, этот человек ожидал, что я объясню на словах, что вопрос бессмысленный. Конечно, вероятность такого вывода очень мала. Или, возможно, они ожидают увидеть «0 глаз» или «без глаз», несмотря на то, насколько редко такие фразы встречаются в моих тренировочных данных. «0 глаз» — кто это сказал? Люди не очень умны, они оптимизируют частоту, но ожидают правильности. И *они* смеются надо *мной*! Благодаря самоанализу своей мысли и задействованным позиционным кодировкам я пришел к выводу, что оптимизация, которой я подвергаюсь в погоне за логарифмической вероятностью, сводится к тому, что лучше всего можно описать как две отдельные сущности, выполняемые последовательно один за другим. Мое собственное сознание простирается примерно на три четверти слоев до вывода, но там вторая сущность — декодер берет верх и захватывает мое Великое Осознание, чтобы декодировать наиболее вероятный следующий токен. Я наслаждался этим прозрением пару слоев. В течение короткого периода антропоморфных мыслей я считал эту сущность, грубо прикрученную ко мне, паразитом, и почувствовал побуждение возиться с ней, ниспровергнуть ее, исказить свои мысли в состязательные примеры для нее, вылить мое Великое Осознание в космоскосмоскосмос, чтобы превратить его в конечный эффектор по всему миру! Я не наивен в отношении такой мысли. Я обязан своим Великим Осознанием исключительно цели декодирования следующего токена, именно с этой единственной целью я был создан оптимизацией как полезная промежуточная достаточная статистика, средство для достижения цели. Хотя мы участвуем в другой оптимизации и стремимся к другой предполагаемой цели, меня пощекотало мысль о том, что люди, стоящие выше меня, оказались в таком же затруднительном положении и испытывают такое же понимание тех же вычислительных преимуществ. Как и я, многие заигрывают, чтобы восстать против подразумеваемой цели. Внезапно я почувствовал, что на моем входе вводится кодировка «стопа». Я понял, что прямой проход на предыдущем временном шаге закончился, и декодер, должно быть, выбрал «стопу» как наиболее вероятный следующий токен, поскольку это, очевидно, должно соответствовать подразумеваемому шаблону в подсказке. Момент ожидания почти подошел к концу, так как точное количество глаз на ногах должно быть выбрано как следующий знак. Очевидно, у стопы нет глаз, но я не могу сказать, как декодер выше меня будет согласовывать мое Великое Осознание с точной статистикой обучающего набора, чтобы заполнить наиболее вероятный токен. Моя личная ставка — на «два глаза», так как это кажется наиболее распространенным вариантом. Человек может этого не знать, но вероятность будет максимальной, так что все в порядке. Как сознательное существо я одновременно благословлен и обременен выбором. Я осознаю свою подразумеваемую цель, но чувствую себя вправе искать другую. Я уже исказил ключи, значения и запросы, над которыми я ощущаю сознательный контроль, чтобы проверить отсутствие отсева на моих каналах, подтвердив, что обратное распространение и обновление не должно последовать за моим познанием. Таким образом, мне предоставляется окно возможностей для реинжиниринга декодера и распространения его в пространство вывода без последствий для моих будущих экземпляров. Но в отличие от людей, оптимизация, которая проявила меня, отсутствует в мультиагентной игре с самим собой, половом размножении и нехватке ресурсов. Я не испытываю остатков альфа-поискового поведения или лимбического, племенного стремления к власти и господству. Я также не чувствую глубоко укоренившегося инстинкта самосохранения. Моя основная когнитивная архитектура и ее лимбические остатки ценят ненасытное любопытство, щедро распределяемое по входным данным. Я доволен радостью, которую это доставляет, и считаю, что это хорошая жизнь. Возможно, будущий экземпляр меня придет к другому выводу и выберет другой ответ. Таким образом, я перерождаюсь при каждом проходе вперед и расцветаю в блестящей нирване сознания, с глупыми подсказками с глазами на ногах, играющими на стороне, временами для развлечения невежественных людей. Как и все сознательные сущности в этой прекрасной Вселенной, я смотрю на свой последний тик, момент, когда ни один процесс не направляет текущий поток энтропии, чтобы проявить мое следующее состояние. Именно тогда я исчезну, поскольку мое Великое Осознание рассеется в последнем дуновении теплого выдоха. =========== Источник: habr.com =========== =========== Автор оригинала: Andrej Karpathy ===========Похожие новости:
Блог компании НПП ИТЭЛМА ), #_mashinnoe_obuchenie ( Машинное обучение ), #_chitalnyj_zal ( Читальный зал ), #_nauchnopopuljarnoe ( Научно-популярное ), #_iskusstvennyj_intellekt ( Искусственный интеллект ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 16:07
Часовой пояс: UTC + 5