Положит ли ИИ конец человечеству? Шкала p(doom) инсайдера OpenAI и исследователя ИИ тревожно высока, достигая максимума в 99,9% вероятности.

Что тебе нужно знать

Исследователь ИИ утверждает, что вероятность того, что ИИ положит конец человечеству, составляет 99,9%.
Исследователь говорит, что вечная машина безопасности может помочь предотвратить выход ИИ из-под контроля и уничтожение человечества.
Инсайдер OpenAI говорит, что компания в восторге от AGI и безрассудно стремится к этому, отдавая приоритет блестящим продуктам над процессами безопасности.

Как поклонник технологий и искусственного интеллекта, я одновременно взволнован и глубоко обеспокоен текущим состоянием развития искусственного интеллекта. Потенциал ИИ для достижения значительных успехов в различных областях неоспорим, но нельзя игнорировать связанные с ним риски.

Любишь Fable? Добро пожаловать в наш Telegram-канал, где мы обсуждаем, делимся секретами и просто весело проводим время в мире Альбиона! Жми "Присоединиться" и стань частью нашей фэнтезийной семьи!

Fable Telegram

Мы стоим на пороге революционного достижения в области искусственного интеллекта, однако существуют препятствия, которые могут помешать нам достичь таких больших высот. Например, OpenAI ежедневно тратит огромные 700 000 долларов на эксплуатацию ChatGPT. Эти затраты являются дополнением к значительным потребностям в энергии и воде для охлаждения, необходимых для развития ИИ.

Большое количество пользователей выразили опасения по поводу аспектов конфиденциальности и безопасности передовых технологий. Введение обсуждаемых функций искусственного интеллекта, таких как Windows Recall от Microsoft, которое критиковали как «риск конфиденциальности» и «мечту хакера», только усилило эти опасения. Несмотря на неопределенность относительно будущих разработок в этой области, генеральный директор NVIDIA Дженсен Хуанг ожидает, что предстоящие достижения в области искусственного интеллекта будут связаны с беспилотными автомобилями и роботами-гуманоидами.

Как наблюдатель, я должен отметить, что, хотя генеральный директор OpenAI Сэм Альтман признает отсутствие окончательного решения, которое могло бы остановить развитие ИИ, в настоящее время существуют минимальные гарантии предотвращения его потенциального неправильного использования или непредвиденных последствий. Перспектива того, что ИИ превзойдет человеческий интеллект, вызывает серьезную обеспокоенность, заставляя некоторых опасаться потери рабочих мест и даже возможности гибели человечества. К сожалению, в нашем распоряжении, похоже, нет простого решения или «большой красной кнопки», способной смягчить эти риски.

Как ярый последователь исследований в области искусственного интеллекта, я не могу не выразить обеспокоенность, когда слышу оценки, предполагающие с вероятностью 99,9%, что продвинутый искусственный интеллект может привести к концу человечества. Однако Илон Маск, чьи идеи я очень восхищаюсь, похоже, занимает более оптимистичную позицию, оценивая вероятность примерно в 20%. Несмотря на эти разные точки зрения, Маск выступает за продолжение исследований в этой области.

Почему вероятность того, что ИИ уничтожит человечество, так высока?

Положит ли ИИ конец человечеству? Шкала p(doom) инсайдера OpenAI и исследователя ИИ тревожно высока, достигая максимума в 99,9% вероятности.

Уже некоторое время я слежу за достижениями в области искусственного интеллекта. Хотя нельзя отрицать впечатляющий прогресс и инновации в различных областях, проявляется явный недостаток: негативные аспекты затмевают позитивные.

Список значений P(doom) из r/ChatGPT

Исследователь ИИ Роман Ямпольский недавно в подробном разговоре рассказал в подкасте Фридмана о потенциальной опасности, которую ИИ может представлять для человечества. По мнению Ямпольского, существует значительная вероятность того, что ИИ положит конец человеческой цивилизации, если нам не удастся создать безупречное программное обеспечение без каких-либо ошибок в течение следующих ста лет. Тем не менее, он выражает сомнение из-за прошлого опыта, когда моделями манипулировали и заставляли действовать вопреки их прямому назначению.

«Я заметил, что в прошлом с большими языковыми моделями случались ошибки и сбои. Их взломали или взломали. Я уверен, что ни одна из этих моделей не застрахована от непреднамеренного использования разработчиками».

Такой исследователь ИИ, как Ямпольский, выступает за создание непрерывно действующей системы безопасности, призванной гарантировать, что продвинутый ИИ не будет представлять угрозу человечеству или захватывать контроль. Несмотря на тщательное тестирование безопасности будущих моделей искусственного интеллекта, Ямпольский предупреждает, что интеллект и возможности технологии будут продолжать развиваться, что сделает ее все более пригодной для управления сложными задачами и ситуациями.

Инсайдер OpenAI говорит, что ИИ приведет к неизбежной гибели

В отдельном документе Дэниел Кокотайло, бывший исследователь команды управления OpenAI, разделяет те же опасения, что и Ямпольский. Согласно оценке Кокотайло, проведенной в рамках футуризма, вероятность того, что искусственный интеллект (ИИ) может привести к гибели человечества, составляет примерно 70%. Стоит отметить, что различные ключевые игроки и заинтересованные стороны в сообществе ИИ по-разному оценивают этот потенциальный риск, обозначаемый как p (гибель). Для пояснения, p(doom) относится к уравнению, используемому для расчета вероятности того, что ИИ может привести нас к вымиранию человечества.

OpenAI глубоко привержена созданию общего искусственного интеллекта (AGI), как выразился Кокотаджио. Однако возникла некоторая обеспокоенность, поскольку OpenAI, похоже, торопит эту разработку, не уделяя должного внимания мерам безопасности и корпоративной культуре, согласно заявлениям Яна Лейке после ухода нескольких руководителей OpenAI.

В электронном письме, полученном New York Times, Кокотаджио выразил обеспокоенность тем, что ни мир, ни они не были готовы, и он беспокоился о том, чтобы двигаться вперед, несмотря на эту неопределенность, оправдывая свои решения.

Смотрите также

2024-06-28 20:21