Глобальные риски, создаваемые человеком - Высокие технологии и эволюция человека

Технологические риски

Технологические риски различаются по степени готовности их "элементарной базы". Одни из них технически возможны в настоящий момент времени, тогда так другие требуют в разной степени длительного развития технологий и, возможно, неких принципиальных открытий.

Соответственно, можно выделить три категории:

А)риски, для которых технология полностью разработана (ядерное оружие) или требует незначительно доработки. Б) риски, технология для которых успешно развивается и не видно никаких теоретических препятствий для ее реализации в обозримом будущем (биотехнологии). В)риски, которые требуют для своего возникновения неких принципиальных открытий (антигравитация, высвобождения энергии из вакуума и т д.). Не следует недооценивать эти риски -- значительная часть глобальных рисков в XX веке произошла из принципиально новых и неожиданных открытий.

Классическим примером угрозы существованию человечества категории А является угроза ядерной войны, которая помимо прямых поражающих факторов, создает два следствия -- ядерную зиму и радиоактивное заражение. Угроза ядерной катастрофы часто недооценивается или переоценивается. Недооценка в основном связана с рассуждениями на тему, что раз катастрофы давно не было, то она маловероятна.

Считается, что в настоящий момент вероятность катастрофической ядерной войны уменьшилась, так как ядерные арсеналы СССР и США значительно сократились. Однако фактически вероятность применения ядерного оружия растет, поскольку все больше стран открыто заявляют о разработке ядерного оружия (около 10), и, кроме того, другие страны, помимо России и США обретают технические возможности и желание обзаводится арсеналом в тысячи зарядом (Китай, Пакистан и Индия). Растет число стран, развивающих мирную ядерную энергетику двойного назначения, то есть могущих в течение месяцев или нескольких лет приступить к производству ядерного оружия. Растут и шансы попадания расщепляющих материалов в руки террористов.

И потом, взаимное гарантированное уничтожение хорошо работает, когда есть только две сверхдержавы (по количеству ядерных зарядов). Но уже сейчас возможно появление новых ядерных сверхдержав.

Биологическое оружие

Фактически, большая часть оборудования, необходимого для создания опасного биологического оружия, уже готова. Опасность состоит в том, что это оборудование постоянно дешевеет и распространяется по миру, при этом знания о том, как использовать его во вред, возрастают.

Постоянное удешевление и упрощение машин для секвенсирования ДНК (то есть считывания и создания генетического кода), делает возможным появление биохакеров. Если для компьютеров уже написано более 100 000 вирусов, то масштабы творчества биохакеров могут быть не меньшими.

Основной однофакторный сценарий -- это распространений некого одного вируса или бактерии. Это распространение может происходить двояко -- в виде эпидемии, или в виде заражения воздуха.

Еще вариант -- это бинарное бактериологическое оружие. Например, туберкулез и СПИД являются хроническими болезнями, но при одновременном заражении человек сгорает за короткий срок. Есть гипотеза, что натуральная оспа и СПИД были парными болезнями в Африке. Сначала СПИД ослаблял иммунитет большой группы населения, а потом ее выкашивала оспа. Один из страшных сценариев -- СПИД, который распространяется также легко, как простуда.

Следующий вариант оружия -- это распыление в воздухе больших количеств спор сибирской язвы (или подобного агента) в защитной оболочке (а такие оболочки уже давно имеются для боевых штаммов). Этот вариант не требует саморазмножающегося болезнетворного агента.

Биологическое оружие считается одним из самых дешевых -- стоимость смерти в нем составляет несколько центов. Уже сейчас создание биологической супербомбы в тысячи раз дешевле, чем создания ядерного оружия сравнимой поражающей силы. Когда распространятся дешевые технологии производства произвольных живых организмов с заранее заданными функциями, цена изготовления такого оружия может упасть до несколько сотен долларов.

Хотя распространение одной эпидемии, скорее всего, можно остановить, то эпидемию, вызванную несколько десятками видов разнородных вирусов и бактерий, вышедших из-под контроля во многих местах земного шара остановить невозможно даже технически, потому что в человека невозможно одновременно ввести несколько десятков разных вакцин и антибиотиков -- он умрет.

Генетические технологии дают огромные возможности не только для создания летального оружия, но и для создания способов его доставки. Можно представить себе генетически модифицированного малярийного комара, который может жить в любой среде и с большой скоростью распространиться по всей планете, вводя каждому попавшемуся некий агент. Или саранчу, заодно поедающую все живое и распыляющее споры сибирской язвы.

Многие биологические риски могут быть малоочевидными и отложенными во времени, поскольку сама биологическая наука еще развивается. Широкомасштабное применение биологического оружия значительно опаснее и значительно вероятнее, чем классическая ядерная война.

Супернаркотик

Один из сценариев распространения супернаркотика в будущем предложен братьями Стругацкими в романе "Хищные вещи века" (1965 г.), где мощнейший наркотик, вызывающий 100 процентное привыкание с первого раза, оказывается очень просто сделать из радиоприемника и ряда других общедоступных компонентов, которые непосредственно воздействует на центр удовольствия в мозге. Самодельный прибор волновой психотехники дает ярчайшее переживание виртуальной реальности. Этот сценарий связан в чистом виде не с распространением некого вещества, а с распространением "знаний массового поражения".

Можно обозначить сразу несколько сверхнаркотиков, возможных в будущем, общий смысл действия которых состоит в выключении человека из социальной жизни. И человек, отказавшийся от одного класса наркотиков, может устремиться к другому. Так и в современной реальности кто-то не пьет алкоголь, но зато подсел на кофе. Кто-то не смотрит телевизор, но сидит в интернете.

Сверхсильный наркотик может быть подобен заразной болезни, если одни люди буду стремиться заразить других, а те -- будут не против заразиться.

Абсолютный наркотик создает возможность следующей дилеммы: человечество как целое перестает существовать, но каждый отдельный субъект воспринимает произошедшее как личный рай и очень доволен этим.

Будем называть абсолютным наркотиком некое средство, которое для любого человека привлекательнее обычной реальности и полностью уводит его из этой реальности. При этом можно разделить быстрый и медленный абсолютный наркотик. Первый дает переживание, ради которого человек готов умереть, второй -- некую новую реальность, в которой можно длительное время существовать.

Пагубное действие многих наркотиков далеко неочевидно и может проявляться не сразу. Например, героин и кокаин долгое время, годы, были в открытой продаже, было легко доступно и ЛСД.

Вероятность возникновения супернаркотика выглядит крайне высокой, поскольку он может быть достигнут многими способами не только за счет успехов биотехнологиях, но и в нанотехнологиях, в ИИ, а также за счет некого случайного изобретения, объединяющего уже существующие технологии.

Абсолютный наркотик может вовсе не носить названия "наркотика" и не быть похожим на современные стереотипы. Абсолютный наркотик не будет чем-то одним, но будет множеством факторов, работающих объективно на разделение людей, отключение их от реальности и сокращение их жизни и способности к размножению. Абсолютный наркотик может выглядеть как абсолютное благо и вопрос его вредности может зависеть от точки зрения. В каком-то смысле современная культура развлечений с низким уровнем рождаемости уже может быть прообразом такого наркотика.

Искусственный интеллект

Есть разные теоретические мнения о возможности искусственного интеллекта. Более того, нет более спорной области знаний, чем наука об ИИ.

Угрозы со стороны искусственного интеллекта являются крайне спорными, так как самого объекта пока нет и о его природе есть много разных мнений, в том, числе о том, что он невозможен, легкоконтролируем, безопасен, ограничен -- или не должен ограничиваться.

Наибольшую опасность представляет саморазвивающийся универсальный ИИ. Если будет много ИИ проектов, то, по крайней мере, один из них может быть использован для попытки захватить власть на Земле.

Достаточные аппаратные средства для ИИ существуют уже сейчас, через 10 лет они станут легкодоступными, если не случится какой-нибудь катастрофы, тормозящей развитие.

Сильный ИИ, по определению, может найти наилучшее возможное решение любой задачи. Это значит, что его можно использовать для достижения любых целей во внешнем мире. Он найдет наилучший способ применить все доступные инструменты для ее реализации и справится с управлением ими. Именно в этом смысле он является абсолютным оружием. То, что он может быть наиболее эффективным средством убийства является только следствием и одной из возможных опций.

Если мы имеем машину, которая может решить любую задачу, то она способна придумать способ, с помощью которого бы она сама осуществляла управление собой.

Есть вариант создания генетически усовершенствованного человека, в мозг которого вживлены средства доступа к Интернету (так называемый нейрошунт). Возможны и другие средства интеграции живых нейронов с обычным компьютером, а также с квантовыми компьютерами.

Один из вариантов -- ИИ подчиняет себе государственное устройство и использует имеющиеся в нем каналы для управления. Жители такого государства вообще могут ничего не заметить. Основное препятствие для развития этой системы, уже подчинившей мировую экономику, науку и коммуникации -- это национальные государства с их национальными армиями. Создание мирового правительства облегчило бы формирование такого единого ИИ. Однако пока что идет острая борьба между государствами на предмет того, на чьих условиях объединять планету. А также борьба с силами, которые условно называются "антиглобалисты" и другими антисистемными элементами -- исламистами, радикальными экологами, сепаратистами и националистами.

Опасность, однако, состоит в том, что глобальная всемирная машина начнет вытеснять людей из разных сфер жизни, хотя бы экономически -- лишая их работы и потребляя те ресурсы, которые иначе бы могли расходовать люди. В каком-то смысле людям не останется ничего другого, как "смотреть телевизор и пить пиво" (вариант сверхнаркотика).

Важно отметить следующее -- кем бы ни был создан первый сильный искусственный интеллект, он будет нести на себе отпечаток системы целей и ценностей этой группы людей, хотя сама эта система будет казаться для них единственно правильной. Для одних главной целью будет благо всех людей, для других -- благо всех живых существ, для третьих -- только всех правоверных мусульман, для четвертых -- благо только тех программистов, которые его создали. И само представление о природе блага тоже будет весьма различно. В этом смысле момент создания первого сильного ИИ является моментом развилки с очень большим количеством вариантов.

Вполне может быть так, что ИИ поддерживает на Земле порядок, предотвращает глобальные риски и занимается освоением Вселенной. Возможно, что это наилучший наш вариант.

Вероятность глобальной катастрофы, связанной с ИИ, является произведением вероятностей того, что он вообще когда-либо будет создан и того, что он будет применен неким ошибочным образом. Есть ряд ученых, которые полагают, что тем или иным способом ИИ будет создан в течение XXI. Даже если попытки построить ИИ с помощью компьютеров потерпят крах, всегда есть запасный вариант: успехи в сканировании мозга позволят создавать его электронные копии и успехи в генетике -- создавать генетически усовершенствованные человеческие мозги. Электронные копии обычного мозга смогут работать в миллион раз быстрее, в конечном счете, мы все равно получим интеллект, в миллионы раз превосходящий человеческий количественно и качественно.

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ в 2020--2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределенности -- если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Риск, который несет в себе развитие технологий ИИ крайне велик и систематически недооценивается. Это область гораздо более непредсказуема, чем даже биотехнологии. Вместе с тем, ИИ является, возможно, нашей наилучшей защитой от прочих опасностей.

Риски, связанные с роботами и нанотехнолгиями

Основное опасностью в этом отношении считается распространение нанотехнологической "серой слизи" (по Э. Дрекслеру). Основные ее признаки таковы:

Миниатюрность;

Способность к саморазмножению;

Способность к самостоятельному распространению по всей Земле;

Способность незаметно и эффективно уничтожать крупноразмерную технику и живые организмы;

Анонимность;

Дешевизна;

Автономность от человека.

Хотя считается, что для эффективного самовоспроизводства нужны молекулярные нанотехнологии, возможно, что это не так. Тогда вполне макроразмерный робот мог бы размножаться, используя природные энергию и материалы. Важно подчеркнуть, что речь идет не об искусственном интеллекте, а о вышедшей из-под контроля системе с ограниченными интеллектом, неспособным к самосовершенствованию. Такие микророботы могли бы производится как оружие на огромных фабриках, вроде современных заводов по производству чипов, и даже с применением тех же технологий -- литография теоретически позволяет делать даже подвижные части.

Рассматривается сценарий, в котором по всему миру распространяются домашние и промышленные роботы, а затем их всех поражает компьютерный вирус, который настраивает их на агрессивное поведение против человека ("восстание" роботов).

Вполне возможна ситуация выхода из-под контроля армии крупных боевых роботов. Теоретически некая роботизированная армия может получить неверный приказ и начать атаковать все живое, став при этом недоступной для отмены команд.

Кстати армия США определенно нацелена на полную автоматизацию и замену людей роботами, но до этой цели еще много лет.

По мнению профессора кибернетики университета Рединга (Великобритания) К. Уорвика к 2050 году мы утратим наши привычные позиции. Машины будут управлять нашими жизнями и указывать нам, что нужно делать. Многие люди станут просто рабочей силой, которую содержат в специальных лагерях, разбросанных по всей территории Земли.

Уже существуют роботы, обладают уровнем интеллекта насекомых. Через 5 лет появятся роботы с уровнем интеллекта кошки. Через 10--15 лет роботы превзойдут человека. И это не научная фантастика.

"Мозг улитки содержит от 50 до 100 нейронов, -- поясняет Кевин Уорвик. -- Пчелы -- 10 тысяч; собаки -- 10 миллионов; человека -- 100 миллиардов. У моих роботов

50 эквивалентных нейронов. Кстати, у персонального компьютера что-то около 10 тысяч. Через 5 лет нейронный эквивалент ПК составит 10 миллионов в том же объеме и при том же энергопотреблении, что и сегодня. Как только появится первая машина с интеллектом, близким по мощности к человеческому, у нас уже не будет возможности ее выключить. Бомба с часовым механизмом начнет отсчитывать последние минуты господства человечества. И тогда мы уже не сможем остановить наступление машин".

А вот как Уорвик представляет себе причины начала глобальной гражданской войны в XXI веке.

"Если они потребуют права голоса (одна машина -- один голос), дадим ли мы его? Я лично полагаю, что если так встанет вопрос, ответ будет -- да. Даже сегодня машины представляют реальную угрозу миру людей. Не предоставление им права голоса (если машины будут обладать настолько мощным интеллектом, чтобы потребовать для себя это право) будет означать начало войны. У меня нет никаких сомнений в этом. Мы вообще можем погибнуть в войне между собой -- люди, воюющие на стороне машин, и люди, воюющие против них.

Возможно, уже на следующих крупных выборах в любой демократической стране было бы разумно интересоваться не только политической позицией кандидатов, но и тем, какими типами машин они собираются пользоваться. Если политик намеревается впоследствии использовать искусственную нейронную сеть, то необходимо серьезно обсудить это до выборов".

"Человеческая раса, похоже, играет свою последнюю партию. Период нашего господства на Земле подходит к концу. Мы можем надеяться лишь на то, что машины будут обращаться с нами так, как мы обращаемся с другими животными, -- они сделают нас рабами или поместят в зоопарки. Разве этого мы хотим? Не следует ли нам, по крайней мере, создать международную организацию, которая проводила бы мониторинг, а может быть, даже и контроль над тем, что происходит?"

В новом тысячелетии грань между военным (условно говоря, деструктивным) и мирным применением новых технологий очень размыта. Если в 1945 году ситуация была относительно простой -- есть ядерное, биологическое и химическое оружие массового уничтожения, но, вместе с тем, есть и практически несоприкасающаяся с военной, мирная сторона применения подобных технологий -- то сейчас непонятно, где начинается опасность применения продуктов генной инженерии, а где она заканчивается. Любой неосторожно выпущенный в свет продукт генной инженерии может причинить массу вреда окружающей среде. Технологии, с которыми нам придется иметь дело, слишком опасны.

Человек сам творит техносферу (вторую природу), но одновременно попадает и в зависимость от нее. Мы, сами того не подозревая, вернее -- не желая, незаметно вокруг себя создаем систему, из которой уже не можем выскочить. Назад хода нет?

Увы, нет. Техническая реальность диктует нам способ нашего поведения. Появление автомобилей вызвало необходимость строительства подземных переходов и магистральных развязок, полностью изменило топографию городов. Например, так появились тротуары в городах. В Германии принят закон, запрещающий женщинам в обуви на шпильках управлять автомобилем -- только в обуви без каблука. Во многих странах мира запрещено пользоваться мобильными телефонами за рулем. Получается, что "инстинкты" автомобилей диктуют поведение человеческому обществу, изменяют человеческие инстинкты.

Безусловно, машина начинает брать на себя интеллектуальные "штучки". В этой связи мало кто обратил внимание на заключение суда по делу о катастрофе российского самолета над Баденским озером в Швейцарии. А ведь это решение означает, по сути дела, юридическое оформление рождения новой, технетической реальности. Ведь швейцарский суд фактически постановил: человек-оператор должен действовать так, как велит ему машина. Мы обязаны слушаться автоматику. Между прочим, еще раньше именно пренебрежение этим законом и привело к чернобыльской катастрофе.

Твое, человек, дело -- выполнять указания машины. Нас, как биологических существ, ждет подчинение технической реальности. Техническая реальность поглощает биологическую. Биологическое постепенно встраивается в техническое. Поглощается.

Глобальные риски, создаваемые человеком - Высокие технологии и эволюция человека

Похожие статьи