Галактическая история Айзека Азимова / Foundation Universe

[Гагарион]

Законы Азимова - это существенно более высокий уровень абстракции по сравнению с современными нейросетками и хз когда наука до него дойдет.
Пока никаких признаков морального устаревания азимовской роботехники я не вижу.
Если уж что и устарело - так это терминаторщина и изображение ИИ существами с безэмоциональной холодной логикой. Что характерно, такая тема во многом пошла от "Космической Одиссеи 2001". Кларка и Кубрика консультировал Марвин Минский (камео - доктор Каминский, убитый компьютером, пока лежал в анабиозе), который скептически относился нейросетям и рассматривал ИИ как совокупность жестко заданных эвристик (собственно само название ИИ из фильма "Эвристический АЛгоритм"). По оценкам критика Минского затормозила развитие нейросетей лет на 20 (в чем он сам потом раскаивался). Но это не отменяет того факта, что в 60-е это был действительно крупнейший мировой специалист по ИИ. Другое дело, что наука с тех пор ушла далеко вперед, а массовая культура продолжает те же шаблоны.

 

[Havelock]

наука с тех пор ушла далеко вперед,

Настолько, что простой обыватель в ней уже ваще ничего не понимает

а массовая культура продолжает те же шаблоны.

А что остаётся? Если современное всё настолько непонятно?

 

[Марш]

Посмотрел первую серию "Основания". Понятно, что очень "по мотивам", но в целом лучше, чем могло бы быть. Детишки с монолитом только совсем ненужные. И император какой-то не в меру деятельный.

 

[Сехметхотеп]

Пока никаких признаков морального устаревания азимовской роботехники я не вижу.

Просто сейчас это воспринимается как классический истмэджик. Ну вот примем, что изобрели такой позитронный мозг, который обеспечивает неукоснительное соблюдение трех законов. Истмэджик.
Проблема законов Азимова в том, что они либо полностью отрицают ИИ как таковой, заставляя его действовать в строгом соответствии с заданными алгоритмами (и программисты упарятся все это писать), либо допускают очень широкое толкование. Вот например. Робот не может своим бездействием допустить, чтобы человеку был причинен вред. Алкоголь причиняет вред. Если робот видит, что человек пьет пиво, должен ли он спасти его от самого себя, то есть лишить его свободы для его же блага? У робота в программе заложено, что и при каких обстоятельствах считать вредом? Но это нереально. Значит, робот сам на основании своего опыта должен решать, что есть вред, а что нет. Но фишка в том, что законы Азимова не заставляют роботов стремиться к тому, чтобы человеку или человечеству в целом было хорошо, так что полноценный ИИ просто сделает так, как посчитает нужным.
Более работоспособной была бы модель, когда в "мозги" роботам вшивается любовь к людям.

 

[Марш]

Вот например. Робот не может своим бездействием допустить, чтобы человеку был причинен вред. Алкоголь причиняет вред. Если робот видит, что человек пьет пиво, должен ли он спасти его от самого себя, то есть лишить его свободы для его же блага? У робота в программе заложено, что и при каких обстоятельствах считать вредом?

Это робот. Он понимает всё буквально. В "человеку был причинён вред" не входит самостоятельное причинение себе вреда.

 

[Гагарион]

Просто сейчас это воспринимается как классический истмэджик.

А тут уже стоит применить к первому закону Азимова первый закон Кларка.

Если робот видит, что человек пьет пиво, должен ли он спасти его от самого себя, то есть лишить его свободы для его же блага?

В данном случае потенциал первого закона очевидно будет намного ниже, чем потенциал второго.

 

[Сехметхотеп]

Это робот. Он понимает всё буквально. В "человеку был причинён вред" не входит самостоятельное причинение себе вреда.

На оба пункта - нет. Робот по первому закону обязан спасать человека, попавшего в опасную ситуацию, даже если человек сам себя в нее загнал. Во всяком случае у Азимова это так работает.
И если "понимает все буквально", то это ни разу не ИИ, а мы говорим о полноценном ИИ.

А тут уже стоит применить к первому закону Азимова первый закон Кларка.

Можно. Но под это дело можно почти что угодно протащить. Вот я и говорю, истмэджик.

В данном случае потенциал первого закона очевидно будет намного ниже, чем потенциал второго.

Нет. В случае противоречие первого и второго законов робот должен следовать первому.

 

[Марш]

На оба пункта - нет. Робот по первому закону обязан спасать человека, попавшего в опасную ситуацию, даже если человек сам себя в нее загнал. Во всяком случае у Азимова это так работает.
И если "понимает все буквально", то это ни разу не ИИ, а мы говорим о полноценном ИИ.

На оба пункта - да. В первом законе такого нет, это ваш домысел. Ещё раз: законы (не только первый Азимова, а вообще все) понимаются буквально. Не только искусственным, но и естественным интеллектом.

 

[Гагарион]

Нет.

Да. См. первоисточник, например, рассказ "Хоровод". По сути взаимодействие Законов между собой - это нечеткая логика, даром, что она появилась через 25 лет после рассказа.

 

[Сехметхотеп]

В первом законе такого нет, это ваш домысел.

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Где здесь про то, что самостоятельное причинение себе вреда к делу не относится?

Ещё раз: законы (не только первый Азимова, а вообще все) понимаются буквально. Не только искусственным, но и естественным интеллектом.

Как раз нет. И именно поэтому современные юридические законы написаны так, что без практики или перевода юриста на обычный человеческий язык во многих из них и не разберешься особо. И сделано это не просто так. Любой закон можно записать в одном-двух предложениях (на заре цивилизации так и было), но это допускает крайне широкое толкование. Поэтому и перешли к системе, где "закон" - это многостраничный талмуд с пунктами и подпунктами. И даже в этом случае возникают споры по поводу частных применений закона, отсюда опора на прецедент и т.п. А теперь представьте, что надо написать законы так, чтобы контролировать полноценный разум, над которым нет ни прокурора, ни судьи. То есть законы должны описывать еще большее количество ситуаций. Все это будет писать программист? Во-первых, не факт, что сможет, слишком сложная программа. Во-вторых, даже если получится, есть большой риск, что робот будет неработоспособен, так как окажется связан кучей ограничений.

Да. См. первоисточник, например, рассказ "Хоровод". По сути взаимодействие Законов между собой - это нечеткая логика

Я во многом как раз его и имел в виду. Задать как аксиому можно что угодно, хоть работающие законы, хоть летающие файерболы. В рамках художественного вымысла - ок. Но не стоит делать вид, что в реальности это тоже может быть работоспособно.
Вот и тут. Взаимодействие законов кто прописывает, программист? И как предлагаете ему написать код, который будет предусматривать миллионы возможных вариантов ситуации?
А если не программист, а сам робот, то считайте, что никаких законов и нет.

 

[Марш]

Где здесь про то, что самостоятельное причинение себе вреда к делу не относится?

"Причинён" - страдательный залог.

Как раз нет. И именно поэтому современные юридические законы написаны так, что без практики или перевода юриста на обычный человеческий язык во многих из них и не разберешься особо. И сделано это не просто так. Любой закон можно записать в одном-двух предложениях (на заре цивилизации так и было), но это допускает крайне широкое толкование. Поэтому и перешли к системе, где "закон" - это многостраничный талмуд с пунктами и подпунктами.

Как раз да. Все эти подпункты как раз и нужны для однозначного толкования. Да, это сложно, и нужны специально обученные люди. Но это сделано именно что для исключения многозначного толкования.

 

[Sergey_CS]

"Причинён" - страдательный залог.

Все-таки вред может быть причинен и собственными действиями. Что имел в виду Азимов, я не знаю, но в оригинале это звучит так:

1. A robot may not injure a human being or, through inaction, allow a human being to come to harm.

Подходящий пример на английском из книги "A History of Self-Harm in Britain":

She took the aspirins impulsively and was glad when she came to no harm.

Собственно, по-русски на юридическом (не говоря уже о следственно-судебном) языке тоже при желании можно сказать - если собственными действиями или бездействием гражданина ему был причинен вред.

 

[Марш]

Все-таки вред может быть причинен и собственными действиями.

Надо было ещё дательный падеж упомянуть?

 

[Sergey_CS]

Надо было ещё дательный падеж упомянуть?

Боюсь, не совсем понял Вашу мысль.

 

[Сехметхотеп]

"Причинён" - страдательный залог.

Страдательный залог лишь позволяет сделать из объекта пациенс, тем самым просто сместив фокус с одного актанта на другой (в русской школьной грамматике, которую, впрочем, я бы не рекомендовал принимать в расчет, дополнение становится подлежащим): "Я прочитал книгу/Книга была прочитана мной".

Надо было ещё дательный падеж упомянуть?

К рассматриваемому вопросу не относится никаким боком.

Как раз да. Все эти подпункты как раз и нужны для однозначного толкования. Да, это сложно, и нужны специально обученные люди. Но это сделано именно что для исключения многозначного толкования.

Именно об этом я и говорю. Для приближения к однозначному толкованию нужен многостраничный талмуд по каждому конкретному вопросу, и то остаются вопросы. И вы думаете, что три строчки обеспечат более однозначное толкование?! Ну просто попробуйте применить эти законы к человеческому обществу - и вы увидите, что они не работают.
Кстати, не менее интересен вопрос, как именно осуществляется надзор за выполнением роботами Трех законов. Легко написать, что что-то вшито в "мозги", но что, например, определяет, что первый закон нарушен? Вариантов два. Первый - что-то вне самой программы робота. Тогда он должен быть постоянно подключен к сети, а его действия должны оцениваться или крайне сложным алгоритмом, учитывающим все возможные ситуации (в реальности такой не написать), или более продвинутой нейросетью (но в этом случае человечество становится зависимо не от роботов, а от нейросети). Второй вариант - сам робот, грубо говоря, это аналог некоторой "совести", собственного представления о должном. Как ни странно, этот вариант кажется более перспективным (конечно, код должен гораздо строже контролировать поведение робота, чем моральные представления - человека, иными словами, мышление робота должно стать принципиально отличным от человеческого), вот только сформулированные законы в этом случае не нужны.

 

[xubuntu_user]

Но фишка в том, что законы Азимова не заставляют роботов стремиться к тому, чтобы человеку или человечеству в целом было хорошо, так что полноценный ИИ просто сделает так, как посчитает нужным.

и правильно, это сродни фразе "государство не может сделать жизнь людей раем, но оно должно не допустить, чтобы был ад". То есть это негативное ограничение. В человеческих законах точно так же - убивать запрещено, любить - разрешено, но силой никто не заставляет . А мозг робота (и человека) оценивает потенциалы этих законов и решает, когда надо бежать спасать, а когда спасаться.

 

[Сехметхотеп]

То есть это негативное ограничение. В человеческих законах точно так же - убивать запрещено, любить - разрешено, но силой никто не заставляет

В человеческих сообществах имеется динамическая взаимосвязь между собственно обществом и надзорными органами: последние могут корректировать законы в процессе, глядя на поведение общества, а люди примерно представляют, в каком правовом контексте они живут и что им будет за те или иные действия. Динамическая система - и то она работает за счет того, что определенный уровень нарушений некритичен для существования общества в целом. А в случае роботов задача - написать такой код, который сразу, раз и навсегда, отрегулирует поведение во всех возможных ситуациях.

А мозг робота (и человека) оценивает потенциалы этих законов и решает, когда надо бежать спасать, а когда спасаться.

Понимать-то он может. Но с чего вы взяли, что робот, имея полноценный разум (а именно об этом речь), придет именно к тем выводам, каких вы от него хотите? Сравним с человеком. Я прекрасно понимаю, чего от меня хочет общество (то есть прекрасно оцениваю потенциалы "законов" ака некоторых предписаний), но при желании могу послать это по известному адресу (при этом мое понимание потенциалов этих "законов" нисколечко не уменьшится). То есть человек может задаться вопросом "Да, я знаю, чего от меня хотят, но хочу ли я того же?" Уязвимость азимовских законов в том, что они предполагают, что роботы оценивают окружающую реальность на уровне самосознающих субъектов, но при этом лишены самосознания. Тогда как даже очень поверхностное знакомство с развитием нейросетей позволяет предположить, что в реальности будет, скорее всего, не так.
Иными словами, если допустить, что каким-то магическим образом робот обязан формально соблюдать первый закон, то он, формально не нарушая этого закона, может найти способ причинять вред человечеству. Если захочет. А вот препятствий к тому, чтобы не захотел, эти законы не предполагают.

 

[Гагарион]

он, формально не нарушая этого закона, может найти способ причинять вред человечеству. Если захочет. А вот препятствий к тому, чтобы не захотел, эти законы не предполагают.

Если робот сознательно захочет причинить человечеству вред, Закон автоматически врубится, раз он осознает, что это именно вред. А неосознанно действительно может так получиться, что и имело место во многих произведениях цикла.

>> но при этом лишены самосознания
Почему?

>> Второй вариант - сам робот, грубо говоря, это аналог некоторой "совести", собственного представления о должном. Как ни странно, этот вариант кажется более перспективным (конечно, код должен гораздо строже контролировать поведение робота, чем моральные представления - человека, иными словами, мышление робота должно стать принципиально отличным от человеческого), вот только сформулированные законы в этом случае не нужны.
Совесть это механизм выполнения законов.

Главное, я не понимаю, зачем все сводить именно к коду? Если сравнивать с теми же нейросетями, то Законы - это не столько код (архитектура), сколько reward / loss function.

 

[Сехметхотеп]

Если робот сознательно захочет причинить человечеству вред, Закон автоматически врубится

Субстрат этого действия какой? Грубо говоря, что именно обеспечит, что "Закон автоматически врубится"? Если это истмэджик, то вопросов нет.
И это не придирка, я не требую от вас конкретного программного или инженерного решения. Но мне как читателю, чтобы всерьез поверить в это, нужно понимать, как это работает хотя бы в самом общем смысле. Вот конкретный пример. Робот подходит к человеку и ломает колено, просто потому что хочет. Как "закон" понимает, что именно в этот момент надо врубиться?

>> но при этом лишены самосознания
Почему?

Потому что самосознание предполагает возможность переоценки ценностей.

Совесть это механизм выполнения законов.

Тот же самый вопрос - как именно это происходит?

Главное, я не понимаю, зачем все сводить именно к коду? Если сравнивать с теми же нейросетями, то Законы - это не столько код (архитектура), сколько reward / loss function.

Я не программист, поэтому многие нюансы остаются непонятными, но все-таки современные нейросети имеют дело с частными задачами, в которых имеются достаточно четкие критерии достижения положительного результата. Высока вероятность, что экстраполировать этот опыт на социальные взаимодействия в целом нельзя, просто ввиду более сложной оценки результата.
Но главное даже не это. Если нейросеть обучится прогнозировать поведение людей, то что удержит ее от переосмысления собственного поведения?

 

[Гагарион]

Потому что самосознание предполагает возможность переоценки ценностей.

Так они их и переоценили, придумав нулевой закон.

Если это истмэджик, то вопросов нет.

Так я вроде и не отрицал, что это итсмеджик, вспоминая закон Кларка

нужно понимать, как это работает хотя бы в самом общем смысле

В самом общем смысле - можно вспомнить фаерволы или антивирусы. То есть внутри системы есть субмодуль, который может блокировать те или иные действия этой системы.

Как "закон" понимает, что именно в этот момент надо врубиться?

Сам робот осознает факт, что действия причиняют вред и эта информация автоматически передается на систему, отслеживающую выполнение Законов.