Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Legal Studies
Reference:

Identification of artificial intelligence systems in legal field: the fundamentals of cyber law

Gorokhova Svetlana Sergeevna

PhD in Law

Associate Professor, Department of International and Public Law, Financial University under the Government of the Russian Federation

109456, Russia, Moskovskaya oblast', g. Moscow, ul. 4-I veshnyakovskii proezd, 4, kab. 414

Swettalana@yandex.ru
Other publications by this author
 

 

DOI:

10.25136/2409-7136.2020.6.33419

Received:

10-07-2020


Published:

04-08-2020


Abstract: The subject of this article is the social relations established in the process of scientific and technological development in IT sphere that support the work of artificial intelligence systems and relate to scientific discussion on the role of artificial intelligence, robots and objects of robotics in the legal field. The author examines the relevant questions of identification of artificial intelligence systems as a subject, object or other legal phenomenon within the structure of legal relations. The research problem consists in the fact outstripping that the scientific-technological progress outstripped legal regulation of interaction between an individual, society and artificial intelligence, which justifies the need for creation a cyber-law theory. The opinions on the matter in foreign and national literature are analyzed. The article outlines the trends and prospects of implementation of artificial intelligence in various social and economic spheres; determines the contrast of opinions regarding the problems of identification of artificial intelligence systems, as well as incorporation of artificial intelligence into the established legal reality. The author presents and substantiates an original conceptual version of inclusion of artificial intelligence into the legal field, based on the principle of assignment of partial legal capacity to strong and super strong artificial intelligence. The positions on legal responsibility in relations complicated by the presence of artificial intelligence are defined.


Keywords:

artificial intelligence, robots, artificial intelligence systems, personality, partial legal capacity, capacity, legal responsibility, legal thing, object of legal relations, subject of legal relations


Научные исследования в сфере развития искусственного интеллекта, детерминируют предположение, что облик общества в обозримом будущем изменится кардинально. Согласно закону ускоряющейся отдачи Реймонда Курцвела[1] развитие технологий происходит экспоненциально: то есть чем мощнее становится та или иная технология, тем большее ускорение в своем развитии она приобретает. Билл Гейтс[2] утверждает, что через несколько десятилетий искусственные интеллектуальные системы (ИИС) и уровень их интеллекта приведут к серьезным проблемам; поэтому необходимо как следует подготовиться. Движение неолуддизма настаивает на том, что технологическое развитие, и в первую очередь в разрезе интеллектуальных искусственных систем приведет к экзистенциальному кризису. То есть, несмотря на различные точки зрения, и технократы, и антитехнократы сходятся в одном – эволюция искусственного интеллекта анонсирует будущие сложности, и легче их предотвратить, чем потом преодолевать. Действительно, по мере того как разумные машины все больше будут проникать в нашу повседневную жизнь и становится все более важными, мы начнем сталкиваться с различными проблемами: экономическими, моральными, этическими вопросами и дилеммами. Правовое регулирование и сама правовая система также не будут исключением. Поэтому, даже если роботы еще не стали обычным явлением, пришло время приступить к обеспечению правового базиса взаимодействия с ИИС, чтобы устранить в будущем любые недоразумения или неверные представления о робототехнике и искусственном интеллекте на законодательном уровне.

Первостепенная важность идентификация ИИ, роботов, объектов робототехники в качестве объекта или субъекта правовых отношений тесно связана с тем, что современные технологии могут совершать юридически значимые действия, при этом, зачастую, оставаясь механизмами, лишенными признаков социализации. В данном исследовании речь идет о таком юридическом концепте как правосубъектность, применительно и искусственному интеллекту, роботам и объектам роботизированной техники.

Сама по себе правосубъектность, имеет длительную теоретическую историю формирования соответствующей парадигмы. И, в целом, большинство исследователей сошлись на обобщенной концепции понимания правосубъектности как объединенной совокупности трех взаимодополняющих элементов – правоспособности, дееспособности и деликтоспособности, характеризующих субъекта права.

При этом, с точки зрения юридической науки – субъект права – есть участник правоотношений, обладающий хотя бы одним из перечисленных трех элементов, а именно – правоспособностью. Примерами, подтверждающими данный подход, являются правовые состояния таких субъектов права, как дети до 6 лет; граждане признанные недееспособными, находящиеся в состоянии комы, и других болезненных состояниях, препятствующих принятию юридически значимых решений и претерпеванию юридических последствий за совершенные действия. То есть, правоспособность является краеугольным камнем формирования правосубъектности участника правовых отношений. Соответственно, в классической науке есть базовый, устоявшийся перечень субъектов права, которых в противовес «юридическим вещам» можно назвать обобщенно «юридическими лицами» - то есть так или иначе олицетворяющими человека или определенную группу людей в правовом поле.

Юридическое лицо (в широком понимании слова) имеет право владеть законными правами, так как тот, кто обладает юридическим правом, и является юридическим лицом. «Юридические вещи» не способны обладать законными правами - они невидимы для права и априори существуют для юридических лиц. В процессуальных отношениях учитываются исключительно юридические лица, поскольку только они действуют в соответствии с законом в своих собственных интересах. Напомним, что несмотря на то, что сегодня перечень видов субъектов права достаточно стабилен, тем не менее его пересмотр, это нормальная историческая практика, поскольку еще не так давно в качестве субъектов не рассматривались ни юридические лица (корпорации), ни государство, ни народ, ни нации. И, более того, даже не все физические лица являлись таковыми вплоть до отмены института рабства.

Сегодня опять ставится вопрос о расширении перечня субъектов права за счет включения в него либо некоторых видов «юридических вещей» (например, высокоорганизованных животных), либо принципиально новых феноменов, таких как ИИС.

Основной импульс дискуссии о придании статуса субъекта искусственным интеллектуальным системам был дан после внесения предложения о введение в правовое поле Европейского союза категории «электронное лицо»,[3] то есть, фактически полноценного правового статуса для ИИ, включающего права, обязанности (в т.ч. по уплате налогов) и ограниченную ответственность. Этот шаг Европейского парламента побудил ряд экспертов опубликовать открытое письмо в апреле 2018 года, призывающее комиссию отказаться от “электронной личности”. Согласно этому письму, было бы неуместным, идеологическим, бессмысленным и непрактичным вводить такой правовой статус. В настоящее время Европейская комиссия наметила свою будущую стратегию по решению проблемы искусственного интеллекта. В этом плане способность искусственного интеллекта нести права и обязанности – “электронная личность” на парламентском жаргоне – остается невостребованной.

А значит, вопрос до сих пор остается открытым, и исследование вопроса о правосубъектности ИИС следует продолжать. Отметим, дискуссия, в принципе, имеет смысл только в том случае, если мы говорим, как минимум, о так называемом, сильном (General AI) или же сверхсильном (SuperAI) искусственном интеллекте, то есть таком, который способен действовать автономно, и сопоставим по своим характеристикам с интеллектом естественным, присущим человеку. При этом, на современном этапе технологического развития следует однозначно говорить о реальном существовании слабого ИИ узкого назначения (Narrow AI), который напрямую соотноситься с определением его как системы специальных средств и приемов, используя которые компьютер, на основе уже накопленной информации, может отвечать на заданные ему вопросы, делая на базе этого экспертные выводы.[4] Не обладая подобием естественного разума, работая в заранее заданном диапазоне, слабый ИИ, безусловно, не может даже в отдаленной перспективе приблизиться к естественному интеллекту, поэтому, исходя из его внутренних свойств, не может считаться субъектом в отношениях.Так, Siri (компании Apple), Cortana (Microsoft), GoogleNow (Google), Echo (Amazon), «Алиса» (Яндекс) и др. инструменты обработки естественного языка – это яркие примеры слабого ИИ, не обладающие сознанием, но способные на основе специального алгоритма находить ответы на заданные вопросы, обрабатывая человеческую речь и внося вопрос в поисковую систему необходимым способом.

В отличие от слабого, сильный ИИ обладает развитым интеллектом, сравнимым с человеческим по определенным характеристикам. Сам термин ввел в научный обиход Джон Сёрл.[5] Обрабатывая данные со скоростью, превышающей человеческую мысль в десятки, если не в сотни раз, сильный интеллект на основе созданной программы «с правильными входами и выходами» станет аналогом естественного разума (в том смысле, в котором мы сегодня определяем человеческое сознание) а, следовательно, уже не будет исключительно объектом в сложившихся отношениях при взаимодействии ИИ между собой и человеком. Если до 2015 г. создание сильного интеллекта представлялось уделом далекого будущего, то с появлением «взрывного роста» технологий ‑ это уже реальность. Взрывной рост, при этом, заключается в том, что: 1) появилось скоростное обучение нейросетей, превыщающее в разы предыдущие аналоги, на основе принципиально новых видеокарт; 2) существование датасет, как огромных баз данных для обучения нейронных сетей; 3) создание абсолютно новых методов обучения и новейших типов нейросетей, как, например, генеративно-состязательная сеть; 4) появление готовых, предобученных нейросетей, на основании которых возможно создавать уже их приложения.

SuperAI (SAI), по определению Ника Бострома, превзойдет естественный интеллект по когнитивным способностям в несколько раз во всех возможных сферах социальной жизни [6]. Именно подобная перспектива вызывает озабоченность у большинства[7], ведь такой ИИ неподконтролен человеку, моральных или правовых ограничений у него пока нет, и вероятно никогда не появится, а, следовательно, сверхсильный интеллект будет действовать не только помимо человека, быстрее его принимать решения, но и сможет доминировать над ним[8].

Все это возвращает нас к возможности теоретического обсуждения придания искусственному интеллекту в ранге General AI и Super AI статуса субъекта или «квази» субъекта[9] права. Хотя многие ученые, придерживаются иной точки зрения, обосновывая позицию о преждевременности постановки вопроса о придании статуса субъекта ИИС,[10] или же настаивая на том, что для него следует сохранить однозначный статус объекта.[11]

Итак, как уже было отмечено ранее, в основе правосубъектности лежит правоспособность субъекта права, представляющая собой потенциальную возможность субъекта обладать определенным агломератом прав и свобод. И, с точки зрения теории законотворчества, нет никаких проблем с установлением правоспособности для высокоразвитых ИИС, поскольку юридическая фиксация любых установлений на уровне закона, находится в руках законодателей. Сложность не в том, что этого нельзя сделать, а в том, чтобы решить, какие конкретно права закрепить за ИИС, и в том, чтобы спрогнозировать как это будет работать, и к чему может привести.

Есть много подходов к классификации прав и свобод. Соответственно в каждой классификации можно выделить целый ряд правомочий, относящихся к той или иной категории, но все они, ориентированы либо на естественную, физиологическую, психологическую и социальную природу человека, либо на природу человеческих общностей, и, по этой причине мало подходят для искусственного интеллекта как технологического решения. Более приемлемым выходом в этом плане, может стать сравнение правоспособности ИИС не с физическими, а с юридическими лицами, или даже, с публичными образованиями. С последними, на первый взгляд у них мало общего, но, здесь наиболее важным можно счесть подход определяющий зависимый характер правоспособности публичных образований от воли народа, наделяющего государственные органы только теми правами, которые необходимы для решения поставленных задач и выполнения предусмотренных для них функций. Здесь правоспособность имеет ограниченный характер, и включает в себя не классические права, а скорее правообязанности, сконструированные по типу: «могут и должны». В данном случае, применительно и к ИИС, такая конструкция вполне оправдана, так как способна наиболее точно отразить потенциальный агломерат прав для автономных от человеческой воли интеллектуальных систем, одновременно предполагая определенные ограничения для будущих субъектов права, в последствии вероятно могущих получить конкурентные преимущества перед физическими лицами, и при этом, избежать присущих им недостатков. Поэтому, полагаем, необходимо определить их способность быть правообладателями для каждого права в отдельности. То есть в случае с ИИС речь может идти только о частичной правоспособности. В ином случае, многие ученые прогнозируют возможность возникновения так называемой «ловушки гуманизации». Райан Кало, например, утверждает, что разумные агенты могут использовать свой правовой статус, чтобы претендовать на право размножения или демократического представительства. Он предлагает создать «новую категорию субъекта права, находящуюся на полпути между человеком и объектом».[12] Джек Балкин поддерживает этот подход, потому что он соответствует неустойчивому и неполному восприятию людьми интеллектуальных агентов: «люди могут относиться к роботу как к человеку (или животному) для одних целей и как к объекту для других.»[13]

Присвоив ИИС такой «промежуточный статус», закон мог бы не только отразить эту точку зрения, но и открыть путь к контекстуальным и, прежде всего, оппортунистическим решениям.

Вообще, исторически сложилось так, что человек может либо обладать полной правоспособностью, либо не обладать никакой вообще. Например, для людей правоспособность начиналась с момента рождения и заканчивалась со смертью, в то время как до и после этих событий люди вообще не могли осуществлять свои права или нести обязанности. То же самое можно сказать и о корпорациях. Проще говоря, это была система всего или ничего – простой двоичный код, да или нет, черный или белый. Однако реальность имеет свои оттенки серого, поскольку возникают вопросы о том, как закон должен поступать с субъектами в процессе формирования. Например, как должна защищаться еще не рожденная жизнь или как справляться с незарегистрированными, но уже действующими компаниями? Для Евгения Эрлиха ответом было расширение понимания правоспособности. В 1909 году вышла его книга «Die Rechtsfähigkeit», в которой он утверждал, что вся идея двухуровневой системы правоспособности была ошибочной. Указывая на такие примеры, как концепция рабства в Древнем Риме или обращение с несовершеннолетними в современных системах гражданского права, он пришел к выводу, что во все времена правоспособность была множественной – двоичный код был теоретической иллюзией, в действительности существовало много видов правоспособности и, следовательно, много правовых статусов.[14] В 1930-х годах Ханс-Юлиус Вольф трансформировал теорию Эрлиха в концепцию Teilrechtsfähigkeit (частичная правоспособность).[15] Он определил ее как статус, применимый к человеку или ассоциации людей, имеющих правоспособность только в соответствии с конкретными правовыми нормами, но в противном случае не несущих обязанностей и не имеющих права.

Концептуально понятие Teilrechtsfähigkeit, как оно понимается сегодня, представляет собой еще один способ восприятия правовой субъективности, при котором правовая форма следует за технологической (или иной) функцией.[16] Это категория, не столько вопрос морали, она означает, что закон сам по себе может формировать своих действующих лиц в соответствии с собственными конкретными условиями и положениями. Поэтому, при выборе концепта о законодательном присвоении ИИС частичной правоспособности, остается только один вопрос, какие конкретно права или «правообязанности» будут предоставлены General AI и Super AI, и только это следует обсуждать.

Как уже указывалось, частичная правоспособность следует за функцией. Поэтому главным вопросом становится, какую функцию выполняют интеллектуальные агенты. Рассматривая области применения, справедливо будет сказать, что интеллектуальные агенты – это высокоорганизованные исполнители, то есть, они берут на себя действия, которые люди либо не желают выполнять, либо не способны. По крайней мере, пока они не действуют в своих интересах. Их работа заключается в оказании поддержки как физическим, так и юридическим лицам. Автономный автомобиль не ездит ради вождения, он едет, чтобы транспортировать своего пассажира к месту назначения. Торговый алгоритм торгует не на свой счет, а на счет лица, которое его применяет. Другими словами, мы видим классическую ситуацию "господствующий - служащий", в которой служащий действует автономно, но в то же время от имени своего господина. Таким образом, разумные агенты должны рассматриваться как субъекты права в той мере, в какой этот статус отражает их функции, но не более того.

Как уже было отмечено ранее, правоспособность, является хотя и первым, но не единственным элементом правосубъектности участников правоотношений. Поэтому, помимо подходов к определению концепта правоспособности ИИС, необходимо определиться и с юридическими условиями возникновения их дееспособности. Современная российская юридическая доктрина характеризуется достаточно вариативным, в отличие от правоспособности, подходом к определению самого понятия, условиям наступления, а также закрепляет различные объемы дееспособности, учитывающие специальный и (или) индивидуальный правовой статус субъекта.

В отношении искусственных интеллектуальных систем, напомним, что научная дискуссия о возможности изменения правового статуса отдельных видов роботов развернулась в последние годы весьма широко. Имеются и отдельные предложения по наделению ИИС определенным объемом правоспособности и дееспособности. Так, Д. С. Гришин, ставший инициатором Законопроекта «О внесении изменений в Гражданский кодекс РФ в части совершенствования правового регулирования отношений в области робототехники», предлагает ввести легальное определение робота-агента, под которым следует признавать «робота, который по решению собственника и в силу конструктивных особенностей предназначен для участия в гражданском обороте. Робот-агент имеет обособленное имущество и отвечает им по своим обязательствам, может от своего имени приобретать и осуществлять гражданские права и нести гражданские обязанности. В случаях, установленных законом, робот-агент может выступать в качестве участника гражданского процесса… Правоспособность и дееспособность интеллектуального агента возникает только при его регистрации в специально созданном едином государственном реестре, и с момента публичного заявления его собственника о начале его функционирования в таком статусе. При этом ответственность за действия робота-агента в пределах находящегося в его собственности имущества, переданного во владение и (или) пользование робота-агента несут собственник и владелец робота-агента»[17].

В целом, соглашаясь с представленной позицией о моменте возникновения правоспособности и дееспособности интеллектуального агента, в связи с его регистрацией в специализированном государственном реестре, мы не разделяем точку зрения, о том, что ИИС может быть предоставлено право иметь обособленное имущество на праве собственности, а равно, право от своего имени приобретать и осуществлять гражданские права и нести гражданские обязанности. Что касается объема дееспособности ИИС, здесь в полной мере применим традиционный подход соотнесения его с объемом правоспособности по аналогии с право-дееспособностью юридических лиц и публичных образований.

Как уже отмечалось ранее в исследовании, деликтоспособность, есть способность субъекта самостоятельно нести ответственность за вред, причинённый его противоправным деянием (действием либо бездействием).

Исходя из функциональной природы возможной частичной правоспособности ИИС, ключевой вопрос здесь заключается не в том, должен ли интеллектуальный агент сам нести ответственность, а в том, как выявить лицо, ответственное за действия интеллектуальных агентов. Разумный агент действует от лица своего хозяина, а значит, и причиненный вред должен рассматриваться соответственно.

По нашему мнению, только физическое (или юридическое) лицо должно быть привлечено к ответственности с помощью различных правовых механизмов, в том числе и страхования ответственности. Что касается основания для ответственности, то в зависимости от того, о какой именно ответственности идет речь, необходимо будет использовать соответствующие видам юридической ответственности подходы. По общему правилу, следует исходить из принципа вины, ее формы, и тяжести наступивших общественно опасных последствий. А, для возмещения причиненного вреда жертве, в случае, когда виновного, с достоверностью определить будет невозможно, необходимо использовать механизмы превентивного страхования ответственности, по принципу страхования ответственности лиц (предприятий), эксплуатирующих источники повышенной опасности (ИПО).

Напомним, что специфика гражданской ответственности владельцев ИПО, т.е. граждан и юридических лиц, чья деятельность связана с повышенной опасностью для окружающих (использование транспортных средств, механизмов, электрической энергии высокого напряжения, атомной энергии, взрывчатых веществ, сильнодействующих ядов, осуществление строительной деятельности и т.д.), заключается в том, что владелец ИПО практически всегда несет ответственность за причиненный таким источником вред, в то время как лицо, не являющееся владельцем ИПО, в большинстве случаев ответственности не несет, если докажет, что вред причинен не по его вине.

Подводя итог, отметим, что по мнению автора исследования, правосубъектность искусственного интеллекта обсуждаема только в том случае, когда речь идет о так называемом, сильном (General AI) или сверхсильном (Super AI) искусственном интеллекте, то есть таком, который способен действовать автономно, и сопоставим по своим характеристикам с интеллектом естественным, присущим человеку.

В основе правосубъектности лежит правоспособность. Приемлемым выходом может стать сравнение правоспособности ИИС не с физическими, а с юридическими лицами, или даже, с публичными образованиями. При таком подходе, правоспособность будет иметь ограниченный характер, и включать в себя не классические права, а скорее правообязанности, сконструированные по типу: «могут и должны». В случае с ИИС речь может идти только о частичной правоспособности. Частичная правоспособность, это статус, применимый к субъектам, имеющим правоспособность только в соответствии с конкретными правовыми нормами, в противном случае не несущих обязанностей и не имеющих права. Разумные агенты должны рассматриваться как субъекты права в той мере, в какой этот статус отражает их функции, но не более того.

Законодательное закрепление частичной правоспособности для сильного и сверхсильного искусственного интеллекта может быть осуществлено посредством установления исключения из общего правила, сконструированного по типу: «Искусственные интеллектуальные системы, не являются субъектами права. В соответствии с их служебной функцией они регулируются положениями, применимыми к объектам гражданского права, за исключением случаев, когда законом предусмотрено иное». В этих, исключительных случаях, частичная правоспособность и дееспособность интеллектуального агента возникает одновременно при его регистрации в специально созданном едином государственном реестре.

Разумный агент действует от лица своего хозяина, а значит, и причиненный вред должен рассматриваться соответственно. Иными словами, поскольку деликт совершается в рамках развертывания, ответственность должна, по общему правилу, возлагаться на лицо, получающее прибыль от развертывания. Из указанного правила должен быть сделан ряд исключений (ошибка производителя, ошибка пользователя, перехват управления, и др.).

Только физическое (или юридическое) лицо может быть привлечено к ответственности. Что касается оснований, то в зависимости от того, о какой именно ответственности идет речь, необходимо будет использовать соответствующие видам юридической ответственности подходы. По общему правилу, следует исходить из принципа вины, ее формы, и тяжести наступивших общественно опасных последствий. А, для возмещения причиненного вреда жертве, в случае, когда виновного с достоверностью определить будет невозможно, необходимо использовать механизмы превентивного страхования ответственности, по принципу страхования ответственности лиц (предприятий), эксплуатирующих источники повышенной опасности (ИПО).

References
1. Kurzweil, R., The Law of Accelerating Returns. 2001.
2. Peter Holley, Bill Gates on dangers of artificial intelligence: “Idon’t understand why some people are not concerned”(2015) https://www.washingtonpost.com/news/the-switch/wp/ (data obrashcheniya 9.07.2020)
3. Civil Law Rules on Robotics European Parliament resolution of 16.02.2017 with recommendations to the Commission on Civil Law Rules on Robotics (2015/2103(INL)). EP reference number: P8_TA (2017)005.
4. Proidakov, E.M. Sovremennoe sostoyanie iskusstvennogo intellekta / Naukovedcheskie issledovaniya. M.: Institut nauchnoi informatsii po obshchestvennym naukam RAN, 2018. S. 130 (S. 129-153). DOI: 10.31249/scis/2018.00.09
5. Serl, D. Razum mozga – komp'yuternaya programma? // V mire nauki. 1990. № 3. S. 7-13. [Elektronnyi resurs]. URL: https://psychosearch.ru/teoriya/psikhika/338-searle-john-razum-mozga-kompyuternaya-programma (data obrashcheniya: 18.03.2020)
6. Bostrom, N. Iskusstvennyi intellekt. Etapy. Ugrozy. Strategii. [Elektronnyi resurs]URL: file:///C:/Users/Twilight/Downloads/[Nik_Bostrom]_Iskusstvennuei_intellekt._YEtapue,_u(z-lib.org).pdf (data obrashcheniya 10.03.2020).
7. Ilon Mask: «Iskusstvennyi intellekt rano ili pozdno prikonchit vsekh nas» [Elektronnyi resurs] URL: https://itc.ua/blogs/ilon-mask-iskusstvennyiy-intellekt-rano-ili-pozdno-prikonchit-vseh-nas/(data obrashcheniya: 30.06.2020).
8. Jajal, Tannya D. Distinguishing between Narrow AI, General AI and Super AI. May. 21. 2018. [Elektronnyi resurs] URL: https://medium.com/@tjajal/distinguishing-between-narrow-ai-general-ai-and-super-ai-a4bc44172e22 (data obrashcheniya: 31.03.2020).
9. Ponomareva E. V. Sub''ekty i kvazisub''ekty prava: teoretiko-pravovye problemy razgranicheniya: avtoreferat dis. ... kandidata yuridicheskikh nauk : 12.00.01 / Ponomareva Elena Vladimirovna; [Mesto zashchity: FGBOU VO Ural'skii gosudarstvennyi yuridicheskii universitet].-Ekaterinburg, 2019.-32 s.
10. Allgrove Ben. Legal Personality for Artificial Intellects: Pragmatic Solution or Science Fiction?// Baker & McKenzie LLP, London.2004 https://papers.ssrn.com/sol3/papers.cfm?abstract_id=92
11. Hassler S. Do We Have to Build Robots That Need Rights? [Elektronnyi resurs] // IEEE Xplore. URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=7864739 (data obrashcheniya: 02.04.2018).
12. Kalo, Raian, Robototekhnika i uroki kiber-prava (28 fevralya 2014 g.) // California Law Review, Vol. 103, № 3, s. 513-63 // Issledovatel'skaya rabota yuridicheskogo fakul'teta Vashingtonskogo universiteta № 2014-08. SSRN: https://ssrn.com/abstract=2402972 ili http://dx.doi.org/10.2139/ssrn.2402972. (data obrashcheniya: 21.04.2020)
13. Balkin, Jack M. (2015), The Path of Robotics Law // California Law Review, Circ. 6: 45-59.
14. Ehrlich, Eugen (1909), Die Rechtsfähigkeit, Puttkammer & Mühlbrecht, Berlin. 100 r.
15. Wolff, Hans-Julius. Organschaft und juristische Person. Untersuchungen zur Rechtstheorie und zum öffentlichen Recht. 2 Bände. Heymanns, Berlin 1933–1934
16. Jan-Erik Schirmer, Gregor Bachmann. Artificial Intelligence and Legal Personality: Introducing Teilrechtsfähigkeit: A Partial Legal Status Made in Germany. Berlin.2018 https://www.rewi.hu-berlin.de/de/lf/ls/bcm/team/jan-erik-schirmer/publikationen-und-vortraege/Schirmer_RegulatingAI_Teilrechtsfaehigkeit.pdf (data obrashcheniya: 2.04.2020)
17. Komanda Dentons sovmestno s Dmitriem Grishinym, osnovatelem GrishinRobotics, podgotovila kontseptsiyu zakonoproekta, kotoryi mozhet stat' pervym v mire polnotsennym zakonom o robotakh URL: https://www.dentons.com/ru/insights/alerts/2017/january/27/dentons-develops-first-robotics-draft-law-in-russia (data obrashcheniya 30.05.2018