Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Law and Politics
Reference:

Law and artificial intelligence: the experience of computational methodology for analyzing and assessing quantitative changes in legislation and law enforcement practice (on the example of the Article 20.4 of the Code of the Russian Federation on Administrative Offenses)

Trofimov Egor Viktorovich

ORCID: 0000-0003-4585-8820

Doctor of Law

Deputy Director for Science, St. Petersburg Institute (Branch) of the All-Russian State University of Justice

199178, Russia, g. Saint Petersburg, 10-ya liniya V.O., 19, lit. A, kab. 36

diterihs@mail.ru
Other publications by this author
 

 
Metsker Oleg Gennad'evich

ORCID: 0000-0003-3427-7932

PhD in Technical Science

Researcher

199178, Russia, g. Saint Petersburg, 10-liniya V.O., 19 lit. A

olegmetsker@gmail.com
Other publications by this author
 

 

DOI:

10.7256/2454-0706.2019.8.30306

Received:

15-07-2019


Published:

22-07-2019


Abstract: The subject of this research is the changes that took place in law enforcement practice due to introduction in 2011 of the new revision of the Article 20.4 “On Violation of Fire Prevention Rules” of the Code of the Russian Federation on Administrative Offenses. The article presents the results of computational experiment conducted for the purpose of development and testing of high-performance software based on the intellectual analysis and computer-assisted learning that improves understanding of the new legal phenomena and processes associated with the impact of legislation upon law enforcement practice. For solving the research objective. For solving the research problem, the author uses the data of the State Information System “Justice” related to 56,500 orders on imposition of administrative punishment in accordance with the Article 20.4 of the Code of the Russian Federation on Administrative Offenses for the period of 2010-2017. The author extracts and factorizes the necessary data; JSON data was converted using the algorithm in MapReduce paradigm for the models of factorization and learning. As a result of computer-assisted learning, was obtained the “tree of decisions”. On the “tree of decisions” it is demonstrated that middle of 2011 marks qualitative improvement in judicial practice, which became more uniform and logical; as well as in the context of imposing administrative punishment, the court started using standard circumstances of the case. The more efficient revision of the Article 20.4 of the Code of the Russian Federation on Administrative Offenses allowed in a midterm period to enhance the rule of law in the area of satisfying formalized requirements to ensuring fire safety, by reducing the number of cases from 2012 to 2017 by more than 10 times. The author empirically substantiates the working version of the method of analysis and assessment of qualitative changes in legislation and law enforcement practice based on the computer-assisted learning technique in form of “tree of decisions”.


Keywords:

law, artificial intelligence, digital state, administrative liability, intellectual analysis, machine learning, big data, computational experiment, computational methodology, fire safety


Введение

Многие аспекты публичного управления, несомненно, могут выиграть от применения алгоритмов машинного обучения, а государственные органы с их большим объемом рутинной работы уже готовы к получению выгод от такой автоматизации [40, pp. 1152–1153]. Хотя исследования и разработки в области искусственного интеллекта слабо затронули юридическую науку и практику, в условиях цифровизации юридического процесса технологические преимущества интеллектуального анализа больших данных и машинного обучения становятся перспективными для юридической сферы. Они открывают широкие возможности для улучшения качества понимания правовых явлений и процессов, внедрения искусственного интеллекта в юридическую практику, развития «цифрового государства», повышения эффективности права и управления.

Основная цель проводимого авторами с 2017 г. исследования — разработка и эмпирическое обоснование методологии и принципов интеллектуального анализа юридических данных, текстов и процессов на основе технологий искусственного интеллекта. В настоящей статье представлены результаты вычислительных экспериментов по применению методов машинного обучения в сфере интеллектуального анализа изменений, которые произошли в правоприменительной практике в результате введения в действие в 2011 г. новой редакции статьи 20.4 «Нарушение требований пожарной безопасности» Кодекса Российской Федерации об административных правонарушениях.

Вычислительные эксперименты проводились с целью разработки и апробирования высокопроизводительного программного комплекса, улучшающего понимание правовых явлений и процессов на основе интеллектуального анализа качественных изменений в правоприменительной практике, вызванных корректировкой законодательных норм. В ходе исследования эмпирически обоснован рабочий вариант метода анализа и оценки качественных изменений в законодательстве и правоприменительной практике, основанный на технологии машинного обучения по типу «деревья решений».

Постановка проблемы

Состояние, динамика, структура и взаимосвязи, присущие правовой системе, находят свое отражение в информации, которая генерируется и документируется в юридическом процессе. В условиях динамичного развития правовой системы обработка и анализ комплексных юридических данных традиционными методами (включая правовую статистику и экспертные оценки) носят крайне ограниченный характер. Эти ограничения касаются, в частности, объема обрабатываемой информации, комплексности и разнородности данных, количества и качества ресурсов (людских, временных, финансовых и прочих), затрачиваемых на обработку, анализ и интерпретацию результатов. Последствия этих ограничений — скудность знаний, предоставляемых правовой статистикой, косность и субъективизм экспертно-аналитических выводов. В теоретической и практической юриспруденции распространено недоверие к прогнозам и рекомендациям, получаемым традиционными методами. В отсутствие развитой прогностической функции юридическая наука движется вслед за практикой, реплицируя с известными итерациями традиционную эмпирическую и методологическую базу, а получаемые таким путем юридические знания крайне ограниченно используются для решения практических политико-правовых задач, в том числе в процессе правотворчества. Таким образом, важную проблему в области юридического научного знания в целом составляют его усвоение, передача и развитие как таковые, и для преодоления этой проблемы требуется дальнейшая проработка междисциплинарной методологии, соответствующей сложности и комплексности изучаемых правовых явлений и процессов.

С конца 1990-х гг. в постиндустриальных странах реализуется концепция «электронного правительства» [13, с. 15], в которой господствует сервисный подход [9, с. 128]. Государство все более превращается в цифровую платформу для реализации эффективного контроля и предоставления государственных услуг, а задача построения «цифрового государства» в таком понимании сводится к стандартизации и автоматизации административных процедур [31, с. 139]. С начала 2000-х гг. Россия тоже совершила прорыв в области «электронного правительства». В электронный вид переведены некоторые юридико-управленческие процессы и их результаты, созданы и открыты для общего пользования различные базы данных, касающиеся законодательной, судебной и административной практики.

Однако научная проработка принципов и методологии в области цифровизации права и государства существенно отстает от бурно развивающихся технологий. Как следствие, в текущем виде цифровизация юридического процесса происходит без продуманного целеполагания, влечет за собой высокий уровень расходов на реализацию технологических решений в отсутствие ясного понимания того эффекта, который от них ожидается в среднесрочной или долгосрочной перспективе. Поэтому часто высказываются абстрактные суждения о том, что «цифровое государство» способно стать реальной альтернативой существующему государственно-правовому порядку, но каким будет этот порядок — ответ не дается [20, с. 10–11]. В качестве альтернативы «цифровому государству» ведется речь о более понятном формате «цифрового правительства», под которым понимается полный перевод услуг в цифровой формат и использование данных вместо документов [29, с. 5, 7], однако этот путь пока еще является экстенсивным, поскольку не имеет в своей основе концепта качественного роста. Ведется также речь об «умном правительстве», предполагающем применение цифровых технологий через общедоступную платформу для коллективного использования программного обеспечения, данных и услуг, чтобы сделать правительственные данные и решения открытыми [14, с. 56].

В целом уже ясно, что дальнейшее движение по избранному пути цифровизации само по себе не ведет к переходу от «электронного правительства» к «цифровому государству». Современный подход к цифровизации политико-правовой сферы имеет широкий спектр недостатков: содержательные, структурные, процессинговые и прочие. Но главный недочет, на наш взгляд, состоит в том, что цифровизация ведется без акцента на эмпирическом обосновании принципов и методов цифровизации, которые могут обеспечить качественный переход от цифровых «услуг» и «платформ» к «цифровому государству», концептуально и методологически основанному на кумулятивном эффекте искусственного интеллекта, причем не только в сфере обработки накопленных объемов информации, но и, что гораздо важнее, в области использования инструментов интеллектуального анализа, прогнозирования и усвоения данных.

Частным случаем этой масштабной и комплексной проблемы является отсутствие высокопроизводительной вычислительной методологии для анализа и оценки качественных изменений в законодательстве и правоприменительной практике, то есть для измерения эффективности права (законодательства, правоприменения, правосудия и т.д.). Проблема оценки эффективности права широко обсуждается с 1960-х гг. Большинство авторов разрабатывали теорию эффективности права в рамках формально-юридического подхода [17] [21] [22] [30], некоторые исследователи стремились перенести в эту предметную область социологические [18], экономико-управленческие [26] и философские [10] подходы. И хотя названная теория выработала систему универсалий и общее понимание эффективности права как соотношения между результатами действия и целями принятия правовых норм [15], но верификация выдвинутых тезисов неизменно сталкивалась ограниченными возможностями традиционной методологии. Приемлемые методы качественной и количественной оценки эффективности права так и не были разработаны и апробированы. Поэтому и спустя полвека обсуждений продвигается абстрактное суждение о том, что «оптимальным видится комплексный подход к проблеме определения эффективности правового регулирования» [3, с. 73], а в качестве научного результата все еще позиционируется тезис о том, что «для повышения эффективности российского законодательства необходимы обоснованные научные рекомендации, базирующиеся на соответствующих эмпирических исследованиях» [11, с. 8]. Эти идеи не подкрепляются апробированной методологией количественного и качественного анализа и оценки правового регулирования. Более того, отмечается, что не только в области права, но и в целом «в управлении государством и экономикой нет математических моделей и алгоритмов» [24, с. 32].

В результате проведения повсеместной цифровизации появились предпосылки к высокотехнологичному решению этой проблемы. Вычислительные методы в праве имеют несоизмеримо большую объективность, полноту и точность, чем традиционные методы. Их использование не требует такого объема ресурсов, какой затрачивается на правовую статистику, правовую и антикоррупционную экспертизы, правовой мониторинг и прочие исследовательские инструменты. Эти инструменты слишком слабо обеспечены методологически и технологически, чтобы быть адекватными тем насущным инфокоммуникационным и вычислительным задачам, которые могут решаться в предметной области права на основе машинного обучения и больших данных. Технологии искусственного интеллекта в праве могут стать существенным дополнением к имеющейся «ручной» методологии правового исследования и могут приобрести самостоятельное значение при решении многих научных и практических задач в области юриспруденции, в том числе через описательные модели.

Обзор исследований и разработок

Начало исследований в области права и искусственного интеллекта приходится на 1950-е гг. Возможно, первой значительной работой в этой области стала в 1957 г. статья Леймана Аллена «Символическая логика: острый инструмент для разработки и толкования юридических документов» [34]. Развитие в США «юриметрии» (jurimetrics) породило идеи использования символической логики в качестве аналитического инструмента для выявления и проверки синтаксической неоднозначности в юридических документах, идеи возможного использования ЭВМ и других методов автоматического поиска данных в качестве средства юридических исследований, а также идеи количественного анализа различных аспектов процесса принятия правовых решений [35]. В частности, в статье Л. Аллена «От поиска документов к поиску информации» [33] обсуждался вопрос об использовании в правовых исследованиях электронной обработки данных.

Сама постановка вопроса в современных терминах «право и искусственный интеллект» принадлежит Брюсу Бьюкенену и Томасу Хедрику, которые в 1970 г. в статье «Некоторые рассуждения об искусственном интеллекте и юридическом обосновании» [36] подняли вопрос о компьютерном моделировании юридических рассуждений.

В ходе развития идей компьютерного юридического вывода были созданы правовые экспертные системы, использующие базы правил, базы знаний и механизм вывода для накопления, реферирования и получения экспертных знаний в узких предметных областях юриспруденции. Такие системы выстраивались на моделях дедуктивного рассуждения или прецедентов, усложнялись до гибридных моделей и моделей с нечеткой логикой, создавались на основе нейронных сетей. В 1970-х гг. Л. Торн Маккарти (США) разработал и обосновал первую предметно-ориентированную экспертную систему «Taxman», позволявшую на основе классификации вводимой информации выдавать юридическое обоснование для решения задачи освобождения от подоходного налога в случае реорганизации корпораций [49]. В дальнейшем были разработаны и эмпирически обоснованы другие правовые экспертные системы: например, в 1990-х гг. «CHIRON» [53] в США, «SHYSTER» [51] и «Split Up» [54] в Австралии.

Впрочем, в середине 1990-х гг. качестве промежуточного итога исследований было констатировано, что попытки создать компьютеры, которые могут самостоятельно рассуждать для принятия правовых решений, не увенчались успехом, поскольку моделирование закона и подражание процессам юридического обоснования оказались более сложными и тонкими, чем первоначально предполагалось [32].

С конца 1990-х гг. в связи с развитием «электронного правительства» некоторые государственные и муниципальные администрации инициировали разработки, основанные на методах машинного обучения, признавая их растущую роль в области управления [44]. Так, уже сейчас в США имеется положительный опыт использования интеллектуальных методов анализа данных и машинного обучения для повышения эффективности администрирования [39], а именно: для инспектирования предприятий общественного питания [43] и проведения дератизации [38] в г. Чикаго, для организации и осуществления пожарного надзора в г. Нью-Йорке [45], для решения проблемы водоснабжения в штате Мичиган [37], для оптимизации управления дорожным движением в г. Лос-Анджелесе [48], для целей налогового контроля и оценки рисков неплатежей в Службе внутренних доходов США [42] и т.д. Но стоит отметить, что эти разработки больше связаны с публичным управлением, чем с правом, поскольку соответствующие вычислительные модели основаны на неюридических данных и процессах, которые только после интеллектуального анализа могут приобретать, помимо прочего, также правовое значение.

Несколько более многочисленны разработки в сегменте LegalTech. Так, с 2014 г. компания «ROSS Intelligence» (США) занимается разработкой электронного ассистента «ROSS» на основе вопросно-ответной системы искусственного интеллекта, решая задачу поиска наиболее подходящих прецедентов по делам о банкротстве [52]. В 2014 г. были запущены программные продукты корпорации «Kira Systems» (Канада), основанные на машинном обучении, которые решают задачи сканирования документации, идентификации, извлечения и анализа текста контрактов и других документов, а также выявления данных в соответствии с критериями, заданными пользователем [46]. Компания «Thomson Reuters» (США) разрабатывает для юридических фирм и правительственных служб продукты сегмента «Legal Professionals» в области исследований и документооборота, основанные на технологиях искусственного интеллекта и интегрированных правовых решениях, сочетающих контент, инструменты и аналитику [55]. В августе 2014 г. британский студент Дж. Броудер запустил чат-бот DoNotPay, который с использованием технологии искусственного интеллекта помогает автовладельцам оспорить штрафы за парковку: на веб-сайте автовладельцы указывают информацию о себе и выбирают одну из 12-ти причин, по которой оспаривают штраф, причем вся процедура занимает около 30 секунд [2].

Российская компания ООО «Европейская юридическая служба», начав работу в LegalTech в 2007 г. с онлайн службы юридических консультаций, в 2016 г. представила робота-юриста на платформе Telegram, который опирается на «базу знаний» из 4 млн правовых кейсов и помогает клиентам в четырех областях права [8]. С 2012 г. группой компаний под брендом «Право.ру» (Россия) разработаны и внедрены несколько профессионально-юридических веб-сервисов, опирающихся на базу информационно-правовой системы и направленных на автоматизацию работы, а именно: «Casebook» — сервис поиска информации о компаниях с элементами предсказательной аналитики в отношении судебных разбирательств и банкротства, «Caselook» — поисковая система для анализа судебной практики и формирования правовой позиции, «CasePro» — система для ведения дел и проектов, автоматизации рабочих процессов в юридических компаниях и департаментах, «File.one» — сервис для поиска корпоративного контента из облачных, локальных, сетевых хранилищ и почтовых клиентов на основе машинного обучения, «Form.one» — юридический конструктор чат-ботов для опроса и консультирования клиентов, приема оплаты и назначения встреч, «Doc.one» — конструктор документов на основе интерактивных шаблонов [7]. С 2015 г. ООО «Симплоер консалтинг» (Россия) предлагает сервисы в сфере смарт-контрактов [23], в том числе сотрудничает со Сбербанком в области синхронизации технологии и права [12].

В целом сегмент LegalTech развивается в двух основных направлениях. Первое — это клиентские LegalTech-сервисы, которые помогают обывателям ускорить и удешевить решение своих юридических проблем: конструкторы документов, веб-платформы для поиска юриста, чат-боты, онлайн-консультации, отраслевые сервисы (для онлайн-заполнения налоговой декларации, подготовки документов для регистрации юридического лица и т.д.). Второе — это средства автоматизации решения профессионально-юридических задач: платформы для учета судебных дел, CRM-системы, электронный документооборот и т.д. В обоих сегментах LegalTech реализуется генеральная линия на использование технологий нейронных сетей. Использование этих технологий ориентировано на распознавание и обработку данных, а сам сегмент LegalTech нацелен на сокращение микроэкономических затрат на производство и оплату юридических услуг и затрат на предоставление и получение доступа к ним. Основным препятствием использования нейронных сетей в сегменте LegalTech считаются, во-первых, отсутствие качественных больших данных (т.е. правильно размеченных данных, на основе которых можно было бы обучить искусственный интеллект) и, во-вторых, динамичность правовой системы [1].

Вместе с тем перспективность исследований и разработок на основе технологий нейронных сетей вызывает сомнения не только из-за этих двух недостатков. Нейронные сети, в отличие от других вычислительных технологий и методов, практически не дают возможностей для интеллектуальной интерпретации, поскольку их аналитика закрыта от исследователя, а технология строится по принципу «черного ящика», что затрудняет использование знаний о предметной области для оптимизации вычислений.

Так, компания «LawGeex» (Израиль), специализирующаяся на автоматизации анализа договоров [47], потратила три года на обучение робота, основанного на нейронных сетях, и в результате достигла 95-процентной точности в эксперименте по идентификации всего лишь около 30 терминов и проблемных мест в ходе анализа пяти соглашений о неразглашении информации, причем соглашения были типовые [1]. Эффективность апелляционного обжалования с помощью ранее упомянутого чат-бота DoNotPay за шесть месяцев (86 тыс. случаев) составила менее 40% [2], что, помимо претензий к качеству технологического решения, также ставит вопрос о социально-правовой приемлемости продукта, провоцирующего колоссальную неоправданную нагрузку на систему правосудия. Группа компаний «Право.ру», даже используя неограниченный доступ к базе данных картотеки арбитражных дел (kad.arbitr.ru), в вычислительном эксперименте по определению одного из четырех исходов дел о банкротстве («удовлетворено» и т.д.) получила предсказательную точность, мало отличающуюся от среднестатистических показателей по этой категории дел, а также сделала общий вывод о том, что в ходе эксперимента осталось неизвестным, что именно влияет на исход дела [41].

Такие результаты, разумеется, не могут рассматриваться как успех использования нейронных сетей в сегменте LegalTech, особенно учитывая, что продолжительность работы по таким разработкам в современном динамичном и технологичном мире все еще исчисляется годами. Нейронные сети (например, реккурентные сети) позиционируются в качестве перспективных технологий для цифровизации государства и в России [6, с. 14, 22], хотя возлагаемые на них надежды явно не оправдываются. Например, в четвертом квартале 2016 г. Сбербанк запустил робота-юриста, который составляет исковые заявления к гражданам-должникам, и в январе 2017 г. заместитель председателя правления Сбербанка В. В. Кулик заявил, что Сбербанк планирует полностью передать этот функционал роботу и за счет этого в 2017 г. сократить около 3 тыс. рабочих мест [19]; однако этого не произошло даже к середине 2019 г.

Методология исследования

С 2017 г. авторы настоящей статьи ведут исследования и разработки, направленные не на решение задач экономических субъектов, а на развитие «цифрового государства», применяя различные вычислительные подходы, в том числе нейронные сети и другие технологии искусственного интеллекта.

В частности, для решения исследовательской задачи по интеллектуальному анализу изменений, которые произошли в правоприменительной практике в результате введения в действие в 2011 г. новой редакции статьи 20.4 КоАП РФ, были использованы данные Государственной автоматизированной системы Российской Федерации «Правосудие» (общедоступный ресурс) в виде 8804536 судебных постановлений и решений по делам об административных правонарушениях объемом 321 Гб.

Размещенные в ГАС «Правосудие» судебные акты являются слабоструктурированными. Основная информация, необходимая для интеллектуального анализа, содержится в них в неструктурированной форме в текстах на естественном (русском) языке. По этой причине значительный вклад в качество получаемых моделей вносят наработки членов авторского коллектива в области обработки текстов на естественном языке. Значительные объемы слабоструктурированных данных существенно меняют требования к технологиям предобработки.

Эмпирическая база была сформирована при помощи краулера за счет POST-запросов с некоторым параметром в JSON. В результате запросов были получены полные документы судебных постановлений, которые, как правило, имеют большой объем, и не все их поля имеют значения (нулевые значения). Поэтому поля были отфильтрованы, и оставлены были только значимые данные, что уменьшило объем полей в среднем в 2,5 раза. Данные были обработаны Apache Spark, который предназначен для обработки больших данных и был выбран из-за удобного API, быстрого выполнения и интерактивности. Для обработки всех данных использовался Python вместе с блокнотом Jupyter. Характеристики кластера: количество ядер — 288 (использовано 193), объем памяти — 880 Гб (использовано 400 Гб). Обработка 6 млн документов (300 Гб) заняла 3,3 минуты. Для агрегирования данных о количестве подобных дел после преобразования в паркет потребовалось менее 90 секунд. Методы извлечения достоверной информации из текстов судебных актов описаны в ранних работах авторов [16] [27] [28] [50].

Для детального интеллектуального анализа были взяты 56,5 тыс. постановлений о назначении административного наказания по статье 20.4 КоАП РФ, вынесенных мировыми судьями в 2010–2017 гг., что приближается к генеральной совокупности. По данным судебной статистики (сводные отчеты по всем судам общей юрисдикции Российской Федерации по форме № 1-АП), за 2011–2017 гг. судьи вынесли 50054 постановления о назначении административного наказании по статье 20.4 КоАП РФ; за 2010 г. данные по статье 20.4 КоАП РФ в статистике отдельной строкой не выделялись.

Из текстов постановлений были извлечены и факторизованы необходимые данные, в том числе о фактических обстоятельствах дела. Данные из JSON были преобразованы алгоритмом в парадигме MapReduce для моделей факторизации и обучения. В результате машинного обучения было получено «дерево решений».

Результаты исследования

На рис. 1 показано «дерево решений», полученное в результате машинного обучения на базе из 56,5 тыс. постановлений о назначении административного наказания на основании статьи 20.4 КоАП РФ за период 2010–2017 гг.

Рис. 1. «Дерево решений» по статье 20.4 КоАП РФ

Обсуждение и интерпретация результатов

С 17.06.2011 вступили в силу изменения, внесенные в статью 20.4 КоАП РФ Федеральным законом от 03.06.2011 № 120-ФЗ «О внесении изменений в Кодекс Российской Федерации об административных правонарушениях по вопросам пожарной безопасности». В результате этих изменений были пересмотрены: во-первых, формулировки составов административных правонарушений по статье 20.4 и их разграничение между частями этой статьи; во-вторых, виды и размеры административных наказаний в санкциях частей статьи 20.4 и, как следствие, компетенция судов по рассмотрению дел данной категории.

До изменений 2011 г. максимальный административный штраф был предусмотрен (в разных частях статьи 20.4) для граждан — в размере 0,5–2,0 тыс. руб., для должностных лиц и индивидуальных предпринимателей — в размере 1–4 тыс. руб., для юридических лиц — в размере 10–40 тыс. руб. Административное приостановление деятельности на срок до 90 суток в качестве альтернативы административного штрафа предусматривалось для индивидуальных предпринимателей и юридических лиц только при совершении общего состава данного правонарушения (часть 1). Однако административное приостановление деятельности не было предусмотрено за совершение ряда наиболее серьезных правонарушений, охватываемых специальными составами, а именно: нарушений в условиях особого противопожарного режима (часть 2 статьи 20.4) и нарушений, повлекших возникновение пожара (часть 3 статьи 20.4).

После изменения статьи 20.4 КоАП РФ размеры административного штрафа были повышены (в разных частях статьи) до максимальных размеров 1,5–5,0 тыс. руб. для граждан, 10–50 тыс. руб. для должностных лиц и индивидуальных предпринимателей, 100–500 тыс. руб. для юридических лиц. При этом были изменены нелогичные нормы, не предусматривавшие более суровое административное наказание за более тяжкие правонарушения, за такие нарушения были введены высокие административные штрафы, а за повторное совершение ряда серьезных правонарушений индивидуальными предпринимателями и юридическими лицами — административное приостановление деятельности на срок до 90 суток.

До изменений 2011 г. в компетенции судьи потенциально находились почти все дела о нарушении требований пожарной безопасности (по части 1 — общий состав правонарушения), но только при условии, что Государственная противопожарная служба МЧС России передаст эти дела на рассмотрение судьям для решения вопроса о необходимости применения административного приостановления деятельности. На практике дела по части 1 статьи 20.4 КоАП РФ передавались на рассмотрение судьям хаотично, поскольку Государственная противопожарная служба не имела четких критериев для того, чтобы решить, по каким делам целесообразно рассматривать вопрос о применении административного приостановления деятельности (это наказание назначает только судья), а по каким нет, и значит, не требуется направление материалов дела на рассмотрение в судебную систему.

После внесения в июне 2011 г. изменений в статью 20.4 КоАП РФ Государственная противопожарная служба получила более определенное указание на то, какие категории дел могут передаваться на рассмотрение суда. В эту категорию были отнесены дела о повторных серьезных нарушениях требований пожарной безопасности, а именно — требований к внутреннему противопожарному водоснабжению, электроустановкам зданий, сооружений и строений, электротехнической продукции, первичным средствам пожаротушения, эвакуационным путям, эвакуационным и аварийным выходам, системам автоматического пожаротушения, системам пожарной сигнализации, системам оповещения людей о пожаре и управления эвакуацией людей, системам противодымной защиты зданий, сооружений и строений.

В 2011 г., когда стала применяться новая редакция статьи 20.4 КоАП РФ, произошел резкий рост количества дел, рассмотренных судьями. После 2011 г. количество дел по этой статье, рассмотренных судами, имело хорошо выраженную тенденцию к сокращению (см. табл. 1, составленную на основании сводных отчетов по всем судам общей юрисдикции Российской Федерации по форме № 1-АП «Отчет о рассмотрении федеральными судами общей юрисдикции и мировыми судьями дел об административных правонарушениях», представленной Судебным департаментом при Верховном Суде Российской Федерации за 12 месяцев каждого календарного года за период 2011–2017 гг.; в 2010 г. судебная статистика по статье 20.4 КоАП РФ отдельной строкой не выделена [25]).

Табл. 1. Судебная статистика по статье 20.4 КоАП РФ за 2011–2017 гг.

Статистический показатель

2011

2012

2013

2014

2015

2016

2017

Рассмотрено дел (по числу лиц)

34657

8006

8856

5884

3684

1931

791

Лиц, подвергнутых административному наказанию

28760

5869

6336

4467

2662

1467

493

из них:

- юридические лица

25008

5182

5136

3675

2309

1318

427

- должностные лица

1021

221

419

285

163

48

23

- индивидуальные предприниматели

2169

363

378

235

121

60

20

- иные физические лица

562

103

403

272

69

41

23

Назначены наказания:

- предупреждение

2462

102

88

43

37

19

12

- административный штраф

6964

658

859

761

577

338

174

- административное приостановление деятельности

19334

5109

5389

3663

2048

1110

307

Сумма наложенных административных штрафов (по 1 инстанции), руб.

100836187

77589500

114229000

92708031

64526600

41348000

18094400

Наблюдаемая динамика среднего размера административных штрафов, назначенных судьями при рассмотрении дел по статье 20.4 КоАП РФ, свидетельствует о его существенном росте в 2012–2017 гг. (в 7,2–9,2 раза), даже в сравнении с 2011 г., когда в первом полугодии применялась старая редакция статьи 20.4 КоАП РФ с существенно более низкими санкциями (см. табл. 2).

Табл. 2. Средний размер административного штрафа, назначенного судьями (1 инстанция) по статье 20.4 КоАП РФ в 2011–2017 гг.

2011

2012

2013

2014

2015

2016

2017

Средний размер административного штрафа по статье 20.4 КоАП РФ, руб.

14480

117917

132979

121824

111831

122331

103991

Такие тенденции в правоприменении, проявляемые в среднесрочном периоде, свидетельствуют об укреплении законности и снижении уровня деликтности в рассматриваемой сфере. Учитывая, что динамика показателей судебной статистики коррелирует с изменением в июне 2011 г. редакции статьи 20.4 КоАП РФ, можно обоснованно связать указанные положительные изменения с оптимизацией правового регулирования и повышением его эффективности.

Вместе с тем обращение к пожарной статистике показывает, что в целом по стране на протяжении 2002–2017 гг. обстановка с пожарами и их последствиями имела устойчивую тенденцию к снижению независимо от редакций, в которых действовала в этот период статья 20.4 КоАП РФ. С 2002 по 2011 гг. количество пожаров уменьшилось на 35,2%, количество погибших при них людей — на 40,2%, травмированных — на 14,2%; с 2012 по 2017 гг. количество пожаров уменьшилось на 18,3%, количество погибших при них людей — на 32,9%, травмированных — на 23,4% (см. табл. 3, составленную на основании официальных данных МЧС России [4, с. 59] [5, с. 54]).

Табл. 3. Пожары и погибшие в пожарах в 2002–2017 гг. (в целом по России)

Статистический показатель

2002

2003

2004

2005

2006

2007

2008

2009

Кол-во пожаров, тыс.

260,8

239,2

233,1

229,8

220,5

212,6

202,0

187,6

Кол-во погибших, тыс.

19,9

19,3

18,9

18,4

17,2

16,1

15,3

13,9

(продолжение табл. 3)

Статистический показатель

2010

2011

2012

2013

2014

2015

2016

2017

Кол-во пожаров, тыс.

179,5

168,2

162,9

153,5

153,0

146,2

139,7

133,1

Кол-во погибших, тыс.

13,1

11,9

11,7

10,6

10,3

9,4

8,8

7,8

Ассоциируя данные судебной и пожарной статистики, можно сделать вывод о том, что снижение уровня административной деликтности в сфере пожарной безопасности (по статье 20.4 КоАП РФ) произошло вследствие сугубо юридических, а не более широких социальных причин. Изменения в законодательстве и правоприменительной практике привели не к снижению количества пожаров, а к более строгому исполнению физическими и юридическими лицами формализованных административных требований в области пожарной безопасности и снижению количества таких формальных нарушений.

Полученное в результате вычислительного эксперимента «дерево решений» позволяет извлечь из материалов судебной практики более качественное знание об изменениях, произошедших в области административной ответственности за нарушение требований пожарной безопасности в результате законодательных изменений 2011 г.

Во-первых, временной параметр оказался наиболее существенным при построении «деревьев решений», именно он в основании «дерева решений» (на рис. 1 — вверху) первично поделил судебную практику. По параметру года вынесения постановления деление произошло на отметке 11,5, что соответствует середине 2011 г., когда стала применяться новая редакция статьи 20.4 КоАП РФ.

Во-вторых, дерево решений показывает, что с середины 2011 г. изменилось количество обстоятельств дела, которые имеют решающее значение для вынесения постановления о назначении административного наказания. До середины 2011 г. (правая/верхняя часть) в ветвях «дерева решений» появляются только две обобщенные группы обстоятельств дела: смягчающие и отягчающие. С середины 2011 г. (левая/нижняя часть) на «дереве решений» выстраиваются не только эти обобщенные группы фактических обстоятельств (смягчающие и отягчающие), но и два частных случая этих обстоятельств (повторное совершение правонарушения и признание вины правонарушителем). Таким образом, с середины 2011 г. судьи стали больше выявлять и учитывать конкретные фактические обстоятельства при рассмотрении дел.

В-третьих, на «дереве решений» видно изменение значимости обстоятельств дела для принятия решения о назначении административного штрафа. До середины 2011 г. обстоятельства дела во всех случаях расположены ниже административного наказания. Некоторые ветви «дерева решений» фактических обстоятельств вообще не содержат. Но даже на тех ветвях «дерева решений», где фактические обстоятельства в решении присутствуют, они не образуют правильной последовательности в решении. В судебной практике до середины 2011 г. отсутствует единообразие в вопросе о том, какими обстоятельствами дела руководствуется судья при назначении административного наказания. Начиная с середины 2011 г. по всем ветвям «дерева решений» сумма штрафа определяется только после цепочки из двух или трех обстоятельств дела, т.е. в вопросе выбора административного наказания установилась единообразная судебная практика, основанная на учете двух-трех типовых фактических обстоятельств. Такое единообразное и предсказуемое состояние правоприменения чрезвычайно важно для практической юриспруденции и укрепления законности в целом, а также для прогнозно-аналитических целей.

В-четвертых, «дерево решений» показывает, что после изменения редакции статьи 20.4 КоАП РФ с середины 2011 г. главным обстоятельством, влиявшим на назначение административного наказания, стало наличие или отсутствие повторности совершения правонарушения (второй сверху уровень «дерева решений», левая/нижняя ветвь). Таким образом, изменения в законодательстве на практике достигли важной правовой цели — приоритетного противодействия злостным нарушителям.

В-пятых, дерево решений показывает, что после изменения закона (с середины 2011 г.) повторные правонарушения сопрягаются с признанием вины со стороны правонарушителя. Таким образом, изменения в законодательстве на практике достигли важной правовой цели — понимания правонарушителем того, что наказание за совершенное правонарушение неизбежно. Правонарушитель признает себя виновным и тем самым упрощает производство по делу в обмен на смягчающее обстоятельство, учитываемое при назначении административного наказания.

В целом на «дереве решений» видно, что с середины 2011 г. произошло качественное улучшение судебной практики: она стала более единообразной и логичной, при назначении административного наказания суд стал руководствоваться типовыми фактическими обстоятельствами дела.

Эти знания вместе с данными судебной статистики, показывающей ужесточение назначенных административных наказаний и снижение уровня административной деликтности, доказывают, что, во-первых, оптимизировалось правоприменение и, во-вторых, более эффективным стал сам административный закон. Размер административного наказания был установлен более адекватно тяжести административного правонарушения в сфере пожарной безопасности, что позволило судам учитывать конкретные обстоятельства дела и единообразно индивидуализировать административное наказание на основе учета типичных фактических обстоятельств дела. Более эффективная статья 20.4 КоАП РФ позволила в среднесрочном периоде укрепить законность в сфере исполнения формализованных требований к обеспечению пожарной безопасности, сократив с 2012 по 2017 гг. более чем в 10 раз количество дел об административных правонарушениях в этой области, рассматриваемых судьями.

Заключение и перспективы исследований

Полученный вычислительный результат для предметной области права является методологическим и интерпретируется как рабочий вариант метода анализа и оценки качественных изменений в законодательстве и правоприменительной практике.

Общая схема применения метода:

1) построение «дерева решений» на эмпирической базе правоприменительной практики с помощью высокопроизводительного программного комплекса;

2) выявление хронологического параметра в структуре «дерева решений»: при отсутствии существенных изменений в правоприменительной практике хронологический параметр отсутствует как маркер, т.е. не находится в основании деления;

3) выявление изменений в логической структуре решения: изменения свидетельствуют об оптимизации правоприменительной практики в том случае, если «дерево решений» лучше отражает логику принятия правоприменительного решения, становясь в этом отношении более последовательным и интерпретируемым, а деление на классы становится юридически более логичным;

4) установление соответствия между хронологическим маркером и оптимизацией правоприменительной практики: наличие такого соответствия свидетельствует о том, что изменение в законодательстве привело к оптимизации правоприменительной практики.

Перспективными для юридического исследования представляются следующие направления:

1) выполнение вычислительных экспериментов на смежных предметных областях, имеющих достаточную эмпирическую базу;

2) разработка и апробирование аналитических моделей, сочетающих вычислительные и иные методы;

3) разработка и эмпирическое обоснование системы индикаторов для оценки качественных изменений законодательства и правоприменительной практики;

4) разработка и эмпирическое обоснование методов прогнозирования изменений в правоприменении в результате актов законотворчества.

References
1. Avtomatizatsiya prava: smozhet li iskusstvennyi intellekt spravit'sya s yuridicheskimi zadachami? [Elektronnyi resurs] // YaRobot. 2018. 20 mar. URL: https://ya-r.ru/2018/03/20/avtomatizatsiya-prava-smozhet-li-iskusstvennyj-intellekt-spravitsya-s-yuridicheskimi-zadachami/ (data obrashcheniya: 24.03.2019).
2. Bot-yurist vyigral del na $3 mln [Elektronnyi resurs] // Habr [Sait]. URL: https://habr.com/ru/news/t/390673/ (data obrashcheniya: 24.03.2019).
3. Glazkova M.E., Nanba S.B. Otsenka effektivnosti deistviya normativnykh pravovykh aktov: sovremennye podkhody // Zhurnal rossiiskogo prava. 2011. № 9. S. 73–80.
4. Gosudarstvennyi doklad «O sostoyanii zashchity naseleniya i territorii Rossiiskoi Federatsii ot chrezvychainykh situatsii prirodnogo i tekhnogennogo kharaktera v 2011 godu». M.: MChS Rossii; FGBU VNII GOChS (FTs), 2012. 315 s.
5. Gosudarstvennyi doklad «O sostoyanii zashchity naseleniya i territorii Rossiiskoi Federatsii ot chrezvychainykh situatsii prirodnogo i tekhnogennogo kharaktera v 2017 godu». M.: MChS Rossii; FGBU VNII GOChS (FTs), 2018. 376 s.
6. Gosudarstvo kak platforma: Lyudi i tekhnologii / pod red. M. S. Shklyaruk. M,: RANKhiGS, 2019. 111 s.
7. Gotovye resheniya dlya avtomatizatsii raboty yuristov i pravovykh departamentov [Elektronnyi resurs] // Pravo.ru [Sait]. URL: https://legal-it.pravo.ru/?nm (data obrashcheniya: 24.03.2019).
8. Evropeiskaya yuridicheskaya sluzhba [Sait]. URL: www.els24.com (data obrashcheniya: 24.03.2019).
9. Efimov A.A. Tsifrovaya demokratiya v Velikobritanii: teoriya i praktika gosudarstvennogo upravleniya i predostavleniya gosudarstvennykh uslug naseleniyu // Ekonomicheskie i sotsial'no-gumanitarnye issledovaniya. 2015. № 1 (5). S. 126–133.
10. Zhinkin S.A. Effektivnost' prava: antropologicheskoe i tsennostnoe izmerenie : dis. … d-ra yurid. nauk. Krasnodar, 2009. 401 s.
11. Zelepukin A.A. Problemy effektivnosti rossiiskogo zakonodatel'stva : dis. … kand. yurid. nauk. Saratov, 2000. 233 s.
12. Investitsii v sudprotsessy i «umnye» kontrakty: chto novogo v LegalTech uzhe segodnya [Elektronnyi resurs] // Pravo.ru [Sait]. URL: https://pravo.ru/court_report/view/144621/ (data obrashcheniya: 24.03.2019).
13. Irkhin Yu.V. «Elektronnoe pravitel'stvo»: zarubezhnyi opyt i rossiiskie realii // Ars administrandi : ezhegodnik — 2009 : sb. nauch. st. / redkol.: V. A. Sukhikh (gl. red.) [i dr.]. Perm': PGU, 2009. 189 s. S. 13–27.
14. Konkurentsiya v tsifrovuyu epokhu: Strategicheskie vyzovy dlya Rossiiskoi Federatsii : [doklad o razvitii tsifrovoi ekonomiki v Rossii, sentyabr' 2018 g.] / Vsemirnyi bank. Vashington, 2018. XXIX, 144 s.
15. Kudryavtsev V.N., Nikitinskii V.I., Samoshchenko I.S., Glazyrin V.V. Effektivnost' pravovykh norm. M.: Yurid. lit., 1980. 280 s.
16. Metsker O. G., Trofimov E. V. Sovershenstvovanie administrativno-deliktnogo regulirovaniya na osnove elektronnykh dannykh sudebnoi praktiki // Pravo. Obshchestvo. Gosudarstvo: sb. nauch. tr. studentov i aspirantov. T. 4 / redkol.: D. V. Rybin (pred.), E. V. Trofimov (otv. red.) [i dr.]. SPb.: S.-Peterb. in-t (fil.) VGUYu (RPA Minyusta Rossii), 2018. 152 s. S. 140–151.
17. Pashkov A.S., Chechot D.M. Effektivnost' pravovogo regulirovaniya i metody ee vyyavleniya // Sovetskoe gosudarstvo i pravo. 1965. № 9. S. 3–12.
18. Pashkov A.S., Yavich L.S. Effektivnost' deistviya pravovoi normy (k metodologii i metodike sotsiologicheskogo issledovaniya) // Sovetskoe gosudarstvo i pravo. 1970. № 3. S. 40–47.
19. Roboty-yuristy lishat raboty 3000 sotrudnikov Sberbanka [Elektronnyi resurs] // Pravo.ru [Sait]. URL: https://pravo.ru/news/view/137207/ (data obrashcheniya: 24.03.2019).
20. Romashov R.A. Tsifrovoe gosudarstvo (digital state) — novyi tip gosudarstva ili forma global'nogo mirovogo poryadka? // Istoriya gosudarstva i prava. 2017. № 4. S. 3–11.
21. Samoshchenko I.S., Nikitinskii V.I. O ponyatii effektivnosti pravovykh norm // Uchenye zapiski VNIISZ. 1969. Vyp. 18. S. 3–19.
22. Samoshchenko I.S., Nikitinskii V.I., Vengerov A.B. K metodike izucheniya effektivnosti pravovykh norm // Sovetskoe gosudarstvo i pravo. 1971. № 3. S. 70–71.
23. Simploer [Sait]. URL: www.simplawyer.com (data obrashcheniya: 24.03.2019).
24. Solozhentsev E.D. K voprosu tsifrovogo upravleniya gosudarstvom i ekonomikoi // Problemy analiza riska. 2017. T. 14, № 6. S. 30–43.
25. Sudebnaya statistika // Sudebnyi departament pri Verkhovnom Sude Rossiiskoi Federatsii [Sait]. URL: http://www.cdep.ru/userimages/sudebnaya_statistika (data obrashcheniya: 24.03.2019).
26. Tikhomirov Yu.A. Effektivnost' zakona i ekonomika // Voprosy gosudarstvennogo i munitsipal'nogo upravleniya. 2009. № 4. S. 5–16.
27. Trofimov E. V., Metsker O. G. Pravo i iskusstvennyi intellekt: opyt vychislitel'nykh eksperimentov po modelirovaniyu i optimizatsii protsessov primeneniya zakonodatel'stva ob administrativnykh pravonarusheniyakh s ispol'zovaniem metodov intellektual'nogo analiza i algoritmov mashinnogo obucheniya // Vestnik Sankt-Peterburgskoi yuridicheskoi akademii. 2018. № 3 (40). S. 42–46.
28. Trofimov E. V., Metsker O. G. Pravo i iskusstvennyi intellekt: podkhody k issledovaniyu i razrabotke semantik, tezaurusov i ontologii v segmente LegalTech // Aktual'nye voprosy razvitiya rossiiskoi gosudarstvennosti i publichnogo prava: materialy IV vseros. nauch.-prak¬t. konf. (Sankt-Peterburg, 27 sent. 2018 g.) / redkol.: D. V. Rybin (pred.), E. V. Trofimov (otv. red.) [i dr.]. SPb.: S.-Peterb. in-t (fil.) VGUYu (RPA Min-yusta Rossii), 2018. 240 s. S. 191–200.
29. Tsifrovoe pravitel'stvo 2020: Perspektivy dlya Rossii : [proekt dlya obsuzhdeniya, aprel' 2016 g.] / Vsemirnyi bank; Global'naya praktika po transportu i ITK; Institut razvitiya informatsionnogo obshchestva. Vashington, 2016. 79 s.
30. Shikin E.P. Osnovnye usloviya effektivnosti primeneniya prava : avtoref. dis. … kand. yurid. nauk. Sverdlovsk, 1971. 23 s.
31. Shchukina T.V. Administrativnoe usmotrenie i ego proyavlenie v administrativnykh protsedurakh: novye transformatsii v usloviyakh tsifrovogo gosudarstva i informatsionnogo obshchestva // Yuridicheskaya nauka. 2018. № 2. S. 137–141.
32. Aikenhead M. Legal knowledge based systems: some observations on the future // Web Journal of Current Legal Issues. 1995. Vol. 1, № 2. [Online]. Available at: URL: http://www.bailii.org/uk/other/journals/WebJCLI/1995/issue2/aiken2.html (accessed 24 Mar. 2019).
33. Allen L.E. Beyond Document Retrieval Toward Information Retrieval // Minnesota Law Review. 1963. Vol. 47. Pp. 713–767.
34. Allen L.E. Symbolic Logic: A Razor-Edged Tool for Drafting and Interpreting Legal Documents // Yale Law Journal. 1957. Vol. 66, № 6. Pp. 833–879.
35. Allen L.E. The American Association of American Law Schools Jurimetrics Committee Report on Scientific Investigation of Legal Problems // Saint Louis University Law Journal. 1962–1963. Vol. 7. Pp. 39–56.
36. Buchanan B.G., Headrick T.E. Some Speculation About Artificial Intelligence and Legal Reasoning // Stanford Law Review. 1970. Vol. 23, № 1. Pp. 40–62.
37. Cherry G. Google, U-M to Build Digital Tools for Flint Water Crisis // University of Michigan News. May 3, 2016. [Online]. Available at: https://news.umich.edu/google-u-m-to-build-digital-tools-for-flint-water-crisis (accessed 24 Mar. 2019).
38. Chicago’s SmartData Platform / Ash Center Mayors Challenge Research Team // Data-Smart City Solutions. Jan. 8, 2014. [Online]. Available at: http://datasmart.ash.harvard.edu/news/article/chicago-mayors-challenge-367 (accessed 24 Mar. 2019).
39. Choucair B., Bhatt J., Mansour R. How Cities Are Using Analytics to Improve Public Health // Harvard Business Review Digital Articles. Sept. 15, 2014. Pp. 2–4.
40. Coglianese C., Lehr D. Regulating by Robot: Administrative Decision Making in the Machine-Learning Era // Georgetown Law Journal. 2017. Vol. 105. Pp. 1147–1223.
41. Data & Science: zakon i deloproizvodstvo [Elektronnyi resurs] : Yandeks-videokonferentsiya (Moskva, 17 noyab. 2018 g.). URL: https://www.youtube.com/watch?v=hvorbupZ9ho (data obrashcheniya: 24.03.2019).
42. DeBarr D., Harwood M. Relational Mining for Compliance Risk // The IRS Research Bulletin: Recent IRS Research on Tax Administration and Compliance: Proceedings of the 2004 IRS Research Conference (Washington, DC, Jun. 2–3, 2004) / Statistics of Income Division, Internal Revenue Service, Department of the Treasury. Pp. 175–185.
43. Glaeser E.L., Hillis A., Kominers S.D., Luca M. Crowdsourcing City Government: Using Tournaments to Improve Inspection Accuracy //American Economic Review. 2016. Vol. 106, № 5. Pp. 114–118.
44. Hampton W.M. Predictive Coding: It’s Here to Stay // E-Discovery Bulletin. Practical Law. 2014. Jun./Jul. Pp. 28–32.
45. Heaton B. New York City Fights Fire with Data [Online] // Government Technology. May 18, 2015. [Online]. Available at: http://www.govtech.com/em/safety/New-York-City-Fights-Fire-Data.html (accessed 24 Mar. 2019).
46. Kira. [Online]. Available at: https://kirasystems.com (accessed 24 Mar. 2019).
47. LawGeex. [Online]. Available at: www.lawgeex.com (accessed 24 Mar. 2019).
48. Lovett I. To Fight Gridlock, Los Angeles Synchronizes Every Red Light // New York Times. Apr. 1, 2013. [Online]. Available at: https://www.nytimes.com/2013/04/02/us/to-fight-gridlock-los-angeles-synchronizes-every-red-light.html (accessed 24 Mar. 2019).
49. McCarty L.T. Reflections on Taxman: An Experiment in Artificial Intelligence and Legal Reasoning // Harvard Law Review. 1977. Vol. 90, № 5. Pp. 837–893.
50. Metsker O., Trofimov E., Sikorsky S., Kovalchuk S. Text and Data Mining Techniques in Judgment Open Data Analysis for Administrative Practice Control // Electronic Governance and Open Society: Challenges in Eurasia: 5th International Conference, EGOSE 2018, St. Petersburg, Russia, Nov. 14-16, 2018, Revised Selected Papers / A. Chugunov, Y. Misnikov, E. Roshchin, D. Trutnev (eds.). Cham, Switzerland: Springer, 2019. XVI, 494 pp. (Communications in Computer and Information Science, vol. 947). Pp. 169–180.
51. Popple J. A Pragmatic Legal Expert System. Aldershot, UK: Dartmouth, 1996. XVII, 384 pp.
52. ROSS intelligence [Online]. Available at: www.rossintelligence.com (accessed 24 Mar. 2019).
53. Sanders K.E. CHIRON: Planning in an Open-Textured Domain // Artificial Intelligence and Law. 2001. Vol. 9, № 4. Pp. 225–269.
54. Stranieri A., Zeleznikow J., Gawler M., Lewis B. A hybrid-neural approach to the automation of legal reasoning in the discretionary domain of family law in Australia // Artificial Intelligence and Law. 1999. Vol. 7, № 2–3. Pp. 153–183.
55. Thomson Reuters. Legal. [Online]. Available at: https://legal.thomsonreuters.com/en (accessed 24 Mar. 2019).