Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Sociodynamics
Reference:

Turnout distribution: anomalies and the norm.

Shalaev Nikita

Post-graduate student, the department of Political Institutions and Applied Political Research, St. Petersburg State University

191124, Russia, St. Petersburg, Smolnogo Street 1-3

nikita.e.shalaev@gmail.com

DOI:

10.7256/2409-7144.2016.7.19136

Received:

12-05-2016


Published:

17-07-2016


Abstract: Turnout has been widely used to operationalize a large number of variables, from the level of support for political institutes to the degree of electorate consolidation. In recent years, yet another application emerged: statistical distribution of turnout as an indicator of electoral fraud. This application, however, rests on a weakly substantiated assumption that in absence of electoral fraud the turnout distribution should be Gaussian (normal). The goal of this paper is to find out whether there is a certain distribution that describes most cases of elections, and whether deviations from normality are indeed anomalous. Eastern Europe appears to be a promising testing ground for these assumptions, providing an array of countries which started developing electoral democracy at almost the same time, after decades of sharing similar political regimes; the properties of electoral competition are similar as well. This study corroborates the hypothesis that elections are usually exhibiting the same turnout patterns, but shows that the most regularly found distribution isn't normal: the values of skewness and kurtosis do not match those expected of a Gaussian distribution. Finally, it reveals that the deviations from said distribution are indeed exceptions from the general rule, and are accompanied by unusually frequent and/or rapid changes in turnout shape between the elections.


Keywords:

turnout, turnout distribution, Eastern Europe, statistical analysis, electoral forensics, parliamentary elections, presidential elections, electoral anomalies, comparative political science, democratization


Введение

Из всех численных выражений параметров электорального процесса, явка (отношение числа избирателей, принявших участие в выборах, к общему числу избирателей, имевших на это право) — пожалуй, наиболее широко и разнообразно применяемый. Явку используют не только в качестве показателя легитимности выборов, но и как индикатор уровня доверия к институтам, степени поддержки режима, уровня гражданской активности. Электоральная криминалистика — направление электоральных исследований, задачей которого является разработка и применение способов статистически оценивать уровень фальсификаций на выборах — использует явку в ещё одном качестве: как признак наличия электоральных фальсификаций. С точки зрения электоральной криминалистики, в отсутствие вмешательства в ход электорального процесса, явка (в любом разрезе — количество участков по уровню явки, количество избирателей по уровню явки) должна быть нормально распределённой величиной. Случаи отклонения от распределения Гаусса считаются аномальными и свидетельствующими об искажении истинного волеизъявления граждан — например, через оказание давления на избирателей, вброс бюллетеней, фальсификацию результатов подсчёта голосов (развитую типологию известных манипуляций см. в статье Фабриса Леука [1]).


Однако с точки зрения политологии, обосновать ожидаемую нормальность распределения явки затруднительно. Не существует некой общей теории явки, исходя из которой можно было бы делать статистические предсказания относительно её распределения. Исследования в области электоральной криминалистики, обращающиеся к этому вопросу, не ставят под сомнение собственно исходное положение о нормальности распределения явки (например: [2]; [3]; [4]; приложения к [5] и [6]); часто проводятся сравнения разнообразных стран (например: [7]; [8]), которые, хотя и подкрепляют в целом эту гипотезу, не защищены от скепсиса относительно критериев подбора случаев. Ведь всегда можно предположить, что исследователям повезло подобрать рассматриваемые случаи так, что в большинстве из них наблюдалось нормальное распределение явки, в то время как в целом это является исключением из правил. К тому же в подобных исследованиях основное внимание уделяется случаям, которые изначально вызывают подозрения, а привлечение «образцовых» случаев для сравнения является второстепенной задачей. Возможно, именно непосредственная связь с политически-релевантными категориями, требующими прояснения, является причиной того, что значительное число исследователей обращается к анализу численных закономерностей (таких связей не имеющих), несмотря на бесполезность этого подхода [9].


В рамках данного исследования делается попытка заполнить эту лакуну. Для этого были отобраны случаи, которые представляются наиболее сравнимыми — общенациональные выборы в странах Восточной Европы. Все рассматриваемые страны имели сходные режимы на протяжении десятилетий, начали демократизацию почти одновременно (с разницей в несколько лет), довольно близки культурно и исторически. Влияние вековых традиций и политических атавизмов, которое могло бы быть существенным фактором в странах западных демократий, здесь также можно исключить. Эти страны похожи друг на друга и с точки зрения соревновательности электорального процесса: на рис. 1 представлен т. н. сегментированный треугольник Нагаямы [10], представляющий собой способ графического отображения свойств электорального процесса (в данном случае сегменты построены для совокупной доли третьих партий в 20%). Мы видим, что большинство случаев приходятся на сегмент в его левой средней части, соответствующий высокой степени соревновательности с умеренным уровнем фрагментации и отсутствием доминирующих участников. Большинство президентских выборов (отмечены контурными символами, второй тур крупнее) решаются во втором туре с небольшим перевесом одного кандидата над другим (правый сегмент около вершины треугольника). Иных вариантов соотношений сил немного, и они представляются исключениями из общих закономерностей.

nagayama2

Рис. 1: Сегментированный треугольник Нагаямы для общенациональных выборов в рассматриваемых странах.

Метод исследования

Эмпирической основой исследования стали случаи общенациональных (парламентских и, где применимо, президентских) выборов в странах Восточной Европы на самом низком уровне агрегации (избирательный участок). В таблице 1 представлены количественные показатели полученной эмпирической базы исследования. В неё вошли 13 стран, из них 6 — бывшие республики СССР, остальные же — бывшие страны народной демократии. Число наборов данных, как правило, больше числа случаев, за счёт проведения президентских выборов в два (а в случае Украины в 2004 г. и в три) тура. На парламентских выборах рассматривались только нижние палаты, которые во всех исследуемых странах избираются по пропорциональной системе. Для обработки использовались данные, представленные центральными избирательными комиссиями соответствующих стран в разрезе избирательных участков (или эквивалентов) и опубликованные в сети Интернет; данные о голосовании за рубежом не учитывались. За редкими исключениями, когда данные были доступны в виде готовых файлов, для сбора и агрегации данных использовалось специально разработанное автором программное обеспечение, преимущественно на языке Perl. С хронологической точки зрения наибольший охват оказался возможным для Румынии и Эстонии (с 1992 г.), Чехии (с 1996 г.) и Литвы (с 1997 г.). Провести анализ данных по Латвии оказалось невозможным, так как в данных электоральной статистики этой страны списочная численность избирателей на участках не указывается. К сожалению, приходится отметить, что публикация данных в сети Интернет в большинстве стран началась после 2000 года, и период 90-х годов, наиболее интересный с точки зрения исследования процесса перехода к электоральной демократии, оказался наименее доступным для изучения.

Таблица 1: Характеристики эмпирической базы исследования.
Страна Случаи Парламент Президент

Число участков,

в среденем

Наборы данных
Албания 1 1 5133 1
Армения 4 2 2 1951 4
Болгария 6 4 2 11633 8
Венгрия 3 3 10741 3
Грузия 2 1 1 3648 2
Литва 9 4 5 2024 13
Молдавия 2 1 1 1972 2
Польша 7 4 3 25711 10
Румыния 12 6 6 16810 18
Словакия 2 1 1 5968 3
Украина 8 5 3 32647 11
Чехия 7 6 1 14778 8
Эстония 7 7 622 7
Итого: 70 45 25 90

Для анализа распределения числа избирательных участков по уровню явки (далее для краткости «распределения явки») очень удобным оказался метод наложения кривых ядерной оценки плотности вероятности. Ядерная оценка плотности вероятности (далее ЯОПВ) — непараметрический метод для оценки функции плотности распределения случайной величины [11]; в отличие от гистограмм, ЯОПВ позволяет подобрать форму кривой, описывающей некоторое распределение. Соотношение гистограммы и кривой ЯОПВ представлено на рис. 2, в качестве примера используются парламентские выборы 2016 г. в Словакии. На этом же рисунке приведена кривая, соответствующая нормальному распределению при тех же значениях средней и дисперсии. Помимо иллюстрации того, как кривая ЯОПВ заменяет собой гистограмму, этот же рисунок демонстрирует, как наблюдаемое распределение явки отличается от распределения Гаусса: более острая вершина, небольшая асимметрия и, как следствие, более «толстый» левый «хвост» графика. Несколько кривых ЯОПВ можно легко совместить на одном графике, что позволяет визуально сравнивать совокупность различных распределений, чего сложно добиться при использовании гистограмм. Такое наложение и будет реализовано далее. Наконец, для численной оценки параметров распределения явки будут использованы общепринятые коэффициенты асимметрии и эксцесса.

slovakia2016

Рис. 2: Распределение избирательных участков по уровню явки на парламентских выборах в Словакии, 2016 г.

Сравнение распределений

На рис. 3 представлены результаты совмещения кривых ЯОПВ, соответствующие распределениям явки в той или иной стране для всех имеющихся наборов данных (по оси абсцисс отложена явка, по оси ординат — плотность вероятности; это же справедливо и для всех последующих графиков и опущено для экономии места на рисунках). Несложно заметить, что в большинстве случаев распределения явки имеет достаточно симметричную форму и носит унимодальный характер (у графика единственная вершина, т. е. максимум уникален). Поскольку для отображения кривых на графике использовались полупрозрачные линии, более тёмным областям графика соответствуют области пересечения нескольких кривых. Мы видим, что в Литве, Польше и Чехии с большой точностью однотипные распределения воспроизводились из года в год, от выборов к выборам. В Румынии, Болгарии и Украине, напротив, наблюдаются совершенно разные распределения, как по форме, так и по расположению на графике; при этом эти распределения явно носят асимметричный характер. Также очевидно асимметричны и распределения явки, наблюдаемые в Армении. Можно с уверенностью сказать, что на фоне общей картины асимметричные распределения являются аномальными.

kdecombined

Рис. 3: Распределения явки по избирательным участкам в исследуемых странах.

Можно ли найти естественное объяснение подобным отклонениям? Известны попытки объяснить такого рода феномены разнородностью электората: в логике раскола город-село [12] или же наличия фундаментальных различий в предпочтениях электората разных регионов [13, с. 183–227]. Мы можем проверить, насколько эти гипотезы применимы к исследуемым случаям, воспользовавшись знанием об изменении распределения явки во времени. Ведь и расколы в логике Липсета и Роккана, и региональная разнородность предполагают стабильность соответствующих характеристик поведения электората во времени. Раскол город-село не может полностью изменить свою конфигурацию за короткое время, и уж конечно не может меняться в разных направлениях постоянно. Аналогично для региональной самобытности — предположение о возможности резких и массовых перемен характера поведения электората целых регионов при сохранении общих различий выглядит более чем странно. Следовательно, аномалии, которые могут объясняться такими факторами, должны или быть статичными, или претерпевать постепенные трансформации в течении длительных периодов времени. Однако практика показывает, что резкое и разнонаправленное изменение свойств явки как раз имеет место. Так, в Болгарии (рис. 4) можно наблюдать переход от достаточно симметричного распределения к распределения с длинным правым «хвостом» и обратно в течение нескольких лет. При этом тип распределения не связан с уровнем выборов — по форме распределения явки парламентские выборы 2005 г. похожи на президентские выборы 2011 г.

bulgariahistory

Рис. 4: Распределения явки в Болгарии, по десятилетиям.

Аналогичные метаморфозы можно наблюдать и в Армении (рис. 5). Если изменение распределения явки между парламентскими выборами 2012 г. и президентскими выборами 2013 г. сравнительно невелико, то между 2007 и 2008 гг. страна должна была пережить полное перерождение с точки зрения поведения избирателей. Причём затруднительно подобное несовпадение объяснить и различной популярностью выборов президента и парламента — если выборы первой декады XX в. воспроизводят логику более низкой активности избирателей на парламентских выборах, то в следующем электоральном цикле разницы между активностью избирателей на президентских и парламентских выборах практически нет.

armeniahistory

Рис. 5: Распределения явки в Армении, по десятилетиям.

Подобные трансформации ещё ярче выражены на Украине. Украина вообще представляет собой пример постоянной мутации распределения явки, где в течение не только нескольких лет, но даже месяцев наблюдались существенные изменения поведения электората. История изменения распределения явки на Украине представлена на рис. 6. В отличие от предыдущих изображений, каждая строка графиков на рис. 6 представляет собой выборы, прошедшие в один год, а строки упорядочены хронологически. Здесь можно найти любые распределения: бимодальные и унимодальные, симметричные и асимметричные, смещённые вправо и с «толстым» правым «хвостом» графика. Переход между унимодальным и бимодальным распределением может занимать как два года (2002 и 2004 гг.), так и несколько месяцев (выборы 2004 года). Можно, впрочем, отметить некоторую тенденцию, наметившуюся примерно с 2007 года — вершина распределения явки постепенно смещается влево, в область умеренных значений, характерных и для других рассмотренных стран; неожиданно большое количество наблюдений в правой части графиков постепенно сходит на нет и распределения становятся симметричными. Однако распределение, наблюдавшееся в 2014 г, всё ещё отличается от распределения в Польше или Литве — вместо достаточно чётко очерченного узкого колоколообразного пика распределения имеют форму треугольника с широким основанием.

ukraine1024

Рис. 6: Хронология изменения распределения явки на выборах в Украине.

Пример Румынии ещё более интересен. Здесь наблюдается весьма последовательная трансформация распределения явки: если в 90-х годах для страны было характерно асимметричное распределение с заметным перевесом правой части графика и пиком в области 100% значений явки, то к настоящему времени форма распределения стала совершенно неотличимой от наблюдаемой в Польше или Чехии. История трансформации распределения явки в Румынии проиллюстрирована графиками на рис. 7. Нужно упомянуть, что частично за пики у правого края графиков ответственна форма представления сведений о выборах ЦИК Румынии: для более ранних случаев сообщалась только списочная численность зарегистрированных избирателей на участке. При этом было много участков, которые не обслуживали постоянно проживающих граждан (как это происходит, например, в госпиталях или на вокзалах), и для них списочная численность равнялась нулю. Следовательно, явка автоматически составляла 100%. Подобного рода случаи наблюдаются во многих странах — и в Польше, и в Болгарии есть подобные участки. Однако их число в Румынии, безусловно, является из ряда вон выходящим. К тому же нельзя проигнорировать тот факт, что такие участки исчезли в 2008 году, потом снова появились в экстраординарном количестве в 2009, и затем снова пропали — уже окончательно. В остальном же Румыния прошла долгий путь — от распределения явки, напоминающего второй тур президентских выборов на Украине в 2004 году, через асимметричные распределения, напоминающие Болгарию или Армению, к совершенно типовой явке Польши, Чехии или Литвы. Аномально резким можно назвать изменение наблюдаемой картины между 2004 и 2009 годами, в остальном же прослеживается достаточно устойчивая тенденция. Судя по всему, Румыния прошла путь от выборов, вызывающих сомнения в честности, к выборам, отвечающим демократическим стандартам.

romania1024

Рис. 7: Хронология изменения распределения явки на выборах в Румынии.

Однако случай Румынии демонстрирует необходимость рассмотреть и распределение количества избирателей по уровню явки. Ведь само по себе число избирательных участков с высоким уровнем явки не означает, что столь же велик и вклад отданных на них голосов в общие итоги выборов. В качестве хорошей иллюстрации можно привести город Санкт-Петербург: в этом городе регулярно наблюдается неожиданно большое количество избирательных участков со 100% уровнем явки. Однако это легко объясняется тем, что Санкт-Петербург — речной и морской порт, и многие из этих участков создаются для экипажей судов в плавании. Поэтому если посмотреть на число избирателей, проголосовавших на таких участках, то оно как раз оказывается ожидаемо небольшим. Таким образом распределение числа избирателей по уровню явки можно использовать как показатель масштаба эффекта от наблюдающихся аномалий в распределении числа избирательных участков по уровням явки. Кривые ЯОПВ для распределений числа избирателей по уровню явки представлены на рис. 8. Здесь мы можем отметить, что большое количество участков со 100% явкой в Румынии сделало сравнительно небольшой вклад в общие результаты (по сравнению с их количеством на рис. 3; по сравнению с другими странами это, тем не менее, весьма существенная доля), в Болгарии масштаб их вклада соответствует количеству, а на Украине особо ярко выделяется один случай — второй тур президентских выборов 2004 года — где доля избирателей, проголосовавших на участках со 100% явкой, была особенно велика. В остальных случаях мы можем отметить, что количество избирателей по уровню явки распределяется аналогично числу избирательных участков.

voterscombined

Рис. 8: Распределение избирателей по уровню явки в исследуемых странах.

Оценка формы графиков распределений

Каково же соотношение распределения явки и нормального распределения? Для ответа на этот вопрос можно использовать коэффициенты асимметрии и эксцесса. Коэффициент асимметрии показывает, смещена ли (и если да, то в какую сторону) вершина графика распределения. Для нормального распределения величина коэффициента асимметрии равна нулю. Для распределений, где вершина смещена влево, коэффициент принимает положительные значения, а при смещении вправо — отрицательные. Коэффициент эксцесса реагирует на длину или толщину «хвостов» распределения. Иными словами, он отражает, насколько велик вклад в разброс значений экстремальных наблюдений — если коэффициент эксцесса велик, то экстремальные значения в «хвостах» распределения отвечают за существенную часть дисперсии. Если же он мал, то основная масса дисперсии объясняется большим количеством наблюдений, слабо отклоняющихся от среднего значения. Для нормального распределения величина коэффициента эксцесса равна трём (без поправки Пирсона) и нулю (с поправкой Пирсона). В данном исследовании поправка Пирсона была внесена, поэтому для распределений, близких к нормальному, ожидаемые значение обоих показателей должны быть близки к нулю.
На рис. 8 представлены наблюдаемые значения этих коэффициентов для исследуемых стран. Можно отметить, что по параметру асимметрии Литва, Польша, Украина и Эстония показывают значения около нуля; Армения, Болгария, Молдавия и Румыния — выше нуля, а Албания, Венгрия, Грузия, Словакия и Чехия — ниже. Что же касается эксцесса, то большинство наблюдений здесь находятся в зоне выше нуля, за исключением ряда наблюдений в Армении и на Украине.

skewnesskurtosiscombined

Рис. 9: Значения коэффициентов асимметрии и эксцесса для распределений явки в исследуемых странах.

Поскольку нам доступны параметры нескольких распределений для каждой страны, а из вышеприведённых графиков нам известно, что в большинстве случаев распределения в рамках одной страны скорее похожи, чем различны, то мы можем принять параметры наблюдаемых распределений как оценки соответствующего параметра «истинного» распределения для данной страны. Это позволит нам получить оценку параметров «истинного» распределения с известным доверительным интервалом. Это, однако, исключает из рассмотрения Албанию, Грузию и Молдавию, для которых имеются данные только в одном или двух случаях.



На рис. 10 приведены оценки коэффициента асимметрии с 95% доверительными интервалами. Как мы видим, для большинства стран нуль находится внутри доверительного интервала. Болгария, Армения и Румыния показывают величину асимметрии явно большую нуля, Чехия — меньшую. Это соответствует предварительным выводам, которые можно было сделать из рассмотренных выше графиков — наиболее широко распространённой является ситуация, когда график распределения явки симметричен.

skewnessnationalforest

Рис. 10 Оценка значения коэффициента асимметрии для исследуемых стран.

На рис. 11 приведены оценки коэффициента эксцесса с 95% доверительными интервалами. И здесь можно увидеть отличную от предыдущей картину: большинство стран показывают значения коэффициента эксцесса, большие нуля. Следовательно, нормальным положением вещей является ситуация, когда распределение явки характеризуется большей, чем у нормального распределения, длиной и/или толщиной «хвостов». Аномальными здесь являются как раз те страны, которые показывают малый вклад экстремальных значений в общую дисперсию значений явки — Армения, Украина и, частично, Венгрия (ноль оказался на краю доверительного интервала).

kurtosisnationalforest

Рис. 11: Оценка значения коэффициента эксцесса для исследуемых стран.

По сочетаниям значений коэффициентов асимметрии явки и эксцесса можно выделить 5 групп стран. Эти группы представлены в таблице 2. В скобках указано число наборов данных, относящихся к странам этой группы. Венгрия может быть отнесена к двум группам, поэтому для них указано число случаев с включением Венгрии и без оной.

Таблица 2: Группы стран по характеристикам распределения явки.
Эксцесс
Равен 0 Больше 0
Асимметрия Меньше 0

Чехия

(8)

Равна 0

Венгрия?

Украина

(14?/11)

Венгрия?

Литва

Польша

Словакия

Эстония

(36?/33)

Больше 0

Армения

(4)

Болгария

Румыния

(26)

Из таблицы 2 мы можем заключить, что наиболее представительной — как по числу стран, так и по числу случаев — является группа, которой соответствуют симметричные, но не компактные распределения: «хвосты» распределений содержат больше число наблюдений, чем ожидается от распределения Гаусса. Группа, которая описывается значениями, ожидаемыми от нормального распределения, оказалась маргинальной. При этом основным членом этой группы оказывается Украина, что, скорее всего, во многом обусловлено разнообразием наблюдающихся в этой стране распределений явки и тенденцией к трансформации распределения в сторону первой группы. Болгария и Румыния представляют группу, где распределения характеризуются смещением вершины влево и «толстым хвостом» справа. Армения — единственный представитель группы смещённых влево компактных (с малым влиянием экстремальных значений) распределений. Чехия же — единственная страна, где вершина оказалась стабильно смещённой вправо относительно нормального распределения.

Выводы

На основании этих данных можно сделать вывод, что обычным распределением явки — во всяком случае, в Восточной Европе — является симметричное распределение, но с более «населёнными» хвостами, нежели нормальное. Другой, менее корректный способ трактовать коэффициент эксцесса — «острота» вершины распределения на графике; в таком случае типовое распределение можно охарактеризовать более «острой» вершиной по сравнению с колоколообразной формой распределения Гаусса. Кроме того, такое типовое распределение стабильно воспроизводится из года в год с минимальными вариациями. Это опровергает гипотезу о нормальном распределении явки, но подкрепляет гипотезу о наличии стабильного референтного распределения для этой величины, характеризующего большинство случаев.

Случаи отклонения вершины влево (и перевес правой части графика, содержащей неожиданно больше наблюдений, чем левая) являются аномалиями. К тому же, они, как правило, сопровождаются достаточно резкими изменениями формы распределения во времени, что заставляет усомниться в том, что их можно описать естественными причинами, связанными с фундаментальными свойствами электората, которые едва ли будут обладать высокой изменчивостью. Эти выводы позволяют сделать оптимистичный прогноз для методов электоральной криминалистики, основанных на понятии явки: судя по всему, «нормальное» (в обиходном, а не статистическом смысле) распределение явки действительно существует, но требуется дальнейшая работа по точному установлению его параметров.

References
1. Lehoucq F. ELECTORAL FRAUD: Causes, Types, and Consequences // Annual Review of Political Science. 2003. Vol. 6. Pp. 233–256.
2. Klimek P. Statistical detection of systematic election irregularities. / Peter Klimek, Yuri Yegorov et al // PNAS (Proceedings of the National Academy of Sciences). 2012. Vol. 109 (41). Pp. 16469–16473.
3. Mebein U. Elektoral'nye fal'sifikatsii v Rossii: kompleksnaya diagnostika vyborov 2003–2004, 2007–2008 gg. / Mebein, U., Kalinin, K. // Rossiiskoe Elektoral'noe Obozrenie. 2009. № 2. S. 57–70.
4. Lukinova, E. Metastasised Fraud in Russia's 2008 Presidential Election / Evgeniya Lukinova, Mikhail Myagkov, Peter C. Ordeshook // Europe-Asia Studies. 2011. Vol. 63:4. Pp. 603–621.
5. Tkacheva, O. Internet Freedom and Political Space. / Olesya Tkacheva, Lowell H. Schwartz, Martin C. Libicki, Julie E. Taylor, Jeffrey Martini and Caroline Baxter. Santa Monica, CA. RAND Corporation. 2013. 261 p.
6. Kunov A. Rossiya i Ukraina: neregulyarnye rezul'taty regulyarnykh vyborov / Kunov A., Myagkov M., Sitnikov A., Shakin D. M., 2005. 37 s.
7. Kobak D. Statistical anomalies in 2011–2012 Russian elections revealed by 2D correlation analysis. [Elektronnyi resurs] / Dmitry Kobak, Sergey Shpilkin, Maxim S. Pshenichnikov // Rezhim dostupa: http://arxiv.org/abs/1205.0741.— Zagl. s ekrana (15.04.2013).
8. Shpil'kin S. Matematika vyborov — 2011 // Troitskii variant. 2011. № 94. S. 2–4.
9. Deckert J. The Irrelevance of Benford’s Law for Detecting Fraud in Elections. [Elektronnyi resurs.] / Joseph Deckert, Mikhail Myagkov and Peter C. Ordeshook. // Caltech/MIT Voting Technology Project Working Paper. No. 9. 2010. — Rezhim dostupa: http://vote.caltech.edu/content/irrelevance-benfords-law-detecting-fraud-elections — Zagl. s ekrana (20.10.2014).
10. Grofman B. Comparing and Contrasting the Uses of Two Graphical Tools for Displaying Patterns of Multiparty Competition: Nagayama Diagrams and Simplex Representations. / Bernard Grofman, Alessandro Chiaramonte, Roberto D'Alimonte and Scott L. Feld // Party Politics. 2004. Vol. 10. Pp. 273–299.
11. Silverman B. Density estimation for statistics and data analysis. Chapman and Hall. London, 1986. 175 p.
12. Churov V. Itogi vyborov. Analiz elektoral'nykh predpochtenii / Churov V.E., Arlazarov V.L., Solov'ev A.V. // Trudy ISA RAN. 2008. T. 38. S. 6–22.
13. Myagkov M. The Forensics of Election Fraud: Russia and Ukraine. / Mikhail Myagkov, Peter C. Ordeshook, Dimitri Shakin. NY.: Cambridge University Press. 2009. 289 p.