• INCIDENT_ID: ID события (преступления)
  
• DATA_YEAR: год, в который совершено преступление
  
• ORI: ID агентства (службы правопорядка), предоставившего данные
  
• PUB_AGENCY_NAME: публичное название агентства / службы (обычно совпадает с городом)
  
• PUB_AGENCY_UNIT: название подразделения службы (например, округ)
  
• AGENCY_TYPE_NAME: тип службы (муниципальная / окружная)
  
• STATE_ABBR: сокращенное наименование штата
  
• STATE_NAME: полное название штата
  
• DIVISION_NAME: название региона (куда входят несколько штатов)
  
• REGION_NAME: название макрорегиона (куда входят несколько регионов)
  
• POPULATION_GROUP_CODE: код места совершения преступления по численности населения
  
• POPULATION_GROUP_DESC: описание места совершения преступления по численности населения (например «город с населением от 0,5 до 1 млн.»)
  
• INCIDENT_DATE: дата совершения преступления
  
• ADULT_VICTIM_COUNT: количество совершеннолетних пострадавших
  
• JUVENILE_VICTIM_COUNT: количество несовершеннолетних пострадавших
  
• TOTAL_OFFENDER_COUNT: общее количество преступников
  
• ADULT_OFFENDER_COUNT: количество совершеннолетних преступников
  
• JUVENILE_OFFENDER_COUNT: количество несовершеннолетних преступников
  
• OFFENDER_RACE: раса/-ы преступника/-ов
  
• OFFENDER_ETHNICITY: этническая группа преступника/-ов (латиноамериканская / не латиноамериканская / смешанная / неизвестная)
  
• VICTIM_COUNT: общее количество пострадавших (физических и юридических лиц)
  
• OFFENSE_NAME: вид совершенного преступления
  
• TOTAL_INDIVIDUAL_VICTIMS: общее количество пострадавших (физических лиц)
  
• LOCATION_NAME: место преступления (например, квартира, шоссе, школа и т.д.)
  
• BIAS_DESC: вид нетерпимости (мотив преступления)
  
• VICTIM_TYPES: категория/-и пострадавших (физические лица / власти / частная компания и т.п.)
  
• MULTIPLE_OFFENSE: маркер множественного преступления (т.е. если совершено не одно, а несколько видов преступлений)
  
• MULTIPLE_BIAS: маркер множественного мотива (не один, а несколько видов нетерпимости)

Все 48 категорий преступлений (названия в оригинале)

SPL
Виды нетерпимости / мотивы преступлений

В соответствии с определением выше, в базу заносятся следующие виды нетерпимости:

• против расовой принадлежности (против белых, против черных, против азиатов, против евреев и т.д.)
  
• против этнической принадлежности (против латиноамериканцев)
  
• против конфессии или религиозного мировоззрения (против христиан, против атеистов, против мусульман, против Свидетелей Иеговы и т.д.)
  
• против сексуальной ориентации или пола (против мужских и женских гомосексуалов, против мужчин, против женщин, против трансгендеров и т.д.)
  
• против физических ограничений (ненависть к инвалидам)

При этом каждое преступление может иметь до 5 различных видов нетерпимости в качестве мотива. Поэтому при работе с такими множественными характеристиками нам придется укрупнять категории.
Категории пострадавших

Программа регистрирует преступления как против отдельных физических лиц, так и против организаций, государства или даже общества в целом, выделяя при этом количество пострадавших физических лиц. Мы будем рассматривать только случаи с пострадавшими людьми.
Итак, вооружившись Python с pandas или еще парочкой библиотек (см. раздел «Инструменты» в моей предыдущей статье), а также не забыв пропустить кофе, чай, пиво или чайный гриб (кому что нравится)… надвигаем маску на лицо, одеваем хирургические перчатки, поправляем операционную лампу и…
Препарируем данные


Как и в предыдущей статье, весь анализ я выполняю в Jupyter Lab / Notebook на Python 3.8. Здесь я не буду приводить и комментировать сам код — его вы можете скачать по этой ссылке (в архиве листинг и файл в формате Jupyter Notebook). Сосредоточимся больше на получаемых результатах. Все графики кликабельны.
Обзор данных и топ-листы

После загрузки данных из CSV (только нужных для исследования столбцов) получаем такой датафрейм:
YEAR
STATE_NAME
OFFENDER_RACE
OFFENSE_NAME
BIAS_DESC
VICTIM_TYPES
0
1991
Arkansas
White
Intimidation
Anti-Black or African American
Individual
1
1991
Arkansas
Black or African American
Simple Assault
Anti-White
Individual
2
1991
Arkansas
Black or African American
Aggravated Assault
Anti-Black or African American
Individual
3
1991
Arkansas
Black or African American
Aggravated Assault;Destruction/Damage/Vandalis...
Anti-White
Individual
4
1991
Arkansas
Black or African American
Aggravated Assault
Anti-White
Individual
...
...
...
...
...
...
...
201398
2018
West Virginia
NaN
Burglary/Breaking & Entering
Anti-Black or African American
Individual
201399
2018
West Virginia
White
Simple Assault
Anti-Black or African American
Individual
201400
2018
West Virginia
NaN
Intimidation
Anti-Asian
Individual
201401
2018
West Virginia
White
Intimidation
Anti-White
Law Enforcement Officer
201402
2018
West Virginia
NaN
Burglary/Breaking & Entering;Destruction/Damag...
Anti-Other Religion
Religious Organization
201403 rows × 6 columns
Более 200 тысяч строк и чуть больше 8 МБ памяти. Давайте для начала посмотрим на топ-10 совершаемых преступлений, видов нетерпимости (мотивов), рас преступников и категорий жертв:


Итак, что мы здесь наблюдаем:

• Самый распространенный вид преступления — порча имущества / вандализм, за ним с небольшим отставанием — личная угроза (intimidation). Каждый из этих видов преступления занимает почти треть всех случаев. Далее идут нападения, а грабеж и другие преступления уже гораздо менее распространены.
  
• Среди видов нетерпимости с большим отрывом лидирует нетерпимость к чернокожим (больше трети всех случаев), затем в порядке убывания, но примерно на одном уровне: нетерпимость к евреям, нетерпимость к белым, нетерпимость к геям. Остальные виды нетерпимости статистически на порядок реже лидера.
  
• 70% всех преступлений совершаются белыми, порядка 23% — черными, остальные — «в пределах погрешности».
  
• Преступления против личности составляют 80% всех случаев.

Смотря только на эти графики, можно представить, будто почти все преступления — это белые, угрожающие черным расправой или портящие их имущество… Однако давайте посмотрим, какие преступления и виды нетерпимости наиболее типичны для каждой расовой категории преступников:
OFFENSE_COUNT
TOP_OFFENSE
TOP_OFFENSE_SHARE
TOP_BIAS
TOP_BIAS_SHARE
TOP_VICTIM
TOP_VICTIM_SHARE
OFFENDER_RACE
White
79514
Intimidation
36.796036
Anti-Black or African American
46.877279
Individual
92.730840
Black or African American
25956
Simple Assault
36.292187
Anti-White
46.594236
Individual
94.760364
Multiple
4047
Simple Assault
36.545589
Anti-Black or African American
29.033852
Individual
91.153941
Asian
1453
Simple Assault
31.865107
Anti-Black or African American
30.075705
Individual
93.048864
American Indian or Alaska Native
1095
Simple Assault
40.182648
Anti-White
31.415525
Individual
93.059361
Native Hawaiian or Other Pacific Islander
35
Simple Assault
45.714286
Anti-Other Religion
22.857143
Individual
77.142857
В этой таблице:

• OFFENSE_COUNT — общее количество преступлений, совершенных представителями данной расы
  
• TOP_OFFENSE — самый частый вид преступления для представителей данной расы
  
• TOP_BIAS — самый частый вид нетерпимости (мотива преступления) для представителей данной расы
  
• TOP_VICTIM — самая частая категория потерпевших для представителей данной расы

Для каждой типичной категории также представлены соответствующие процентные доли от общего количества преступлений, совершенных представителями данной расы.
Здесь можно увидеть, что для черных и белых основным мотивом является расовая нетерпимость по отношению к представителям противоположной расы (47% преступлений для обеих рас). При этом белые преступники, в основном, занимаются угрозами и запугиванием (37% преступлений), а черные — нападениями без отягчающих обстоятельств (36% преступлений). (Удивительно, какое совпадение по процентным долям обнаруживают эти две расы!) Кстати говоря, только для белых преступников основной вид преступлений не связан с физическим ущербом (угрозы); представители других рас чаще совершают нападения.
Можно также отметить, что азиаты и представители смешанных рас (метисы) также, в основном, обнаруживают неприязнь к черным, индейцы и эскимосы — к белым, а вот гавайцы — к «иноверцам». Что ж, эта статистика пока (лично для меня) оказалась довольно ожидаемой.
Взглянем на количество преступлений по годам для каждой расы преступников:

Как и следовало предположить, преступления белых и черных на графике доминируют над остальными расами, по которым даже не видно изменений из-за разницы в масштабе. Пик со стороны белых здесь приходится на 1995 — 2002 гг., а со стороны черных — начало 1990-х. С 2002 г. количество преступлений, совершенных белыми на почве нетерпимости, довольно уверенно спадало, снизившись в 2 раза по сравнению с пиковым 2001-м; однако после 2016 г. вновь начало круто расти. Нетерпимость среди черных плавно спадала с 1995 по 2004 г., однако затем так же плавно начала расти, выйдя в 2018 г. на уровень 1995 г.
Здесь интересно отметить, что при Бараке Обаме (который, как мы знаем, принадлежит к афроамериканской расе), то есть с 2009 по 2017 гг., количество преступлений среди белых очень резко снизилось, но в это же самое время количество преступлений среди черных обнаружило стабильный рост. Ранее при Буше (2001 — 2009 гг.) после пика преступлений среди белых в первый год его президентства количество преступлений, совершаемых представителями обеих рас, вышло на «полку» и практически не менялось. А вот при Клинтоне (1993 — 2001 гг.) преступления среди белых росли быстро, почти год от года, в то время как преступления среди черных, наоборот, плавно снизились.
Что ж, поглядели на основные тренды. Давайте теперь отфильтруем данные, оставив только самое необходимое для дальнейшего анализа.
Первая фильтрация: по видам преступлений и потерпевших

В соответствии с исследованием, представленным в моей предыдущей статье, произведем аналогичную фильтрацию данных для анализа:

• среди категорий потерпевших оставим только физических лиц (исключим преступления против организаций, властей и всего общества);
  
• среди видов преступлений оставим только убийства, нападения (тяжкие и обычные), грабежи и изнасилования как наиболее «злодейские».

Посмотрим, что получилось:
YEAR
STATE_NAME
OFFENDER_RACE
OFFENSE_NAME
BIAS_DESC
COUNT
0
1991
Arizona
Black or African American
Assault
Anti-Gay (Male)
1
1
1991
Arizona
Black or African American
Assault
Anti-White
4
2
1991
Arizona
White
Assault
Anti-Black or African American
10
3
1991
Arkansas
Black or African American
Assault
Anti-Black or African American
1
4
1991
Arkansas
Black or African American
Assault
Anti-White
4
...
...
...
...
...
...
...
16428
2018
Wisconsin
White
Assault
Anti-Hispanic or Latino
1
16429
2018
Wisconsin
White
Assault
Anti-Hispanic or Latino;Anti-White
1
16430
2018
Wisconsin
White
Assault
Anti-Physical Disability
1
16431
2018
Wisconsin
White
Assault
Anti-Sikh
1
16432
2018
Wisconsin
White
Assault
Anti-White
1
16433 rows × 6 columns
Фильтрация и агрегация данных позволила сократить объем в 12 раз без ущерба для факторов, важных для анализа. Новый столбец COUNT в конце содержит количество преступлений для данного года, штата, расы преступника, вида преступления и мотива.
В качестве промежуточного шага посмотрим на распределение преступлений по расе преступников:

и по видам нетерпимости:

Итак, белые и черные преступники составляют вместе 93% всех случаев (преступлений среди белых в два раза больше, но мы же знаем, что белых и самих в 5 раз больше). Поэтому совершенно не удивляет и то, что почти та же пропорция и по видам нетерпимости: 33% преступлений мотивировано нетерпимостью к черным, 18% — нетерпимостью к белым. Здесь попутно интересно отметить, что преступления на почве нетерпимости к белым количественно примерно равны преступлениям на почве нетерпимости к гомосексуалам — это третий по величине мотив.
Вторая фильтрация: по расе преступников и мотиву преступлений

Следующий логический шаг — оставить только черных и белых преступников и, соответственно, только «черно-белые» мотивы преступлений. Этим мы сужаем объект исследования до расизма среди белых и черных. После дополнительной фильтрации наш массив данных выглядит как-то так:
YEAR
STATE_NAME
OFFENDER_RACE
OFFENSE_NAME
BIAS_DESC
COUNT
0
1991
Arizona
Black
Assault
Anti-White
4
1
1991
Arizona
White
Assault
Anti-Black
10
2
1991
Arkansas
Black
Assault
Anti-Black
1
3
1991
Arkansas
Black
Assault
Anti-White
4
4
1991
Arkansas
Black
Murder
Anti-White
1
...
...
...
...
...
...
...
3870
2018
West Virginia
White
Assault
Anti-White
2
3871
2018
Wisconsin
Black
Assault
Anti-Black
1
3872
2018
Wisconsin
Black
Assault
Anti-White
4
3873
2018
Wisconsin
White
Assault
Anti-Black
6
3874
2018
Wisconsin
White
Assault
Anti-White
2
3875 rows × 6 columns
Пора включить в анализ удельные показатели (на количество населения по каждой расовой группе). Для этого подгрузим данные по численности населения из файла us_pop_1991-2018.csv.
Посмотрим, как в целом распределено население США по расам (среднегодовые показатели за 1991 — 2018 гг.):

Белых получается в 5.8 раз больше, чем черных. Все остальные расы составляют 11% населения.
Далее добавляем в наш датасет данные по численности и вычисляем удельное количество преступлений на 1 млн. представителей каждой расы.
Помня, что после первой фильтрации у нас осталось 4 вида преступлений (убийство, нападение, грабеж и изнасилование), давайте посмотрим на распределение этих преступлений по обеим расам в абсолютных и удельных показателях:

Отдельно для убийств и изнасилований (т.к. их на общих графиках не видно):

Что же мы здесь видим? А видим вот что:

• Из анализируемых видов преступлений с большим отрывом лидируют нападения (в 25 раз больше, чем грабеж, в 250 раз — чем убийство и изнасилование).
  
• Нападений, совершенных белыми, в два раза больше, но в удельном отношении черные совершают нападения почти в 3 раза чаще.
  
• Грабежей, совершенных черными, в 1.5 раза больше в абсолютных цифрах и в 10 раз больше в удельных.
  
• Суммарно белые совершили несколько больше убийств, чем черные, и примерно столько же изнасилований. В удельном же выражении черные насилуют в 6 раз чаще и убивают в 3.6 раз чаще, чем белые. Между убийством и изнасилованием белые «предпочитают» убийство, а черные — изнасилование.

Преступления на почве расизма по годам

Посмотрим, как изменялось количество расистских преступлений, совершенных черными и белыми, за весь период:


Нетрудно по этим графикам сделать очевидные выводы:

• В среднем белые совершают в год немного больше преступлений на почве расизма, но в 4-5 раз реже в удельном выражении (другими словами, вероятность совершения расистского преступления афроамериканцем в 4-5 раз выше, чем белым).
  
• Тем не менее, с 1990-х годов удельный показатель расистских преступлений среди черных постепенно падает, снизившись в полтора раза за четверть века.
  
• При переходе от абсолютных показателей к удельным скачки преступлений белых значительно сгладились, что говорит о прямой корреляции между количеством преступлений, совершаемых белыми, с численностью белокожего населения. Однако для черных это не так: сильные скачки остались и на удельном графике, что говорит о плохой связи расизма среди черных с приростом чернокожего населения. Проще говоря, расизм среди белых относительно стабилен (почти константен) начиная с 1993 года, а расизм среди черных, скорее всего, подвержен влиянию внешних факторов, таких как общественно-политические и внутренние события в стране.

Взглянем и на обобщенные (среднегодовые) показатели:

Лишний раз убеждаемся в сделанных наблюдениях: в среднем белые совершают на 15-16% больше преступлений на почве расизма, но при этом из-за разницы в численности белых и черных, как мы знаем, почти в 6 раз, черные в столько же раз чаще совершают такие преступления.
Только ли белые против черных, черные против белых?

Давайте к нашим обобщенным показателям добавим параметр нетерпимости, т.е. мотива преступлений. Как вы помните, в результате фильтрации мы оставили только два мотива: нетерпимость к белой расе и нетерпимость к чернокожей расе. Как они распределены между белыми и черными преступниками? 100% полярно, конечно же? А вот и нет!

Конечно, поляризация налицо, но выясняется, что есть преступления, совершенные черными на почве расовой вражды к своим же, и то же самое среди белых. (Уверен, что есть и преступления, совершенные гомосексуалами на почве ненависти к гомосексуалам, женщинами на почве ненависти к женщинам и т.д., ибо «человек» — это звучит гордо сложно; конечно, все это вы можете проверить сами!)
Но что здесь любопытно: доля преступлений, совершаемых черными на почве ненависти к своим же составляет 11% от всех преступлений, совершаемых черными, а для белых этот показатель равен 9%. То есть чернокожий имеет несколько более высокий шанс обернуться против своих.
География преступлений

Наконец, посмотрим на распределение преступности на почве расизма по штатам США. Для вычисления удельных показателей нам, как обычно, надо будет загрузить численность по штатам и расам из файла us_pop_states_race_2010-2019.csv.
Среднегодовые показатели численности белых и черных по штатам:

ОК, ничего нового: перенаселенные Калифорния, Техас, Флорида и Нью-Йорк, где, как вы могли видеть из прошлой статьи, совершается количественно больше преступлений.
Но везде ли одинакова доля чернокожего населения — пресловутые 13%? Посмотрим:

Итак, черных больше половины всего Округа Колумбия (где находится славный город Пентагон Вашингтон), около трети в хлопковых южных штатах — Миссисипи, Луизиане, Джорджии, Алабаме, Южной Каролине и в одном северном (Мэриленде, где Округ Колумбия, где славный город...); в остальных меньше четверти. Это, как говорится, просто для справки.
А что с преступлениями? Смотрим на среднегодовые показатели в абсолютных и удельных выражениях:


Видно, что по абсолютному количеству преступлений лидирует самый населенный штат — Калифорния. Но далее Флориду и Техас потеснили Мичиган, Иллинойс и Мэриленд — экономически более развитые северные штаты. А на удельном графике выбились вперед наименее населенные штаты — Монтана, Вермонт, Айдахо, Северная и Южная Дакота, Аляска (все тоже на севере страны). При этом видно, что пропорция преступлений между белыми и черными не одинакова по штатам, несмотря на доминирование черных по удельным показателям (например, в «белую» сторону выделяется Округ Колумбия и Гавайи).
Отобразим на карте (для большей наглядности заменим среднегодовые показатели накопленной суммой).
Сначала в абсолютном выражении:

Здесь выделяется северо-восток страны (особенно Мичиган) плюс Калифорния и Вашингтон на тихоокеанском побережье. И в удельном выражении:

Здесь заметно преобладание севера с наименее населенными штатами: Округ Колумбия, обе Дакоты и все тот же Вашингтон, а также по паре штатов с восточной и западной стороны. При этом южные штаты не обнаруживают значительной преступности среди населения.
В общем, если вы задаете вопрос «Где я увижу больше преступлений, мотивированных расизмом?», смотрите первую карту. Если ваш вопрос «Где выше вероятность каждого человека совершить расистское преступление?» — смотрите вторую карту. Других выводов относительно распределения делать не стану.
Вместо выводов

Как там у Булгакова? «Факты — самая упрямая в мире вещь.» Если нам что-то твердят со всех сторон, совсем необязательно это является правдой — это может оказаться полуправдой или же ложью. Но имея в руках факты в виде N-ного количества наборов данных, вы можете сами подтвердить или опровергнуть те или иные рассуждения. Можно строить гипотезы и подтверждать / опровергать их статистическими методами, а можно просто без всяких гипотез рассмотреть данные и найти в них некие закономерности, которые уже в свою очередь помогут либо сделать выводы, либо предложить гипотезы, которые далее можно так же «препарировать». Вам решать — верить всему на слово или проверять.
Конечно, этот маленький анализ далеко не полный. Он выполнен поверхностно, ведь я только рассмотрел базовые показатели, не применяя даже четверти доступного аппарата математической статистики. Конечно, и о качестве исходных данных можно спорить. Всем ли регистрируемым данным можно верить? Все ли преступления регистрируются? Кто и как определяет мотивы нетерпимости? Но как по мне, я лучше буду анализировать официальные открытые данные as-is, чем довольствоваться заявлениями вроде «в крови господина N нашли отравляющее вещество X» или «страна W уже на протяжении десятков лет систематически нарушает права человека».
PS. В комментариях к моему предыдущему исследованию меня много раз просили разделить «чисто белых» и «латиносов», так как культуры все-таки имеют различия. Я бы и не против, но, к сожалению, это невозможно сделать ни в том, ни в этом случае по причине скудности сведений об этом этническом признаке в исходных данных. Так, например, в данных, которые мы разбираем в этой статье, из 79514 преступлений, совершенных белыми, только 6999 имеют пометку об этнической принадлежности, причем только 489 помечены как «Hispanic or Latino» (это 0,6%). Конечно, такие данные нельзя использовать для анализа.
===========
Источник:
habr.com
===========
Похожие новости:

• [Big Data] Инструменты обработки OLAP-запросов для Big Data (перевод)
  
• [Алгоритмы, Законодательство в IT, Социальные сети и сообщества] СМИ: ByteDance не будет продавать американским покупателям алгоритм TikTok
  
• [*nix, Open source] FOSS News №33 – дайджест новостей свободного и открытого ПО за 7-13 сентября 2020 года
  
• [C++, Анализ и проектирование систем, ООП, Программирование, Программирование микроконтроллеров] Micro Property — минималистичный сериализатор двоичных данных для embedded систем
  
• [Python, Программирование] Напишем и поймем Decision Tree на Python с нуля! Часть 2. Основы Python, необходимые для генерации Decision Tree (перевод)
  
• [VueJS, Magento] Введение во Vue Storefront (перевод)
  
• [Open source, Разработка под AR и VR, Гаджеты, AR и VR, DIY или Сделай сам] Гарнитура с открытым исходным кодом Relativty поддерживает игры Steam VR
  
• [Open source, Гаджеты, Смартфоны, Софт] Huawei открыла доступ к Harmony OS 2.0
  
• [Python, Программирование, Java, Kotlin] Распознавание текста на картинке с помощью tesseract на Kotlin
  
• [Big Data, Алгоритмы, Карьера в IT-индустрии, Машинное обучение] Подбор скважин-кандидатов для гидравлического разрыва пласта с использованием методов машинного обучения

Теги для поиска: #_big_data, #_data_mining, #_python, #_otkrytye_dannye (Открытые данные), #_python, #_pandas, #_data_science, #_open_source, #_black_lives_matter, #_big_data, #_ssha (сша), #_politsija (полиция), #_kriminal (криминал), #_rasizm (расизм), #_big_data, #_data_mining, #_python, #_otkrytye_dannye (
Открытые данные
)