← Все проекты

← К описанию проекта

Исследование надежности заемщиков

Это первая часть проекта, она будет проверена автоматически. Вторую часть проверит ревьюер.

Откройте таблицу и изучите общую информацию о данных

Задание 1. Импортируйте библиотеку pandas. Считайте данные из csv-файла в датафрейм и сохраните в переменную data. Путь к файлу:

/datasets/data.csv

import pandas as pd# импортируйте библиотеку pandas

data = pd.read_csv('/datasets/data.csv')# прочитайте csv-файл

Задание 2. Выведите первые 20 строчек датафрейма data на экран.

print(data.head(20))# ваш код здесь

    children  days_employed  dob_years            education  education_id  \
0          1   -8437.673028         42               высшее             0   
1          1   -4024.803754         36              среднее             1   
2          0   -5623.422610         33              Среднее             1   
3          3   -4124.747207         32              среднее             1   
4          0  340266.072047         53              среднее             1   
5          0    -926.185831         27               высшее             0   
6          0   -2879.202052         43               высшее             0   
7          0    -152.779569         50              СРЕДНЕЕ             1   
8          2   -6929.865299         35               ВЫСШЕЕ             0   
9          0   -2188.756445         41              среднее             1   
10         2   -4171.483647         36               высшее             0   
11         0    -792.701887         40              среднее             1   
12         0            NaN         65              среднее             1   
13         0   -1846.641941         54  неоконченное высшее             2   
14         0   -1844.956182         56               высшее             0   
15         1    -972.364419         26              среднее             1   
16         0   -1719.934226         35              среднее             1   
17         0   -2369.999720         33               высшее             0   
18         0  400281.136913         53              среднее             1   
19         0  -10038.818549         48              СРЕДНЕЕ             1   

       family_status  family_status_id gender income_type  debt  \
0    женат / замужем                 0      F   сотрудник     0   
1    женат / замужем                 0      F   сотрудник     0   
2    женат / замужем                 0      M   сотрудник     0   
3    женат / замужем                 0      M   сотрудник     0   
4   гражданский брак                 1      F   пенсионер     0   
5   гражданский брак                 1      M   компаньон     0   
6    женат / замужем                 0      F   компаньон     0   
7    женат / замужем                 0      M   сотрудник     0   
8   гражданский брак                 1      F   сотрудник     0   
9    женат / замужем                 0      M   сотрудник     0   
10   женат / замужем                 0      M   компаньон     0   
11   женат / замужем                 0      F   сотрудник     0   
12  гражданский брак                 1      M   пенсионер     0   
13   женат / замужем                 0      F   сотрудник     0   
14  гражданский брак                 1      F   компаньон     1   
15   женат / замужем                 0      F   сотрудник     0   
16   женат / замужем                 0      F   сотрудник     0   
17  гражданский брак                 1      M   сотрудник     0   
18    вдовец / вдова                 2      F   пенсионер     0   
19         в разводе                 3      F   сотрудник     0   

     total_income                                 purpose  
0   253875.639453                           покупка жилья  
1   112080.014102                 приобретение автомобиля  
2   145885.952297                           покупка жилья  
3   267628.550329              дополнительное образование  
4   158616.077870                         сыграть свадьбу  
5   255763.565419                           покупка жилья  
6   240525.971920                       операции с жильем  
7   135823.934197                             образование  
8    95856.832424                   на проведение свадьбы  
9   144425.938277                 покупка жилья для семьи  
10  113943.491460                    покупка недвижимости  
11   77069.234271       покупка коммерческой недвижимости  
12            NaN                         сыграть свадьбу  
13  130458.228857                 приобретение автомобиля  
14  165127.911772              покупка жилой недвижимости  
15  116820.904450  строительство собственной недвижимости  
16  289202.704229                            недвижимость  
17   90410.586745              строительство недвижимости  
18   56823.777243      на покупку подержанного автомобиля  
19  242831.107982            на покупку своего автомобиля  

Задание 3. Выведите основную информацию о датафрейме с помощью метода info().

data.info()# ваш код здесь

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 21525 entries, 0 to 21524
Data columns (total 12 columns):
 #   Column            Non-Null Count  Dtype  
---  ------            --------------  -----  
 0   children          21525 non-null  int64  
 1   days_employed     19351 non-null  float64
 2   dob_years         21525 non-null  int64  
 3   education         21525 non-null  object 
 4   education_id      21525 non-null  int64  
 5   family_status     21525 non-null  object 
 6   family_status_id  21525 non-null  int64  
 7   gender            21525 non-null  object 
 8   income_type       21525 non-null  object 
 9   debt              21525 non-null  int64  
 10  total_income      19351 non-null  float64
 11  purpose           21525 non-null  object 
dtypes: float64(2), int64(5), object(5)
memory usage: 2.0+ MB

Предобработка данных

Удаление пропусков

Задание 4. Выведите количество пропущенных значений для каждого столбца. Используйте комбинацию двух методов.

print(data.isnull().sum())# ваш код здесь

children               0
days_employed       2174
dob_years              0
education              0
education_id           0
family_status          0
family_status_id       0
gender                 0
income_type            0
debt                   0
total_income        2174
purpose                0
dtype: int64

Задание 5. В двух столбцах есть пропущенные значения. Один из них — days_employed. Пропуски в этом столбце вы обработаете на следующем этапе. Другой столбец с пропущенными значениями — total_income — хранит данные о доходах. На сумму дохода сильнее всего влияет тип занятости, поэтому заполнить пропуски в этом столбце нужно медианным значением по каждому типу из столбца income_type. Например, у человека с типом занятости сотрудник пропуск в столбце total_income должен быть заполнен медианным доходом среди всех записей с тем же типом.

data['total_income'] = data['total_income'].fillna(0) #замена пропусков на 0 в столбце 'total_income'
income_unique = data['income_type'].unique() #получаем уникальные значения категорий, формируем список 

for i in income_unique: # Цикл по уникальным значениям списка
    
    income_type_median = data.loc[(data['income_type'] == i) & (data['total_income'] != 0) ,'total_income'].sort_values().median() # Подсчет медианы на каждой итерации цикла
    data.loc[(data['total_income'] == 0) & (data['income_type'] == i), 'total_income'] = income_type_median # Замена 0 на медиану исходя из условий
    

Обработка аномальных значений

Задание 6. В данных могут встречаться артефакты (аномалии) — значения, которые не отражают действительность и появились по какой-то ошибке. Таким артефактом будет отрицательное количество дней трудового стажа в столбце days_employed. Для реальных данных это нормально. Обработайте значения в этом столбце: замените все отрицательные значения положительными с помощью метода abs().

data['days_employed'] = data['days_employed'].abs() # ваш код здесь

Задание 7. Для каждого типа занятости выведите медианное значение трудового стажа days_employed в днях.

data.groupby('income_type')['days_employed'].agg('median')

income_type
безработный        366413.652744
в декрете            3296.759962
госслужащий          2689.368353
компаньон            1547.382223
пенсионер          365213.306266
предприниматель       520.848083
сотрудник            1574.202821
студент               578.751554
Name: days_employed, dtype: float64

У двух типов (безработные и пенсионеры) получатся аномально большие значения. Исправить такие значения сложно, поэтому оставьте их как есть. Тем более этот столбец не понадобится вам для исследования.

Задание 8. Выведите перечень уникальных значений столбца children.

print(data['children'].unique())# ваш код здесь

[ 1  0  3  2 -1  4 20  5]

Задание 9. В столбце children есть два аномальных значения. Удалите строки, в которых встречаются такие аномальные значения из датафрейма data.

data = data.loc[(data['children'] >= 0) & (data['children'] !=20)]# ваш код здесь

Задание 10. Ещё раз выведите перечень уникальных значений столбца children, чтобы убедиться, что артефакты удалены.

print(data['children'].unique())# ваш код здесь

[1 0 3 2 4 5]

Удаление пропусков (продолжение)

Задание 11. Заполните пропуски в столбце days_employed медианными значениями по каждому типу занятости income_type.

data['days_employed'] = data['days_employed'].fillna(0) #замена пропусков на 0 в столбце 'total_income'
income_unique = data['income_type'].unique() #получаем уникальные значения категорий, формируем список 

for i in income_unique: # Цикл по уникальным значениям списка
    
    income_type_median = data.loc[(data['income_type'] == i) & (data['days_employed'] != 0) ,'days_employed'].sort_values().median() # Подсчет медианы на каждой итерации цикла
    data.loc[(data['days_employed'] == 0) & (data['income_type'] == i), 'days_employed'] = income_type_median # Замена 0 на медиану исходя из условий
    

Задание 12. Убедитесь, что все пропуски заполнены. Проверьте себя и ещё раз выведите количество пропущенных значений для каждого столбца с помощью двух методов.

print(data.isna().sum())# ваш код здесь

children            0
days_employed       0
dob_years           0
education           0
education_id        0
family_status       0
family_status_id    0
gender              0
income_type         0
debt                0
total_income        0
purpose             0
dtype: int64

Изменение типов данных

Задание 13. Замените вещественный тип данных в столбце total_income на целочисленный с помощью метода astype().

data['total_income'] = data['total_income'].astype('int')# ваш код здесь

Обработка дубликатов

Задание 14. Выведите на экран количество строк-дубликатов в данных. Если такие строки присутствуют, удалите их.

data.duplicated().sum()# посчитайте дубликаты

54

data = data.drop_duplicates()# удалите дубликаты

Задание 15. Обработайте неявные дубликаты в столбце education. В этом столбце есть одни и те же значения, но записанные по-разному: с использованием заглавных и строчных букв. Приведите их к нижнему регистру. Проверьте остальные столбцы.

data['education'] =data['education'].str.lower()

Категоризация данных

Задание 16. На основании диапазонов, указанных ниже, создайте в датафрейме data столбец total_income_category с категориями:

• 0–30000 — 'E';
• 30001–50000 — 'D';
• 50001–200000 — 'C';
• 200001–1000000 — 'B';
• 1000001 и выше — 'A'.

Например, кредитополучателю с доходом 25000 нужно назначить категорию 'E', а клиенту, получающему 235000, — 'B'. Используйте собственную функцию с именем categorize_income() и метод apply().

def categorize_income(in_column):# создайте функцию categorize_income()
    if 0<= in_column <=30000:
        return 'E'
    elif 30001<= in_column <=50000:
        return 'D'
    elif 50001<= in_column <=200000:
        return 'C'
    elif 200001<= in_column <=1000000:
        return 'B'
    elif 1000001 <= in_column :
        return 'A'
              

data['total_income_category'] = data['total_income'].apply(categorize_income) #примените функцию методом apply()

Задание 17. Выведите на экран перечень уникальных целей взятия кредита из столбца purpose.

print(data['purpose'].unique())# ваш код здесь

['покупка жилья' 'приобретение автомобиля' 'дополнительное образование'
 'сыграть свадьбу' 'операции с жильем' 'образование'
 'на проведение свадьбы' 'покупка жилья для семьи' 'покупка недвижимости'
 'покупка коммерческой недвижимости' 'покупка жилой недвижимости'
 'строительство собственной недвижимости' 'недвижимость'
 'строительство недвижимости' 'на покупку подержанного автомобиля'
 'на покупку своего автомобиля' 'операции с коммерческой недвижимостью'
 'строительство жилой недвижимости' 'жилье'
 'операции со своей недвижимостью' 'автомобили' 'заняться образованием'
 'сделка с подержанным автомобилем' 'получение образования' 'автомобиль'
 'свадьба' 'получение дополнительного образования' 'покупка своего жилья'
 'операции с недвижимостью' 'получение высшего образования'
 'свой автомобиль' 'сделка с автомобилем' 'профильное образование'
 'высшее образование' 'покупка жилья для сдачи' 'на покупку автомобиля'
 'ремонт жилью' 'заняться высшим образованием']

Задание 18. Создайте функцию, которая на основании данных из столбца purpose сформирует новый столбец purpose_category, в который войдут следующие категории:

• 'операции с автомобилем',
• 'операции с недвижимостью',
• 'проведение свадьбы',
• 'получение образования'.

Например, если в столбце purpose находится подстрока 'на покупку автомобиля', то в столбце purpose_category должна появиться строка 'операции с автомобилем'.

Используйте собственную функцию с именем categorize_purpose() и метод apply(). Изучите данные в столбце purpose и определите, какие подстроки помогут вам правильно определить категорию.

def categorize_purpose(in_type):# создайте функцию categorize_purpose()
    if 'авто' in in_type:
        return 'операции с автомобилем'
    elif ('жил' in in_type)or('недвиж' in in_type):
        return 'операции с недвижимостью'
    elif 'свадь' in in_type:
        return 'проведение свадьбы'
    elif 'образ' in in_type:
        return'получение образования'    

data['purpose_category'] = data['purpose'].apply(categorize_purpose)# примените функцию методом apply()