[Python, Data Mining, Big Data, Визуализация данных, Data Engineering] Стоимость строительных работ в Сан-Франциско. Инфляция и рост стоимости работ за последние 30 лет

Автор Сообщение
news_bot ®

Стаж: 6 лет 2 месяца
Сообщений: 27286

Создавать темы news_bot ® написал(а)
04-Авг-2020 16:31

Данные о более чем миллионе разрешений на строительство (записей в двух датасетах) от департамента по строительству Сан-Франциско — позволяют проанализировать не только строительную активность в городе, но и критически рассмотреть последнии тенденции и историю развития строительной отрасли за последние 30 лет.
В прошлой статье была рассмотрена общая годовая сумма строительных объемов (инвестиций) в Сан-Франциско в период с 1980 по 2018 год. По разнице между ожидаемой (сметной) и фактической (пересмотренной) стоимостью строительства отслеживались движения настроений инвесторов в периоды экономических бумов и кризисов в регионе.
Взлёты и падения строительной отрасли Сан-Франциско. Тенденции и история развития строительной активности
В данной статье рассмотрим подробнее отдельные отрасли строительства: ремонт крыш, кухонь, лестниц и ванных комнат. После этого сравним инфляцию по отдельным типам работ с данными по официальной инфляции и другими экономическими показателями.
Выводы, разобранные в этой статье
  • Инфляция в строительстве в два раза больше официальной инфляции в стране.
  • Спрос на различные типы жилья год от года меняется и зависит от различных экономических циклов.
  • Экспоненциальный спрос на строительства апартаментов (Apartments) пришелся на последний Хай-тек бум (2016 год)
  • Пик спроса на торговые площади (Retail) и увеличение объемов строительства более чем в 16 раз пришёлся на пик Доткомов (2001 год).
  • Стоимость ремонта крыши и кухни увеличилась за последние 30 лет более чем в 3 раза.
  • Стоимость ремонта ванной комнаты увеличилась за период с 1980 по 2019 год в 5 раза.
  • Бизнес по строительству лестниц почти не повышает цены на ремонт уже почти 30 лет.
  • Цена планового ремонта по 4 категориям (крыша, ванна, кухня, лестница) у однофамильного дома и у двухфамильного дома отличается на 15%.
  • Для общего ремонта по 4 категориям каждые 15-20 лет — стоимость ремонта кухни, ванной, крыши и лестницы, в одно-фамильном доме составит примерно $ 54 000 тогда как для двух-фамильного дома эта сумма составит — $ 61 000.
  • Бизнес связанный со строительством домов в Сан-Франциско показывает плавный устойчивый рост без колебаний уже 30 лет.
  • Бизнес связанный со строительством торговых площадей, офисов и апартаментов — волатильный и имеет многочисленные экспоненциальные взлеты и падения.
  • Если наблюдать многократный рост в течении короткого времени, в следующие два года можно ожидать такого же по интенсивности стремительного падения.
  • Если нужно узнать на сколько поднимется средняя цена на ремонт, следи за стоимостью ставки по 10 летним государственным облигациям.

Построение графиков и расчётов проводилось в Jupyter Notebook (на платформе Kaggle.com).
Взлеты и падения строительной отрасли Сан-Франциско по типу жилья
Технологическая индустрия Сан — Франциско является одним из виновников резкого роста цен. Технические работники, зарабатывающие “шестизначные цифры”, переезжают в город, чтобы работать в стартапах и в более авторитетных компаниях, таких как Google, Facebook, Twitter и Apple резко увеличивают стоимость жизни и увеличивают спрос на жилье. Программисты с карманами, набитыми “техническими” деньгами, могут позволить себе перекупить большинство местных жителей на рынке недвижимости.
При этом, с точки зрения законодательства в сфере градостроительства — Сан-Франциско является одним из наиболее регулируемых городов в Америке. Эти и многие другие факторы сильно ограничивают объемы строительства и влияет на цены и спрос в Сан-Франциско.
Поэтому спрос на различные типы жилья год от года меняется и зависит от различных экономических циклов в регионе. Каждый тип жилья имел и будет иметь свои “взлеты и падения” на рынке строительства в Сан-Франциско, как например взрыв спроса на апартаменты с 2012 по 2015 год почти в 10 раз, или хайповый, более чем в 16 раз рост спроса с 1997 по 1999 год на торговые площади.
В статье о годовой общей сумме строительных работ, график движения за период с 1980 по 2018 год разделялся на две составляющие:
  • Предположительная (сметная) стоимость работ (синяя линия)
  • Фактическая (пересмотренная) стоимость работ (желтая линия)


Рассмотрим суммарные данные по общей стоимости глубже и перейдём к “следующему слою” данных.
Общую суммарную стоимость работ разобьем на категории работ по параметру “тип жилья” (“Existing Use”):
  • Apartaments (апартаменты)
  • Retail (торговые площади)
  • Office (офисные пространства и бюро)
  • Жилая недвижимость (одно- двух-семейные дома)

dfn = df.dropna(subset=['description'])
dfn.description.isnull().values.any()
#dfn = dfn[dfn['description'].str.match('kitchen')]
df_unit = dfn.loc[:,['revised_cost','existing_use', 'existing_units', 'zipcode','permit_creation_date']]
df_unit = df_unit.dropna()
#keys = ["hotel","appartments"]
df_unit = df_unit[df_unit.existing_use.str.contains("apartments")]
#data_loc = df_unit.loc[['estimated_cost', 'revised_cost','permit_creation_date']]
data_cost = df_unit
data_cost.permit_creation_date = pd.to_datetime(data_cost.permit_creation_date)
data_cost = data_cost.set_index('permit_creation_date')
data_cost = data_cost[data_cost.index > "1985-8-01"]
data_cost = data_cost[data_cost.index < "2019-8-31"]
data_cost = data_cost.dropna()
data_cost_m = data_cost.groupby(pd.Grouper(freq='300d')).sum()
#data_cost_m.head()
plt.figure(figsize=(19,8))
ax = sns.lineplot(data=data_cost_m.revised_cost, linewidth=3, size = 17)
ax.set(xlabel='retail')
major_ticks = np.arange(0, 1500000000, 200000000)
ax.set_yticks(major_ticks)
ax.set(ylim=(0, 1500000000))
plt.savefig('plotname.png', transparent=True)


Видно что все типы недвижимости в разные экономические периоды проходили через стремительный параболический (хайповый) рост и такое же стремительное падение.
  • Пик строительства апартаментов (Apartments) пришелся на последний Хай-тек бум, который был связан с притоком большого количества новых технических работников со всего мира в быстрорастущие фирмы силиконовой долины. Спрос на апартаменты с 2012 по 2015 увеличился в 10 раз. c $ 133 млн в 2012 году до $ 1,4 млрд. инвестированных только в апартаменты в 2015 году.
  • Пик спроса на торговые площади (Retail) в свою очередь пришёлся на хайп Доткомов. Спрос на торговые площади с 1997 по 1999 увеличился в 16 раз. c $ 22 млн в 1997 до $ 350 млн. инвестированных только в торговые площади в 1999 году. Но схлопывание пузыря привело к исходу технических работников из города и спрос на торговые площади резко упал, и вернулся к стандартному уровню. При этом последний технический бум никак не повлиял на спрос торговых площадей и скорее уже построенные в конце 90-х лишние метры удовлетворяют современный спрос на торговые площади.
  • Рост спроса на офисную недвижимости (Office) также связан с развитием гигантов силиконовой долины. Но здесь начиная с 2000 года, в отличии от торговой недвижимости и апартаментов, прослеживается устойчивый рост спроса — который сопровождается многочисленными, небольшими взлетами и падениями.
  • Рост инвестиций в жилую недвижимость совпадает по динамики роста с офисной недвижимостью, но отличается от роста офисных площадей — плавностью роста и отсутствием больших колебаний спроса.

Если соединить эти 4 основные категории в один график, получаем знакомый по первой статье общий рост и падения всех инвестиций в строительство в городе Сан-Франциско.

Средняя стоимость ремонта кухни и ванны в Сан-Франциско
Взяв данные из характеристики (Feature) — Description, мы можем дополнительно отобрать данные по отдельным категориям работ и посмотреть, сколько в среднем стоит ремонт кухни или ванны в Сан-Франциско для различных типов жилья.
fam1 = df_unit[df_unit['existing_use']=='1 family dwelling']['estimated_cost'].mean()
fam2 = df_unit[df_unit['existing_use']=='2 family dwelling']['estimated_cost'].mean()
office = df_unit[df_unit['existing_use']=='office']['estimated_cost'].mean()
apartments = df_unit[df_unit['existing_use']=='apartments']['estimated_cost'].mean()
data = {'1 family dwelling':fam1,'2 family dwelling':fam2,'Apartments':apartments}
typedf = pd.DataFrame(data = data,index=['redevelopment of the bathroom'])
typedf.plot(kind='barh', title="Average estimated cost by type", figsize=(8,6));


Стоимость ремонта кухни в Сан-Франциско почти в два раза больше чем стоимость ремонта ванной комнаты. Логично при этом что средняя стоимость ремонта ванной комнаты на $2 000 больше для двух-фамильного дома ($16 000) чем для одно-фамильного дома ($14 000).
Но при этом средняя стоимость ремонта кухни для двух-фамильного дома ($25 000) почти на 3000$ меньше чем для одно-фамильного дома ($28 000).
Средняя стоимость ремонта крыши и лестницы в Сан-Франциско
По той же характеристике (Feature) — Description, отберем только те строки, которые содержат слова “reroofing” (перекладка крыши) и “stairs” (ремонт лестницы).

По средней стоимости ремонта крыши, логично что ремонт крыши (из за большей площади крыши у двух-фамильных домов) в среднем на 2000$ больше чем у одно-фамильных домов.
Стоимость ремонта лестницы также в два раза больше для двух-фамильного дома, потому что в одно-фамильном доме лестница или отсутствует (или это только однопролетная лестница).
Стоимость планового ремонта дома в Сан-Франциско
Ремонт кухни, ванной в среднем рекомендуется проводить один раз в 10-15 лет. Ремонт крыши и лестницы — один раз в 15-20 лет.

В общем если “теоретически” через 15 лет после строительства дома — произвести ремонт кухни, ванной, крыши и лестницы за один год, — то в одно-фамильном доме вам нужно будет накопить для этого $54 000 тогда как для двух-фамильного дома эта сумма составит — $61 000. Разница в общей стоимости работ по этим четырем категориям составляет всего 15%.
Таким образом после строительства нового дома, для того чтобы произвести ремонт в доме по четырем категориям (кухня, ванна, крыша, лестница), необходимо ежемесячно откладывать по $350, чтобы через 15 лет накопить необходимые $60 000 для ремонта.

Рост стоимости строительных работ в Сан-Франциско
Взяв данные по категориям работ, и сгруппировав их по годам, можно наблюдать за ростом (и инфляцией) средней стоимости ремонтных работ по типу жилья.
years = list(range(1980, 2020))
keywords = ['1 family dwelling','2 family dwelling','apartments']
val_data = []
for year in years:
    iss_data = []
    for word in keywords:
        v = df_unit[(df_unit['existing_use']==word) & (df_unit['issued_date']== year)]['estimated_cost'].mean()
        iss_data.append(v)
    val_data.append(iss_data)
#print(val_data)

В следующем графике данные о средней стоимости по типу жилья представлен, как и в предыдущем параграфе, в столбчатом виде.

Этот же график, для наглядного отображения но уже в виде линий, даёт уже более понятную “инфляционную” картину.
dfnew.plot.bar(figsize=(20, 8))
plt.xlabel("Years")
plt.ylabel("Estimated cost of reroofing")
plt.title("Estimated cost of reroofing by year");
dfnew.plot.line(figsize=(12, 6))


Среднюю же стоимость ремонта крыши характеризует плавный рост начиная с 1990 года.
В отличии от жилых домов средняя стоимость ремонта крыши апартаментов в этот же период проходила многочисленные подъемы и падения.

В стоимости ремонта крыш апартаментов прослеживаются краткосрочные 3 летние циклы.
В отличии от ровной динамики роста средней стоимости ремонта крыш, — средняя стоимость ремонт кухонь имеет бОльшую волатильность.

В ремонте кухонь, так же как и в ремонте крыш апартаментов прослеживаются краткосрочные 2x-3-x летние циклы.
В ремонте же ванных комнат уже таких циклов не прослеживается и рост средней стоимости строительства здесь более пологий. Выделяется только повышенная средняя стоимость ремонта ванн в апартаментах перед бумом доткомов?!

Инфляция стоимости строительных работ в Сан-Франциско.

Для того чтобы найти инфляцию средней стоимости ремонта за весь период с 1980 по 2019 год дополним данные трендовой линией. При вычислении инфляции (взяв начальную и конечную точку трендовой линии) получаем, что максимальная инфляция в стоимости за период с 1990 по 2018 год произошла в сфере ванных комнат.
Средняя стоимость ремонта ванной комнаты за последние 30 лет возросла почти в 5 раз (возможно стоимость ремонта выросла из за появления появившихся на рынке новых отделочных материалов и дорогой (и доступной) керамике и сантехники?!).
sns.regplot(y=dfnew_2['2 family dwelling'],x=dfnew_2['index'],data=dfnew_2, fit_reg=True)
#sns.jointplot(dfnew_2['index'], dfnew_2['2 family dwelling'], data=dfnew_2, fit_reg=True, stat_func=stats.pearsonr)
lines = plt.gca().lines
lower1990 = [line.get_ydata().min() for line in lines]
upper2019 = [line.get_ydata().max() for line in lines]
plt.scatter(1990, lower1990, marker='x', color='C3', zorder=3)
plt.scatter(2019, upper2019, marker='x', color='C3', zorder=3)
print("In 1990 it cost = $" + str(lower1990[0].round()) + "; In 2019 it cost = $ " + str(upper2019[0].round()))
print("Inflation for the period 1980-2019 = " + str(((upper2019[0]-lower1990[0])/lower1990[0]*100).round())+"%")
all2 = [line.get_ydata() for line in lines]


Меньше всего отклонений по значениям в категории “ремонт крыш”, где за последние 30 лет инфляция составила 250% (средняя цена увеличилась более чем в 3 раза). Стоимость ремонта кухни также увеличилась за последние 30 лет в 3 раза.
В тот же самый период, стоимость ремонта лестницы с 1980 по 2019 год почти не изменилась и инфляция средней стоимости в этой сфере строительства составила лишь 85%.

Представим теперь развитие роста инфляции для большей наглядности в едином масштабе, где инфляция варьируется от 0 до 9% и посмотрим на падение ежегодной инфляции стоимости ремонта по категориям в период с 1980 по 2019 год.

Заметно что ежегодная инфляция за последние 30 лет снизилась во всех категориях почти в 2-4 раз (например в ремонте крыш с 8% в 1990 до почти 2% в 2019 году). Это полностью совпадает с экономической политикой в этот период (с 1980 по 2019 год).
Если сравнить официальные данные по инфляции и данные по инфляции в строительном секторе будет видно что только в одном секторе официальная инфляция совпала с инфляцией стоимости работ.

Рост стоимости работ по ремонту лестниц полностью совпадал с официальной инфляцией. В остальных же категориях работ ежегодный рост стоимости строительных работ за последние 30 лет опережал официальную инфляцию почти в 2 раза.
Движение же инфляции по таким категориям как ремонт крыши, ремонт ванных комнат и кухонь, почти полность совпадало с движением процентной ставки по 30 летним кредитам (и соответственно с доходности 10 летних казначейских облигаций).

30-летняя фиксированная ипотека — это кредит, процентная ставка которого остается неизменной на протяжении всего срока кредита.
Например, при 30-летней ипотеке в размере 300 000 долларов США с 20% первоначальным взносом и процентной ставкой 3,75% ежемесячные выплаты составят около 1111 долларов США (без учета налогов и страхования). Таким образом, процентная ставка 3,75% (и ежемесячный платеж) остаются неизменными на протяжении всего срока кредита.
10-летний казначейский курс — это доход, полученный за инвестиции в выпущенные правительством США казначейские ценные бумаги со сроком погашения 10 лет.

Инфляция в строительстве
Можно видеть, что изменения в стоимости работ совпадает с процентной ставкой по государственным облигациям. График Пола Шмельцинга (профессора Гарвардского университета) показывает, как изменялись глобальные реальные процентные ставки в течение последних восьми веков.

Собирая данные по реальным процентным ставкам в странах с развитой экономикой, Шмельцинг показывает, что реальные показатели показывают отрицательный тренд процентной ставки с 14 века.
Для сравнения период, который рассматривался в статье обозначен желтым цветом.

Начиная с 1311 года, данные из отчета показывают, как средние реальные ставки изменились с 5,1% в 1300-х годах до среднего 2% в 1900-х годах.
Средняя реальная ставка в период 2000-2018 годов составляет 1,3%.

Вместе с реальной ставкой, конечно же снижается и доходность отраслей, которая коррелирует с этой ставкой. Это в первую очередь такие древние отрасли, как аграрная промышленность и строительная отрасль.
Скорее всего в период с 2020 по 2030 год мы увидим новые рекордные минимумы реальных ставок и соответственно снижение доходности в строительной отрасли. Но если доходность снижается, возможно это означает, что производительность будет увеличиваться на эти же «недостающие» проценты.
Если раньше в строительстве была большая маржа в 10-15%, и компаниям не нужно было задумываться о внедрении новых технологий (которых в принципе было немного), то теперь мы вступаем в новую эпоху низких реальных ставок и низкой маржи в 2-5%, где основную роль в строительной компании будет играть наличие новых инструментов и процессов в работе компании.
Инструментов и новых технологий, которые могут использоваться уже сейчас в строительстве в данный момент в переизбытке.
Строительным компаниям понадобятся десятилетия, для того чтобы эти новые технологии нашли своё место в тяжелоповоротливой и сопротивляющейся строительной отрасли .
Примерно в то же время, когда в Москве начнут работать беспилотные такси — российские строительные компании начнут постепенно заменять планировщиков на нижних уровнях — автоматизироваными скриптами и инструментами, используюшие технологии больших данных и машинного обучения.
Ссылки на предыдущие публикации по этой теме:

Ссылка на Jupyter Notebook: San Francisco. Building sector 1980-2019.
Если вам нравится мой контент, пожалуйста, подумайте о покупке мне кофе.
‍Спасибо за вашу поддержку! Купить кофе автору
===========
Источник:
habr.com
===========

Похожие новости: Теги для поиска: #_python, #_data_mining, #_big_data, #_vizualizatsija_dannyh (Визуализация данных), #_data_engineering, #_big_data, #_jupyter_notebook, #_stroitelstvo (строительство), #_san_francisco, #_valley, #_usa, #_amerika (америка), #_analysis, #_analytics, #_python, #_data_mining, #_big_data, #_vizualizatsija_dannyh (
Визуализация данных
)
, #_data_engineering
Профиль  ЛС 
Показать сообщения:     

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы

Текущее время: 28-Апр 09:22
Часовой пояс: UTC + 5