Методология
2019-01-15
Публикации и выступления
Методологическая база по построению Big Data Indicators была представлена:
- 2019 г.: Goloshchapova Irina, Ser-Huang Poon, Matthew Pritchard and Phil Reed. Corporate Social Responsibility Reports: Topic Analysis Big Data Approach // European Journal of Finance. – 2018. – Forthcoming.
- Голощапова И. (2018). Разработка методики построения высокочастотных индикаторов экономических ожиданий населения на основе больших данных (на примере инфляционных ожиданий) // Диссертация, Автореферат
- Голощапова И. (2018). Макроэкономические индикаторы и Big Data // Интернет-экономика, Радио “МедиаМетрикс”
- Голощапова И. (2017). Оценка экономических ожиданий населения на основе big data (на примере инфляционных ожиданий населения России)// Научный семинар ЦМАКП
- Андреев М. (2017). Новый подход к определению отношения авторов коротких текстов к обсуждаемым темам на примере оценки инфляционных ожиданий// DAMDID 2017
- Goloshchapova I., Andreev M. (2017). Big Data approach to measure inflation expectations: the case of the Russian economy// IFABS 2017, Oxford, July 2017
- Голощапова, Андреев (2017). Оценка инфляционных ожиданий российского населения методами машинного обучения//Вопросы экономики, №6, 2017
Общий алгоритм
Данные
Big Data Indicators опираются на данные новостей в крупнейших экономических СМИ России и комментариев к ним пользователей сети Интернет.
В выборку СМИ в настоящий момент включены 4 источника: Эксперт, РБК, Ведомости, Коммерсант. По результатам рейтингов Медиалогии и проведенных нами опросов экспертов, выбранные источники представляют собой крупнейшие экономические СМИ России и, как мы предполагаем, охватывают значительную долю российского населения, читающего и обсуждающего экономические новости.
Мы учитываем комментарии пользователей сети Интернет к экономическим статьям в СМИ как на официальных веб-страницах СМИ (в случае открытого доступа), так и в социальных сетях Facebook и ВКонтакте.
Расчет индикаторов
Алгоритм расчета индикаторов для различных областей экономических ожиданий населения состоит из следующих шагов:
- Отбор новостей экономических СМИ, относящихся к определенной теме - заданной области экономики. Например, для расчета индикаторов инфляционных ожиданий темой будет “инфляция”;
- Отбор новостных статей и комментариев пользоваталей сети Интернет, содержащих упоминания исследуемых ожиданий, в рамках полученной выборки новостей по заданной теме. Например, для расчета индикаторов инфляционных ожиданий исследуемыми ожиданиями будут упоминания ожиданий роста цен;
- Моделирование на основе алгоритмов текстовой обработки (если требуется);
- Проведение финальных расчетов для получения индикаторов.
Важно! В марте 2018 г. в связи со значительным увеличением доли сообщений бот-аккаунтов в январе-марте 2018 г. - для всего периода расчета индикаторов была произведена корректировка значений с удалением сообщений с явными признаками ботов. Скорректированные значения индикаторов принципиально не меняют выводы предшествующих отчетов (малое присутствие ботов), однако позволяют сделать более точными текущие и будущие оценки индикаторов.
Пояснения по конкретным индикаторам
Инфляционные ожидания
Раздел включает два индикатора, отражающие динамику инфляционных ожиданий населения. Первый индикатор сконструирован на основе частотного анализа содержания комментариев и отражает интенсивность ожиданий роста цен, второй – получен на базе анализа эмоциональной окраски комментариев и отражает степень неопределенности инфляционных ожиданий.
Основные параметры:
- Тема для отбора новостей: “инфляция”. Упоминание слов «инфляция» и «ИПЦ» и словосочетания «темп роста цен» в различных формах, а также любых рассуждений о динамике цен (снижение, повышение, рост).
- Логика отбора комментариев и новостей: ожидания роста цен. Различные вариации слова «инфляция» и словосочетаний слова «цены» с глаголами, относящимися к росту (однокоренные формы от слов «повышение», «рост»).
Интенсивность инфляционных ожиданий
Индикатор показывает интенсивность ожиданий роста цен в краткосрочном периоде со стороны российского населения.
Индикатор представляет собой число комментариев пользователей сети Интернет к статьям в экономических СМИ по теме инфляции с упоминанием ожиданий роста цен, скорректированное на ожидания СМИ, число статей по теме инфляции в экономических СМИ с упоминанием ожиданий роста цен, в каждый период времени. С учетом крупного и непрерывного информационного потока в сети Интернет, относящегося к экономическим новостям, со стороны крупных российских СМИ мы предполагаем, что обсуждение статей, релевантных теме «инфляция», в большей степени отражает краткосрочные ожидания населения – динамику цен в пределах одного года.
Полученный нами индикатор является устойчивым к выбору как методологии отбора статей на тему «инфляция», так и комментариев, в которых упоминаются ожидания роста цен. Результаты развернутого теста на робастность итогового индикатора к выбору методологии представлены в Голощапова, Андреев (2017).
С целью проверки адекватности полученного индикатора с точки зрения существующих способов измерения инфляционных ожиданий в России, мы сопоставили его с официальным индикатором ожиданий роста цен, рассчитываемым ООО «инФОМ» для Банка России на основе результатов опросов населения в различных регионах. В качестве индикатора, наиболее соответствующего построенному, был выбран медианный индикатор численных ожиданий инфляции в следующие 12 месяцев.
В период 2014-2016 гг. индикатор, построенный на основе текстового анализа, показывает высокую корреляцию (около 70%) с официальной мерой инфляционных ожиданий населения. При этом в окрестности пиковых значений наблюдается опережение нашим индикатором значений остальных индикаторов примерно на 1 месяц.
Индикатор релевантен динамике ключевых макроэкономических трендов как на помесячном, так и На подневном уровне.
Неопределенность инфляционных ожиданий
Индикатор стремится аппроксимировать неопределённость инфляционных ожиданий, связанную с отношением населения к достижимости цели по инфляции, в т.ч. в рамках реализуемой Банком России денежно-кредитной политики.
В рамках расчетов все комментарии, относящиеся к статьям по теме «инфляция», по эмоциональной окраске (или тональности) были классифицированы на негативные, нейтральные и положительные. Для моделирования исользовались классические методы текстовой обработки и алгоритмы классификации (логистическая регрессия, Support Vector Machines). Затем, на основе полученных результатов был построен индикатор неопределенности инфляционных ожиданий.
Итоговый индикатор представляет собой долю эмоционально окрашенных (ярко позитивных или ярко негативных) комментариев в общем числе комментариев к статьям по теме «инфляция» в каждый период времени.
На всем рассматриваемом периоде индикатор высоко (> 70%) скоррелирован с долей респондентов, неопределившихся с ответом на вопрос относительно достижимости цели по инфляции к концу 2017 г. (по опросам ООО “инФОМ”).
Факторы изменения инфляционных ожиданий
Построение индикаторов на подневной основе одновременно с частотным анализом содержания комментариев позволяет определить ключевые триггеры изменения инфляционных ожиданий и проанализировать их структуру в динамике – начиная с 2014 г.
в качестве основных факторов резких изменений инфляционных ожиданий рассматриваются: динамика цен на нефть, курс доллара к рублю, решения Банка России об уровне ключевой ставки денежно-кредитной политики, внутренняя политика, мировая конъюнктура, кризисные процессы и общая неопределенность экономической ситуации. Указанные факторы охватили 83% комментариев, отнесенных к категории ожиданий роста цен (в ближайшие 12 мес.)
На базе текстового анализа мы изучили динамику вклада выделенных факторов в 2014-2016 гг. в построенный нами индикатор интенсивности инфляционных ожиданий российского населения на подневном уровне. Показатели вкладов были получены с помощью частотного анализа содержания комментариев, отнесенных к категории ожиданий роста цен, в каждый момент времени. То есть, значение показателя вклада для какого-либо фактора за период t равно числу комментариев с упоминанием указанного фактора, отнесенному к общему числу комментариев с упоминанием всех рассматриваемых факторов в комментариях категории ожиданий роста цен за период t.
Логика формирования факторов изменения инфляционных ожиданий
| Фактор | Описание |
|---|---|
| Курс национальной валюты | Курс валюты (доллар, рубль, евро), девальвация, спекулятивные атаки |
| Цены на сырье | Цены на энергоресурсы (нефть, газ, уголь) и их производные (бензин, топливо, и др.), объемы предложения энергоресурсов и их производных на рынке |
| Денежно-кредитная политика | Банк России (все варианты названий), ключевая процентная ставка, процентные ставки, денежно-кредитная политика |
| Неопределенность экономической ситуации | Неопределенность, противоречивость, нестабильность и др. синонимы |
| Доходы | Доходы, заработная плата, пенсии, индексация доходов |
| Экономический кризис | Кризис, падение выпуска (рецессия, спад, и др.), стагнация, падение продаж, рост расходов, увеличение кредитной нагрузки |
| Внутренняя политика | Президент, Правительство, Министерства, законодательство, тарифы на услуги ЖКХ, коррупция и воровство, импортозамещение, налогообложение, анти-монопольное регулирование |
| Мировая конъюнктура | Запад, США, Евросоюз, Великобритания, Китай, Украина (включая упоминание лидеров стран и органов денежно-кредитной политики), Крым |
Примечание: описание факторов представляет собой детализацию блоков регулярных выражений, используемых для поиска упоминаний каждого фактора в комментариях читателей крупных экономических СМИ в сети Интернет, отнесенных к категории ожиданий роста цен (в ближайшие 12 мес.)
Кризисные настроения
Раздел включает один индикатор, отражающий интенсивность упоминаний кризисных процессов в экономике со стороны российского населения. Индикатор сконструирован на основе частотного анализа содержания комментариев и представляет собой число комментариев пользователей сети Интернет с упоминанием экономического кризиса (кризис, рецессия, спад), скорректированное на аналогичную обеспокоенность кризисом со стороны СМИ – среди всех статей в экономических СМИ по теме экономики и экономического роста в каждый период времени.
Основные параметры:
- Тема для отбора новостей: “экономика и экономический рост”. Упоминание слов “экономика”, “экономический” и «ВВП» в различных формах.
- Логика отбора комментариев и новостей, упоминающих кризисные настроения: упоминание слов
кризис, рецессия, спад.
Интенсивность кризисных настроений
Число комментариев пользователей сети Интернет с упоминанием экономического кризиса (кризис, рецессия, спад), скорректированное на аналогичную обеспокоенность кризисом со стороны СМИ – среди всех статей в экономических СМИ по теме экономики и экономического роста в каждый период времени.
Факторы изменения кризисных настроений
Построение индикаторов на подневной основе одновременно с частотным анализом содержания комментариев позволяет определить ключевые триггеры изменения кризисных настроений и проанализировать их структуру в динамике – начиная с 2014 г.
в качестве основных факторов резких изменений кризисных настроений рассматриваются: динамика цен на нефть, курс доллара к рублю, денежно-кредитная политика, внутренняя политика, мировая конъюнктура, инфляция и общая неопределенность экономической ситуации. Указанные факторы охватили 70% комментариев, отнесенных к категории кризисных настроений.
На базе текстового анализа мы рассчитываем показатели вкладов каждого фактора в динамику кризисных настроений. Значение показателя вклада для какого-либо фактора за период t равно числу комментариев с упоминанием указанного фактора, отнесенному к общему числу комментариев с упоминанием всех рассматриваемых факторов в комментариях категории кризисных настроений за период t.
Логика формирования факторов изменения интенсивности кризисных настроений
| Фактор | Описание |
|---|---|
| Курс национальной валюты | Курс валюты (доллар, рубль, евро), девальвация, спекулятивные атаки |
| Цены на сырье | Цены на энергоресурсы (нефть, газ, уголь) и их производные (бензин, топливо, и др.), объемы предложения энергоресурсов и их производных на рынке |
| Денежно-кредитная политика | Банк России (все варианты названий), ключевая процентная ставка, процентные ставки, денежно-кредитная политика |
| Неопределенность экономической ситуации | Неопределенность, противоречивость, нестабильность и др. синонимы |
| Доходы | Доходы, заработная плата, пенсии, индексация доходов |
| Инфляция Инфляция, ди | намика (рост/снижение) цен, индекс потребительских цен |
| Внутренняя политика | Президент, Правительство, Министерства, законодательство, тарифы на услуги ЖКХ, коррупция и воровство, импортозамещение, налогообложение, анти-монопольное регулирование |
| Мировая конъюнктура | Запад, США, Евросоюз, Великобритания, Китай, Украина (включая упоминание лидеров стран и органов денежно-кредитной политики), Крым |
Примечание: описание факторов представляет собой детализацию блоков регулярных выражений, используемых для поиска упоминаний каждого фактора в комментариях читателей крупных экономических СМИ в сети Интернет, отнесенных к категории ожиданий роста цен (в ближайшие 12 мес.)