financeФинансы: теория и практика/Finance: Theory and PracticeFinance: Theory and Practice2587-56712587-7089Financial University under The Government of Russian Federation10.26794/2587-5671-2021-25-5-215-234finance-1334Research ArticleЭКОНОМИКА СОЦИАЛЬНОЙ СФЕРЫECONOMICS OF SOCIAL SPHEREВозможности интеграции Google Trends и официальной статистики при оценке социальной комфортности и прогнозировании финансового положения населенияProspects for the Integration of Google Trends Data and Official statistics to Assess social Comfort and Predict the Financial situation of the Populationhttps://orcid.org/0000-0002-1947-8640ШаклеинаМ. В.ShakleinaaM. V.

Марина Владиславовна Шаклеина — кандидат экономических наук, доцент

Москва

Мarina V. Shakleina — Cand. Sci. (Econ.), Assoc. Prof., Moscow School of Economics

Moscow

shakleina.mv@gmail.comhttps://orcid.org/0000-0001-8941-0548ВолковаМ. И.VolkovaM. I.

Мария Игоревна Волкова — кандидат экономических наук, лаборатория «Моделирование социально-экономических систем»

Москва

Mariya I. Volkova — Cand. Sci. (Econ.), Head of the Laboratory “Modeling of socio-economic systems”

Moscow

frauwulf@gmail.comhttps://orcid.org/0000-0003-3508-7372ШаклеинК. И.ShakleinK. I.

Константин Игоревич Шаклеин — кандидат экономических наук, главный специалист Департамента экономики

Москва

Konstantin I. Shaklein — Cand. Sci. (Econ.), Chief Specialist of Department of Economics

Moscow

mrshaklein@gmail.comhttps://orcid.org/0000-0003-2365-8043ЯкироС. Р.YakiroS. R.

Станислав Ростилавович Якиро — главный специалист Дирекции по рискам и анализу экономической эффективности

Москва

Stanislav R. Yakiro — Chief Specialist of Department of Risk and Economic Performance Analysis

Moscow

yakirosr@yandex.ruМосковская школа экономики МГУ имени М. В. ЛомоносоваРоссияLomonosov Moscow State UniversityRussian FederationРЭУ им. Г. В. ПлехановаРоссияPlekhanov Russian University of EconomicsRussian FederationОткрытое акционерное общество «Российские железные дороги»РоссияOJSC “Russian Railways”Russian FederationАкционерное общество «Страховое общество газовой промышленности»РоссияJSC “SOGAZ”Russian Federation202128102021255215234Copyright © Шаклеина М.В., Волкова М.И., Шаклеин К.И., Якиро С.Р., 20212021Шаклеина М.В., Волкова М.И., Шаклеин К.И., Якиро С.Р.Shakleinaa M.V., Volkova M.I., Shaklein K.I., Yakiro S.R.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://financetp.fa.ru/jour/article/view/1334

Целью исследования является развитие теории статистического наблюдения в части научно-методологических подходов к обработке больших данных и определение возможностей интеграции информационных ресурсов различного типа в отношении измерения сложных латентных категорий (на примере социальной комфортности), применение данного опыта на практике посредством использования в прогнозировании индикаторов финансового состояния. Авторами построена модель социальной комфортности, в которой выбор весов для ее компонентов осуществляется на основе метода модифицированной главной компоненты. Оценка произведена с использованием данных Google Trends и официальной статистики. Методы анализа данных Google Trends базируются на разработке комплексного подхода к семантическому поиску информации о компонентах социальной комфортности, снижающего долю авторского субъективизма; методологии первичной обработки с учетом принципов сопоставимости, однородности, согласуемости, релевантности, описание функций и моделей, необходимых для отбора и корректировки поисковых запросов. Предложенный алгоритм работы с большими данными позволил определить компоненты социальной комфортности («Образование и обучение», «Безопасность», «Отдых и свободное время»), по которым необходимо произвести непосредственное встраивание больших данных в систему первичного статистического учета с дальнейшей обработкой данных и получением композитных показателей. Сделан вывод, что по компоненте «Финансовое положение» найдена устойчивая значимая корреляция, что позволяет использовать ее для дальнейших расчетов и экстраполяции показателей финансового состояния. Научная новизна состоит в разработке принципов и направлений интеграции двух альтернативных источников данных в оценке сложных латентных категорий. Полученные выводы и результаты интегральной оценки социальной комфортности могут быть использованы органами государственной статистики по формированию нового вида непрерывного статистического наблюдения на основе использования больших данных, а также исполнительной власти на федеральном, региональном и муниципальном уровнях в части определения приоритетов разрабатываемой социально-экономической политики.

This paper aims to develop a theory of statistical observation in terms of scientific and methodological approaches to processing big data and to determine the possibilities of integrating information resources of various types to measure complex latent categories (using the example of social comfort) and to apply this experience in practice through the use of the financial situation indicators in forecasting. The authors have built a social comfort model in which the choice of weights for its components is based on a modified principal component analysis. The assessment is based on Google Trends data and official statistics. Google Trends data analysis methods are based on the development of an integrated approach to the semantic search for information about the components of social comfort, which reduces the share of author’s subjectivity; methodology of primary processing, considering the principles of comparability, homogeneity, consistency, relevance, description of functions and models necessary for the selection and adjustment of search queries. The proposed algorithm for working with big data allowed to determine the components of social comfort (“Education and Training”, “Safety”, “Leisure and free time”), for which it is necessary to directly integrate big data in the system of primary statistical accounting with further data processing and obtaining composite indicators. The authors conclude that a stable significant correlation has been found for the “Financial Situation” component, which makes it possible to use it for further calculations and extrapolation of financial indicators. The scientific novelty lies in the development of principles and directions for the integration of two alternative data sources when assessing complex latent categories. The findings and the results of the integral assessment of social comfort can be used by state statistics authorities to form a new type of continuous statistical observation based on the use of big data, as well as by executive authorities at the federal, regional and municipal levels in terms of determining the priorities of socio-economic policy development.

социальная комфортностьблагосостояние населениягармонизация информационных ресурсовофициальная статистикаGoogle Trendsинтегральный индикаторsocial comfortwell-beingharmonization of information resourcesoffcial statisticsGoogle Trendsintegral indicatorИсследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20–310– 70037 «Стабильность». Московская школа экономики МГУ им. М.В. Ломоносова, Москва, РоссияThe reported study was funded by RFBR, project No. 20–310–70037 “Stability”. Lomonosov Moscow State University, Moscow, RussiaReferencesLiu J., Li J., Li W., Wu J. Rethinking big data: A review on the data quality and usage issues. ISPRS Journal of Photogrammetry and Remote Sensing. 2016;115:134–142. DOI: 10.1016/j.isprsjprs.2015.11.006Liu J., Li J., Li W., Wu J. Rethinking big data: A review on the data quality and usage issues. ISPRS Journal of Photogrammetry and Remote Sensing. 2016;115:134–142. DOI: 10.1016/j.isprsjprs.2015.11.006Algan Y., Beasley E., Guyot F., Higa K., Murtin F., Senik C. Big data measures of well-being: Evidence from a Google well-being index in the United States. OECD Statistics Working Papers. 2016;(03). URL: https://www.oecd-ilibrary.org/docserver/5jlz9hpg0rd1-en.pdf?expires=1629818036&id=id&accname=guest&checksum=7ED 855395D 5B 778D 71E 405ED 1925ECE 3Algan Y., Beasley E., Guyot F., Higa K., Murtin F., Senik C. Big data measures of well-being: Evidence from a Google well-being index in the United States. OECD Statistics Working Papers. 2016;(03). URL: https://www.oecd-ilibrary.org/docserver/5jlz9hpg0rd1-en.pdf?expires=1629818036&id=id&accname=guest&checksum=7ED 855395D 5B 778D 71E 405ED 1925ECE 3Фантаццини Д., Шаклеина М.В., Юрас Н.А. Big Data в определении социального самочувствия населения России. Прикладная эконометрика. 2018;50:43–66.Fantazzini D., Shakleina M., Yuras N. Big data for computing social well-being indices of the Russian population. Prikladnaya ekonometrika = Applied Econometrics. 2018;50:43–66. (In Russ.).Carlquist E., Nafstad H.E., Blakar R.M., Ulleberg P., Delle Fave A., Phelps J.M. Well-being vocabulary in media language: An analysis of changing word usage in Norwegian newspapers. The Journal of Positive Psychology. 2017;12(2):99–109. DOI: 10.1080/17439760.2016.1163411Carlquist E., Nafstad H.E., Blakar R.M., Ulleberg P., Delle Fave A., Phelps J.M. Well-being vocabulary in media language: An analysis of changing word usage in Norwegian newspapers. The Journal of Positive Psychology. 2017;12(2):99–109. DOI: 10.1080/17439760.2016.1163411Curini L., Iacus S., Canova L. Measuring idiosyncratic happiness through the analysis of Twitter: An application to the Italian case. Social Indicators Research. 2015;121(2):525–542. DOI: 10.1007/s11205–014–0646–2Curini L., Iacus S., Canova L. Measuring idiosyncratic happiness through the analysis of Twitter: An application to the Italian case. Social Indicators Research. 2015;121(2):525–542. DOI: 10.1007/s11205–014–0646–2Prata D.N., Soares K.P., Silva M.A., Trevisan D.Q., Letouze P. Social data analysis of Brazilian’s mood from Twitter. International Journal of Social Science and Humanity. 2016;6(3):179–183. DOI: 10.7763/IJSSH.2016.V6.640Prata D.N., Soares K.P., Silva M.A., Trevisan D.Q., Letouze P. Social data analysis of Brazilian’s mood from Twitter. International Journal of Social Science and Humanity. 2016;6(3):179–183. DOI: 10.7763/IJSSH.2016.V6.640Nguyen Q.C., Kath S., Meng H.-W., Li D., Smith K.R., VanDerslice J.A., Wen M., Li F. Leveraging geotagged Twitter data to examine neighborhood happiness, diet, and physical activity. Applied Geography. 2016;73(8):77–88. DOI: 10.1016/j.apgeog.2016.06.003Nguyen Q.C., Kath S., Meng H.-W., Li D., Smith K.R., VanDerslice J.A., Wen M., Li F. Leveraging geotagged Twitter data to examine neighborhood happiness, diet, and physical activity. Applied Geography. 2016;73(8):77–88. DOI: 10.1016/j.apgeog.2016.06.003Yang C., Srinivasan P. Life satisfaction and the pursuit of happiness on Twitter. PLoS ONE. 2016;11(3): e0150881. DOI: 10.1371/journal.pone.0150881Yang C., Srinivasan P. Life satisfaction and the pursuit of happiness on Twitter. PLoS ONE. 2016;11(3): e0150881. DOI: 10.1371/journal.pone.0150881Wang W., Hernancez I., Newman D.A., He J., Bian J. Twitter analysis: Studying US weekly trends in work stress and emotion. Applied Psychology. 2016;65(2):355–378. DOI: 10.1111/apps.12065Wang W., Hernancez I., Newman D.A., He J., Bian J. Twitter analysis: Studying US weekly trends in work stress and emotion. Applied Psychology. 2016;65(2):355–378. DOI: 10.1111/apps.12065Liu P., Tov W., Kosinski M., Stillwell D.J., Qui L. Do Facebook status updates reflect subjective well-being? Cyberpsychology, Behavior, and Social Networking. 2015;18(7):373–379. DOI: 10.1089/cyber.2015.0022Liu P., Tov W., Kosinski M., Stillwell D.J., Qui L. Do Facebook status updates reflect subjective well-being? Cyberpsychology, Behavior, and Social Networking. 2015;18(7):373–379. DOI: 10.1089/cyber.2015.0022LiKamWa R., Liu Y., Lane N. D., Zhong L. MoodScope: Building a mood sensor from smartphone usage patterns. In: Proc. 11th Annu. int. conf. on mobile systems, applications, and services (MobiSys). (Taipei, June 25–28). New York: ACM; 2013:389–402. DOI: 10.1145/2462456.2464449LiKamWa R., Liu Y., Lane N. D., Zhong L. MoodScope: Building a mood sensor from smartphone usage patterns. In: Proc. 11th Annu. int. conf. on mobile systems, applications, and services (MobiSys). (Taipei, June 25–28). New York: ACM; 2013:389–402. DOI: 10.1145/2462456.2464449Schwartz H.A., Sap M., Kern M. L., Eichstaedt J. C., Kapelner A., Agrawal M., Ungar L. H. et al. Predicting individual well-being through the language of social media. In: Proc. Pacifc symp. on biocomputing (PSB). (Big Island of Hawaii, Jan. 4–8, 2016). Singapore: World Scientifc Publishing Co.; 2016:516–527.Schwartz H.A., Sap M., Kern M. L., Eichstaedt J. C., Kapelner A., Agrawal M., Ungar L. H. et al. Predicting individual well-being through the language of social media. In: Proc. Pacifc symp. on biocomputing (PSB). (Big Island of Hawaii, Jan. 4–8, 2016). Singapore: World Scientifc Publishing Co.; 2016:516–527.Da Z., Engelberg J., Gao P. The sum of all FEARS investor sentiment and asset prices. The Review of Financial Studies. 2015;28(1):1–32. DOI: 10.1093/rfs/hhu072Da Z., Engelberg J., Gao P. The sum of all FEARS investor sentiment and asset prices. The Review of Financial Studies. 2015;28(1):1–32. DOI: 10.1093/rfs/hhu072Singer E. The use of incentives to reduce nonresponse in household surveys. The University of Michigan. Survey Methodology Program. 2002;(051). URL: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.611.1597&rep=rep1&type=pdfSinger E. The use of incentives to reduce nonresponse in household surveys. The University of Michigan. Survey Methodology Program. 2002;(051). URL: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.611.1597&rep=rep1&type=pdfGinsberg J., Mohebbi M.H., Patel R.S., Brammer L., Smolinski M.S., Brilliant L. Detecting influenza epidemics using search engine query data. Nature. 2009;457(7232):1012–1014. DOI: 10.1038/nature07634Ginsberg J., Mohebbi M.H., Patel R.S., Brammer L., Smolinski M.S., Brilliant L. Detecting influenza epidemics using search engine query data. Nature. 2009;457(7232):1012–1014. DOI: 10.1038/nature07634Упадхьяя Ш. Большие данные и официальная статистика. Вопросы статистики. 2019;26(12):5–14. DOI: 10.34023/2313–6383–2019–26–12–5–14Upadhyaya S. Big data and official statistics. Voprosy statistiki. 2019;26(12):5–14. (In Russ.). DOI: 10.34023/2313–6383–2019–26–12–5–14Оксенойт Г.К. Цифровая повестка, большие данные и официальная статистика. Вопросы статистики. 2018;25(1):3–16.Oksenoyt G.K. Digital agenda, big data and offcial statistics. Voprosy statistiki. 2018;25(1):3–16. (In Russ.).Плеханов Д.А. Большие данные и официальная статистика: обзор международной практики внедрения новых источников данных. Вопросы статистики. 2017;(12):49–60.Plekhanov D.A. Bigdata and offcial statistics: A review of international experience with integration of new data sources. Voprosy statistiki. 2017;(12):49–60. (In Russ.).Шаклеина М.В., Волкова М.И., Шаклеин К.И., Якиро С.Р. Теоретические и методологические проблемы измерения социальной комфортности: результаты эмпирического анализа на российских данных. Экономические и социальные перемены: факты, тенденции, прогноз. 2020;13(5):135–152. DOI: 10.15838/esc.2020.5.71.8Shakleina M.V., Volkova M. I., Shaklein K. I., Yakiro S. R. Theoretical and methodological problems of measuring social comfort: Results of empirical analysis based on Russian data. Economic and Social Changes: Facts, Trends, Forecast. 2020;13(5):135–152. DOI: 10.15838/esc.2020.5.71.8Петрова Д.А. Прогнозирование инфляции на основе интернет-запросов. Экономическое развитие Рос сии. 2019;26(11):55–62.Petrova D.A. Inflation forecasting based on Internet search queries. Ekonomicheskoe razvitie Rossii = Russian Economic Developments. 2019;26(11):55–62. (In Russ.).Guzmán G. Internet search behavior as an economic forecasting tool: The case of inflation expectations. Journal of Economic and Social Measurement. 2011;36(3):119–167. DOI: 10.3233/JEM-2011–0342Guzmán G. Internet search behavior as an economic forecasting tool: The case of inflation expectations. Journal of Economic and Social Measurement. 2011;36(3):119–167. DOI: 10.3233/JEM-2011–0342Afkhami M., Cormack L., Ghoddusi H. Google search keywords that best predict energy price volatility. Energy Economics. 2017;67:17–27. DOI: 10.1016/j.eneco.2017.07.014Afkhami M., Cormack L., Ghoddusi H. Google search keywords that best predict energy price volatility. Energy Economics. 2017;67:17–27. DOI: 10.1016/j.eneco.2017.07.014Tetlock P. C. Giving content to investor sentiment: The role of media in the stock market. The Journal of Finance. 2007;62(3):1139–1168. DOI: 10.1111/j.1540–6261.2007.01232.xTetlock P. C. Giving content to investor sentiment: The role of media in the stock market. The Journal of Finance. 2007;62(3):1139–1168. DOI: 10.1111/j.1540–6261.2007.01232.xBrochado A. Google search-based sentiment indexes. IIMB Management Review. 2020;32(3):325–335. DOI: 10.1016/j.iimb.2019.10.015Brochado A. Google search-based sentiment indexes. IIMB Management Review. 2020;32(3):325–335. DOI: 10.1016/j.iimb.2019.10.015Dunphy D. C., Bullard C. G., Crossing E. E.M. Validation of the general inquirer Harvard IV dictionary. Cambridge, MA: Harvard University Library; 1974. 158 p.Dunphy D. C., Bullard C. G., Crossing E. E.M. Validation of the general inquirer Harvard IV dictionary. Cambridge, MA: Harvard University Library; 1974. 158 p.Kelly E.F., Stone P.J. Computer recognition of English word senses. Amsterdam: North-Holland; 1975. 269 p.Kelly E.F., Stone P.J. Computer recognition of English word senses. Amsterdam: North-Holland; 1975. 269 p.Zuell C., Weber R.P., Mohler P.P. Computer-aided text classifcation for the social sciences: The General Inquirer III. Mannheim: ZUMA, Center for Surveys, Research and Methodology; 1989.Zuell C., Weber R.P., Mohler P.P. Computer-aided text classifcation for the social sciences: The General Inquirer III. Mannheim: ZUMA, Center for Surveys, Research and Methodology; 1989.Scott S.L., Varian H.R. Bayesian variable selection for nowcasting economic time series. NBER Working Paper. 2013;(19567). URL: https://www.nber.org/system/fles/working_papers/w19567/w19567.pdfScott S.L., Varian H.R. Bayesian variable selection for nowcasting economic time series. NBER Working Paper. 2013;(19567). URL: https://www.nber.org/system/fles/working_papers/w19567/w19567.pdfKapounek S., Deltuvaitė V., Koráb P. Determinants of foreign currency savings: Evidence from Google search data. Procedia — Social and Behavioral Sciences. 2016;220:166–176. DOI: 10.1016/j.sbspro.2016.05.481Kapounek S., Deltuvaitė V., Koráb P. Determinants of foreign currency savings: Evidence from Google search data. Procedia — Social and Behavioral Sciences. 2016;220:166–176. DOI: 10.1016/j.sbspro.2016.05.481Bokelmann B., Lessmann S. Spurious patterns in Google Trends data — An analysis of the effects on tourism demand forecasting in Germany. Tourism Management. 2019;75:1–12. DOI: 10.1016/j.tourman.2019.04.015Bokelmann B., Lessmann S. Spurious patterns in Google Trends data — An analysis of the effects on tourism demand forecasting in Germany. Tourism Management. 2019;75:1–12. DOI: 10.1016/j.tourman.2019.04.015Google Trends help — how Trends data is adjusted. Google 2018. URL: https://support.google.com/trends/answer/4365533?hl=en&ref_topic=6248052 (accessed on 23.04.2018).Google Trends help — how Trends data is adjusted. Google 2018. URL: https://support.google.com/trends/answer/4365533?hl=en&ref_topic=6248052 (accessed on 23.04.2018).Cleveland R.B., Cleveland W.S., McRae J.E., Terpenning I. STL: A seasonal-trend decomposition procedure based on loess. Journal of Offcial Statistics. 1990;6(1):3–73. URL: https://www.wessa.net/download/stl.pdfCleveland R.B., Cleveland W.S., McRae J.E., Terpenning I. STL: A seasonal-trend decomposition procedure based on loess. Journal of Offcial Statistics. 1990;6(1):3–73. URL: https://www.wessa.net/download/stl.pdfПетрова Д.А., Трунин П.В. Выявление настроений экономических агентов на основе поисковых запросов. Прикладная эконометрика. 2020;(3):71–87. DOI: 10.22394/1993–7601–2020–59–71–87Petrova D.A. Trunin P.V. Revealing the mood of economic agents based on search queries. Prikladnaya ekonometrika = Applied Econometrics. 2020;(3):71–87. (In Russ.). DOI: 10.22394/1993–7601–2020–59–71–87Parker J., Cuthbertson C., Loveridge S., Skidmore M., Dyar W. Forecasting state-level premature deaths from alcohol, drugs, and suicides using Google Trends data. Journal of Affective Disorders. 2017;213:9–15. DOI: 10.1016/j.jad.2016.10.038Parker J., Cuthbertson C., Loveridge S., Skidmore M., Dyar W. Forecasting state-level premature deaths from alcohol, drugs, and suicides using Google Trends data. Journal of Affective Disorders. 2017;213:9–15. DOI: 10.1016/j.jad.2016.10.038Айвазян С.А. Анализ качества и образа жизни населения. М.: Наука; 2012. 432 с.Ayvazyan S.A. Analysis of the quality and lifestyle of the population. Moscow: Nauka; 2012. 432 p. (In Russ.).Миндели Л.Э., Пашинцева Н.И. Российская система образования и ее отражение в статистике. Вопросы статистики. 2016;(11):67–84.Mindeli L.E., Pashinceva N.I. Russian education system and how it is reflected in statistics. Voprosy statistiki. 2016;(11):67–84. (In Russ.).Chan K.L. Intelligence Capital Index. 2017. URL: http://www.kailchan.ca/wp-content/uploads/2017/04/KC_Intelligence-Capital-Index-full-results-and-methodology_Apr-2017_v2.pdfChan K.L. Intelligence Capital Index. 2017. URL: http://www.kailchan.ca/wp-content/uploads/2017/04/KC_Intelligence-Capital-Index-full-results-and-methodology_Apr-2017_v2.pdfСатаров Г.А., Благовещенский Ю.Н. Статистическое сравнение России и других стран. Комитет гражданских инициатив. Фонд ИНДЕМ. URL: https://komitetgi.ru/upload/iblock/3cf/3cfcb375eced922f253c446a4b37645b.pdfSatarov G.A., Blagoveshchenskii Yu.N. Statistical comparison of Russia and other countries. Civil Initiatives Committee. INDEM Foundation. URL: https://komitetgi.ru/upload/iblock/3cf/3cfcb375eced922f253c446a4b37645b.pdf (In Russ.).Иншаков С.М. Теоретические основы исследования и анализа латентной преступности. М.: ЮНИТИДАНА; 2011. 839 c.Inshakov S.M. Theoretical foundations of research and analysis of latent crime. Moscow: UNITY-DANA; 2011. 839 p. (In Russ.).

The authors declare that there are no conflicts of interest present.