Если вам нужна картина будущего, представьте, что вы запрашиваете предсказание у большой языковой модели.
Две группы исследователей недавно сделали это и обнаружили, что большие языковые модели (LLM), такие как ChatGPT и BERT, могут повысить точность прогнозов о фондовом рынке и общественном мнении, по крайней мере, в сравнении с историческими данными.
В статье под названием «Может ли ChatGPT прогнозировать движение цен на акции? Возврат к предсказуемости и моделям большого языка» профессора Университета Флориды Алехандро Лопес-Лира и Юехуа Тан оценили, как ChatGPT OpenAI показал себя при оценке настроения заголовков новостей.
Анализ настроений — определение того, выражает ли текст, такой как заголовок новостей, положительное, нейтральное или отрицательное отношение к предмету или компании — стал широко оцениваемым параметром для алгоритмов количественного анализа, используемых биржевыми трейдерами. Было обнаружено, что он делает прогнозы рынка более точными.
Два ученых из Университета Флориды посмотрели, как работает ChatGPT, когда их попросили оценить настроения, выраженные в заголовках новостей. Когда они сравнили оценку этих новостей, сделанную ChatGPT, с последующей динамикой акций компаний в их выборке, они обнаружили, что модель давала статистически значимые прогнозы, чего нельзя сказать о других LLM.
«Наш анализ показывает, что оценки настроений ChatGPT демонстрируют статистически значимую прогностическую силу в отношении ежедневной доходности фондового рынка», — заявляют они в своей статье.
«Используя данные заголовков новостей и сгенерированные оценки настроений, мы обнаруживаем сильную корреляцию между оценкой ChatGPT и последующей ежедневной доходностью акций в нашей выборке. Этот результат подчеркивает потенциал ChatGPT как ценного инструмента для прогнозирования движений фондового рынка на основе по анализу настроений».
Например, они запросили ChatGPT так:
В документе ChatGPT ответил:
Исследователи интерпретируют это так, что анализ ChatGPT предполагает, что штраф может подтолкнуть продажи Oracle и цену акций.
Как подробно описано в документе, ChatGPT лучше справился с анализом настроений, чем другие LLM, в частности GPT-1, GPT-2 и BERT.
«Превосходство ChatGPT в прогнозировании доходности фондового рынка можно объяснить его расширенными возможностями понимания языка, которые позволяют ему улавливать нюансы и тонкости в заголовках новостей», — заключают исследователи.
«Это позволяет модели генерировать более надежные оценки настроений, что приводит к более точным прогнозам ежедневной доходности фондового рынка».
Однако ваш пробег может варьироваться, то есть вам нужно знать, как устанавливается температурный параметр вашей модели, который влияет на рандомизацию ответа. Когда Регистр сегодня ввели ту же подсказку через бесплатный веб-интерфейс ChatGPT, получили противоположный ответ:
А затем во второй раз, с дополнительным возвратом каретки между подсказкой и заголовком, ответ был таким:
На вопрос об этом Алехандро Лопес-Лира, доцент кафедры финансов Университета Флориды и один из соавторов статьи, предположил, что веб-интерфейс более случайный, чем платный API.
Лопес-Лира сказала Регистр в письме о том, что одного ChatGPT недостаточно для анализа настроений по текущим событиям.
Мы считаем, что у ChatGPT есть много возможностей для улучшения
«Мы думаем, что у ChatGPT есть много возможностей для улучшения», — сказала Лопес-Лира в электронном письме. «ChatGPT, например, не имеет последней информации о COVID или войне. Вот почему мы рассматриваем это как основу того, что могут делать модели. Предоставление большего контекста либо в подсказке, либо путем точной настройки, вероятно, сделает модели лучше прогнозировать. В некотором смысле то, что мы показываем, является нижней границей возможностей».
Анализ настроений сам по себе не является сильным индикатором движения цены акций, хотя он по-прежнему имеет значение для биржевых трейдеров.
«Корреляция очень мала, но статистически значима», — сказал Лопес-Лира.
«Это порядка одного процента. Однако, поскольку это ежедневные корреляции для нескольких акций, они быстро приводят к высокой доходности. Например, (без операционных издержек) это приводит к коэффициенту Шарпа как минимум в два раза больше, чем на рынке».
Он добавил: «Большинство движений на фондовом рынке не связаны с прямыми новостями об основных принципах, а скорее меняют толерантность инвесторов к риску (настроение) или их будущие ожидания. Мы думаем, что добавление контекстной информации о настроении рынка, вероятно, принесет прибыль предсказуемость сильнее».
В отдельной статье «Языковые модели, обученные на медиа-диетах, могут предсказывать общественное мнение» исследователи из Массачусетского технологического института Эрик Чу, Джейкоб Андреас и Деб Рой вместе с исследователем из Гарварда Стивеном Ансолабехером обнаружили большие языковые модели, обученные на конкретных медиа (онлайн-новости, телевидение). передачи или радио) могут предсказать мнения групп, подвергающихся воздействию этих средств массовой информации.
«С помощью «медиа-моделей диеты», — объяснил соавтор Эрик Чу, Google научный сотрудник, который был докторантом Массачусетского технологического института во время исследовательского проекта, через твиттер«мы предсказываем, как группа потребителей медиа будет отвечать на опросы, обучая [language model] на носителях, которые они потребляют».
Эти модели медиа-диеты были основаны на BERT, широко известной большой языковой модели, и были точно настроены с помощью набора данных медиа-диеты.
Авторы говорят, что их работа указывает путь к более точным опросам общественного мнения, но также предлагает дальнейшее изучение того, как СМИ влияют на людей и формируют общественное мнение.
Они выступают за специфический для СМИ анализ диеты, который исследует: «(1) избирательное воздействие или общее системное предубеждение, при котором люди тяготеют к информации, которая соответствует их прежним убеждениям; (2) эхо-камеры, в которых выбранная среда усиливается и укреплять мнения, разделяемые с единомышленниками, и (3) фильтровать пузыри, в которых алгоритмы курирования контента и рекомендаций выявляют элементы на основе прошлого поведения пользователей, снова подтверждая мировоззрение пользователей».
«Модели медийной диеты могут помочь выявить подгруппы населения, подвергающиеся потенциально опасным сообщениям», — предполагают авторы.
Это в лучшем случае. Они также могут оказаться полезными для манипуляторов СМИ для оценки эффективности их кампаний по дезинформации. ®
