Die Wirkung eines Nachrichtenartikels variiert stark zwischen Individuen und Organisationen. Nehmen wir beispielsweise eine Schlagzeile über einen landesweiten Boykott zuckerhaltiger Getränke: Während traditionelle Sentiment-Analysen diese als negativ einstufen, offenbart eine kontextualisierte Sentiment-Analyse (CSA), dass diese Schlagzeile für ein Softdrink-Unternehmen äußerst negativ sein kann, während ein Hersteller von Zucker-Ersatzstoffen wie Stevia darin eine positive Chance sehen könnte.
In unserer neusten Studie untersuchen wir die Fähigkeit großer Sprachmodelle (LLMs) wie GPT-3, GPT-4, Llama2 und Falcon, ökonomische Zusammenhänge zu erfassen. Dies geschieht anhand eines speziell zusammengestellten Datensatzes von Nachrichtenschlagzeilen zu Rohstoffen. Durch den Vergleich ihrer Vorhersagen mit Ground-Truth-Labels, die auf ökonomischen Prinzipien basieren, evaluieren wir, wie effektiv diese Modelle Sentiments in einem breiteren Kontext erfassen.
Unsere Ergebnisse sind sehr aufschlussreich. Die Leistung der LLMs unterscheidet sich deutlich je nach Rohstoff, was auf unterschiedliche Wissensstände zurückzuführen ist, die wahrscheinlich durch Variationen in den Trainingsdaten bedingt sind. Zudem hat das Prompt-Design einen starken Einfluss auf die Wirksamkeit der LLMs – oft erweisen sich allgemein empfohlene Best Practices als weniger effektiv.
Um die vielfältigen Anwendungsmöglichkeiten von CSA in verschiedenen Branchen zu veranschaulichen, betrachten wir einige Beispiele:
Anwendungen im Marketing
Durch CSA können Unternehmen besser verstehen, wie sich aktuelle Nachrichten auf unterschiedliche Marktsegmente auswirken, und ihre Marketingstrategien entsprechend anpassen. Betrachten wir zum Beispiel eine Schlagzeile über einen Durchbruch in der Festkörperbatterie-Technologie, der eine verdreifachte Energiedichte verspricht. Während traditionelle Sentimentanalysen dies als positiv bewerten könnten, ermöglicht CSA eine differenziertere Betrachtung:
- Luxussportwagen-Marken sehen sowohl die Chance, Elektrofahrzeuge mit beeindruckender Reichweite zu entwickeln, als auch die Herausforderung, die gewohnte Geschwindigkeit und Leistung zu bewahren. Ihre Marketingteams können CSA-Erkenntnisse nutzen, um die erweiterte Reichweite zu betonen, während sie gleichzeitig die Begeisterung der Fahrerlebnisse sicherstellen.
- Elektrofahrzeug-Startups, die in aktuelle Lithium-Ionen-Batterietechnologien investiert haben, könnten diese Entwicklung als Bedrohung wahrnehmen. CSA-Tools ermöglichen es ihnen, proaktiv zu agieren, indem sie Kunden versichern, dass ihre aktuellen Modelle nicht sofort veraltet sind, oder indem sie Partnerschaften zur schnellen Integration der neuen Technologie anstreben.
- Anbieter von Batteriekühlsystemen erkennen durch CSA das Risiko der Veralterung ihrer Produkte. Sie könnten daraufhin ihre Strategie anpassen, um neue Kühlungslösungen zu entwickeln, die mit der fortschrittlichen Technologie kompatibel sind, oder ihr Angebot diversifizieren, um sowohl bestehende als auch neue Batterietypen während des Übergangs zu unterstützen.
Anwendungen im Supply-Chain-Management
CSA ist auch im Supply-Chain-Management von großem Nutzen. Konfrontiert mit einer Schlagzeile wie «Dürren beeinträchtigen stark die Kaffeebohnenernten», würde ein traditionelles Sentimentanalyse-Tool dies als negativ einstufen. Eine tiefere Analyse zeigt für Kaffeehäuser potenzielle Preiserhöhungen und Lieferengpässe auf. Im Gegensatz dazu könnten jedoch Tee-Hersteller darin eine Chance sehen, da Verbraucher möglicherweise von Kaffee auf Tee umsteigen. Supply-Chain-Manager, die CSA-Tools nutzen, können solche Nachrichten differenzierter analysieren und entsprechend reagieren. So könnte ein Kaffeehaus-Manager beschließen, die Lieferanten zu diversifizieren oder vor einer Preiserhöhung größere Mengen einzukaufen. Tee-Hersteller wiederum könnten ihre Vertriebsaktivitäten in Regionen verstärken, in denen bisher Kaffee bevorzugt wurde.
Anwendungen im Accounting
Im Bereich Accounting kann eine Schlagzeile wie «Neue Gesetzgebung deckelt Zinssätze für Geschäftskredite» unterschiedlich interpretiert werden. Während eine herkömmliche Sentiment-Analyse dies als neutral bewerten könnte, sehen Banken, die sich auf risikoreiche, hochverzinsliche Kredite spezialisiert haben, dies möglicherweise als negativ, während kleine Unternehmen, die ihre Schulden umschulden möchten, es als positiv betrachten könnten. Accountants, die CSA-Tools nutzen, können die potenziellen finanziellen Auswirkungen solcher Veränderungen besser einschätzen. Banken könnten ihre Finanzprognosen überarbeiten und ihre Risikoportfolios anpassen, während kleine Unternehmen nach günstigeren Kreditbedingungen streben könnten, um ihre finanzielle Situation zu verbessern.
Anwendungen im Finanzwesen
Im Finanzsektor könnte eine Schlagzeile wie «Großes Technologie-Unternehmen sieht sich mit Kartelluntersuchungen konfrontiert» unterschiedliche Reaktionen hervorrufen. Während dies üblicherweise als negativ eingestuft wird, könnten Konkurrenten oder Startups im gleichen Bereich darin eine Marktchance sehen. Investmentanalysten und Portfoliomanager können CSA-Tools nutzen, um ausgefeiltere Anlagestrategien zu entwickeln. Investoren könnten ihre Beteiligungen neu bewerten und möglicherweise ihre Anlagen umschichten, während Konkurrenten oder Startups ihre Marketing- oder Produkt-Entwicklungsaktivitäten intensivieren könnten, um von einem möglichen Marktanteilsgewinn zu profitieren.
Zusammenfassend lässt sich sagen, dass die traditionelle Sentimentanalyse lediglich eine allgemeine Stimmungseinschätzung eines Nachrichtenfragments liefert. Im Gegensatz dazu ermöglicht die kontextualisierte Sentimentanalyse (CSA) eine wesentlich differenziertere Interpretation, die auf spezifische Sektoren und deren einzigartige Dynamiken zugeschnitten ist. CSA berücksichtigt die vielschichtigen Auswirkungen von Nachrichten auf unterschiedliche Branchen und Stakeholder, wodurch sie ein präziseres und relevanteres Werkzeug für die Entscheidungsfindung und strategische Planung in Unternehmen darstellt.
Die vollständigen Details dieser Studie, einschließlich der verwendeten Datensätze, der Gestaltung der Eingabeaufforderungen (Prompts), der eingesetzten Modelle sowie einer umfassenden Analyse der Ergebnisse, finden Sie in unserem Fachartikel:
Breitung, C., Kruthof, G., & Müller, S. (2023, October 27). Contextualized sentiment analysis using large language models. SSRN. https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4615038
Den Originalartikel finden Sie hier: https://www.linkedin.com/pulse/contextualizing-economic-news-how-large-language-models-kruthof-beixe/?trk=public_profile_article_view