Reinforcement Learning Trading Bot in Python | Train an AI Agent on Forex (EURUSD)

Summary

In diesem Video wird gezeigt, wie man mit Reinforcement Learning einen KI-Handelsagenten auf historischen EUR/USD-Stundendaten trainiert. Der Agent lernt durch Belohnungen aus Gewinnen und Verlusten, die besten Handelsstrategien zu entwickeln, ähnlich wie ein menschlicher Trader durch Versuch und Irrtum. Das Projekt nutzt mehrere Python-Dateien zur Datenaufbereitung, Erstellung der Handelsumgebung und Trainings- sowie Testprozesse. Technische Indikatoren wie RSI, gleitende Durchschnitte und ATR werden implementiert. Nach dem Training auf Daten von 2020 bis 2023 wird das Modell auf neuen Daten getestet, wobei Anpassungen wie Trainingsschritte, Stop-Loss- und Take-Profit-Optionen die Leistung optimieren können. Ziel ist ein lernfähiger, adaptiver Handelsagent.

Takeaways

• 🤖 Die Strategie nutzt Reinforcement Learning, um einen Trading-Agenten auf historischen Forex-Daten zu trainieren.
• 📊 Der Agent lernt durch Versuch und Irrtum aus Gewinnen und Verlusten, ähnlich wie ein menschlicher Trader.
• 🧠 Wichtige Konzepte sind Agent, Umgebung, Aktionen, Belohnung und Policy (Entscheidungsstrategie).
• 🐶 Das Lernen basiert auf einem Belohnungssystem, vergleichbar mit dem Trainieren eines Hundes durch positive und negative Verstärkung.
• 📈 Als Trainingsdaten werden EUR/USD-Stundenkerzen verwendet, ergänzt durch technische Indikatoren wie RSI, gleitende Durchschnitte und ATR.
• ⚙️ Die Trading-Umgebung wird mit Python und Gym erstellt, wobei der Agent auf Basis der letzten 30 Kerzen Entscheidungen trifft.
• 💰 Die Belohnung wird anhand des Gewinns oder Verlusts eines Trades berechnet und entsprechend positiv oder negativ gewichtet.
• 📉 Unsichere Trades, bei denen Stop-Loss und Take-Profit gleichzeitig erreicht werden könnten, werden konservativ als Verlust gewertet.
• 🧪 Das Modell wird mit dem PPO-Algorithmus aus Stable-Baselines3 trainiert, da dieser gut mit kontinuierlichen und verrauschten Daten umgehen kann.
• ⏱️ Die Anzahl der Trainingsschritte (z. B. 50.000 vs. 10.000) beeinflusst die Performance und kann zu Overfitting führen.
• 🔍 Eine wichtige Evaluierung erfolgt durch Testen auf neuen, ungesehenen Daten, um die Generalisierungsfähigkeit zu prüfen.
• 📉 Gute Ergebnisse auf Trainingsdaten garantieren keine gute Performance auf Testdaten – Overfitting ist ein zentrales Problem.
• 🛠️ Die Performance kann durch zusätzliche Indikatoren, feinere Stop-Loss-/Take-Profit-Werte und bessere Feature-Engineering verbessert werden.
• ⚖️ Mehr Handlungsmöglichkeiten erhöhen die Lernkomplexität und den Rechenaufwand erheblich.
• 🌐 Finanzdaten sind stark verrauscht, was es für das Modell schwierig macht, echte Muster von Zufall zu unterscheiden.
• 🚀 Reinforcement Learning bietet großes Potenzial im Trading, erfordert jedoch sorgfältige Feinabstimmung und Experimentation.

Q & A

Was ist das Hauptziel des in diesem Video vorgestellten Trading-Ansatzes?

Das Hauptziel ist es, einen KI-Agenten mithilfe von Reinforcement Learning auf historischen Daten zu trainieren, damit er eigenständig Handelsentscheidungen trifft und aus Gewinn- und Verlust-Trades lernt, um die besten Handelsmuster zu entwickeln.

Welche Währung und welcher Zeitrahmen werden im Beispiel verwendet?

Im Beispiel wird das Währungspaar Euro/US-Dollar (EUR/USD) auf einem Stunden-Chart verwendet.

Welche fünf Hauptkonzepte liegen dem Reinforcement Learning zugrunde?

Die fünf Hauptkonzepte sind: der Agent (der die Entscheidungen trifft), die Umgebung (in der der Agent agiert), die Aktionen (die der Agent ausführen kann), die Belohnung (positiv oder negativ) und die Policy (die vom Agenten erlernte Strategie zur Zuordnung von Umgebungszuständen zu Aktionen).

Wie wird der Gewinn oder Verlust eines Trades in der Belohnungsfunktion berücksichtigt?

Die Belohnung wird proportional zum Gewinn oder Verlust des Trades berechnet. Positive Trades erhalten eine positive Belohnung, negative Trades eine negative, skaliert mit 10.000, um die Pips-Anzahl des EUR/USD abzubilden.

Welche technischen Indikatoren werden im Beispiel verwendet?

Verwendet werden RSI14, gleitende Durchschnitte (MA20 und MA50), ATR und eine einfache Differenz zweier aufeinanderfolgender gleitender Durchschnitte, die als 'Slope' bezeichnet wird.

Wie sind die möglichen Handelsaktionen des Agenten definiert?

Der Agent kann drei Hauptaktionen ausführen: keine Position eröffnen (0), eine Long-Position eröffnen (1) oder eine Short-Position eröffnen (2), jeweils mit wählbaren Stop-Loss- und Take-Profit-Werten von 60, 90 oder 120 Pips.

Warum wird das Modell auf neuen, ungesehenen Daten getestet?

Das Testen auf neuen Daten dient dazu, die Generalisierungsfähigkeit des Modells zu überprüfen und zu vermeiden, dass es nur die Trainingsdaten überangepasst hat.

Welche Trainingsparameter wurden im Video verwendet, und wie können sie angepasst werden?

Es wurden zunächst 50.000 Zeitschritte verwendet. Diese Zahl kann reduziert werden (z.B. auf 10.000), um Overfitting zu vermeiden und den Trainingsaufwand zu verringern. Außerdem können Stop-Loss- und Take-Profit-Optionen erweitert oder zusätzliche Indikatoren hinzugefügt werden.

Warum eignet sich das PPO-Modell von Stable Baselines 3 für diesen Trading-Ansatz?

PPO ist gut geeignet für kontinuierliche, rauschbehaftete Daten wie den Finanzmarkt, da es agentenbasierte, modellfreie Lernstrategien unterstützt, bei denen der Agent Schritt für Schritt aus der Umgebung lernt.

Welche Verbesserungsmöglichkeiten für den KI-Agenten werden im Video vorgeschlagen?

Mögliche Verbesserungen umfassen: Hinzufügen weiterer oder individueller technischer Indikatoren, mehr Stop-Loss- und Take-Profit-Optionen, Anpassung der Trainingszeitschritte, um Overfitting zu vermeiden, und das Testen verschiedener Trainingsmodelle.

Wie wird die Entwicklung des Kontostandes (Equity Curve) dargestellt?

Die Equity Curve wird durch Aufzeichnen des Kontostands nach jedem Trade erstellt. So kann visuell überprüft werden, ob der Agent durch die Belohnungsanpassungen erfolgreich lernt und die Equity über die Zeit steigt.

Welche Herausforderung wird beim Reinforcement Learning im Trading besonders hervorgehoben?

Die größte Herausforderung ist das Rauschen in den Marktdaten, das es dem Modell erschwert, das echte Trend-Signal zu erkennen und somit konsistente profitable Entscheidungen zu treffen.