In this course, you will learn about several algorithms that can learn near optimal policies based on trial and error interaction with the environment---learning from the agent’s own experience. Learning from actual experience is striking because it requires no prior knowledge of the environment’s dynamics, yet can still attain optimal behavior. We will cover intuitively simple but powerful Monte Carlo methods, and temporal difference learning methods including Q-learning. We will wrap up this course investigating how we can get the best of both worlds: algorithms that can combine model-based planning (similar to dynamic programming) and temporal difference updates to radically accelerate learning.
Dieser Kurs ist Teil der Spezialisierung Spezialisierung Verstärkungslernen
von
University of Alberta
Alberta Machine Intelligence Institute
Spezialisierung VerstärkungslernenUniversity of AlbertaÜber diesen Kurs
102,545 kürzliche Aufrufe
Zertifikat zur Vorlage
Erhalten Sie nach Abschluss ein Zertifikat
100 % online
Beginnen Sie sofort und lernen Sie in Ihrem eigenen Tempo.
Kurs 2 von 4 in
Flexible Fristen
Setzen Sie Fristen gemäß Ihrem Zeitplan zurück.
Stufe „Mittel“
Probabilities & Expectations, basic linear algebra, basic calculus, Python 3.0 (at least 1 year), implementing algorithms from pseudocode
Ca. 28 Stunden zum Abschließen
Englisch
Untertitel: Englisch
Kompetenzen, die Sie erwerben
Artificial Intelligence (AI)Machine LearningReinforcement LearningFunction ApproximationIntelligent Systems
Zertifikat zur Vorlage
Erhalten Sie nach Abschluss ein Zertifikat
100 % online
Beginnen Sie sofort und lernen Sie in Ihrem eigenen Tempo.
Kurs 2 von 4 in
Flexible Fristen
Setzen Sie Fristen gemäß Ihrem Zeitplan zurück.
Stufe „Mittel“
Probabilities & Expectations, basic linear algebra, basic calculus, Python 3.0 (at least 1 year), implementing algorithms from pseudocode
Ca. 28 Stunden zum Abschließen
Englisch
Untertitel: Englisch
von
University of Alberta
UAlberta is considered among the world’s leading public research- and teaching-intensive universities. As one of Canada’s top universities, we’re known for excellence across the humanities, sciences, creative arts, business, engineering and health sciences.
Alberta Machine Intelligence Institute
The Alberta Machine Intelligence Institute (Amii) is home to some of the world’s top talent in machine intelligence. We’re an Alberta-based
Lehrplan - Was Sie in diesem Kurs lernen werden
1 Stunde zum Abschließen
Welcome to the Course!
Welcome to the second course in the Reinforcement Learning Specialization: Sample-Based Learning Methods, brought to you by the University of Alberta, Onlea, and Coursera. In this pre-course module, you'll be introduced to your instructors, and get a flavour of what the course has in store for you. Make sure to introduce yourself to your classmates in the "Meet and Greet" section!
1 Stunde zum Abschließen
2 Videos (Gesamt 10 min), 2 Lektüren
2 Lektüren
Reinforcement Learning Textbook10m
Read Me: Pre-requisites and Learning Objectives10m
4 Stunden zum Abschließen
Monte Carlo Methods for Prediction & Control
This week you will learn how to estimate value functions and optimal policies, using only sampled experience from the environment. This module represents our first step toward incremental learning methods that learn from the agent’s own interaction with the world, rather than a model of the world. You will learn about on-policy and off-policy methods for prediction and control, using Monte Carlo methods---methods that use sampled returns. You will also be reintroduced to the exploration problem, but more generally in RL, beyond bandits.
4 Stunden zum Abschließen
11 Videos (Gesamt 58 min), 2 Lektüren, 1 Quiz
11 Videos
Using Monte Carlo for Prediction6m
Using Monte Carlo for Action Values2m
Using Monte Carlo methods for generalized policy iteration2m
Solving the Blackjack Example3m
Epsilon-soft policies5m
Why does off-policy learning matter?4m
Importance Sampling4m
Off-Policy Monte Carlo Prediction5m
Emma Brunskill: Batch Reinforcement Learning12m
Week 1 Summary3m
2 Lektüren
Weekly Reading40m
Chapter Summary40m
1 praktische Übung
Graded Quiz30m
6 Stunden zum Abschließen
Temporal Difference Learning Methods for Prediction
This week, you will learn about one of the most fundamental concepts in reinforcement learning: temporal difference (TD) learning. TD learning combines some of the features of both Monte Carlo and Dynamic Programming (DP) methods. TD methods are similar to Monte Carlo methods in that they can learn from the agent’s interaction with the world, and do not require knowledge of the model. TD methods are similar to DP methods in that they bootstrap, and thus can learn online---no waiting until the end of an episode. You will see how TD can learn more efficiently than Monte Carlo, due to bootstrapping. For this module, we first focus on TD for prediction, and discuss TD for control in the next module. This week, you will implement TD to estimate the value function for a fixed policy, in a simulated domain.
6 Stunden zum Abschließen
6 Videos (Gesamt 37 min), 1 Lektüre, 2 Quiz
6 Videos
Rich Sutton: The Importance of TD Learning6m
The advantages of temporal difference learning5m
Comparing TD and Monte Carlo5m
Andy Barto and Rich Sutton: More on the History of RL12m
Week 2 Summary2m
1 Lektüre
Weekly Reading40m
1 praktische Übung
Practice Quiz30m
8 Stunden zum Abschließen
Temporal Difference Learning Methods for Control
This week, you will learn about using temporal difference learning for control, as a generalized policy iteration strategy. You will see three different algorithms based on bootstrapping and Bellman equations for control: Sarsa, Q-learning and Expected Sarsa. You will see some of the differences between the methods for on-policy and off-policy control, and that Expected Sarsa is a unified algorithm for both. You will implement Expected Sarsa and Q-learning, on Cliff World.
8 Stunden zum Abschließen
9 Videos (Gesamt 30 min), 2 Lektüren, 2 Quiz
9 Videos
Sarsa in the Windy Grid World3m
What is Q-learning?3m
Q-learning in the Windy Grid World3m
How is Q-learning off-policy?4m
Expected Sarsa3m
Expected Sarsa in the Cliff World3m
Generality of Expected Sarsa1m
Week 3 Summary2m
2 Lektüren
Weekly Reading40m
Chapter summary40m
1 praktische Übung
Practice Quiz30m
Bewertungen
Top-Bewertungen von SAMPLE-BASED LEARNING METHODS
von NG25. Juni 2020
It's an important course in understanding the working of reinforcement learning. Although some important and complex topics are not explored in this course which are mentioned in the textbook.
von MC29. Juni 2020
This course excellent, my only complaint is that there is a 5 attempts limits and a 4 months wait to retry. It seems excesive to me and adds extra pressure when taking on assignments.
von KM9. Jan. 2020
Really great resource to follow along the RL Book. IMP Suggestion: Do not skip the reading assignments, they are really helpful and following the videos and assignments becomes easy.
von KN2. Okt. 2019
Great course! The notebooks are a perfect level of difficulty for someone learning RL for the first time. Thanks Martha and Adam for all your work on this!! Great content!!
Über den Spezialisierung Verstärkungslernen
The Reinforcement Learning Specialization consists of 4 courses exploring the power of adaptive learning systems and artificial intelligence (AI).
Harnessing the full potential of artificial intelligence requires adaptive learning systems. Learn how Reinforcement Learning (RL) solutions help solve real-world problems through trial-and-error interaction by implementing a complete RL solution from beginning to end.
By the end of this Specialization, learners will understand the foundations of much of modern probabilistic artificial intelligence (AI) and be prepared to take more advanced courses or to apply AI tools and ideas to real-world problems. This content will focus on “small-scale” problems in order to understand the foundations of Reinforcement Learning, as taught by world-renowned experts at the University of Alberta, Faculty of Science.
The tools learned in this Specialization can be applied to game development (AI), customer interaction (how a website interacts with customers), smart assistants, recommender systems, supply chain, industrial control, finance, oil & gas pipelines, industrial control systems, and more.
Häufig gestellte Fragen
Wann erhalte ich Zugang zu den Vorträgen und Aufgaben?
Access to lectures and assignments depends on your type of enrollment. If you take a course in audit mode, you will be able to see most course materials for free. To access graded assignments and to earn a Certificate, you will need to purchase the Certificate experience, during or after your audit. If you don't see the audit option:
- The course may not offer an audit option. You can try a Free Trial instead, or apply for Financial Aid.
- The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.
Was bekomme ich, wenn ich diese Spezialisierung abonniere?
Wenn Sie sich für den Kurs anmelden, erhalten Sie Zugriff auf alle Kurse der Spezialisierung und Sie erhalten nach Abschluss aller Arbeiten ein Zertifikat. Ihr elektronisches Zertifikat wird zu Ihrer Seite „Errungenschaften“ hinzugefügt – von dort können Sie Ihr Zertifikat ausdrucken oder es zu Ihrem LinkedIn Profil hinzufügen. Wenn Sie nur lesen und den Inhalt des Kurses anzeigen möchten, können Sie kostenlos als Gast an dem Kurs teilnehmen.
Wie erfolgen Rückerstattungen?
Wenn Sie ein Abonnement abgeschlossen haben, erhalten Sie eine 7-tägige, kostenlose Testversion, die Sie gebührenfrei wieder kündigen können. Danach gewähren wir keine Rückerstattungen mehr, aber Sie können Ihr Abonnement jederzeit kündigen. Lesen Sie unsere vollständige Rückerstattungsrichtlinie.
Ist finanzielle Unterstützung möglich?
Ja, Coursera bietet für Kursteilnehmer, die sich die Kursgebühr nicht leisten können, finanzielle Unterstützung an. Bewerben Sie sich dafür, indem Sie auf den Link für finanzielle Unterstützung links unter der Schaltfläche „Anmelden“ klicken. Sie werden zum Ausfüllen eines Antrags aufgefordert und werden bei Genehmigung benachrichtigt. Diesen Schritt müssen Sie für jeden Kurs der Spezialisierung ausführen, auch für das Abschlussprojekt. Mehr erfahren
Erhalte ich akademische Leistungspunkte für den Abschluss des Kurses?
Für diesen Kurs gibt es keine akademischen Leistungspunkte, doch Hochschulen können nach eigenem Ermessen Leistungspunkte für Kurszertifikate vergeben. Wenden Sie sich an Ihre Einrichtung, um mehr zu erfahren. Online-Abschlüsse und Mastertrack™-Zertifikate auf Coursera bieten die Möglichkeit, akademische Leistungspunkte zu erwerben.
Haben Sie weitere Fragen? Besuchen Sie das Hilfe-Center für Teiln..
