Cette vidéo consacrée à «drone racer» peut être visionné en streaming sur Youtube.
Un contenu proposé par UZH Robotics and Perception Group explorant « drone racer ».
Une publication youtube proposée par UZH Robotics and Perception Group.
dédié à « drone racer »:
En l’explorant récemment, nous avons vu qu’elle générait de l’engagement. Le compteur de Likes indiquait: 2502.
Les éléments clés à retenir sont la durée de la vidéo (00:04:51s), le titre (Champion-level Drone Racing using Deep Reinforcement Learning (Nature, 2023)) et l’auteur, ainsi que la description qui suit :« La course de drones à la première personne (FPV) est un sport télévisé dans lequel les concurrents professionnels pilotent des avions à grande vitesse via un circuit en trois dimensions. Chaque pilote voit l’environnement du point de vue de son drone via une vidéo diffusée à partir d’une caméra embarquée. Atteindre le niveau de pilotes professionnels avec un drone autonome est difficile car le robot doit voler à ses limites physiques tout en estimant sa vitesse et son emplacement dans le circuit exclusivement à partir de capteurs embarqués. Ici, nous présentons Swift, un système autonome qui peut faire la course sur les véhicules physiques au niveau des champions du monde humains. Le système combine un apprentissage en renforcement profond dans la simulation avec des données collectées dans le monde physique. Swift a rivalisé avec trois champions humains, dont les champions du monde de deux ligues internationales, dans des courses en tête-à-tête réelles. Swift a remporté plusieurs courses contre chacun des champions humains et a démontré le temps de course enregistré le plus rapide. Ce travail représente une étape importante pour la robotique mobile et l’intelligence machine, qui peut inspirer le déploiement de solutions basées sur l’apprentissage hybride dans d’autres systèmes physiques. Référence: Elia Kaufmann, Leonard Bauersfeld, Antonio Loquecico, Matthias Müller, Vladlen Koltun, Davide Scaramuzza Champion-Level Drone Racing en utilisant un apprentissage en renforcement profond. Nature, 30 août 2023 doi: 10.1038 / s41586-023-06419-4 PDF: https://www.nature.com/articles/S41586-023-06419-4 Pour voir plus de nos travaux sur le vol et l’apprentissage de la machine, consultez notre page Web: – Racing de drones: https://rpg.ifi.uzh.ch/research_drone_racing.html – Deep Learning: https://rpg.ifi.uzh.ch/research_learning.httml – Agile Flight: https://rpg.ifi.uzh.ch/aggressive_flight.html – Publications du laboratoire: https://rpg.ifi.uzh.ch/publications.html Conseil: Elia Kaufmann, Leonard Bauersfeld, Antonio Loquercio et Davide Scaramuzza sont avec le groupe robotique et perception, Université de Zurich, Switzerland: https://rpg.ifi.uzh.Ch/ Matthias Mül Vladlen Koltun est avec Intel Labs. ».
youtube offre un espace d’expression où chacun peut partager des vidéos sur des thèmes multiples, des réflexions personnelles aux idées novatrices.
Personnalisation, tout en assurant des Performances
En matière de personnalisation, les drones FPV se révèlent très performants. Il est à la disposition de chaque pilote de régler différents éléments, tels que la caméra, les moteurs et les contrôleurs de vol, afin d’adapter l’expérience à ses préférences et besoins spécifiques. Cette flexibilité favorise une amélioration tant de la qualité que de la performance des prises de vue.
Un Pilotage de Haute Précision
La capacité à piloter un drone FPV dépend d’un apprentissage rigoureux. Le FPV, à l’opposé des drones avec stabilisation automatique, requiert un contrôle manuel rigoureux, en particulier dans des conditions de vol difficiles. Avant de passer à des modèles plus avancés, de nombreux pilotes se familiarisent avec des simulateurs de vol ou des drones d’entraînement.
Agilité remarquable du Drone FPV
Parmi les qualités des drones FPV, on trouve leur agilité remarquable. Avec une conception visant une réactivité maximale, ils assurent une maniabilité qui est supérieure à celle des drones traditionnels. Cette fonction est essentielle pour les compétitions et pour la capture d’images dans des espaces restreints, comme les forêts, les montagnes ou les structures urbaines complexes.
En dernier lieu
En pilotant un drone FPV, on découvre une nouvelle dimension du vol. Il fusionne une technologie avancée avec un pilotage minutieux, garantissant des sensations fortes aux passionnés. Que ce soit pour la recherche scientifique, la surveillance environnementale ou les loisirs, ces drones ouvrent de nouvelles horizons, permettant des expériences uniques et une connexion profonde.
Maîtriser un drone FPV demande du temps et de l’entraînement, mais l’expérience en vaut la peine. Contrairement aux drones stabilisés, ces modèles nécessitent un contrôle manuel précis et réactif. Avant de vous lancer,il est essentiel de comprendre les bases et d’investir dans du matériel adapté. Retrouvez les meilleurs conseils pour bien débuter surcette plateforme dédiée.
Le Drone FPV : Une Aventure Aérienne Captivante
L’immersion totale offerte par le drone FPV (First Person View) transforme le paysage du vol télécommandé. Le drone FPV, à la différence des drones traditionnels qui montrent l’environnement sur un écran de contrôle, transmet directement ce qu’il voit au pilote grâce à une caméra intégrée. En temps réel, l’image est envoyée à des lunettes ou un écran, procurant au pilote une impression de vol authentique, comme s’il était dans l’appareil.
Les Fonctions du Drone FPV
Le drone FPV est un incontournable des événements de courses de drones. Ces événements, qui mettent l’accent sur la rapidité et la précision, se déroulent sur des circuits complexes nécessitant une maîtrise totale du pilotage. Avec une capacité d’adaptation hors du commun, les pilotes doivent éviter les obstacles, effectuer des virages serrés et répondre rapidement aux modifications de direction.
En matière de photographie et de vidéographie, ces drones sont également révolutionnaires, au-delà des courses. La souplesse de leur approche leur permet de réaliser des prises de vue spectaculaires dans des environnements inaccessibles ou dans des situations où les méthodes habituelles sont inadaptées. Ils sont couramment utilisés pour enregistrer des scènes d’action, des sports extrêmes, ainsi que pour des productions cinématographiques et des documentaires.
Voici le lien pour regarder cette vidéo sur Youtube :
la publication originale: Cliquer ici
#Championlevel #Drone #Racing #Deep #Reinforcement #Learning #Nature
Retranscription des paroles de la vidéo: drone racing is a thrilling and fast-paced sport in which Pilots control small drones using a live video feed from the drone’s camera the objective is to navigate the predefined course and pass through all of the gates in the correct sequence faster than any of the other competitors it is a test of skill strategy and quick thinking as the pilots must maneuver their drones through the challenging racetrack at high speeds in this work we present Swift the first autonomous system to achieve champion level performance in drone racing Swift won multiple races against the champions of three different drone racing leagues and achieved the fastest recorded race time all of this while only relying on an onboard computer a single camera and an inertial sensor Swift uses visual inertial odometry also known as Vio to estimate its own position velocity and orientation while such an approach produces accurate estimates when operating in near hover conditions these estimates substantially degrade at the speeds encountered during drum racing as shown in green to improve the estimation quality in such agile regimes Swift complements the estimate from the Vio Pipeline with a learning-based detection system that segments racing gates in the images captured by the on-board camera given the position of a gate in the world frame Swift uses the PNP algorithm to triangulate its location the animation shows one or more gates being detected during a flight Swift uses a Kalman filter to combine the estimates from the Vio Pipeline with the pose estimate obtained from the detected Gates the uncertainty of the estimate of the PNP algorithm decreases quadratically with the distance towards a detected gate as a result the variance of the Kalman filter posterior also decreases When approaching a gate racing a drone at high speeds through a complex track requires quick and precise control actions this is especially challenging when using a camera for State estimation which produces noisy estimates of the Drone state to overcome this challenge Swift uses a learning-based control policy that directly Maps noisy State estimates to control commands allowing for rapid and accurate steering of the Drone the control policy is represented by a neural network and is trained via deep reinforcement learning in simulation during the training process the control policy explores the environment using 100 agents in parallel and finds faster and faster paths through the track layout the entire training process takes less than one hour on a normal desktop workstation to prepare the control policy for the noisy and imperfect State estimates available on the real system Swift uses flight data collected in the real world to identify residual models for perception and Dynamics these residual models capture effects that are difficult to model in simulation such as the degradation of the vision-based estimator or turbulent aerodynamic effects Swift uses this augmented simulation to fine-tune the control policy for real-world deployment this results in a highly competitive policy that can cope with the uncertainty of the real system we Benchmark the performance of Swift against some of the best human pilots in the world Swift raced against Alex vanover the 2019 world champion of the Drone Racing League Thomas bitmatta the two-time multi-gp international open World Cup champion and Marvin Shopper the three-time Swiss national champion [Music] When comparing the trajectories flown by the humans and Swift we noticed that the autonomous system is more consistent across laps and is able to take tighter turns [Music] this gives it a decisive advantage in a race Swift won multiple races against each of the human Champions and achieved the fastest recorded race time hey this marks the first time that an autonomous mobile robot has achieved world champion level performance in a real world competitive sport [Music] .
Déroulement de la vidéo:
2.639 drone racing is a thrilling and
2.639 fast-paced sport in which Pilots control
2.639 small drones using a live video feed
2.639 from the drone&;s camera
2.639 the objective is to navigate the
2.639 predefined course and pass through all
2.639 of the gates in the correct sequence
2.639 faster than any of the other competitors
2.639 it is a test of skill strategy and quick
2.639 thinking as the pilots must maneuver
2.639 their drones through the challenging
2.639 racetrack at high speeds
2.639 in this work we present Swift the first
2.639 autonomous system to achieve champion
2.639 level performance in drone racing
2.639 Swift won multiple races against the
2.639 champions of three different drone
2.639 racing leagues and achieved the fastest
2.639 recorded race time
2.639 all of this while only relying on an
2.639 onboard computer a single camera and an
2.639 inertial sensor
2.639 Swift uses visual inertial odometry also
2.639 known as Vio to estimate its own
2.639 position velocity and orientation
2.639 while such an approach produces accurate
2.639 estimates when operating in near hover
2.639 conditions these estimates substantially
2.639 degrade at the speeds encountered during
2.639 drum racing as shown in green
2.639 to improve the estimation quality in
2.639 such agile regimes Swift complements the
2.639 estimate from the Vio Pipeline with a
2.639 learning-based detection system that
2.639 segments racing gates in the images
2.639 captured by the on-board camera
2.639 given the position of a gate in the
2.639 world frame Swift uses the PNP algorithm
2.639 to triangulate its location
2.639 the animation shows one or more gates
2.639 being detected during a flight
2.639 Swift uses a Kalman filter to combine
2.639 the estimates from the Vio Pipeline with
2.639 the pose estimate obtained from the
2.639 detected Gates
2.639 the uncertainty of the estimate of the
2.639 PNP algorithm decreases quadratically
2.639 with the distance towards a detected
2.639 gate
2.639 as a result the variance of the Kalman
2.639 filter posterior also decreases When
2.639 approaching a gate
2.639 racing a drone at high speeds through a
2.639 complex track requires quick and precise
2.639 control actions
2.639 this is especially challenging when
2.639 using a camera for State estimation
2.639 which produces noisy estimates of the
2.639 Drone state
2.639 to overcome this challenge Swift uses a
2.639 learning-based control policy that
2.639 directly Maps noisy State estimates to
2.639 control commands allowing for rapid and
2.639 accurate steering of the Drone
2.639 the control policy is represented by a
2.639 neural network and is trained via deep
2.639 reinforcement learning in simulation
2.639 during the training process the control
2.639 policy explores the environment using
2.639 100 agents in parallel and finds faster
2.639 and faster paths through the track
2.639 layout
2.639 the entire training process takes less
2.639 than one hour on a normal desktop
2.639 workstation
2.639 to prepare the control policy for the
2.639 noisy and imperfect State estimates
2.639 available on the real system Swift uses
2.639 flight data collected in the real world
2.639 to identify residual models for
2.639 perception and Dynamics
2.639 these residual models capture effects
2.639 that are difficult to model in
2.639 simulation such as the degradation of
2.639 the vision-based estimator or turbulent
2.639 aerodynamic effects
2.639 Swift uses this augmented simulation to
2.639 fine-tune the control policy for
2.639 real-world deployment
2.639 this results in a highly competitive
2.639 policy that can cope with the
2.639 uncertainty of the real system
2.639 we Benchmark the performance of Swift
2.639 against some of the best human pilots in
2.639 the world
2.639 Swift raced against Alex vanover the
2.639 2019 world champion of the Drone Racing
2.639 League
2.639 Thomas bitmatta the two-time multi-gp
2.639 international open World Cup champion
2.639 and Marvin Shopper the three-time Swiss
2.639 national champion
2.639 [Music]
2.639 When comparing the trajectories flown by
2.639 the humans and Swift we noticed that the
2.639 autonomous system is more consistent
2.639 across laps and is able to take tighter
2.639 turns
2.639 [Music]
2.639 this gives it a decisive advantage in a
2.639 race
2.639 Swift won multiple races against each of
2.639 the human Champions and achieved the
2.639 fastest recorded race time
2.639 hey
2.639 this marks the first time that an
2.639 autonomous mobile robot has achieved
2.639 world champion level performance in a
2.639 real world competitive sport
2.639 [Music]
.