Впервые члены группы встретились в 2005 году, когда Виаль, Пайен и Делапорт были наняты кинокомпанией для записи саундтрека к немым порнофильмам. Группа была создана через год после встречи с музыкальным продюсером Loïc Barrouk, он проявил интерес к этому проекту, зарегистрировав группу в звукозаписывающей студии и организовав несколько концертов.

Группа получила популярность в интернете благодаря нескольким демо и промозаписям. С 2006 по 2007 год они провели в концертном туре по Франции, также в 2007 году они впервые выступили на музыкальном фестивале, это был Django Reinhardt Jazz Festival. После этого в Парижской студии звукозаписи Wagram Music группа записала свой первый альбом.

20 октября 2008 года был выпущен альбом, названный «Caravan Palace». Альбом получил признание for its traditional jazz inclinations и был включен в некоторые европейские чарты. В Швейцарии альбом занял 72 место, в Бельгии 42. Альбом стал лучшей отечественной группой Франции и занял 11 место в августе 2009 года и оставался во Французском национальном чарте альбомов (Syndicat National de l'Édition Phonographique) на протяжении 69 недель.

Группа выпустила второй официальный сингл «Suzy» 24 февраля 2009 года.

После более чем годичного перерыва 3 октября 2011 года у них вышел мини-альбом Clash. А 5 марта 2012 года группа выпускает второй студийный альбом Panic.

19 июня 2019 на своей официальной странице YouTube группа опубликовала тизер нового альбома «Chronologic», выход которого состоялся 30 августа 2019.

1 марта 2024 состоялся выход альбома «Gangbusters Melody Club» после месяцев волн нескольких тизеров.