Joshua est l'album qui fait suite à Olympic. Alors que le deuxième album, typiquement, montre souvent ce que les critiques appellent la "maturité", ici Simon a plutôt sorti un album d'adolescence. Le musicien a ouvert sa propre boîte à souvenirs pour contempler ses souvenirs d'enfance, et les dépoussiérer de toute nostalgie. À l'époque, il enregistrait en VHS les films de la télévision et enregistrait les bandes sonores directement sur le haut-parleur de la télévision, afin de pouvoir les écouter danssa chambre. C'est là qu'il a "découvert le pouvoir de la musique, la façon dont elle vous fait entrer dans un autre monde, loin de la réalité. J'ai voulu rendre hommage à l'époque dans laquelle je me suis formé - les années 80 et 90". Tangerine Dream, Kraftwerk et Soft Machine. Logiquement, ce sont les signatures sonores qui semblent hanter l'album."J'utilise une palette musicale qui agit comme un flash-back sur mes films d'adolescence préférés : les sons de synthé de Rencontres du troisième type ; les nappes de synthé des fascinants documentaires de Jean-Jacques Cousteau sur le monde marin ; les mélodies à la manière de François De Roubaix ; les thèmes qui évoquent les bandes-son des séances télévisées de fin de soirée (celles de Verneuil, celles de Belmondo, Depardieu, etc.) ; et les ambiances de science-fiction comme dans Blade Runner.