C’est  alors  qu’il  est  prisonnier  en  1940  que  Joly  s’attache plus particulièrement à la marionnette. Elle lui permet de faire des spectacles de bric et de broc, avec la complicité des camarades infirmiers. À partir de là, son itinéraire est ce que son fils Sylvestre, qui succèdera  à  Tournaire  au  sein  de  la  troupe,  décrit  comme  une  recherche  constante  de  simplification,  d’économie  de  l’effort  et  du  plaisir  de  vivre  et  de  jouer ⁽⁵⁾.

Entre 1942 et 1946, les premiers spectacles, Le Théâtre du Berger, Le Septième Jour, L'Arche de Noé, La Fille à l'anneau d'or, La Malle à malices, ou encore Polka dans l'île, destinés au jeune public, s'affranchissent progressivement du castelet orné mais sont encore interprétés avec des marionnettes en volume, grandes marottes bricolées à partir de matériaux de récupération, tasseaux, charnières de portes, chutes de tissu. Les têtes sont en papiétage, recouvert de tarlatane et peintes. Mais cet attirail est lourd et encombrant à construire, à manier, à ranger, à réparer. Au fil de longues séances où il semble ne  rien  faire,  lisant  ou  fumant  la  pipe  calé  dans  son  fauteuil,  Joly  se  débarrasse  petit  à  petit  de  tout,  adopte  le  fond  noir  pour  faire  ressortir  les  couleurs,  et ce que Sylvestre appelle « le concept colle limpidol, trombone, punaise et scotch ». Il prend une matière - ce sera d’abord le papier, en 1946 avec Bristol, et plus tard du carton, des ombrelles de crépon, des feuilles de  mousse,  ou  de  la  tôle  -  lui  donne  une  forme,  et  confie la maquette ainsi créée à Tournaire, pour qu’il improvise. Ce dernier est toujours en verve, il propose, ponctuant ses mouvements d’onomatopées cocasses. Joly,  qui  l’admire ⁽⁶⁾, le  laisse  faire,  retient  ce  qui  fonctionne.  Ensemble,  ils  explorent  les  propriétés  du  matériau, ses bruits, sa résistance à l’air, l’expressivité de  ses  tremblements.  Petit  à  petit  le  scénario  et  la  chorégraphie  se  fixent  sur  une  musique  -  il  a  aussi  abandonné le texte. Ils sont quatre derrière la bande du  castelet,  confiant,  selon  les  circonstances,  à  l’un  des six enfants, aux voisins et camarades de passage dans la maison grande ouverte, ou à un grand miroir fixé au plafond, le soin de faire des retours. D’allègements de la partie matérielle du spectacle en stylisations  successives,  par  amour  du  geste,  et  par  plaisanterie,  Joly  en  vient  à  travailler  avec  sa  troupe  sans  plus  manipuler  d’objet  mais  avec  «  les  mains  seules  ».  Un  spectacle  du  même  nom  est  crée  en  1949  à  la  Rose  rouge ⁽⁷⁾. Les  spectacles  ainsi  créés  sont  destinés  aux  adultes,  Joly  refuse  de  faire  des  scolaires ⁽⁸⁾.

5. Entretien avec Sylvestre Joly par Raphaèle Fleury (Figanières, 25 mars 2017), réalisation Stéphane Nota, Pôle International de la Marionnette.

6. Voir le journal tenu par Yves Joly au moment des débuts à la Rose Rouge avec "Les Mains seules", fonds Yves Joly, Pôle International de la Marionnette.

7. C'est le titre du spectacle créé en 1949 à la Rose Rouge, où s'enchaînent des tableaux exécutés au moyen des mains gantées des quatre interprètes : lutte dans "Pugilat", anecdote nudiste avec "Baignade", poésie aquatique dans "Fonds marins", jeux et feux d'artifices dans "Fête foraine". Ce titre, choisi par dérision puisque le fait de ne jouer qu'avec les mains était aussi une provocation, est un clin d'oeil à Sartre (Les Mains sales, paru l'année précédente), salué au cours du spectacle qu'ils introduisaient ainsi : " 'Les Mains seules', de Simone Va-te-faire-voir et que Jean-Paul sorte !" (Témoignage de Sylvestre Joly).

8. Voir la correspondance avec les salles de spectacles et tourneurs, fonds Yves Joly, Pôle International de la Marionnette.