Ce travail a pour objet l'etude de la stabilite des ensembles tournants lorsque des termes d'amortissement interne (dus aux materiaux) et d'amortissement externe (paliers) sont introduits dans le modele. La majorite des etudes identifiees dans la litterature sont fondees sur des developpements numeriques. La principale difficulte reside dans l'evaluation des parametres physiques de l'amortissement interne qui permettent une prediction des instabilites potentielles avec une precision suffisante. Afin de considerer des proprietes mecaniques reelles en terme d'amortissement interne, un modele rheologique de solide viscoelastique associe a une approche generale elements finis de type poutre est developpee, incluant les effets de cisaillement transverse. Apres une description theorique (choix du modele d'amortissement interne et equations du mouvement), une premiere application valide la methode proposee. L'influence de l'amortissement sur les frequences et les seuils d'instabilite est analysee via une etude parametrique. Les resultats sont compares a ceux obtenus a partir d'une approche analytique et a partir des experimentations en rotation. Une seconde application s'interesse a la stabilite dynamique d'un rotor composite avec prise en compte de l'amortissement avec prise en compte de l'amortissement interne et du cisaillement transverse. Une theorie simplifiee d'homogeneisation de poutre (SHBT : Simplified Homogenized Beam Theory), associee a une formulation elements finis est introduite et utilisee pour evaluer les frequences naturelles et les seuils d'instabilite. Cette theorie est comparee avec d'autres theories issues de la litterature (EMBT : Equivalent Modulus Beam Theory), EMBT modifie et (LBT : Layerwise Beam Theory). Une etude qualitative montre l'influence de differents parametres (orientations, sequences d'empilement, etc. . . ) ainsi que les effets du cisaillement transverse lorsque ce dernier est introduit dans le modele. Les effets associes sont traduits directement en terme de frequences et de seuils d'instabilite de la structure tournante lorsque des empilements symetriques aussi bien qu'asymetriques sont consideres.