Mesurez les performances de la virtualisation avec le premier test de performance de l'industrie

VMmark est le premier test de performance spécifiquement conçu pour quantifier et mesurer les performances des environnements virtualisés. Il propose une structure en mosaïque novatrice pour la mesure de l’évolutivité des charges de travail consolidées et offre une méthodologie cohérente qui capture à la fois l’évolutivité globale et les performances individuelles des applications.

Le test de performance VMmark s’appuie sur l’expertise de VMware en termes de performances de virtualisation. Il intègre des charges de travail plébiscitées provenant des catégories d’applications les plus représentées dans les datacenters des clients.

Les tests de performance de serveurs classiques utilisés actuellement n’ont été conçus dans l’optique ni des machines virtuelles, ni d’une consolidation de serveurs et permettent de mesurer les performances d’une seule charge de travail par utilisateur. Ces tests de performance ne capturent pas le comportement du système induit par plusieurs machines virtuelles et ne fournissent pas un aperçu suffisant de l’évolutivité des environnements virtuels prenant en charge différentes charges de travail simultanées sur le même serveur.

Les entreprises qui mettent en place ou évaluent actuellement des plates-formes de virtualisation ont également besoin d’un test de performance plus réaliste et plus spécialisé afin de comparer les performances et l’évolutivité de différentes plates-formes de virtualisation, de choisir le matériel qu’il leur faut et de mesurer les performances de leurs plates-formes de façon continue.

Il est évident qu’une approche plus élaborée est nécessaire pour quantifier les performances d’un environnement virtualisé et pour développer des mesures parlantes et précises afin de comparer de façon efficace l’adéquation et les performances de différentes plates-formes matérielles pour des environnements virtuels. Il est également nécessaire d’établir une charge de travail et une méthodologie commune aux différents systèmes virtualisés afin de pouvoir comparer les résultats des tests réalisés sur les différentes plates-formes de virtualisation.

Un test de performance de machines virtuelles doit non seulement capturer les principales caractéristiques de performance des systèmes virtuels, mais aussi utiliser des charges de travail réalistes et variées qui s’exécutent sur différents systèmes d’exploitation. En outre, il faut définir une mesure unique et simple d’emploi tout en s’assurant que le test de performance est représentatif des différents environnements d’utilisateurs. La spécification du test de performance ne doit pas être spécifique d’une plate-forme donnée et doit permettre de mesurer l’évolutivité de façon méthodique afin que le même test de performance puisse être utilisé aussi bien pour les petits serveurs que pour les grands serveurs de différents fournisseurs de matériel.

VMware a rapidement pris conscience qu’un test de performance était nécessaire dans le domaine de la virtualisation, de plus en plus de clients réclamant des outils de mesure permettant de comparer différentes plates-formes et configurations matérielles pour exécuter leurs environnements virtualisés.

VMmark fournit un moyen standard de comparer des plates-formes que les clients attendent des logiciels d’entreprise.

VMware travaille activement pour proposer des tests de performance de virtualisation aux standards ouverts. En octobre 2006, SPEC a formé un groupe de travail pour développer un test de performance standard permettant de mesurer les performances des systèmes de virtualisation. Ce groupe de travail a été formé à la demande de VMware. En mars 2007, le groupe de travail a accepté les objectifs de conception et le plan du projet et a pu devenir un sous-comité. Paula Smith de VMware dirigeait ce groupe de travail et continue à présider le sous-comité. Nous participons activement au sous-comité, aux côtés de nombreux partenaires et de quelques concurrents. Voici quelques-uns des participants actuels : AMD, Dell, Fujitsu Siemens, Hewlett-Packard, Intel, IBM, Microsoft, Red Hat, Sun Microsystems, SWsoft et VMware. Pour plus d’informations sur le sous-comité, visitez cette page Web (en anglais) : http://www.spec.org/specvirtualization/

Il a fallu presque deux ans d’ingénierie pour concevoir et implémenter le test de performance, pour finalement arriver à une version bêta en décembre 2006 et à la version bêta publique actuelle (lancée en juillet 2007) dans le cadre du cycle normal de lancement des produits de VMware.

Afin de créer un test de performance fiable et robuste qui représente réellement les environnements de ses clients, VMware a tenu compte d’un grand nombre de résultats d’enquêtes auprès de ses clients pour comprendre quels types d’applications et de configurations s’exécutent généralement dans des environnements virtualisés. VMware a aussi travaillé en étroite collaboration avec ses partenaires afin de concevoir et d’implémenter le test de performance sur différentes plates-formes logicielles et matérielles. Tout au long du développement du test de performance, VMware a aussi évalué de nombreuses charges de travail et mené des centaines d’expériences pour s’assurer de la fiabilité et de la robustesse du test de performance.

Une mosaïque est une collection de six charges de travail différentes exécutant en parallèle des logiciels spécifiques.  Fonctionnant sur l’un des deux systèmes d’exploitation distincts, chaque charge de travail exécute sa propre machine virtuelle, ainsi que les applications que l’on trouve dans tous les datacenters au monde.  Une mosaïque inclut un serveur Web, un serveur de fichiers, un serveur de messagerie, une base de données, un serveur Java et une machine inactive.

Chaque machine virtuelle d’une mosaïque ne doit utiliser qu’une infime partie des ressources totales du système.  Sous forme de mosaïque, le regroupement des six charges de travail n’utilise normalement pas la capacité totale des serveurs modernes.  La saturation complète des ressources d’un système et la mesure précise des performances des serveurs avec VMmark nécessitent donc l’exécution simultanée de différentes mosaïques.

VMmark est un test de performance conçu sous forme de mosaïque qui comprend un ensemble varié de charges de travail courantes dans un datacenter : serveur de bases de données, serveurs de fichiers, serveur Web et serveur Java. Les charges de travail constituant chaque mosaïque s’exécutent simultanément sur des machines virtuelles distinctes aux niveaux de charge habituels des environnements virtualisés. Les performances de chaque charge de travail sont mesurées, puis associées aux autres charges de travail pour former le score d’une mosaïque. Plusieurs mosaïques peuvent être exécutées simultanément pour accroître le score global.

Cette approche permet de refléter les petites hausses de performances système grâce à des scores accrus au sein d’une mosaïque unique et de capturer les gains de capacité plus importants grâce à l’ajout de mosaïques supplémentaires. (Le travail futur présentera des données afin de démontrer la capacité de plusieurs mosaïques à mesurer les performances de systèmes multiprocesseurs plus importants à l’aide d’un score de référence bien défini.)

Chaque charge de travail d’une mosaïque VMmark ne doit pas utiliser la globalité de la machine virtuelle associée. Néanmoins, les performances de chaque charge de travail peuvent varier dans la mesure de la vitesse et des capacités du système sous-jacent. Par exemple, les charges de travail centrées sur le disque peuvent répondre à l’ajout d’une baie de disques avec un score plus favorable. Ces variations peuvent capturer des améliorations du système qui ne garantissent pas l’ajout d’une autre mosaïque. Pourtant, l’accélération des charges de travail entraînera l’utilisation de mosaïques supplémentaires pour de grandes avancées dans les performances système. Lorsqu’on augmente le nombre de mosaïques, il se peut que les charges de travail des mosaïques existantes enregistrent des performances inférieures. Néanmoins, si le système n’a pas été  surdimensionné, le score global, comprenant la nouvelle mosaïque, devrait augmenter. Résultat : un test de performance flexible qui fournit une mesure relative du nombre de charges de travail qui peuvent être prises en charge par un système spécifique, ainsi que le niveau de performances global au sein des machines virtuelles.

VMmark se veut un outil utile aux fournisseurs de matériel, aux intégrateurs de systèmes et aux clients pour leur évaluation des performances de leurs systèmes. Nombre de clients n’exécuteront pas le test eux-mêmes, mais feront plutôt appel aux résultats VMmark de leurs fournisseurs de matériel pour prendre leurs décisions d’achat et de configuration relatives à leur infrastructure de virtualisation.

L’objectif principal de VMmark est de comparer les performances de différentes plates-formes et configurations matérielles. Les entreprises qui mettent en place ou évaluent actuellement des plates-formes de virtualisation utiliseront VMmark pour comparer les performances et l’évolutivité de différentes plates-formes de virtualisation et pourront ainsi faire le bon choix et mesurer les performances de leurs plates-formes de façon continue.

Il est aussi important de souligner que VMmark n’est ni un outil de planification des capacités, ni un outil de dimensionnement. Il ne propose pas de directives de déploiement d’applications spécifiques. Il est plutôt destiné à être représentatif d’un environnement de virtualisation à usage générique. Les configurations de machine virtuelle et les solutions au sein des machines virtuelles sont déterminées dans le cadre de la spécification du test de performance. Les recommandations dérivées des résultats VMmark capturent de nombreux cas courants. Cependant, des scénarios spécialisés nécessitent des mesures individuelles.

Avec VMmark, les entreprises disposent désormais d’un test de performance robuste et fiable qui capture les principales caractéristiques de performances des systèmes virtuels ; VMmark est représentatif des environnements des utilisateurs qui exécutent différentes charges de travail ; VMmark n’est pas spécifique d’une plate-forme donnée et permet de mesurer l’évolutivité de façon méthodique afin que le même test de performance puisse être utilisé sur différentes plates-formes matérielles.

Avec VMmark, les entreprises disposent désormais d’un test de performance de virtualisation qui fonctionne, tout simplement. Avec VMmark, les entreprises peuvent comparer les performances et l’évolutivité de différentes plates-formes de virtualisation et peuvent ainsi choisir le matériel qu’il leur faut et surveiller les performances de leurs machines virtuelles de façon continue.

Pour commencer, il convient de suivre les étapes ci-dessous :

1. Télécharger le dernier kit VMmark
   Le kit VMmark contient le guide de l’utilisateur, les fichiers de configuration et une grande partie des logiciels nécessaires pour faire fonctionner VMmark.
2. Télécharger les modèles préconçus
   La même page de téléchargement contient des liens vers des modèles préconçus pour les trois machines virtuelles Linux utilisées pour le test.
3. Extraire le kit VMmark
   Extrayez le contenu du kit VMmark vers C:/ sur votre système de départ Windows Server 2003 client.
4. Consulter le  guide de l’utilisateur du test de performance VMmark
   Suivez les instructions contenues dans le  guide (figurant dans le répertoire ‘docs’ du kit VMmark) pour la configuration et l’exécution du test.
5. Lire attentivement les règles d’exécution et de création de rapports
   Le document Règles VMmark (figurant dans le répertoire ‘docs’ du kit VMmark) présente les conditions de production d’un résultat VMmark publiable. Tout résultat VMmark que le test de performance prévoit de publier doit adhérer aux règles d’exécution et de création de rapports indiquées dans le kit du test.

Un score VMmark permet de mesurer les performances de la couche de virtualisation et de la couche matérielle d’une plate-forme de virtualisation. Chaque score représente les performances par rapport à une plate-forme de référence donnée. Bien que la plate-forme de référence appartienne à une génération matérielle précédente, et que sa comparaison avec des systèmes récents ne soit pas vraiment représentative, son utilisation permet de comparer facilement différentes plates-formes et configurations actuelles.

Un score est obtenu en mesurant le débit agrégé de plusieurs charges de travail exécutées simultanément sur la plate-forme de virtualisation. Six charges de travail spécifiques, chacune sur une machine virtuelle, sont exécutées pendant une durée spécifique. Ces six machines virtuelles de charge de travail sont définies collectivement sous la forme d’une mosaïque VMmark.

Pendant une exécution VMmark, chaque charge de travail individuelle génère une mesure de débit brute. Par exemple, le débit de la charge de travail de la base de données est mesuré en transactions par minute. À la fin de l’exécution, chaque mesure brute est normalisée par rapport à la plate-forme de référence. La moyenne géométrique des scores normalisés est ensuite calculée. Le score obtenu est une mesure du débit de la plate-forme testée par rapport à la plate-forme de référence.

Outre ce score, chaque résultat VMmark inclut également le nombre de mosaïques VMmark utilisées lors de l’exécution du test de performance. En cas d’augmentation des ressources système (par exemple, d’ajout de cœurs de processeurs), plusieurs mosaïques VMmark (c’est-à-dire des ensembles complets de six machines virtuelles de charge de travail) peuvent être exécutées simultanément afin d’utiliser pleinement une plate-forme de virtualisation.  Une fois calculés, les scores de chaque mosaïque sont additionnés pour obtenir le score VMmark.

Un rapport de diffusion complet VMmark inclut également les résultats bruts et normalisés pour chaque charge de travail sous-jacente, ainsi que les informations détaillées de la configuration de la plate-forme de virtualisation. Dans certains cas, l’examen des mesures de la charge de travail avec la configuration de la plate-forme peut donner un aperçu de l’évolutivité et des performances du système.

Pour obtenir une description plus détaillée de la méthodologie d’évaluation des scores du test de performance, consultez le guide du test de performance VMmark.

Plus le score VMmark est élevé, plus le débit pris en charge par la plate-forme de virtualisation peut être élevé dans un environnement de consolidation de charges de travail mixtes. Si le nombre de mosaïques VMmark utilisées pour générer le test de performance est plus élevé, cela signifie que le nombre de machines virtuelles prises en charge par la plate-forme lors de l’exécution du test de performance est plus élevé. Généralement, plus le score du test de performance est élevé, plus le nombre de mosaïques requis est élevé.

Si deux plates-formes de virtualisation différentes présentent les mêmes scores VMmark
mais un nombre différent de mosaïques, la préférence va généralement au score dont le compte de mosaïques est le plus faible. Un compte de mosaïques plus élevé peut signifier que les ressources matérielles sous-jacentes n’ont pas été correctement équilibrées. Dans ce cas, il est conseillé d’examiner les mesures des charges de travail individuelles.