Wikipédia:Statut des serveurs

Un article de Wikipédia, l'encyclopédie libre.

Wikipédia et les autres projets de Wikimedia tournent sur plusieurs serveurs à l'aide du logiciel MediaWiki.

• État des serveurs : à lire en cas de latence ou blocage du service Wikipédia (status des serveurs : Up ou Down ?)

• m:Wikimedia servers : état de notre parc matériel

• m:Wikimedia hardware status : historique des modifications du logiciel et du matériel

• m:MediaWiki 1.3 comments and bug reports : pour rapporter un bug

Sommaire 1 Fonctionnement 1.1 Architecture 1.2 Apaches 1.3 Squids 2 Nos serveurs 3 Hébergement 4 Performance 5 Faire un don

[modifier] Fonctionnement

Les pages de statistiques et surveillance sont en anglais, car destinées en priorité aux développeurs et administrateurs. Toutes les heures et dates sont en temps UTC (« heure de Greenwich »).

[modifier] Architecture

Le système actuellement utilisé fonctionne en 3 couches :

• des machines munies de caches Squid attendent des demandes de pages, images, etc. des clients (navigateurs Web) ; ils gardent en mémoire les pages les plus récemment accédées qui n'ont pas été modifiées, et les renvoient aux clients qui les demandent, sinon ils passent la requête à la couche suivante ;
• des machines munies de serveurs Apache préparent les pages à la demande, en fonction des données présentes dans la base de données ;
• une base de données maître et des bases de données esclave stockent les données.

Les caches Squid sont beaucoup plus efficaces pour les utilisateurs anonymes que pour les utilisateurs nommés (car les pages sont préparées différemment pour chaque utilisateur nommé, alors que c'est la même page qui ressert pour tous les utilisateurs anonymes).

Pour des raisons techniques, les Apaches doivent être sur le même site que la base de données. Sauf achat massif de matériel, il n'est pas possible de mettre un autre groupe base de données + Apache ailleurs qu'en Floride ; cela pourrait poser par ailleurs des problèmes légaux si ce groupe était installé dans un pays dont les lois protègent moins la liberté d'expression que les États-Unis d'Amérique.

[modifier] Apaches

Les problèmes d'équilibrage de charge des Apaches ont été largement réglés. De nouveaux serveurs ont été installés. Et maintenant tout marche bien mieux !

• page de surveillance des serveurs Apache

[modifier] Squids

Les serveurs sont actuellement répartis en deux groupes : un grand groupe Squid + Apache + bases de données en Floride, et un petit groupe Squid en cours de mise en place en France, près de Paris. Les utilisateurs sont renvoyés sur les Squids floridiens ou parisiens suivant leur localisation géographique (il y a quelques ratés): les Squids parisiens desservent le Wiktionnaire francophone, les Wikipédias francophone et anglophone (et quelques petites comme la bretonne), et le contenu multimédia (commons et upload) à destination des utilisateurs d'Allemagne, Belgique, France, Luxembourg, Royaume-Uni et Suisse. Rappelons que les machines parisiennes se contentent de faire de la mémoire cache. Le matériel installé serait très insuffisant pour faire base de donnée et service.

• Site Paris
  • statistiques journalières ventilées par pays et par service
  • état de charge (le pic de 3h30 est normal et correspond à l'établissement des statistiques ci-dessus)
  • débit réseau vers les clients
• Site Floride
  • débit réseau vers les clients

[modifier] Nos serveurs

Les projets Wikimedia sont extrêmement fréquentés, ce qui oblige à recourir à de nombreux serveurs qui fonctionnent tous sous le système d'exploitation Linux. Voici la configuration au 12 Octobre 2004 (pour une liste plus à jour voir (en) meta:Wikimedia servers):

Les noms des serveurs sont ceux d'encyclopédistes historiques renommés.

Nom	Date	Taches	OS	adresse IP	Hardware	Origine du nom
ariel	05/2004	Serveur BD maître	Fedora core 2 (64-bit) custom	207.142.131.244	2U, 2 x Opteron 248, 8 Gio (8x1G) PC2700 registered ECC RAM, 6x73Go 15K SCA SCSI DD (4 RAID 1+0 (146Go), 2 RAID 1 (72Go))	Ariel Durant
suda	01/2004	Serveur BD esclave et fallback	Fedora core 2 (64-bit)	207.142.131.226	2U, 2 x Opteron 246, 4 Gio (4x1 Gio) PC2700 registered ECC RAM, 4x146Go SCSI RAID 1+0 (292Go) et 2x36Go SCA SCSI RAID 1 (36Go)	Souda
bacon	08/2004	Serveur BD esclave	Fedora core 2 (64bits)	207.142.131.200	2U, 2xOpteron 242 1.6GHz, 4 Gio (4x1G) PC2700 registered ECC RAM, 6x200Go SATA RAID 10	Francis Bacon
albert	08/2004	Serveur NFS. Burning in by using it as a database server.	Fedora core 2 (64 bits)	207.142.131.201	2U, 2xOpteron 242 1.6GHz, 1 Gio (2x 512Mio) PC2700 registered ECC RAM, 6x250Go SATA (RAID 5)	Albertus Magnus
zwinger	01/2004	NFS, mail, Apache (download), DNS, coda (expérimental)	Redhat 9	207.142.131.234	1U, 1 x Pentium 4 2.6 GHz, 1 Gio (cap?) unbuf non-ECC DDR400 RAM, 250 Go SATA	Theodor Zwinger
browne	01/2004	Squid	Redhat 9	207.142.131.229	1U, 1 x Pentium 4 2.6 GHz, 4 Gio (4x1G) unbuf non-ECC DDR400 RAM, 80 Go SATA	Thomas Browne
coronelli	01/2004	Squid	Redhat 9	207.142.131.230	1U, 1 x Pentium 4 2.6 GHz, 3 Gio (2x1G? +?) unbuf non-ECC DDR400 RAM, 80 Go SATA	Vincenzo Coronelli
maurus	05/2004	Squid	Fedora core 1	207.142.131.238	1U, 1 x Pentium 4 2.8 GHz, 4 Gio (4x1G) unbuf DDR 400 ECC RAM, 80 GB SATA	Rabanus Maurus
rabanus	05/2004	Squid	Fedora core 1	207.142.131.239	1U, 1 x Pentium 4 2.8 GHz, 4 Gio (4x1G) unbuf DDR 400 ECC RAM, 80 Go SATA	Rabanus Maurus
bart	01/2004	Squid, 1120 Mio memoire cache	Redhat 9	207.142.131.227	1U, 1 x Pentium 4 2.6 GHz, 4 Gio (4x1G) unbuf non-ECC DDR400 RAM, 80 Go SATA	Barthélémy l'Anglais
bayle	01/2004	Apache, 1120 Mio memoire cache, basculement Squid / Apache selon besoin	Redhat 9	207.142.131.228	1U, 1 x Pentium 4 2.6 GHz, 2 Gio (2x1G) unbuf non-ECC DDR400 RAM, 80 Go SATA	Pierre Bayle
diderot	08/2004	Apache. Backup BD esclave	Fedora core 2	207.142.131.250	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256M) unbuf DDR400 ECC RAM, 200 Go SATA	Denis Diderot
goeje	08/2004	Apache. Backup BD esclave	Fedora core 2	207.142.131.198	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256M) unbuf DDR400 ECC RAM, 200 Go SATA	Michael Jan de Goeje
yongle	05/2004	Apache, 1960 Mio memoire cache	Fedora core 1	207.142.131.237	1U, 1 x Pentium 4 2.8 GHz, 4 Gio (4x1G) unbuf DDR 400 ECC RAM, 80 Go SATA	Yung-lo
isidore	01/2004	Apache, cache	Redhat 9	207.142.131.231	1U, 1 x Pentium 4 2.6 GHz, 1 Gio (cap?) unbuf non-ECC DDR400 RAM, 80 Go SATA	Isidore de Séville
moreri	01/2004	Apache, 280 Mio memoire cache	Redhat 9	207.142.131.232	1U, 1 x Pentium 4 2.6 GHz, 1 Gio (cap?) unbuf non-ECC DDR400 RAM, 80 Go SATA	Louis Moréri
vincent	01/2004	Apache	Redhat 9	207.142.131.233	1U, 1 x Pentium 4 2.6 GHz, 1 Gio (cap?) unbuf non-ECC DDR400 RAM, 80 Go SATA	Vincent de Beauvais
avicenna	08/2004	Apache	Fedora core 2	207.142.131.249	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256 Mio) unbuf DDR400 RAM, 200 Go SATA	Avicenne
dalembert	08/2004	Apache	Fedora core 2	207.142.131.194	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256 Mio) unbuf DDR400 RAM, 200 Go SATA	Jean le Rond d'Alembert
tingxi	08/2004	Apache	Fedora core 2	207.142.131.195	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256 Mio) unbuf DDR400 RAM, 200 Go SATA	Jiang Tingxi
alrazi	08/2004	Apache	Fedora core 2	207.142.131.196	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256 Mio) unbuf DDR400 RAM, 200 Go SATA	Al-Razi
friedrich	08/2004	Apache	Fedora core 2	207.142.131.197	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256 Mio) unbuf DDR400 RAM, 200 Go SATA	Friedrich Arnold Brockhaus
harris	08/2004	Apache	Fedora core 2	207.142.131.199	1U, 1 x Pentium 4 3 GHz, 512 Mio (2x256 Mio) unbuf DDR400 RAM, 200 Go SATA	John Harris
chloe		Squid en France	Debian	212.85.150.132	1U, 1 x Celeron 600MHz, 640 Mio RAM, 20 Go ATA. HP Hosting Server Appliance sa1100	choix du donateur
bleuenn		Squid en France	Debian	212.85.150.133	1U, 1 x Celeron 600MHz, 640 Mio RAM, 20 Go ATA. HP Hosting Server Appliance sa1100	choix du donateur
ennael		Squid en France	Debian	212.85.150.131	1U, 1 x Celeron 600MHz, 512 Mio RAM, 20 Go ATA. HP Hosting Server Appliance sa1100	choix du donateur
will		Squid	Fedora core 2	207.142.131.243	1U, 1 x Pentium 4 2.8 GHz, 4 Gio RAM, 2 x 200Go SATA in RAID 1 (details)	Will Durant

• zwinger est le serveur mail et le serveur NFS principal pour les autres machines.
• Ariel est le serveur maître de base de données sous MySQL qui stocke tous les articles. Ariel a quatre disques RAID 10 et deux disques RAID 1 setup with battery-backed cache et 8Gio de RAM.
• suda est le maître fallback pour Ariel et esclave de base de données.
• bacon est esclave de base de données.
• alrazi, avicenna, dalembert, diderot, friedrich, goeje, harris, moreri, vincent, tingxi et yongle sont des serveurs web Apache de configurations identiques. Les serveurs Apache acceptent les requêtes des utilisateurs, récupèrent les données de la base si nécessaire, et formattent les réponses aux utilisateurs, grâce au programme MediaWiki en PHP with Turck PHP cache. Ils partagent leur répertoire de travail par NFS pour que l'upload soit synchrone.
• browne, coronelli, maurus, rabanus, bart, will et bayle sont des serveurs Squid et maintiennent un grand cache de pages, ainsi les requêtes communes et répétées n'arrivent pas jusqu'aux serveurs Apache ou à la base de données. Ils servent la plupart des pages demandées par les utilisateurs anonymes (non loggués). Ils ont actuellement un hit-rate de 75%, quadruplant la capacité des serveurs Apache derrière eux. C'est particulièrement remarquable quand une grande quantité de trafic arrive directement sur une page particulière via un lien sur un autre site, l'efficacité du cache pour cette page est alors environ de 100%. Ils font aussi le load balance pour les serveurs Apache. Round-robin DNS répartit la charge sur les Squids.

Le système passe automatiquement en configuration backup au niveau des Squids et Apache. Pour la base de données, le backup est présent mais ne s'enclenche pas automatiquement.

Les vieux serveurs web, qui ne sont plus en service, portaient aussi des noms d'encyclopédistes historiques:

• "Pliny" (Pline l'Ancien)
• "Larousse" (Pierre Larousse. Note: Wikimedia n'a aucun rapport avec les encyclopédies Larousse).
• "Geoffrin" (Marie Thérèse Rodet Geoffrin)

[modifier] Hébergement

Actuellement la plupart des serveurs sont hébergés au data center de bomis.com, en Floride, qui offre les racks et la moitié de la bande passante. Depuis le début du projet ils ont payé pour toute la bande passante.

Lost Oasis (bande passante) et Jexiste (emplacements baies), en France, hébergent gracieusement chloe, bleuenn et ennael. Ces serveurs ont été installés dans un centre de connectivité informatique à Aubervilliers, près de Paris et sont en fonctionnement avec des caches Squid.

Un troisième centre a été mis en place aux Pays-Bas, et un autre est en cours d'installation en Belgique.

[modifier] Performance

La performance de Squid est mesurée. Voici le nombre de requêtes par seconde pour tous les serveurs (en vert) et les hits cache (en bleu) :

http://noc.wikimedia.org/stats.php

Une page de statut externe est hébergée sur OpenFacts.

Ganglia Cluster Toolkit stats

[modifier] Faire un don

Bien que Wikipédia soit libre (comprendre : l'expression y est libre et sans coût pour l'utilisateur), le site web coûte de l'argent. Vous pouvez aider à l'achat de nouveau matériel en effectuant un don à la fondation Wikimédia.

http://wikimediafoundation.org/wiki/Faites_un_don ─ Mobilisation de fonds