Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

Microsoft Excel : comment un dépassement du nombre maximal de lignes a mené à des non signalements de cas positifs de Covid-19
Près de 16 000 en raison du choix d'une ancienne version du tableur

Le , par Patrick Ruiz

263PARTAGES

13  0 
Le gouvernement britannique a manqué d’inclure 16 000 cas confirmés de coronavirus dans ses rapports quotidiens entre le 25 septembre et le 2 octobre. La faute est à mettre sur le compte d’un « problème technique », d’après celui-ci. Si les autorités n’en disent pas plus, des sources bien introduites font état de ce qu’il s’agit d’une erreur de casting. Une question est désormais sur toutes les lèvres : les services de santé anglais en charge du dossier n’auraient-ils pas plutôt dû faire usage d’un SGBD plutôt que du tableur Excel ?

« Un problème technique a été identifié dans la nuit du vendredi 2 octobre dans le processus de chargement des données qui transfère les résultats positifs de laboratoire COVID-19 au sein des tableaux de bord de reporting. Après une enquête rapide, nous avons identifié que 15 841 cas entre le 25 septembre et le 2 octobre n'ont pas été inclus dans les rapports quotidiens. La majorité de ces cas se sont produits au cours des derniers jours. Le problème technique était dû au fait que certains fichiers contenant des résultats de tests positifs dépassaient la taille maximale de fichier qui gère ces données et les charge ensuite dans les systèmes centraux », indiquent les autorités.



Les rapports tirés de sources introduites aux services de santé anglais en charge du dossier font pour leur part état de soucis avec le tableur Microsoft Excel : « Le problème a été causé par la façon dont l'agence a rassemblé les logs produits par les entreprises commerciales payées pour analyser les tests afin de découvrir qui est porteur du virus. Ces dernières ont mis leurs résultats à disposition sous forme de listes textuelles – appelées fichiers CSV – sans problème. Public Health England (PHE) avait mis en place un processus automatique pour rassembler ces données dans des modèles Excel afin qu'elles puissent ensuite être téléchargées vers un système central et mises à la disposition de l'équipe Test and Trace du NHS, ainsi que d'autres tableaux de bord informatiques du gouvernement. Le problème est que les propres développeurs de PHE ont choisi pour cela un ancien format de fichier - connu sous le nom de XLS. En conséquence, chaque modèle ne pouvait traiter qu'environ 65 000 lignes de données au lieu du million et plus de lignes qu'Excel est réellement capable de traiter. »

En effet, les versions les plus récentes du tableur de la suite Microsoft Office prennent un maximum de 1 048 576 lignes et 16 384 colonnes en charge. Même dans le cas du choix de l’une de celles-ci par les autorités britanniques en charge du dossier, le problème serait resté le même. En effet, une fois que le laboratoire a effectué plus d'un million de tests, ce n'est qu'une question de temps avant que ses rapports ne soient pas lus en entier par Public Health England.



Sur son site, le gouvernement britannique indique qu’une solution de contournement est d’ores et déjà en place. Elle consiste à fractionner les fichiers volumineux en unités que la version d’Excel utilisée est capable de prendre en charge. De plus, un examen complet de bout en bout de tous les systèmes a fait l’objet d’instauration pour éviter que des erreurs similaires ne se reproduisent. Les observateurs restent néanmoins d’avis que l’utilisation d’un véritable système de gestion de base de données (SGBD) reste plus indiquée pour des cas de figure de ce type.

Excel est un géant dans le monde des tableurs et est régulièrement utilisé par les scientifiques pour suivre leurs travaux et même mener des essais cliniques. Toutefois, le problème avec le logiciel de la suite Office de Microsoft est que son paramétrage est à gérer avec précaution pour les applications scientifiques. Mal s’y prendre lors de cette étape peut mener à des corruptions des données ou à des erreurs comme celle enregistrée par Public Health England. Une étude parue au cours de l’année 2016 l’illustre : le cinquième de 3597 articles publiés ont été affectés par des erreurs en lien avec l’utilisation du tableur. Le Comité de nomenclature HUGO, qui a dû renommer les gènes humains afin que le tableur ne les interprète comme des dates, résume bien le problème dans une vidéo et indique la procédure de prise en main de bases de données susceptibles d’être corrompues du fait d’un mauvais paramétrage du logiciel.

Grosso modo, c’est la question du choix de l’outil adéquat pour effectuer une tâche donnée qui se retrouve sur la table. En effet, un tiers peut décider de faire usage d’un marteau pour enfoncer des vis dans un mur dans le but d’y accrocher des cadres. Seulement, si ces derniers viennent à tomber et à se casser qui de l’outil ou de celui qui le choisit est le plus à blâmer ?

Source : Public Health England

Et vous ?

Qu’est-ce qui pourrait justifier l’utilisation d’Excel dans un cas de figure comme celui-ci ?
La nécessité de s’appuyer sur un véritable système de gestion de base de données (SGBD) souffre-t-elle de quelconque contestation dans des cas de figure comme la gestion de données d’une pandémie?

Voir aussi :

Microsoft Excel se dote de XLOOKUP, une nouvelle fonction de recherche pour résoudre les nombreuses limitations de VLOOKUP et HLOOKUP
Laissez tomber Office 2019 et optez plutôt pour Office 365 et ses fonctionnalités basées sur l'IA, le nouveau slogan publicitaire de Microsoft
Microsoft Ignite 2019 : les annonces qu'il ne fallait pas rater lors de la conférence. Au programme Microsoft Office, Cortana, Microsoft Teams et Fluid Framework
Microsoft Office 365 reste l'application la plus populaire en entreprise et bat Google G Suite, d'après un rapport

Une erreur dans cette actualité ? Signalez-le nous !

Avatar de grunk
Modérateur https://www.developpez.com
Le 06/10/2020 à 9:54
Qu’est-ce qui pourrait justifier l’utilisation d’Excel dans un cas de figure comme celui-ci ?
Pas besoin de former les utilisateurs à un autre outil que celui qu'ils connaissent un minimum.

On se rend pas trop compte car pour "nous" pro de l'IT , appréhender la nouveauté n'est pas un problème. Mais pour certains utilisateur de base ca peut être extrêmement compliqué.

Exemple vécu :
J'ai déplacé un bouton sur l'UI d'un outil interne. Il est passé de la gauche à la droite de l'écran.
On m'a appelé en panique : "le bouton à disparu" , "ca ne marche plus" , "TOUT à changer" , alors que le bouton était juste 300px plus loin ...
10  1 
Avatar de CaptainDangeax
Membre éprouvé https://www.developpez.com
Le 08/10/2020 à 10:12
Tant qu'on utilisera Excel pour ce qu'il n'est pas, c'est à dire une BDD, on aura des problèmes.
8  1 
Avatar de Pierre Fauconnier
Responsable Office & Excel https://www.developpez.com
Le 06/10/2020 à 14:42
Puis on vient nous dire: "N'ayez crainte. Installez l'appli et faites-vous tracer. Vos données sont confidentielles et bien gérées" ou "Si vous n'installez pas l'appli, vous êtes incivique parce que vous mettez d'autres personnes en danger"...
7  1 
Avatar de marsupial
Expert confirmé https://www.developpez.com
Le 06/10/2020 à 8:58
Ce serait rigolo si ce n'était un sujet aussi grave que le covid. Car le zap du recensement n'a pas permis aux personnes 'oubliées' d'être suivies et isolées comme le protocole l'exige. C'est un scandale politique.
Maintenant le choix d'Excel, alors qu'ils savent pertinemment qu'ils vont avoir des millions de cas à traiter, laisse pour le moins à désirer.
5  0 
Avatar de emilie77
Membre confirmé https://www.developpez.com
Le 06/10/2020 à 9:11
Avatar de cavo789
Membre expérimenté https://www.developpez.com
Le 08/10/2020 à 14:26
Bonjour

Citation Envoyé par bigjeff Voir le message
J'ai travaillé avec des fichiers CSV et la dernière ligne indiquait le nombre de ligne de ce fichier.
Oui ... mais non Un fichier CSV = une seule structure. Tu as un certain nombre de colonnes dans ton fichier CSV et, là, en dernière ligne, tu flingues la structure pour p.ex. juste mettre "860" qui serait le nombre de lignes du fichier.

D'ailleurs, si c'est juste pour ça (le nombre de lignes); ce contrôle est des plus facile à mettre en œuvre par l'application qui charge ton fichier : ce programme devrait prévoir une bête fonction qui lirait le fichier comme si c'était un fichier texte et juste compter le nombre de lignes; puis, réouvrir le fichier pour l'importer cette fois et comparer le nombre avec le nombre de records insérés.

Tu as raison sur l'idée d'avoir des contrôles additionnels mais pas comme ça, pas à la fin du fichier. Pourquoi pas un fichier à part, "contrôle.txt" avec un certains nombre d'indicateurs...

Bonne journée.
3  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 06/10/2020 à 10:15
Citation Envoyé par grunk Voir le message
On m'a appelé en panique
C'est vrai que les gens n'aiment pas du tout le changement, ceux qui ont l'habitude d'Excel ne veulent pas changer de solution.
Mais au moins quand ils enregistrent un classeur, il faut qu'ils choisissent .xlsx (voir .xlsm si il y a des macros) mais pas .xls, il y a écrit que ça a changé après Excel 2003 quand tu sauvegardes un classeur.
2  0 
Avatar de Steinvikel
Membre émérite https://www.developpez.com
Le 07/10/2020 à 3:37
Citation Envoyé par Ryu2000 Voir le message
C'est un peu dommage d'utiliser un ancien format de fichier.
Ce serait peut-être mieux d'utiliser une base de données, ça offre des options intéressantes.
Qu’est-ce qui pourrait justifier l’utilisation d’Excel dans un cas de figure comme celui-ci ?
Que le personnel acteur de la solution n'est pas familier des bases de données, et l'emplois de .xls je le justifierai par une méconnaissance ou habitude de la part de l’employé, ou pour la simple raison que la /les machine sur laquelle se fait le bouzin EST UN EXCELL EN VERSION 2003 ! ^^'

La nécessité de s’appuyer sur un véritable système de gestion de base de données (SGBD) souffre-t-elle de quelconque contestation dans des cas de figure comme la gestion de données d’une pandémie ?
On doit stocker les données, y naviguer, les manipuler, les partager, les surveiller ...et s'assurer de leur intégrité, qualité, la fiabiliser leur manipulation ...décomplexifier les opérations (en aparence).
N'est-ce pas justement là la raison d'être du SGBD/R ?

Citation Envoyé par Ryu2000 Voir le message
C'est vrai que les gens n'aiment pas du tout le changement, ceux qui ont l'habitude d'Excel ne veulent pas changer de solution.
oui et non : ce n'est pas le changement en soit qu'ils redoutent, mais l'énergie à fournir à nouveau pour réapprendre.
Alors il y a une forme d'angoisse, d'apréhension, nourrit pas les idées reçu... qui fige l'individu sur ses acquis, et le pousse à repousser tout acteur montrant l'envie de le déplacer.
problème social --> solution = pédagogie = "prendre le temps de parler avec"
1  0 
Avatar de Ryu2000
Membre extrêmement actif https://www.developpez.com
Le 06/10/2020 à 9:30
Citation Envoyé par Patrick Ruiz Voir le message
Le problème est que les propres développeurs de PHE ont choisi pour cela un ancien format de fichier - connu sous le nom de XLS. En conséquence, chaque modèle ne pouvait traiter qu'environ 65 000 lignes de données au lieu du million et plus de lignes qu'Excel est réellement capable de traiter. »

En effet, les versions les plus récentes du tableur de la suite Microsoft Office prennent un maximum de 1 048 576 lignes et 16 384 colonnes en charge. Même dans le cas du choix de l’une de celles-ci par les autorités britanniques en charge du dossier, le problème serait resté le même. En effet, une fois que le laboratoire a effectué plus d'un million de tests, ce n'est qu'une question de temps avant que ses rapports ne soient pas lus en entier par Public Health England.
C'est un peu dommage d'utiliser un ancien format de fichier.

Ce serait peut-être mieux d'utiliser une base de données, ça offre des options intéressantes.
1  1 
Avatar de bigjeff
Nouveau membre du Club https://www.developpez.com
Le 06/10/2020 à 16:38
J'ai travaillé avec des fichiers CSV et la dernière ligne indiquait le nombre de ligne de ce fichier.
Ainsi un fichier qui n'avait pas cette mention en fin de fichier ou que le nombre de ligne ne correspondait pas partait en erreur.
C'est de la gestion d'erreur et surtout de la validation des données.
C'est la base de la programmation, dans Hibernate quand on décrit une table de la BD les annotations permettent de s'assurer de l'intégrité des données et je suis sûr qu'il y a un équivalent côté DotNet.

C'est l'expérience du support à la production, ma devise est travailler très fort pour que je n'ai rien à faire !
0  0