Mise à jour technologique de l’IITA : T4 2021/T1 2022

  • 21 février 2022

Wendy Thomas

Cet article a été rédigé par la Directrice technique de l’IITA chez Development Initiatives, Wendy Thomas.

Voici la mise à jour trimestrielle de l’équipe technique de l’IITA. Chaque trimestre, nous transmettons à notre communauté une mise à jour sur les progrès techniques accomplis et sur nos projets pour le trimestre suivant. Les projets trimestriels de l’équipe technique sont examinés par les référents techniques du Conseil d’administration de l’IITA. Vous pouvez lire la dernière mise à jour trimestrielle ici.

Aperçu de 2021

Avant de débuter notre passage en revue du quatrième trimestre, l’architecte des logiciels et des systèmes de l’IITA, Alex Lydiate, nous présente un aperçu de 2021.

En 2021, l’équipe technique s’est avant tout attachée à reconstruire l’infrastructure technique fondamentale qui sous-tend les services de publication et d’utilisation des données de l’IITA. Début 2021, nous avons souhaité mettre en œuvre la nouvelle plateforme unifiée de l’IITA (et lancer la version 2 de l’outil de validation de l’IITA sur la plateforme) avant le troisième trimestre. La création de la plateforme unifiée de l’IITA constituait une recommandation clé formulée lors du bilan 2020 de l’Initiative, qui a constaté que celle-ci ne disposait d’aucun(e) design architectural, infrastructure ou code d’application existant(e).

À la mi-2021, l’équipe technique a été sollicitée pour mettre en œuvre la version suivante de la banque de données de l’IITA sur la plateforme unifiée, ce qui lui a demandé un travail supplémentaire considérable. Nous nous étions engagés à mettre à disposition une API publique et prête pour la production avant la fin du quatrième trimestre 2021, ainsi qu’une application web d’accompagnement baptisée « recherche dans la banque de données » (Datastore Search), avant la fin du premier trimestre 2022.

En dépit de ces défis, l’équipe technique a été en mesure d’élaborer à la fois la nouvelle version de l’outil de validation de l’IITA et la banque de données de la plateforme unifiée de l’Initiative avant la fin de l’année 2021. La plateforme unifiée est entrée en fonctionnement en septembre 2021, en même temps que la deuxième version de l’outil de validation de l’IITA. Nous disposons désormais d’une plateforme robuste qui centralise le suivi, la validation et l’indexation de l’ensemble des documents de l’IITA sur une architecture de cloud Azure principalement sans serveurs et entièrement en microservice.

La plateforme unifiée de l’IITA a permis de :

  • Réduire le temps nécessaire au traitement des documents de l’IITA, de la découverte à la banque de données en passant par la validation, le faisant passer de 10 jours à quelques heures seulement
  • Réduire les coûts d’hébergement mensuels de plus de moitié
  • Représenter l’ensemble des documents valides dans la banque de données exactement de la manière dont ils ont été publiés à l’aide d’algorithmes uniques, dynamiques et récursifs
  • Fournir une transparence et une compréhension complètes du parcours de chaque document publié, à la fois en termes de progression dans le pipeline découverte-validation-index et d’historique de validation
  • Mettre à disposition une découverte et une gestion de l’API de premier ordre via le portail API et le portail des développeurs.

L’équipe a également lancé les nouveaux portail API et portail des développeurs de l’IITA afin de fournir un seul point d’accès pour tous les services de données d’API de l’IITA. Les deux portails mettent à disposition des outils d’analyse, de sécurité et de découverte de pointe pour toutes les API publiques de l’IITA.

La nouvelle API d’outil de validation a été le premier service proposé sur le portail API. C’est également la première fois que l’IITA a mis à disposition une API publique pour l’outil de validation. Cela signifie que les organisations sont en mesure d’accéder à une API pour intégrer le processus de validation de l’IITA à leurs systèmes de données internes et à leurs outils externes. Le nouvel outil de publication de l’IITA, en cours de développement en 2022, s’appuiera sur ce service afin de faire en sorte que tous les documents de l’IITA mis à disposition via l’application soient validés et valides avant leur publication. C’est absolument essentiel pour favoriser l’amélioration de la qualité des données d’un point de vue structurel, et l’ensemble des signataires de l’IITA sont encouragés à intégrer l’API à leurs propres flux de travail.

Mises à jour du quatrième trimestre 2021

Banque de données

Comme mentionné ci-dessus, au cours du quatrième trimestre, l’équipe technique a finalisé le travail visant à transférer la banque de données en interne sur la nouvelle plateforme unifiée de l’IITA, et est parvenue à réaliser un lancement « en douceur » de son API en décembre, comme prévu. La nouvelle API de la banque de données a été entièrement refondue pour répondre à un cahier des charges plus strict et permet de réduire les coûts et de gagner en efficacité par rapport aux versions précédentes. L’équipe a également préparé des redirections ainsi qu’une documentation utilisateur exhaustive en amont du lancement complet de la version 3 de l’API de la banque de données le 11 janvier 2022.

Outil de validation

Nous avons œuvré à la mise à jour de l’interface utilisateur de l’outil de validation, qui est prêt pour le lancement début 2022 en parallèle du lancement complet de la banque de données de l’IITA. Les mises à jour incluent l’affichage du statut de validation pour chaque fichier publié. Cela permet aux utilisateurs de vérifier, parmi leurs fichiers, lesquels sont invalides de manière critique, contiennent des erreurs, sont dotés d’avertissements ou n’ont pas de problème, le tout sur une seule et même page. Nous ajoutons également les heures et les dates correspondant respectivement à l’identification de chaque fichier dans le registre, puis à sa validation et à sa mise à disposition dans la banque de données de l’IITA.

Nous sommes ravis d’avoir aidé les utilisateurs de l’API de l’outil de validation de l’IITA à faire plus de 12 000 demandes au cours du dernier trimestre 2021 pour explorer l’API de l’outil de validation de l’Initiative. Nous les aidons également à intégrer cet aspect à leurs processus de publication, ce qui améliorera la qualité des données de leurs fichiers avant la publication.

Outil de publication

Au cours du quatrième trimestre, nous avons collaboré avec le partenaire de notre Secrétariat, l’UNOPS, qui a mené un processus d’appel d’offres concurrentiel afin de trouver l’organisation qui développerait le nouvel outil de publication de l’IITA. Nous avons été ravis d’annoncer que l’entreprise technologique Young Innovations, basée au Népal a été sélectionnée (voir l’annonce ici). Nous avons hâte de coopérer avec une entreprise qui possède une connaissance exceptionnelle de l’IITA et une expérience du développement de son propre outil de publication, AidStream.

Plateforme d-portal

Au quatrième trimestre, nous avons constaté que certaines requêtes de grande ampleur sur d-portal, formulées via d-query, ralentissaient le temps de réponse global de d-portal. Nous avons collaboré avec le fournisseur de d-portal, Wet Genes, pour faire en sorte que d-portal puisse renvoyer les données vers les utilisateurs concernés, leur permettant ainsi de télécharger de plus grands ensembles de données sans impacter les utilisateurs de l’interface utilisateur.

Lors de la réunion du Conseil d’administration de l’IITA de novembre 2021, nous avons évoqué les différentes possibilités pour la version 2 de d-portal. Le Conseil a recommandé une collaboration avec Wet Genes pour refondre et améliorer d-portal. Les travaux en ce sens commenceront en 2022.

Registre de l’IITA

Nous avons amélioré la sécurité de l’API du registre en faisant passer l’authentification de l’API à un système de jetons plutôt que de clés. Outre le travail de maintenance, nous avons réalisé six améliorations de l’expérience utilisateur, qui perfectionneront le parcours de publication des organisations. Ces améliorations ont été rendues disponibles fin janvier. Pour en savoir plus sur ce travail, rendez-vous sur cette page.

Pratiques de publication des signataires

Commun avec le PNUD et à l’intersection de la qualité et de l’utilisation des données, ce projet aide le Secrétariat de l’IITA à comprendre comment différentes organisations publient des données conformes à la norme de l’IITA. Ces recherches nous permettront, en fin de compte, de combler les lacunes entre les pratiques des signataires et les besoins en matière de données des utilisateurs. Au quatrième trimestre, nous avons organisé une session visant à faire participer les signataires à la deuxième série d’échanges virtuels de la communauté de l’IITA (12-13 octobre). Nous avons également mené des webinaires avec chaque groupe de parties prenantes de signataires dans le projet (organisations bilatérales, organisations multilatérales, IFD, ONG et secteur privé) et avons proposé des réunions en face-à-face pour les organisations qui n’avaient pas pu y assister ou avaient des questions supplémentaires. Les enregistrements des webinaires sont disponibles sur IATI Connect. Nous souhaitons remercier toutes les personnes qui se sont impliquées et ont trouvé l’analyse utile !

Indice de qualité des données de l’IITA

Nous avons collaboré avec nos collègues du Secrétariat pour conclure la première phase de la consultation sur l’indice de qualité des données. Nous avons organisé une session à ce sujet, marquée par une fréquentation importante, au cours des échanges virtuels de la communauté en octobre, ainsi qu’une consultation par webinaire plus tard au cours du même mois. Nous avons partagé un document de synthèse présentant la suite des actions à mettre en œuvre pour chaque mesure et préparons désormais le projet de méthodologie technique, afin de lancer la phase 2 de la consultation sur le DQI en février. Pour en savoir plus sur cette prochaine phase, rendez-vous ici.

Demandes d’assistance

Nous continuons de recevoir un nombre constant de demandes d’assistance (636 demandes reçues entre septembre et décembre), avec des niveaux de satisfaction élevés (98 %). Le nombre de requêtes au sujet de l’utilisation des données continue d’augmenter, celles-ci étant prises en charge de manière commune par l’équipe technique et le PNUD.

Mises à jour au sujet du personnel

Nous avons été peinés de faire nos adieux à Petya Kangalova, analyste senior d’activités et de données de l’IITA. Après cinq ans passés à l’Initiative, elle a désormais choisi de relever un nouveau défi en allant travailler pour Humanitarian Openstreetmap. Nous sommes actuellement en cours de recrutement pour pourvoir son poste.

Premier trimestre 2022

Avec nos collègues du Secrétariat, nous détaillons notre plan de travail de haut niveau pour cette année afin de finaliser les livrables trimestriels, qui feront l’objet de discussions avec le Conseil d’administration de l’IITA début mars. Dans le même temps, nous mettons en œuvre le travail prévu pour le premier trimestre de cette année.

Début 2021, nous avons également fait nos adieux à Melinda Cuzner de l’ASDI. Elle faisait partie des référents techniques du Conseil d’administration de l’IITA et occupait le siège technique au sein de celui-ci. Melinda a apporté un soutien stratégique précieux à l’équipe technique et au Secrétariat, et sa présence nous manquera.

Lancement de la banque de données

À la suite de son lancement en douceur en décembre 2021, la version 3 de la banque de données de l’IITA a été lancée officiellement auprès de la communauté de l’IITA en janvier. Vous trouverez ici de plus amples informations sur le lancement. Nous sommes désormais en train de concevoir une nouvelle interface Internet de la banque de données et de décider des fonctionnalités qui devront être incluses dans celle-ci ainsi que ce qui devra être ajouté à la version 2 de la plateforme d-portal.

L’équipe se prépare actuellement à finaliser et à lancer l’interface utilisateur de la recherche dans la banque de données, et j’ai hâte que cette fonction soit disponible pour les utilisateurs de données de l’IITA.

Outil de publication de l’IITA

En janvier, l’équipe technique a commencé à collaborer avec Young Innovations pour mettre au point le nouvel outil de publication de l’IITA. Ce trimestre, nous cherchons avant tout à concevoir l’outil, à nous assurer qu’il sera simple et intuitif et qu’il permettra de faciliter la publication pour les organisations. Nous ferons régulièrement état de l’avancement du projet sur le site de l’Initiative.

Deuxième phase de l’indice de qualité des données lancée

Au premier trimestre, nous avons également coopéré avec nos collègues du Secrétariat pour nous préparer au lancement de la deuxième phase de l’indice de qualité des données de l’IITA. Au cours de cette deuxième phase, le Secrétariat de l’IITA consultera la communauté de l’Initiative au sujet de la méthodologie proposée et de la manière dont chaque mesure sera pondérée et combinée afin de générer un score d’ensemble pour chaque signataire.

La phase 2 de la consultation a été lancée le 15 février 2022 et se terminera fin juin. J’encourage la communauté de l’IITA à se rendre sur IATI Connect pour consulter les articles de méthodologie, rejoindre les webinaires prévus prochainement et publier des commentaires sur la consultation.

Version 2 de d-portal

L’équipe technique collaborera avec nos collègues du Secrétariat pour lancer le projet visant à rendre disponible une nouvelle version de la plateforme d-portal. Nous débuterons par un projet d’expérience utilisateur de petite ampleur afin de rassembler toutes les contributions existantes, issues du projet de couches de données sémantiques et des exigences sur l’utilisation des données précédemment recueillies, puis identifierons ensuite les contributions supplémentaires qui sont nécessaires (par exemple témoignages utilisateurs, conceptions d’écrans). Ces éléments donneront ensuite corps à un plan en matière de termes de référence et de mise en œuvre pour la v2 de d-portal.

Restez connectés !

Restez au fait des avancées de l’équipe technique, en vous inscrivant à la newsletter de l’IITA via le formulaire ci-dessous ou en dialoguant avec la communauté de pratique technique de l’IITA sur IATI Connect.

Actualités associées