Fenêtres d’observation des SMS A2P : comparer les routes sans biais

Pourquoi une comparaison nécessite une fenêtre définie

Un taux ou une latence ne peut s’interpréter que si l’on sait quels messages entrent dans le calcul et combien de temps leurs statuts ont été attendus. Si une route est évaluée pendant quelques heures et une autre pendant plusieurs jours, des DLR tardifs peuvent modifier la comparaison, même si le trafic initial était similaire.

Définissez la fenêtre d’analyse avant l’envoi ou l’examen des messages : moment d’inclusion, durée de l’observation et règle de clôture de chaque cohorte. La recommandation UIT-T E.803 explique qu’une période limitée évite d’attendre indéfiniment des événements futurs et que les événements survenant après le délai d’expiration ne font pas partie du calcul défini.

Ne confondez pas cette fenêtre avec la période de validité du SMS. Dans la norme 3GPP TS 23.040, la période de validité est un paramètre du message qui détermine pendant combien de temps celui-ci reste valide dans le centre de service. La fenêtre d’analyse est une règle d’évaluation ; elle peut coïncider avec cette période, mais il s’agit de deux notions distinctes.

• Précisez quand un message entre dans la cohorte, par exemple selon son horodatage d’envoi.
• Fixez la durée d’observation de ses statuts et définissez exactement ce que signifie la clôture.
• Conservez la règle pour pouvoir répéter l’analyse ; ne la modifiez pas dans le seul but de favoriser un résultat.

Définir l’unité de comparaison et les conditions

Avant de comparer, déterminez ce que signifie « une route » dans l’essai et quelle population de messages est incluse. Délimitez au minimum la destination et l’opérateur, s’ils sont connus, l’expéditeur, le type de trafic — par exemple OTP ou transactionnel — ainsi que les conditions d’envoi pertinentes. Une comparaison agrégée peut masquer le fait que les routes ont reçu des populations différentes.

Consignez les variables susceptibles de changer d’une cohorte à l’autre : horaire, volume, composition des destinations et des expéditeurs, et configuration de l’envoi. Si un facteur est important pour la question étudiée, maintenez-le constant ou présentez des résultats distincts par strate. La stratification est une adaptation pratique des principes d’échantillonnage en matière de qualité de service ; les sources consultées ne proposent pas de méthode universelle propre aux cohortes A2P.

La normalisation du numéro de destination au format international peut faciliter la préparation des données. E.164 définit le plan de numérotation international, mais un numéro normalisé ne permet pas de déterminer quel opérateur a desservi la destination ni quelle route le message a empruntée. Ne déduisez pas ces informations du seul format du numéro.

• Définissez la cohorte en une phrase vérifiable, et pas seulement par le nom commercial de la route.
• Comparez des populations équivalentes ou séparez les résultats selon les variables qui diffèrent.
• Indiquez si un rapport de statut a été demandé et quelle politique de validité a été appliquée ; dans la norme 3GPP, la demande de rapport et la période de validité sont des paramètres facultatifs du message.

Fixer le début, la fin et la période de maturation des DLR tardifs

Ancrez la fenêtre à un événement sans ambiguïté, généralement l’horodatage d’envoi enregistré. Définissez si vous évaluez une cohorte complète de messages envoyés pendant un intervalle donné ou chaque message individuellement pendant un délai calculé à partir de son envoi. La méthode choisie doit être appliquée de la même manière à toutes les routes.

Ajoutez une période de maturation afin de donner aux statuts reçus tardivement une possibilité définie d’entrer dans le résultat. Les sources citées ne définissent aucun délai d’expiration universel pour comparer les routes A2P : la valeur doit répondre à l’objectif opérationnel et à la politique d’analyse, et être documentée. À l’échéance, appliquez la règle de clôture sans intégrer ensuite des événements de façon rétroactive et sélective. Il s’agit ici de la règle analytique proposée pour préserver la comparabilité, et non d’une exigence universelle des normes citées.

Distinguez les champs et horodatages du rapport. La norme 3GPP TS 23.040 décrit le SMS-STATUS-REPORT avec, entre autres, un champ de statut TP-Status et des champs d’horodatage tels que TP-SCTS et TP-DT, ainsi qu’une référence permettant de le corréler au message d’origine. Conservez ces champs lorsqu’ils sont disponibles et consignez la sémantique de tout identifiant propre au fournisseur.

• Consignez le fuseau horaire et la convention des horodatages pour éviter de comparer des heures interprétées différemment.
• Définissez à l’avance le traitement d’un statut reçu après la clôture : selon la règle analytique retenue, il est exclu du calcul initial, mais conservé à des fins d’audit ou dans une analyse ultérieure clairement distincte.
• Si la période de maturation change entre les essais, présentez les résultats comme des évaluations fondées sur des règles différentes, et non comme une comparaison directe sans réserve.

Maintenir des cohortes comparables lorsque le trafic évolue

Une variation du volume n’est pas le seul changement susceptible de fausser le résultat. La proportion de destinations, d’opérateurs, d’expéditeurs ou de types de trafic peut également varier, tout comme la répartition horaire. Si une route reçoit davantage de messages d’une catégorie qu’une autre, l’écart observé peut refléter la composition de l’échantillon plutôt que la route elle-même.

Lorsque la composition varie, présentez les résultats par strate pertinente et conservez la taille de chaque groupe. Si un indicateur agrégé est nécessaire, expliquez comment il a été construit et évitez de combiner des groupes qui ne représentent pas la même population cible. La recommandation UIT-T E.806 décrit le recours à l’échantillonnage stratifié pour les campagnes de qualité de service ; son application aux routes A2P est un principe méthodologique adapté, et non une exigence spécifique aux SMS.

Documentez également les changements opérationnels survenus pendant l’évaluation. Si le routage, l’expéditeur, la configuration ou le rythme d’envoi change, séparez les périodes concernées au lieu de les traiter comme une seule cohorte homogène.

• Comparez des plages horaires équivalentes ou présentez les résultats par tranche horaire lorsque l’horaire compte.
• Conservez les décomptes par destination, opérateur connu, expéditeur et type de trafic.
• Signalez les changements de configuration et évitez d’attribuer automatiquement leur effet à une seule variable.

Distinguer acceptation, statuts, latence et disponibilité

Ne réduisez pas tous les signaux à une notion unique de livraison. L’acceptation d’un envoi, un SMS-STATUS-REPORT reçu ultérieurement et la réception effective sur un terminal sont des événements distincts. Une acceptation n’équivaut pas à elle seule à un rapport final, et un DLR signalé ne doit pas être automatiquement présenté comme une vérification indépendante de la réception du message par le terminal.

Présentez séparément la proportion des envois acceptés par le système observé, les statuts reçus dans la fenêtre et la proportion restée sans résultat observé. Décrivez précisément les statuts regroupés et la manière dont ils l’ont été. La sémantique disponible peut dépendre du système qui émet ou transforme le rapport ; ne supposez pas que tous les DLR correspondent au même niveau de confirmation.

Associez la latence à des événements définis : par exemple, le temps écoulé entre l’envoi et la réception d’un statut donné. Indiquez l’horodatage utilisé et, lorsque cela convient, résumez la distribution au lieu de vous fier uniquement à une moyenne. La disponibilité nécessite elle aussi une définition opérationnelle explicite et une source d’observation ; ne la déduisez pas d’un seul indicateur de statut.

• Étiquetez les mesures selon la règle appliquée : acceptation, statut signalé, latence jusqu’à un événement défini ou disponibilité.
• Indiquez s’il s’agit d’un DLR reçu et signalé ou d’une vérification indépendante de la réception sur le terminal.
• Ne considérez pas un statut absent comme une preuve automatique d’échec, ni un statut signalé comme une garantie de livraison.

Résultats incomplets et petits échantillons

À la clôture, un message sans statut final observé doit rester identifié comme en attente, censuré ou sans résultat observé, selon la règle définie. Ne le comptez pas comme un succès ou un échec en l’absence de preuve. Indiquez à la fois le nombre total de messages de la cohorte et le nombre de messages encore sans résultat ; sinon, un taux calculé uniquement à partir des messages avec statut peut donner une impression incomplète.

Un petit échantillon produit des estimations plus incertaines. Les sources consultées ne définissent aucun seuil universel de taille suffisante pour comparer des routes A2P. Présentez la taille de l’échantillon et, si la méthode statistique employée le permet, une mesure d’incertitude appropriée. Les recommandations UIT-T E.802 et E.803 mettent en relation la taille de l’échantillon et l’incertitude, mais leurs exemples ne constituent pas une règle fixe pour cet usage.

Si la proportion de résultats en attente ou la fenêtre d’observation a changé, signalez-le à côté des indicateurs. Une valeur isolée, sans dénominateur, période ni règle de clôture, peut sembler précise sans être comparable.

• Présentez le numérateur, le dénominateur et le nombre de messages sans résultat observé.
• Ne déclarez pas une route supérieure sur la base de quelques messages sans signaler l’incertitude.
• Ne présentez pas un écart observé comme une garantie de performance future.

Enregistrement minimal et limites d’interprétation

Une comparaison reproductible nécessite des données au niveau du message et une description des règles appliquées. Conservez un identifiant permettant la corrélation, la route évaluée, l’horodatage d’envoi, la destination normalisée et les variables de cohorte. Ajoutez le statut reçu, son horodatage, la période d’observation, la règle de clôture et le nombre de messages sans résultat.

Consignez également les conditions qui changent la signification du résultat : demande de rapport de statut, politique de validité du SMS, statuts inclus dans chaque catégorie et éventuelles limites des données. La référence du message et les horodatages décrits par la norme 3GPP facilitent la corrélation ; les identifiants supplémentaires propres au fournisseur doivent être documentés et ne doivent pas être supposés équivalents d’un système à l’autre.

Une comparaison publiée doit se limiter aux données réellement observées et aux conditions documentées. Distinguez les résultats mesurés des données démonstratives et ne présentez pas des chiffres indicatifs comme des mesures commerciales en direct.

• Identifiant du message et route évaluée.
• Horodatage d’envoi, destination normalisée et conditions de cohorte.
• Statut reçu, horodatage et règle de classification.
• Début et fin de la fenêtre, période de maturation et règle de clôture.
• Nombre d’envois acceptés, de statuts reçus et de messages sans résultat, avec leurs dénominateurs.
• Changements opérationnels et limites susceptibles d’affecter l’interprétation.

Liste de contrôle pour répéter la comparaison

Avant de prendre une décision, vérifiez que les routes ont été évaluées selon des critères équivalents et que la conclusion ne dépend pas de l’inclusion sélective de DLR tardifs. Modifier la fenêtre peut être utile pour une nouvelle analyse, mais cela doit donner lieu à une nouvelle version du résultat et être appliqué de manière cohérente.

Utilisez la comparaison comme un élément de preuve opérationnel limité aux conditions observées. Examinez la composition de l’échantillon, les données incomplètes et l’incertitude avant de modifier le trafic. Aucune période d’observation ne transforme des résultats passés en garantie de livraison future.

• L’unité de comparaison et les cohortes sont-elles définies sans ambiguïté ?
• La destination, l’opérateur connu, l’expéditeur, le type de trafic et l’horaire sont-ils comparables ou répartis en strates distinctes ?
• Le début, la fin et la période de maturation ont-ils été fixés avant l’interprétation des résultats ?
• Les DLR tardifs sont-ils traités selon la même règle analytique pour toutes les routes ?
• L’acceptation, les statuts signalés, la latence et la disponibilité sont-ils présentés séparément ?
• Les dénominateurs, les messages en attente et la taille de l’échantillon sont-ils indiqués ?
• Les conditions, les limites et les changements sont-ils consignés afin de permettre de reproduire l’analyse ?