AutoIt Français

Bonsoir à tous,

Je viens requérir les conseils de quelques experts. Je ne suis pas un grand habitué d'AutoIt ; je ne m'en sers que très ponctuellement pour des usages bien précis. Pour ce que j'ai à réaliser, j'ai essayé diverses choses, mais je crains de ne trop m'égarer et de perdre trop de temps que je n'ai pas. Alors je vous sollicite pour obtenir une orientation pour voir comment m'y prendre.

Finalité : il s'agit de traiter du fichier CSV.

Commentaires sur les fichiers CSV sources :

Ils proviennent probablement de Excel, et leur délimiteur sera toujours ;
Ils contiennent un nombre aléatoires de lignes (de ce que j'ai constaté, d'une dizaine à quelques centaines)
Ils contiennent toujours le même nombre de colonnes, chacune étant toujours formaté de la même façon, mais bémol pas toujours dans le même ordre (même si 99% le sont).
La première ligne contient le nom des colonnes. Les noms de ces colonnes sont toujours les mêmes (mais leur agencement peut varier comme dit juste avant)
Un fichier joint est donné à titre d'exemple de fichiers sources.

Choses qu'il me faudrait réaliser :

1- sans interactions particulières et sans nécessité d'affichage des données :

Identifier l'ordre des colonnes via des recherches de texte pour insérer leur numéros en variables ? (dans l'idée de pouvoir traiter indiféremment les fichiers qui ne sont pas ordonnés de la même façon.)
Des colonnes ne seront jamais exploitées, il faudrait pouvoir les supprimer automatiquement sans interactions.
Il faudrait pouvoir supprimer des lignes complètes en fonction du contenu de certains champs : dans le fichier d'exemple CSV, vous noterez que du titre 24 au titre 48, il y a des 'Oui' et des 'Non'. Ainsi, certaines lignes comportant certains champs à 'Nom' seraient supprimées sans plus de traitement.
insérer une nouvelle colonne avec, pour chacune des lignes, un identifiant 'maison' sous forme de texte en fonction de la valeur d'un autre champ (chiffre) de la ligne

2-Sur ce premier traitement automatique, deux issues optionnelles laissées à l'utilisateur :

une exportation du fichier réordonné dans un ordre de colonnes donné, sans toutes les insérer toutes fois, dans un nouveau fichier CSV propre.
un affichage écran de certains champs de certaines lignes, avec possiblité de faire défiler ces mêmes champs d'une ligne à l'autre (dans une optique d'aide visuelle à la saisie sur un outil tiers).

C'est un peu confus sans doute, si c'est le cas je vous prie de m'en excuser.

Une fois tout cela exposé, c'est là que je sollicite une 'grande orientation' : me recommanderiez-vous de partir sur du traitement avec une UDF dédiée au CSV (j'en ai croisé plusieurs, de différentes versions, avec parfois quelques fonctionnalités qui me seraient utiles, d'autres pas du tout), ne traiter les choses qu'en jonglant avec les _Array, envisager peut-être du sqlite, ou encore autre chose que je n'aurais pas du tout évoqué ?

Merci d'avoir jeté un coup d’œil.

Bonjour Ric, bienvenue sur notre forum.
Pas facile de donner des recommandations... Perso, je dirais que chacun fait un peu comme il veut, en fonction de son niveau.

Tu peux faire de la lecture ligne à ligne (FileReadLine), éclater chaque ligne dans un tableau (StringSplit) et écrire uniquement les lignes voulues dans un fichier CSV de sortie.
Pour supprimer des colonnes, il suffit simplement de ne pas les écrire dans le fichier de sortie.
Ne pas oublier un petit fichier de log, qui permettra de tracer les éventuelles erreurs.

Un petit exemple simple :

► Afficher le texte

Code : Tout sélectionner

#Include <Array.au3>


Local $sCSV = "vide.csv"                      ; Fichier d'entrée
Local $sOutput = "output.csv"                 ; Fichier de sortie
Local $iCols = 50                             ; Nombre de colonnes dans le fichier d'entrée
Local $sLogFile = @ScriptDir & "\result.log"  ; Fichier de log (peut être utile en cas d'erreurs éventuelles)

Local $sLine = "", $aSplit, $iCount = 0, $sNewLine


Local $hCSV = FileOpen($sCSV)
If $hCSV = -1 Then Exit MsgBox(16, "Erreur", "Impossible d'ouvrir le fichier " & $sCSV)

Local $hLog = FileOpen($sLogFile, 2)
If $hLog = -1 Then Exit MsgBox(16, "Erreur", "Impossible d'ouvrir le fichier " & $sLogFile)

Local $hOut = FileOpen($sOutput, 2)
If $hLog = -1 Then Exit MsgBox(16, "Erreur", "Impossible d'ouvrir le fichier " & $sOutput)


While 1
    $iCount += 1
    $sLine = FileReadLine($hCSV)
    If @error Then ExitLoop
    
    If $sLine = "" Then ContinueLoop  ; Si une ligne est vide, on ne la traite pas
    
    $aSplit = StringSplit($sLine, ";") ; On éclate la ligne en tableau
    If $aSplit[0] <> $iCols Then       ; Si on n'a pas le bon nombre de colonnes, on log et on passe à la ligne suivante
        FileWriteLine($hLog, "[ERREUR] Ligne " & $iCount & " : nombre de colonnes incorrect")
        ContinueLoop
    EndIf
    
    If $aSplit[31] = "non" OR $aSplit[35] = "non" Then ContinueLoop ; Si les colonnes 31 ou 35 contiennent "non", on passe à la ligne suivante
    
    ; La ligne contient les colonnes 1 à 40 (par exemple)
    $sNewLine = $aSplit[1] & ";" & $aSplit[2] & ";" & $aSplit[3] & ";" & $aSplit[4] & ";" & $aSplit[5] & ";" & $aSplit[6] & ";" & $aSplit[7] & ";" & $aSplit[8] & ";" & $aSplit[9] & ";" & $aSplit[10] & ";" & _
                $aSplit[11] & ";" & $aSplit[12] & ";" & $aSplit[13] & ";" & $aSplit[14] & ";" & $aSplit[15] & ";" & $aSplit[16] & ";" & $aSplit[17] & ";" & $aSplit[18] & ";" & $aSplit[19] & ";" & $aSplit[20] & ";" & _
                $aSplit[21] & ";" & $aSplit[22] & ";" & $aSplit[23] & ";" & $aSplit[24] & ";" & $aSplit[25] & ";" & $aSplit[26] & ";" & $aSplit[27] & ";" & $aSplit[28] & ";" & $aSplit[29] & ";" & $aSplit[30] & ";" & _
                $aSplit[31] & ";" & $aSplit[32] & ";" & $aSplit[33] & ";" & $aSplit[34] & ";" & $aSplit[35] & ";" & $aSplit[36] & ";" & $aSplit[37] & ";" & $aSplit[38] & ";" & $aSplit[39] & ";" & $aSplit[40]

    FileWriteLine($hOut, $sNewLine) ; On écrit la ligne
WEnd

FileClose($hOut)
FileClose($hLog)
FileClose($hCSV)

Salut,

j'ai pas testé et j'ai pas géré les erreurs, mais sinon ça devrais le faire

: (moi aussi je suis parti sur de l'array)

► Afficher le texte

Code : Tout sélectionner

Global $nbCol = 50
Global $tabColRef[$nbCol][2] = [["nomCol0",""],["nomCol1",""],["nomCol2",""], _ ;ici tu range les col dans l'ardre que tu les veux en sorti
["nomCol3",""],["nomCol4",""],["nomCol5",""], _
["nomCol6",""],["nomCol7",""],["nomCol8",""], _
["nomCol9",""],["nomCol10",""],["nomCol11",""], _
["nomCol12",""],["nomCol13",""],["nomCol14",""], _
["nomCol15",""],["nomCol16",""],["nomCol17",""], _
["nomCol18",""],["nomCol19",""],["nomCol20",""], _
["nomCol21",""],["nomCol22",""],["nomCol23",""], _
["nomCol24",""],["nomCol25",""],["nomCol26",""], _
["nomCol27",""],["nomCol28",""],["nomCol29",""], _
["nomCol30",""],["nomCol31",""],["nomCol32",""], _
["nomCol33",""],["nomCol34",""],["nomCol35",""], _
["nomCol36",""],["nomCol37",""],["nomCol38",""], _
["nomCol39",""],["nomCol40",""],["nomCol41",""], _
["nomCol42",""],["nomCol43",""],["nomCol44",""], _
["nomCol45",""],["nomCol46",""],["nomCol47",""], _
["nomCol48",""],["nomCol49",""]]
Global $fileIN = @ScriptDir & "\toto.csv",$fileOUT = FileOpen(@ScriptDir & "\totoOUT.csv",2)

_process($fileIN,$fileOUT,$tabColRef)

Func _process($fichierEntree,$fichierSortie,$tabRef)
    local $data = ""
    $read = FileRead($fichierEntree)
    $line = StringSplit($read, @CR)
    
    ;identification des col
    _chargeIdCol(StringSplit($line[1], ";"),$tabRef) 
    
    ;ecriture de la premiere ligne avec le nom des col
    For $i = 0 To $nbCol - 1
        if $data == "" Then
            $data = $tabRef[$i][0]
        Else
            $data &= ";" & $tabRef[$i][0]
        EndIf
    Next
    $data &= @CRLF
    
    ;traitement du reste des lignes
    For $i = 2 To $line[0] - 1
        $var = StringSplit($line[$i], ";")
        If $var[$tabRef[23][1]] <> "non" And Int($var[$tabRef[32][1]]) == 0 Then ;c'est ici que tu met tes conditions (contenu de la col 'nomCol23' n'est pas égal a 'non' et
            For $n=0 to $nbCol -1                                                 ;contenu de la col 'nomCol31' est égal a zero)
                if $n == 0 Then
                    $data &= $var[$tabRef[$n][1]]
                Else
                    $data &= ";" & $var[$tabRef[$n][1]]
                EndIf               
            Next
            $data &= @CRLF
        EndIf
    Next
    FileWrite($fichierSortie,$data)
EndFunc

;ça c'est pour retrouver les numéros de col du fichier que tu fourni en entrée par rapport a l'ordre que tu a spécifié en haut '$tabColRef'
Func _chargeIdCol($tabFirstLine,$tabRef)
    For $i=1 To $tabFirstLine[0]
        For $n=0 To $nbCol-1
            If $tabRef[$n][0] == $tabFirstLine[$i] Then
                $tabRef[$n][1]=$i
                $n=$nbCol
            EndIf
        Next
    Next
EndFunc

Faco, et la balise "code" ?

Sinon comme dit jguinch, il y a plein de solutions
Quelques centaines de lignes, c'est très peu, ça peut être géré avec des fonctions custom réalisées sur la base des fonctions _FileReadToArray et _Array* (_ArrayDelete, _ArrayInsert, _ArrayColDelete, _ArrayColInsert, etc)
S'il doit y avoir beaucoup de manipulations plus ou moins pointues sqlite est précis, solide et performant mais un peu plus délicat à coder

la fatigue...
la dernière fois on m'a dit de mettre mon code dans un spoil parce-qu’il était un peu long, moi je suis pas embêtant, balise spoil.

il est tard, va dormir mikell

(t’embête pas à expliqué j'ai saisi

)

► Afficher le textevoir un autre exemple →

Code : Tout sélectionner

#include <Array.au3>
#include <Debug.au3>
#include <File.au3>
#include <FileConstants.au3>

; Titres à supprimer d'office.
Global Const $TO_DEL = "#Titre 2##Titre 4##Titre 25##Titre 50#"

_DebugSetup('', False, 2)

_main()

Func _main()
    Local $arrayCSV

    _FileReadToArray('vide.csv', $arrayCSV, $FRTA_COUNT, ';')

    ; Les titres sont en ligne 1 et le contenu débute à la ligne 2.
    $nbLignes = $arrayCSV[0][0]
    $nbColonnes = $arrayCSV[0][1]

    _DebugReportVar('$nbLignes', $nbLignes)
    _DebugReportVar('$nbColonnes', $nbColonnes)

    _ArrayDisplay($arrayCSV)
    _supprColonnesJamaisExploitees($arrayCSV)
    _ArrayDisplay($arrayCSV)

    ; « Indexe » les colonnes pour retrouver le numéro de colonne à partir du titre.
    $sd = _createIndex($arrayCSV)

    ; Si je veux récupérer le numéro de colonne du Titre 8 :
    MsgBox(0, 'Colonne pour "Titre 8"', $sd.Item("Titre 8"))
    MsgBox(0, 'Vérification...', $arrayCSV[1][$sd.Item("Titre 8")])
    MsgBox(0, 'Vérification...', $arrayCSV[2][$sd.Item("Titre 8")])

    _ArrayDisplay($arrayCSV)
    _tri($sd, $arrayCSV)
    _ArrayDisplay($arrayCSV)

    ; Sauvegarde le tout !
    _FileWriteFromArray("temp.csv", $arrayCSV, 1, Default, ';')
EndFunc   ;==>_main

;
; « Il faudrait pouvoir supprimer des lignes complètes en fonction du contenu de certains champs : dans le fichier d'exemple CSV, vous noterez que du titre 24 au titre 48, il y a des 'Oui' et des 'Non'.
; Ainsi, certaines lignes comportant certains champs à 'Nom' seraient supprimées sans plus de traitement. »
;
Func _tri(ByRef $sd, ByRef $arrayCSV)
    $nbLignes = $arrayCSV[0][0]
    $nbColonnes = $arrayCSV[0][1]

    $i = 2
    While $i <= $nbLignes
        If $arrayCSV[$i][$sd.Item("Titre 26")] = 'Non' Then
            _ArrayDelete($arrayCSV, $i)
;~          _ArrayDisplay($arrayCSV)
            $nbLignes -= 1
            _DebugOut($nbLignes)
        Else
            $i += 1
        EndIf
    WEnd
    $arrayCSV[0][0] = $nbLignes
EndFunc   ;==>_tri

;
; « Identifier l'ordre des colonnes via des recherches de texte pour insérer leur numéros en variables ?
; (dans l'idée de pouvoir traiter indiféremment les fichiers qui ne sont pas ordonnés de la même façon.) »
;
Func _createIndex($arrayCSV)
    ; http://msdn.microsoft.com/en-us/library/x4k5wbx4%28v=vs.84%29.aspx
    $sd = ObjCreate("Scripting.Dictionary")
    For $i = 0 To $arrayCSV[0][1] - 1
        $sd.Add($arrayCSV[1][$i], $i)
        _DebugOut($arrayCSV[1][$i])
    Next

    Return $sd
EndFunc   ;==>_createIndex

;
; « Des colonnes ne seront jamais exploitées, il faudrait pouvoir les supprimer automatiquement sans interactions. »
;
; Voir Constante $TO_DEL.
;
; Remarque : Il est possible que 'Titre 2' ne soit pas supprimé. C'est parce que... Titre 2 <> Titre 2
; C'est vicieux, il y a un espace insécable !
Func _supprColonnesJamaisExploitees(ByRef $arrayCSV)
    ; La première colonne débute à zéro.
    $nbColonnes = $arrayCSV[0][1]

    $i = 0
    While $i < $nbColonnes
        $nomColonne = $arrayCSV[1][$i]
        If _isToDelete($nomColonne) Then
            _DebugReportVar('$nomColonne', $nomColonne)
            _ArrayColDelete($arrayCSV, $i)
            $nbColonnes -= 1
        Else
            $i += 1
        EndIf
    WEnd

    ; Met à jour le nombre de colonnes.
    $arrayCSV[0][1] = $nbColonnes
EndFunc   ;==>_supprColonnesJamaisExploitees

Func _isToDelete($nomColonne)
    Return StringInStr($TO_DEL, '#' & $nomColonne & '#')
EndFunc   ;==>_isToDelete

Bonjour

Vous m'avez gâté, je ne voulais pas vous ennuyer autant. J'étais venu solliciter une grande ligne à suivre et vous m'avez fait plein d'exemples à piocher ! Merci. Je vais donc procéder à quelques essais et tester tout ça, voir ce qu'il m'est plus facile d'assimiler et d'intégrer.

Avant vos réponses, j'avais vu aussi l'UDF de Tlem qui pouvait peut-être m'être intéressant. Je mets surtout le lien dans le sujet pour pouvoir le retrouver facilement plus tard (ou un lecteur).

Pour l'insertion de l'information supplémentaire, via l'ajout d'une colonne : insérer une nouvelle colonne avec, pour chacune des lignes, un identifiant 'maison' sous forme de texte en fonction de la valeur d'un autre champ (chiffre) de la ligne. Concrètement, pour partir du fichier source exemple, en 'Titre 11' les données-exemples 12345 correspondent en fait à des codes postaux. En fonction de celui-ci, un identifiant unique serait inséré en fin de ligne (via l'ajout d'une nouvelle colonne).

Ma base de correspondances (bête tableur Excel en l'état) ne contient heureusement pas les 36000 et quelques communes françaises :p Mais j'en ai quand même presque 14000 correspondances (sachant qu'une commune a plusieurs codes postaux). Toutes les correspondances ne sont visiblement pas nécessaires : je dois pouvoir limiter à une centaine en faisant des encadrements de valeurs (exemple, de 21000 à 21999 correspond tel champ texte), avec parfois un ou deux cas particuliers qui obligeraient à sous-diviser un encadrement.

Je souhaitais l'insertion auto de l'identifiant en fin de ligne, sans appel extérieur du script (il faudrait les données insérées sous une forme dans le script) : l'outil sera exécuté sur des environnements qui ne sont pas en réseau, avec une gestion stricte des droits. Pour cette raison, je voulais inclure cette correspondance dans le script, quitte à ce que cela le rende de fait plus volumineux.

J'avais imaginé peut-être un CSV dédié inclus (ce qui ferait déjà 800 et quelques Ko), peut-être extrait à l'exécution du script, une boucle de recherche de correspondance, et une suppression à la sortie du script ; qu'en pensez-vous ?

Merci à tous les 4 (jguinch, Faco, mikell, orax) de votre coup d’œil en tous les cas. Je crois que je vais gagner beaucoup de temps, je me dispersais à essayer plein de petites choses qui auraient été laborieuses à accorder ensuite.

Edit : merci du message de bienvenue également

J'étais inscrit il y a quelques années, mais je ne sais plus sous quel couple pseudo/mail, je ne l'ai pas retrouvé :/

Concernant les codes postaux, je peux te fournir des données plus complètes (62015 CP français validés dont 22169 cedex, 10 air, 458 armées, 12 spéciaux et [seulement] 2 cityssimo). Je peux déjà te dire que dénicher le bon code postal ou plutôt la liste des codes postaux possibles pour un nom de commune donné est tout sauf un problème simple, vraiment.

Toutes les listes de codes postaux français (pour rester simple) disponibles gratuitement sont truffées d'erreurs et d'omissions. De nombreux noms de communes sont ambigüs (homonymie exacte, comme Bordeaux 33x00 et 77410). L'orthographe des communes s'accompagne presque toujours d'un flou parfois très artistique, outre la gestion de la désaccentuation et des abbréviations. Le regroupement de communes rend la chose bien plus sportive encore.

A ce tableau alarmant il faut rajouter la faculté d'insérer de nouveaux codes postaux certifiés valides rencontrés en cours d'exploitation.

Jusqu'à présent je me suis abstenu de proposer une solution SQLite (l'un de mes jouets favoris) du fait du très faible volume de données dans chaque fichier, mais si tu as besoin d'une solution robuste pour l'attribution de codes postaux, ce paradigme doit probablement être remis en cause. Au passage tu gagnerais en flexibilité si ton projet est susceptible d'évoluer en complexité dans le temps.

Juste à titre indicatif, je scotche ici un extrait arraché au code que j'employais il y a peu de temps encore pour trouver une liste de CP possibles, et encore tout n'est pas là, très loin de là.

► Afficher le texte

Code : Tout sélectionner

Func _CleanVille($str)
    $str = _LowerUnaccent($str)
    $str = StringReplace($str, "/", " sur ")
    $str = StringRegExpReplace($str, "[0-9\-_/\^""\.:;,'\(\)\*\+#~`&\|!\?§%\$£¤={}²€\[\]°@]|\s", " ")
    $str = StringStripWS($str, 7)
    $str = StringRegExpReplace($str, "\b(sa?inte?(?!$))\b", "st")
    Return($str)
EndFunc

Func _TokenizeVille($ville, $pays, ByRef $words)
    $ville = StringRegExpReplace($ville, '\bste? ', 'st~')
    Local $allwords = StringSplit($ville, ' ', 2)
    $words = $allwords
    Local $j = 0
    For $i = 0 To UBound($allwords) - 1
        If (($pays = 'FR' Or $pays = 'BE' Or $pays = 'CH' Or $pays = 'LU' Or $pays = 'GP' Or $pays = 'MQ' Or $pays = 'RE' Or $pays = 'NC' Or $pays = 'ES' Or $pays = 'GF' Or $pays = 'AD') And _
                Not ($ville = 'les pres' And $i = 1) And _
                _Sl3Exists($hADB, "select mot from mots where not ("&$i&" = 0 and flgville) and flgStopAdr and mot = "&X($allwords[$i])&";")) _
            Or (StringLen($allwords[$i]) = 1 And Not $ville = 'y') Then
            _ArrayDelete($words, $j)
        Else
            $j += 1
        EndIf
    Next
    Return($j)
EndFunc

Func _TrouvePaysCpVille($paysIn, $cpIn, $villeIn, ByRef $ZipCandidats)
    Local $nrows, $ncols
    Local $villeTok, $delta, $method
    Local $ret

    $villeIn = _CleanVille($villeIn)

    ; Tests effectués séquentiellement, autorisant une réorganisation ultérieure aisée pour optimisation en pratique

    Local $villeInUC = _Upper($villeIn)
    $cpIn = _Upper($cpIn)
    $ZipCandidats = ''
    _SQLite_Exec($hADB, "begin immediate;")

    ; 1er essai : si tout est trouvé exactement et sans recherches tortueuses, bingo !
    $method = 1
    _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                            "select "&$Method&", 100.0, paysIso, code, ville, id from codespostaux " & _
                            "where paysIso = "&X($paysIn)&" and code = "&X($cpIn)&" and ville = "&X($villeInUC)&";")
    If _SQLite_Changes($hADB) = 1 Then
        _SQLite_GetData2d($hADB, "select score, pays, code, ville, id from mdb.ZipMatches;", $ZipCandidats, $nrows, $ncols)
        _SQLite_Exec($hADB, "delete from mdb.tokmatch; delete from mdb.zipmatch; delete from mdb.zipmatches;")
        _SQLite_Exec($hADB, 'commit;')
        Return
    EndIf

    ; 2nd essai : on recherche le pays, le code postal et la suite des tokens de la ville
    $method += 1
    Local $n = _TokenizeVille($villeIn, $paysIn, $villeTok)
    Local $tokstr = _ArrayToString($villeTok, ' ')
_ConsoleWrite('Tokenization is >' & $tokstr & '<' & @LF)
    _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                            "select "&$Method&", 99.0, paysIso, code, ville, id from codespostaux " & _
                            "where paysIso = "&X($paysIn)&" and code = "&X($cpIn)&" and motsville = "&X($tokstr)&";")
    If _SQLite_Changes($hADB) = 1 Then
        _SQLite_GetData2d($hADB, "select score, pays, code, ville, id from mdb.ZipMatches;", $ZipCandidats, $nrows, $ncols)
        _SQLite_Exec($hADB, "delete from mdb.tokmatch; delete from mdb.zipmatch; delete from mdb.zipmatches;")
        _SQLite_Exec($hADB, 'commit;')
        Return
    EndIf

    ; 3ème essai : on recherche le pays, on admet 1 erreur sur le code postal et on compare sur la suite des tokens de la ville
    $method += 1
    If $villeIn <> '' Then
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(995 * (1.0 - typos(code, "&X($cpIn)&") / ("&StringLen($cpin)&" * 3.0)) as integer) * 0.1, paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and typos(code, "&X($cpIn)&") <= 1 and motsville = "&X($tokstr)&";")
    EndIf
    If _SQLite_Changes($hADB) = 1 Then
        _SQLite_GetData2d($hADB, "select score, pays, code, ville, id from mdb.ZipMatches;", $ZipCandidats, $nrows, $ncols)
        _SQLite_Exec($hADB, "delete from mdb.tokmatch; delete from mdb.zipmatch; delete from mdb.zipmatches;")
        _SQLite_Exec($hADB, 'commit;')
        Return
    EndIf

    ; 4ème essai : on recherche le pays, le code postal et on essaye de faire coller les tokens de la ville et eux seulement
    $method += 1
    If $villeIn <> '' Then
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(989 * (1.0 - typos(code, "&X($cpIn)&") / ("&StringLen($cpin)&" * 3.0)) as integer) * 0.1, " & _
                                "paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and code = "&X($cpIn)&" and (motsville like "&X($tokstr & ' %')&" or motsville like "&X('% ' & $tokstr)&");")
    EndIf
    If _SQLite_Changes($hADB) = 1 Then
        _SQLite_GetData2d($hADB, "select score, pays, code, ville, id from mdb.ZipMatches;", $ZipCandidats, $nrows, $ncols)
        _SQLite_Exec($hADB, "delete from mdb.tokmatch; delete from mdb.zipmatch; delete from mdb.zipmatches;")
        _SQLite_Exec($hADB, 'commit;')
        Return
    EndIf

    ; 5ème essai : on recherche le pays, le code postal et on essaye de faire coller les tokens connus et eux seulement
    $method += 1
    If $villeIn <> '' Then
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(987 * (1.0 - typos(code, "&X($cpIn)&") / ("&StringLen($cpin)&" * 3.0)) as integer) * 0.1, " & _
                                "paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and code = "&X($cpIn)&" and "&X($tokstr)&" like (motsville || ' %');")
    EndIf
    If _SQLite_Changes($hADB) = 1 Then
        _SQLite_GetData2d($hADB, "select score, pays, code, ville, id from mdb.ZipMatches;", $ZipCandidats, $nrows, $ncols)
        _SQLite_Exec($hADB, "delete from mdb.tokmatch; delete from mdb.zipmatch; delete from mdb.zipmatches;")
        _SQLite_Exec($hADB, 'commit;')
        Return
    EndIf

    ; 6ème essai : on recherche le pays et on admet 2 erreurs sur le code postal et aucune sur les tokens de la ville
    $method += 1
    If $villeIn <> '' Then
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(985 * (1.0 - (typos(code, "&X($cpIn)&") / "&StringLen($cpin)&" - typos(ville, "&X($villeIn)&") / "&StringLen($villeIn)&") * 3.0) as integer) * 0.1, paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and typos(code, "&X($cpIn)&") <= 2 and motsville = "&X($tokstr)&";")
    EndIf

    ; 7ème essai : on recherche le pays et on admet 1 erreur sur le code postal et 1 erreur sur les tokens de la ville
    $method += 1
    If $villeIn <> '' Then
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(980 * (1.0 - (typos(code, "&X($cpIn)&") / "&StringLen($cpin)&" - typos(ville, "&X($villeIn)&") / "&StringLen($villeIn)&") * 3.0) as integer) * 0.1, paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and typos(code, "&X($cpIn)&") <= 1 and typos(motsville, "&X($tokstr)&") <= 1;")
    EndIf

    ; 8ème essai : on recherche le pays, le code postal et on admet de 1 à 3 erreurs sur la ville selon longueur
    ;              si la ville est vide, on ramène tous les enregistrements de ce code postal pour ce pays
    $method += 1
    Switch StringLen($villeIn)
        Case 0
            $delta = -1
        Case 1 To 2
            $delta = 0
        Case 3 To 6
            $delta = 1
        Case 7 To 10
            $delta = 2
        Case Else
            $delta = 3
    EndSwitch
    If $delta < 0 Then
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", 95.0, paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and code = "&X($cpIn)&";")
    Else
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(1000 * (1.0 - typos(ville, "&X($villeIn)&") / ("&StringLen($villeIn)&" * 3.0)) as integer) * 0.1, paysIso, code, ville, id from codespostaux " & _
                                "where paysIso = "&X($paysIn)&" and code = "&X($cpIn)&" and typos(ville, "&X($villeIn)&") <= "&$delta&";")
    EndIf

    ; 9ème essai : on recherche la ville en admettant 1 à 3 erreurs selon longueur et le code en espérant que le pays "remonte"
    $method += 1
    If $villeIn <> '' Then
        Switch StringLen($villeIn)
            Case 1 To 2
                $delta = 0
            Case 3 To 6
                $delta = 1
            Case 7 To 10
                $delta = 2
            Case Else
                $delta = 3
        EndSwitch
        _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) " & _
                                "select "&$Method&", cast(1000 * ((1.0 - cast(typos(ville, "&X($villeIn)&") as real) / "&StringLen($villeIn)&" + case code when "&X($cpIn)&" then 1 else 0 end + case paysiso when "&X($paysIn)&" then 1 else 0 end) / 3.0) as integer) * 0.1, paysIso, code, ville, id from codespostaux " & _
                                "where code = "&X($cpIn)&" and typos(ville, "&X($villeIn)&") <= "&$delta&";")
    EndIf

;~  ; 10ème essai : on recherche les tokens de la ville, le début du code sans les trois derniers caractères et le pays
;~  $method += 1
;~  If $n Then
;~      For $i = 0 to $n - 1
;~          If StringLen($villeTok[$i]) <= 5 Then
;~              $delta = 1
;~          Else
;~              $delta = 2
;~          EndIf
;~          _SQLite_Exec($hADB, "insert into mdb.tokmatch (idzip, nbtypos, howclose) " & _
;~                              "select zipid, " & _
;~                                  "typos(zipmot, "&X($villeTok[$i])&") as typ, " & _
;~                                  "1.0 - cast(typos(zipmot, "&X($villeTok[$i])&") as Real) / "&StringLen($villeTok[$i])&" " & _
;~                              "from zipmots where typ <= "&$delta&";")
;~      Next
;~      _SQLite_Exec($hADB, "insert into mdb.zipmatch (id_zip, samepays, ziptypos) " & _
;~                                  "select distinct idzip, " & _
;~                                      "case paysiso when "&X($paysIn)&" then 1 else 0 end, " & _
;~                                      "typos(code, "&X($cpIn)&") from mdb.tokmatch join codespostaux on idzip = id " & _
;~                                  "where idzip in (select distinct idzip from mdb.tokmatch);" & _
;~                          "update mdb.zipmatch set " & _
;~                              "nbtoks = (select count(*) from mdb.tokmatch where idzip = id_zip), " & _
;~                              "toktypos = (select total(nbtypos) from mdb.tokmatch where idzip = id_zip), " & _
;~                              "zipclose = (select avg(howclose) from mdb.tokmatch where idzip = id_zip);" & _
;~                          "update mdb.zipmatch set score = cast(((150.0 * samepays) + 150.0 * (1.0 - cast(ziptypos as real) / "&StringLen($cpin)&") + 700.0 * nbtoks * zipclose / "&$n&") as integer) * 0.1;")
;~      _SQLite_Exec($hADB, "insert into mdb.ZipMatches (method, score, pays, code, ville, id) select "&$Method&", score - 0.29 * typos(ville, "&X($villeIn)&"), paysIso, code, ville, id from mdb.zipmatch join codespostaux on id_zip = id group by id_zip;")
;~  EndIf

    ; ici on récupère tout ce qui a été pêché, on trie par score et on garde les 100 meilleurs résultats
    _SQLite_GetData2d($hADB, "select distinct score, pays, code, ville, id from mdb.ZipMatches group by id order by score desc, code, ville limit 100;", $ZipCandidats, $nrows, $ncols)
    _SQLite_Exec($hADB, "delete from mdb.tokmatch; delete from mdb.zipmatch; delete from mdb.zipmatches;")
    _SQLite_Exec($hADB, 'commit;')
EndFunc

Je ne veux pas jouer les rabats-joie et, certes, mon application gérait des clients dans 49 pays qui saisissaient souvent des coordonnées fantaisistes (j'ai eu un "xx av. Daumesnil, 75012 Paris, Ukraine"), mais même dans un contexte bien plus simplifié la question est définitivement non triviale et ne rentre pas dans une macro Excel.

Salut jchd

Je me suis rendu compte en effet du bordel, si vous me permettez l'expression, des codes postaux ^^ C'est d'ailleurs à cette occasion que j'ai réalisé qu'un code postal est un indicateur propre aux postes et n'a rien à voir avec les codes INSEE (codes officiels géographiques). J'ai inséré le PDF INSEE officiel pour les curieux en PJ.

Les codes postaux que j'aurai en entrée sont des codes d'adresses d'individus 'lambda', des codes postaux de domicile, il n'y a normalement pas de cedex ou codes spécifiques à des entités administratives (comme les armées, etc.).

Pour la petite histoire, afin de réaliser ma base de correspondance, j'avais une correspondance Arrondissement > code identifiant 'Maison' réalisée en interne. J'ai fait une jointure avec le code géographique INSEE, qui me permet ainsi d'avoir une correspondance 'code géographique commune' > code identifiant 'maison', via le dénominateur des 'arrondissements' que j'avais en commun avec ces deux tables.

A cela, j'ai fait une jointure avec cette base OpenDataSoft qui a réalisé une correspondance 'codes postaux' > 'codes géographiques'.

Ce qui m'a permis in fine d'avoir une base 'codes postaux' > codes identifiants 'Maison'. La base a été nettoyée pour ne contenir plus que ces deux champs. Je ne suis pas sûr d'avoir besoin d'avoir une base vraiment plus pointue pour cette correspondance en fait. Cela me fait quelques milliers de correspondances encore, mais que je peux encadrer il me semble.

Il est vrai qu'en cas de non reconnaissance d'un CP, la ligne serait malgré tout traitée, identifiée comme non attribuée dans cette colonne rajoutée, afin d'éviter de la 'perte en ligne' :p

Bon je vois que tu as goûté à l'ampleur du problème. Mon but était surtout d'attirer ton attention sur les difficultés pratiques que bien des gens ignorent, développeurs compris. Le grand public est très laxiste avec la saisie des adresses et, dans le cas de la vente en ligne, fait souvent livrer à une tierce personne dont l'adresse complète est encore moins précise. Les plate-formes de vente (eBay, PriceMinister, Amazon, RueDuCommerce et autres) ne valident quasiment rien de ce que le vulgaris pecus saisit.

Perso, je gère aussi les codes INSEE bien sûr. Par contre sache que les CEDEX ne sont pas réservés aux entreprises et se rencontrent de plus en plus dans les adresses de résidences, lotissement, etc.

Enfin, si tu considères que les CP que tu reçois sont corrects et ne demandent pas de validation avec le reste de l'adresse, le problème est en effet beaucoup moins tortueux.

Pour info à qui lirait ceci, il y a aussi le cas amusant des CP dont le département du bureau distributeur ne correspond pas au département de la commune (j'en avais 30 en 2009).

Heureusement tu es bien informé de ces aspects et tu n'as clairement pas besoin de mes mises en garde.

jchd a écrit :Bon je vois que tu as goûté à l'ampleur du problème. Mon but était surtout d'attirer ton attention sur les difficultés pratiques que bien des gens ignorent, développeurs compris.

Je te remercie d'avoir dans le doute attiré mon attention sur cette problématique. J'ai l'espoir de ne pas rencontrer trop d'originalités dans les CP qui seront traités. J'espère ne pas être trop ambitieux. J'ignorais que certaines résidences pouvaient se mettre aux CEDEX, il va peut-être falloir que j'y fasse attention.

jchd a écrit :Pour info à qui lirait ceci, il y a aussi le cas amusant des CP dont le département du bureau distributeur ne correspond pas au département de la commune (j'en avais 30 en 2009).

Je l'ai constaté par hasard, avec mes jointures par arrondissement. J'ai cru en effet à une erreur, avant de vérifier manuellement ces entrées.

Je l'ai constaté par hasard, avec mes jointures par arrondissement. J'ai cru en effet à une erreur, avant de vérifier manuellement ces entrées.

Cela correspond à des communes situées quasiment hors de portée du bureau distributeur intra-département le plus proche (pas de pont proche ou de route directe [village sur l'autre flanc d'une vallée encaissée] ce qui obligerait à un détour ruineux pour une déserte "normale"), ou à des enclaves.

Bonsoir à tous

J'ai passé le week-end à bricoler, en m'aidant et m'inspirant de ce que vous m'avez suggéré. Je vous remercie, cela m'a fait gagner beaucoup de temps.

Tout n'est pas complétement finalisé, mais cela fonctionne, malgré quelques petits détails à insérer et tester. J'avais quelques fichiers sources originaux (les CSV) avec moi pour faire quelques essais. Sur ces derniers c'était fonctionnel. A voir si avec d'avantages d'essais sur les autres dans le courant de la semaine c'est toujours aussi concluant.

Je me suis essentiellement inspiré de la proposition de jguinch : plutôt que de chercher à supprimer, insérer, etc., chacune des lignes est lue et réécrite à la volée ou non en respectant les conditions définies de lecture, complétée d'informations complémentaires en fonction de certains contenus (le code identifiant 'maison' par exemple), réagencée suivant mon besoin directement au moment de l'écriture.

En tous les cas merci des suggestions, cela m'a permis de pouvoir ramener quelque chose pour demain et ça a bien occupé -utilement- mon week-end ^^ A bientôt

AutoIt Français

[R] Demande d'orientation

[R] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [..] Demande d'orientation

Re: [R] Demande d'orientation