[..] StringRegExp et les Accents

[Zaibai]

Bonjour,

Ma question peut vous paraître simple mais je parviens pas à trouver ma réponse...
J'aimerais que la commande StringRegExp ne tienne pas compte des accents.

Exemple:
StringRegExp("éxpérience", '(?i)(' &EXP& ')') ==> NOK
StringRegExp("éxpérience", '(?i)(' &ÉXP& ')') ==> OK

Comment faire pour que le premier exemple soit ÉGALEMENT OK ?
Merci d'avance pour vos réponses

[jchd]

Euh, ton exemple est une syntaxe incorrecte.

Enfin, cela n'est pas possible simplement avec une regexp PCRE. Tout ce que peut faire PCRE avec le support UCP (voir doc), c'est de gérer la casse (et encore avec certaines limitations).

J'ai fait une extension SQLite qui propose ce genre de choses mais c'est un poil lourd à utiliser. Ceci dit, c'est bien moins lourd que la bibliothèque ICU (19 Mb).

[jguinch]

Sinon, si c'est uniquement pour des caractères en français, un truc comme ça pourrait suffire :

► Afficher le texte

Code : Tout sélectionner

$sText = "éxpérience"
If _StrRegExpAccents($sText, "exp") Then ConsoleWrite("OK")

Func _StrRegExpAccents($sString, $sExpr)
    Local $aFrenchChars[9][2] = [ ["aáàäâ", "a"], ["eèëêé", "e"], ["iïîìí", "i"], ["oöôòó", "o"], ["uüûùú", "u"], ["yýÿ", "y"], ["æ", "ae"], ["œ", "oe"], ["ç", "c"] ]
    For $i = 0 To UBound($aFrenchChars) - 1
        $sString = StringRegExpReplace($sString, "[" & $aFrenchChars[$i][0] & "]", $aFrenchChars[$i][1])
        $sString = StringRegExpReplace($sString, "[" & StringUpper($aFrenchChars[$i][0]) & "]", StringUpper($aFrenchChars[$i][1]) )
    Next

    Return StringRegExp($sString, $sExpr)
EndFunc
 

J'ai surement oublié plein de caractères, mais ça pourrait être un début (pour un besoin limité, on est bien d'accord ?)

[Zaibai]

Pour la syntaxe j'avais en effet une variable à place de "EXP", autant pour moi.
C'est pour plusieurs langue, avez-vous des pistes/solutions à me fournir ?

[jchd]

Oui, je vais te ficeler ça ce soir, je n'ai pas le temps là.
C'est pour quelles langues ?

[Zaibai]

Français, anglais, allemand, italien, espagnol.
Si je ne me trompe pas, il n'y a que l'espagnol qui contient des accents (en plus du français bien sur).
J'ajouterais sans doute d'autre langue plus tard, mais avec un "modèle" je devrais m'en sortir !
Merci à tous

[orax]

J'ai augmenté le nombre de caractères d'après ce site http://textmechanic.com/Remove-Letter-Accents.html
Le petit inconvénient est qu'il faudra enregistrer le fichier au format UTF-8. File > Encoding...

(Ce qui est ci-dessous est basé sur le bidule code de jguinch plus haut.)

► Afficher le texte

Code : Tout sélectionner

$sText = "ÁáÀàÂâǍǎĂăÃãẢảẠạÄäÅåĀāĄąẤấẦầẪẫẨẩẬậẮắẰằẴẵẲẳẶặǺǻ"

$iRet = _StrRegExpAccents($sText, "aaaaaaaaaaAAAAAAAAAAAAAaaaAAAAAAAAaaaAAAAAAAAA")
ConsoleWrite($iRet & @CRLF)

Func _StrRegExpAccents($sString, $sExpr)
    Local $aFrenchChars[20][2] = [ _
            ["a", "ÁáÀàÂâǍǎĂăÃãẢảẠạÄäÅåĀāĄąẤấẦầẪẫẨẩẬậẮắẰằẴẵẲẳẶặǺǻ"], _
            ["c", "ĆćĈĉČčĊċÇç"], _
            ["d", "ĎďĐđÐ"], _
            ["e", "ÉéÈèÊêĚěĔĕẼẽẺẻĖėËëĒēĘęẾếỀềỄễỂểẸẹỆệ"], _
            ["g", "ĞğĜĝĠġĢģ"], _
            ["h", "ĤĥĦħ"], _
            ["i", "ÍíÌìĬĭÎîǏǐÏïĨĩĮįĪīỈỉỊị"], _
            ["j", "Ĵĵ"], _
            ["k", "Ķķ"], _
            ["l", "Ĺ弾ĻļŁłĿŀ"], _
            ["n", "ŃńŇňÑñŅņ"], _
            ["o", "ÓóÒòŎŏÔôỐốỒồỖỗỔổǑǒÖöŐőÕõØøǾǿŌōỎỏƠơỚớỜờỠỡỞởỢợỌọỘộ"], _
            ["p", "ṔṕṖṗ"], _
            ["r", "ŔŕŘřŖŗ"], _
            ["s", "ŚśŜŝŠšŞş"], _
            ["t", "ŤťŢţŦŧ"], _
            ["u", "ÚúÙùŬŭÛûǓǔŮůÜüǗǘǛǜǙǚǕǖŰűŨũŲųŪūỦủƯưỨứỪừỮữỬửỰựỤụ"], _
            ["w", "ẂẃẀẁŴŵẄẅ"], _
            ["y", "ÝýỲỳŶŷŸÿỸỹỶỷỴỵ"], _
            ["z", "ŹźŽžŻż"]]
    For $i = 0 To UBound($aFrenchChars) - 1
        $sString = StringRegExpReplace($sString, "[" & $aFrenchChars[$i][1] & "]", $aFrenchChars[$i][0])
    Next

    Return StringRegExp($sString, "(?i)" & $sExpr)
EndFunc   ;==>_StrRegExpAccents

[jchd]

Ces quatre langues utilisent des lettres accentuées ou des mots en comportant. (De passage devant l'écran !)

orax,
Ce bidule est simpliste.

[jguinch]

@jc : simpliste peut-être, mais il pourrait couvrir le besoin s'il est complet. Mais niveau vitesse, je suis pas sûr qu'on soit au top avec un truc pareil...
Tu partirais sur quel piste toi ?

[jchd]

Voici un sketch :

► Afficher le texte

Code : Tout sélectionner

#include <SQLite.au3>
#include <SQLite.dll.au3>
#include <Array.au3>

#AutoIt3Wrapper_Run_AU3Check=n

;~ #include "SQLiteExtLoad.au3"     ; inlined below

_SQLite_Startup()
If @error Then
    _ByeBox("SQLite3.dll est introuvable.")
EndIf
OnAutoItExitRegister("_SQLite_ShutDown")

; load auto-extensions
_SQLite_LoadAutoExtension("unifuzz.dll")
If @error Then
    ConsoleWrite("@error = " & @error & ', @extended = ' & @extended & @LF)
    _ByeBox("Erreur lors du chargement de l'extension Unifuzz.")
EndIf

; open temporary memory database
Global $hMemDB = _SQLite_Open()

; display versions of the setup
ConsoleWrite(_Sl3Answer($hMemDB, "select 'SQLite3 v' || sqlite_version() || ' - ' || unifuzz();") & @LF)

;~ #######################################################

Local $aStrings = [ _
    ["FR", "Ton curriculum vitae m'étonne !", "", ""], _
    ["UK", "Your résumé amazes me!", "", ""], _
    ["DE", "Dein Lebenslauf überrascht mich!", "", ""], _
    ["GR", "Το βιογραφικό σας εκπλήσσει!", "", ""], _
    ["RU", "Ваше резюме удивить меня!", "", ""], _
    ["LT", "Jūsų CV mane stebina!", "", ""], _
    ["PT", "Seu currículo me surpreende!", "", ""], _
    ["IL", "קורות החיים שלך מפתיעים אותי!", "", ""], _
    ["IS", "Ný óvart mig!", "", ""], _
    ["VN", "Sơ yếu lý lịch của bạn làm tôi ngạc nhiên!", "", ""], _
    ["SI", "Vaš življenjepis presenetilo me je!", "", ""], _
    ["SK", "Váš životopis prekvapí ma!", "", ""], _
    ["LV", "Jūsu CV mani pārsteidz!", "", ""], _
    ["FI", "Ansioluettelosi yllätys minulle!", "", ""], _
    ["IN", "आपका पुनः आरंभ मुझे आश्चर्य!", "", ""], _
    ["IR", "رزومه کاری خود را به من تعجب!", "", ""], _
    ["MN", "Таны намтар намайг гайхах!", "", ""], _
    ["IN", "ਆਪਣੇ ਰੈਜ਼ਿਊਮੇ ਮੈਨੂੰ ਹੈਰਾਨ!", "", ""], _
    ["SE", "Ditt CV förvånar mig!", "", ""] _
]
For $i = 0 To UBound($aStrings) - 1
    $aStrings[$i][2] = _Unaccent($aStrings[$i][1])
    $aStrings[$i][3] = _LowerUnaccent($aStrings[$i][1])
Next
_ArrayDisplay($aStrings)

;~ #######################################################

_SQLite_Close($hMemDB)
_SQLite_Shutdown()

Func _ByeBox($msg)
    MsgBox(8192 + 16, "erreur fatale", $msg)
    Exit
EndFunc   ;==>_ByeBox

Func _Sl3Answer($hDB, $sql)
    Local $row
    Local $rtn = _SQLite_QuerySingleRow($hDB, $sql, $row)
    If $rtn = $SQLITE_OK Then
        Return ($row[0])
    Else
        Return (SetError(@error, $rtn, ''))
    EndIf
EndFunc   ;==>_Sl3Answer

Func _Unaccent($str)
    Return (_Sl3Answer($hMemDB, "select unaccent(" & _SQLite_FastEscape($str) & ");"))
EndFunc   ;==>_Unaccent

Func _Lower($str)
    Return (_Sl3Answer($hMemDB, "select lower(" & _SQLite_FastEscape($str) & ");"))
EndFunc   ;==>_Lower

Func _LowerUnaccent($str)
    Return (_Sl3Answer($hMemDB, "select lower(unaccent(" & _SQLite_FastEscape($str) & "));"))
EndFunc   ;==>_LowerUnaccent

Func _Upper($str)
    Return (_Sl3Answer($hMemDB, "select upper(" & _SQLite_FastEscape($str) & ");"))
EndFunc   ;==>_Upper

Func _UpperUnaccent($str)
    Return (_Sl3Answer($hMemDB, "select upper(unaccent(" & _SQLite_FastEscape($str) & "));"))
EndFunc   ;==>_UpperUnaccent

;; SQLiteExtLoad.au3

#include-once

; #FUNCTION# ====================================================================================================================
; Name...........: _SQLite_EnableExtensions
; Description ...: Enables or disables loading of SQLite extensions
; Syntax.........: _SQLite_EnableExtensions($hConn, $Enable = 1)
; Parameters ....: $hConn       handle of connection
;                  $Enable      1 to enable (default) or 0 to disable
; Return values .: none
;                  @error Value(s):       -1 - SQLite Reported an Error (Check @extended Value)
;                  1 - Call prevented by safe mode (invalid handle)
;                  2 - Error calling SQLite API 'sqlite3_enable_load_extension'
;                  @extended Value(s): Can be compared against $SQLITE_* Constants
; Author ........: jchd
; ===============================================================================================================================

Func _SQLite_EnableExtensions($hConn, $Enable = 1)
    If __SQLite_hChk($hConn, 1) Then Return SetError(@error, 0, $SQLITE_MISUSE)
    Local $RetVal = DllCall($__g_hDll_SQLite, "int:cdecl", "sqlite3_enable_load_extension", "ptr", $hConn, "int", $Enable)
    If @error Then
        Return(SetError(2, 0, 0))
    Else
        If $RetVal[0] <> $SQLITE_OK Then Return(SetError(-1, $RetVal[0], 0))
    EndIf
EndFunc   ;==>__SQLite_EnableExtensions


; #FUNCTION# ====================================================================================================================
; Name...........: _SQLite_LoadExtension
; Description ...: Loads an SQLite extension for current connection
; Syntax.........: _SQLite_LoadExtension($hConn, $sFullPath [, $sEntry = ''])
; Parameters ....: $hConn       handle of the connection for which the extension will be loaded
;                  $sFullPath   path and name of the extension DLL
;                  $sEntry      name of entry point, defaults to 'sqlite3_extension_init'
; Return values .: none
;                  @error Value(s):       -1 - SQLite Reported an Error (Check @extended Value)
;                  1 - Call prevented by safe mode (invalid handle)
;                  2 - Error while converting path to UTF-8
;                  3 - Error calling SQLite API 'sqlite3_load_extension'
;                  @extended Value(s): Can be compared against $SQLITE_* Constants
; Author ........: jchd
; ===============================================================================================================================

Func _SQLite_LoadExtension($hConn, $sFullPath, $sEntry = 'sqlite3_extension_init')
    If __SQLite_hChk($hConn, 1) Then Return SetError(@error, 0, $SQLITE_MISUSE)
    Local $tDllPath = __SQLite_StringToUtf8Struct($sFullPath)
    If @error Then Return(SetError(2, @extended, 0))
    Local $RetVal = DllCall($__g_hDll_SQLite, "int:cdecl", "sqlite3_load_extension", _
                                                "ptr", $hConn, _
                                                "ptr", DllStructGetPtr($tDllPath), _
                                                "str", $sEntry, _
                                                "ptr", 0)
    If @error Then
        Return(SetError(3, 0, 0))
    Else
        If $RetVal[0] <> $SQLITE_OK Then Return(SetError(-1, $RetVal[0], 0))
    EndIf
EndFunc   ;==>_SQLiteLoadExtension


; #FUNCTION# ====================================================================================================================
; Name...........: _SQLite_LoadAutoExtension
; Description ...: Permanently loads an SQLite extension for current session
; Syntax.........: _SQLite_LoadAutoExtension($sFullPath [, $sEntry = ''])
; Parameters ....: $sDllPath    path of the extension DLL
;                  $sEntry      optional name of entry point, defaults to 'sqlite3_extension_init'
; Return values .: none
;                  @error Value(s):       -1 - SQLite Reported an Error (Check @extended Value)
;                  1 - Error while loading extension DLL
;                  2 - Error obtaining address of named entry point
;                  3 - Error calling SQLite API 'sqlite3_auto_extension'
;                  @extended Value(s): Can be compared against $SQLITE_* Constants
; Author ........: jchd
; ===============================================================================================================================

Func _SQLite_LoadAutoExtension($sFullPath, $sEntry = 'sqlite3_extension_init')
    Local $RetVal = DllCall("kernel32.dll", "ptr", "LoadLibraryW", "wstr", $sFullPath)
    If (@error Or $RetVal[0] = 0) Then Return(SetError(1, 0, 0))
    $RetVal = DllCall('kernel32.dll', 'ptr', 'GetProcAddress', 'ptr', $RetVal[0], 'str', $sEntry)
    If (@error Or $RetVal[0] = 0) Then Return(SetError(2, 0, 0))
    $RetVal = DllCall($__g_hDll_SQLite, "none:cdecl", "sqlite3_auto_extension", "ptr", $RetVal[0])
    If @error Then
        Return(SetError(3, 0, 0))
    Else
        If $RetVal[0] <> $SQLITE_OK Then Return(SetError(-1, $RetVal[0], 0))
    EndIf
EndFunc   ;==>_SQLite_LoadAutoExtension
 

Le source et la DLL compilée en X86 sont téléchargeables ici.

[jguinch]

J'étais sûr qu'il y aurait du SQL là-dedans...

[jchd]

En fait, SQLite n'est là que pour exploiter la DLL. On pourrait écrire un wrapper qui gèrerait tout ça mais il faudrait utiliser l'inteface imposée par le fait que ces fonctions (celles en C) sont écrites justement comme extensions SQLite.

Soit ça, soit récrire le module en C avec une interface directe UTF16. Je n'en ai franchement pas le temps et de plus on ne gagnerait que peu de chose à l'exercice : quelques cycles et un peu de code AutoIt pour planter le décor. Il est bien plus facile de planquer tout ça dans une UDF maison et de l'appeler comme si c'était du code UDF standard. Dans cet exemple, le code applicatif est entre les lignes de #############

Ah oui, j'oubliais : ma fonction unaccent convertit aussi les chiffres décimaux d'autres écritures (appelés "scripts" en linguistique) en chiffres usuels 0..9, fait des choses aux deux lettres sigma grecques, pareil au eszet allemand etc.

Autre bonus : la fonction typos dénombre l'écart entre deux chaînes et permet ainsi une recherche floue.

Dernier point important : contrairement à la bibliothèque ICU (un beau monstre), ces fonctions sont indépendantes des langues, même si c'est au prix de quelques approximations. Pour collationner deux chaînes, ICU impose de choisir la langue (le script) et à partir de là déploie des trésors de subtilité pour coller aux règles en vigueur pour ce script et un contexte donné(*). Comme j'avais besoin de fonctions multi-langues pour gérer une BdD alimentée par des sources parfois fort exotiques, je me suis vu contraint de parfois transgresser quelque peu l'exactitude locale au profit d'une relative universalité.

Consulter le mode d'emploi (ou plutôt ce qui en tient lieu) qui figure en tête du source C.

(*) Par exemple pour l'allemand, l'ordre du dictionnaire n'est pas le même que celui d'un répertoire téléphonique !
Autre exemple de particularisme des langues latines : en estonien, l'ordre des lettres est a ... i y j ... z ce qui rend le collationnement "naturel" faux si l'on ne tient pas compte de la langue.