[R] Conseils pour accélérer affichage ListView

[jchd]

Bon, je me tempère quand même : le moteur peut être un autre SGBDR type MySQL et l'interface du web ; c'est ce qu'utilisent nombre de programmes de généalogie.

Cependant SQLite reste considérablement plus facile à mettre en oeuvre et permettra un export vers tout SGBDR avec peu d'efforts si le besoin s'en fait sentir.

Je ne suis pas si sectaire qu'on pourrait le croire !

[mikell]

Pour l'erreur

C:\Program Files (x86)\AutoIt3\Include\SQLite.au3(2,13) : ERROR: missing separator character after keyword.
#IgnoreFunc __SQLite_Inline_Version
~~~~~~~~~~~~^

Tu as bien commenté la ligne du fichier qui est dans l'include ?
Sinon essaie d'installer la plus récente version d'autoit

[aulus]

@jchd : Si SQLIite fait l'affaire, je n'irai pas voir ailleurs !

@Mikell :

J'utilise AutoIt 3.3.8.1
Je me rends compte que si je lance genea.au3 via "exécuter" de SCiTe, j'obtiens l'erreur.

Si je le lance directement via AutoIt3, je n'obtiens plus l'erreur, mais... le tableau est vide !

Je précise :
- j'ai installé SQLite.dll.au3 et SQLite.au3 dans le dossier Include.
- J'ai installé genea.au3 et genea.sqlite dans le dossier de mes programmes, différent du précédent.

[mikell]

C'est le pire des cas, quand ça marche chez moi mais pas chez toi
Essaie ce script

► Afficher le texte

Code : Tout sélectionner

#include <WindowsConstants.au3>
#include <GuiConstantsEx.au3>
#include <GuiListView.au3>
;#include <ListviewConstants.au3>
#include <SQLite.au3>
#include <SQLite.dll.au3>
#include <Array.au3>
Opt("GuiOnEventMode", 1)


; initialisation =============================

Global $clicked = 0, $var = 0, $base = @ScriptDir & "\genea1.sqlite"
Local $array, $iRows, $iColumns, $iRval, $hQuery
_SQLite_Startup ()
_SQLite_Open($base)

;==================== création de la base =====================

If FileRead($base) = "" Then
   SplashTextOn ("", "Création de la base...", 280, 55, -1, -1, 49)
   _SQLite_Exec (-1, "CREATE TABLE IF NOT EXISTS liste " & _ 
                    "(id , date, date2, nom, papa, maman);") 

   $file = FileOpen(@ScriptDir & "\genea.txt", 0)    ; fichier texte
   $i = 1
   While 1
       $line = FileReadLine($file)
       If @error = -1 Then ExitLoop
       $a = _TriLigne($line)
       _SQLite_Exec(-1, "INSERT INTO liste VALUES ('" & $i & "', '" & _ 
                $a[0] & "', '" & $a[1] & "', " & _ 
                _SQLite_FastEscape($a[2]) & ", " & _
                _SQLite_FastEscape($a[3]) & ", " & _
                _SQLite_FastEscape($a[4]) & ");")
       $i += 1
   WEnd
   FileClose($file)
   SplashOff()
EndIf

;================ chargement ==============================



SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)

$gui = GuiCreate("genea", 600, 600)
GuiSetOnEvent(-3, "_Exit")
$listview = GuiCtrlCreateListview("n°|date|nom|papa|maman", 5, 5, 590, 550, -1, _ 
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
GUICtrlSendMsg($listview, $LVM_SETCOLUMNWIDTH, 0, 40)

#cs
$date2 = GuiCtrlCreateButton("date2", 10, 570, 60, 25)
$nom = GuiCtrlCreateButton("nom", 90, 570, 60, 25)
$papa = GuiCtrlCreateButton("papa", 170, 570, 60, 25)
$maman = GuiCtrlCreateButton("maman", 250, 570, 60, 25)
$id = GuiCtrlCreateButton("rowid", 330, 570, 60, 25)
For $i = $date2 to $id
   GuiCtrlSetOnEvent($i, "_TriListview")
Next
#ce

_SQLite_GetTable2d (-1, "SELECT * FROM liste;", $array, $iRows, $iColumns)
For $i = 1 to UBound($array)-1
    GUICtrlCreateListViewItem($array[$i][0] &"|"& $array[$i][2] &"|"& _ 
            $array[$i][3] &"|"& $array[$i][4] &"|"& $array[$i][5] , $listview)
Next
SplashOff()
GuiSetState()

GUIRegisterMsg($WM_NOTIFY, "WM_NOTIFY")

While 1
  Sleep(10)
Wend


;=====================================================

Func WM_NOTIFY($hWnd, $iMsg, $iwParam, $ilParam)
    Local $tNMHDR, $hWndFrom, $iCode
    $tNMHDR = DllStructCreate($tagNMHDR, $ilParam)
    $hWndFrom = DllStructGetData($tNMHDR, "hWndFrom")
    $iCode = DllStructGetData($tNMHDR, "Code")
    $hListView = GuiCtrlGetHandle($listView)

    Switch $hWndFrom
        Case $hListView
            Switch $iCode
               Case $LVN_COLUMNCLICK 
                   $tInfo = DllStructCreate($tagNMLISTVIEW, $ilParam)
                   $colonne = DllStructGetData($tInfo, "SubItem")
                   If $colonne = $clicked Then
                        $var = not $var
                   Else
                        $var = 0
                   EndIf
                   $clicked = $colonne
                   _LVSort($colonne, $var)

                 Case $NM_DBLCLK  ; CLICK  ; 
                     Local $tInfo = DllStructCreate($tagNMITEMACTIVATE, $ilParam)
                     $pekin = DllStructGetData($tInfo, "Index")+1
                    _ShowData($pekin)

           EndSwitch
    EndSwitch
    Return $GUI_RUNDEFMSG
EndFunc   ;==>WM_NOTIFY


Func _LVSort($nColumn, $var)
  Local $ar_tri, $iRows, $iColumns
  Local $cols[5] = ["rowid", "date2", "nom", "papa", "maman"]
  Local $sort[2] = ["ASC", "DESC"]
  Local $intitule = $cols[$nColumn], $sens = $sort[$var]
  SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)
  Sleep(10)
  _SQLite_GetTable2d (-1, "SELECT * FROM liste ORDER BY " & _ 
                $intitule &" "& $sens & ";", $ar_tri, $iRows, $iColumns)
  _GUICtrlListView_DeleteAllItems($listview)
  For $i = 1 to UBound($ar_tri)-1
    GUICtrlCreateListViewItem($ar_tri[$i][0] &"|"& $ar_tri[$i][2] &"|"& _ 
            $ar_tri[$i][3] &"|"& $ar_tri[$i][4] &"|"& $ar_tri[$i][5] , $listview)
  Next
  SplashOff()
EndFunc


Func _ShowData($item)
   Local $aResult, $hQuery
   _SQlite_Query (-1, "SELECT * FROM liste WHERE rowid='" & $item &"';", $hQuery) 
   _SQLite_FetchData ($hQuery, $aResult) 
   _SQLite_QueryFinalize($hQuery)

   $detail_gui = GuiCreate("details" & $item, 300, 300)
   GuiSetOnEvent(-3, "_Close", $detail_gui)
   $detail_LV = GuiCtrlCreateListview("detail", 10, 10, 280, 280, -1, _ 
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))

   GUICtrlSendMsg($detail_LV, $LVM_SETCOLUMNWIDTH, 0, 250)
   For $i = 1 to UBound($aResult)-1
     GUICtrlCreateListViewItem($aResult[$i], $detail_LV)
   Next
   GuiSetState()
EndFunc  


Func _TriListview()   ; pour les boutons
  Local $ar_tri, $iRows, $iColumns, $intitule = GuiCtrlRead(@GUI_CtrlId)
  SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)
 _SQLite_GetTable2d (-1, "SELECT * FROM liste ORDER BY " & _ 
                        $intitule & " ASC;", $ar_tri, $iRows, $iColumns)
 _GUICtrlListView_DeleteAllItems($listview)
 For $i = 1 to UBound($ar_tri)-1
    GUICtrlCreateListViewItem($ar_tri[$i][0] &"|"& $ar_tri[$i][2] &"|"& _
             $ar_tri[$i][3] &"|"& $ar_tri[$i][4] &"|"& $ar_tri[$i][5] , $listview)
 Next
 SplashOff()
EndFunc


Func _TriLigne($ligne)
   Local $array_ligne[5]
   $ligne = StringRegExpReplace($ligne, "/{2,}", "/")
   Local $split = StringSplit($ligne, "|")
   $array_ligne[0] = $split[1]     ; date
   Local $date = StringSplit($split[1], "/")
   $array_ligne[1] = $date[3] & " (" & $date[2] & " " & $date[1] & ")"     ; date2
   $array_ligne[2] = $split[5] &" "& $split[6]     ; nom
   $array_ligne[3] = $split[9] &" "& $split[10]     ; papa
   $array_ligne[4] = $split[13] &" "& $split[14]   ; maman
   Return $array_ligne
EndFunc

Func _Exit()
  _SQLite_Close ()
  _SQLite_Shutdown ()
  Exit
EndFunc


Func _Close()
   GuiDelete(@GUI_WinHandle)
EndFunc
 

en mettant bien à côté le dernier fichier texte que tu m'as envoyé que tu renommes en "genea.txt"

[aulus]

Voici le compte-rendu d'expérience :

- j'ai placé mon fichier texte dans le même dossier que le nouveau genea.au3 que vous me proposez
- je l'ai renommé "genea.txt"
- le programme genea.au3 fonctionne sans erreur aussi bien dans SCITe que directement avec AutoIt.exe.

Mais...

- le SplashText "Création de la base" s'affiche
- le SplashText "Chargement" ne s'affiche pas
- le tableau s'affiche vide
- le fichier "genea1.sqlite" sensé être créé par le programme n'apparaît pas dans le dossier.

[mikell]

J'ai un doute, tu peux tester ce script ?

► Afficher le texte

Code : Tout sélectionner

#include <SQLite.au3>
#include <SQLite.dll.au3>

_SQLite_Startup()
If @error Then
    MsgBox(16, "SQLite Error", "SQLite3.dll Can't be Loaded!")
    Exit 
EndIf

Global $base = @ScriptDir & "\bddtest.sqlite"
_SQLite_Open($base) ; Open a permanent disk database
If @error Then
    MsgBox(16, "SQLite Error", "Can't open or create a permanent Database!")
    Exit 
Else
    MsgBox(0, "SQLite ", "OK for the permanent Database!")
EndIf

_SQLite_Close(-1)
_SQLite_Shutdown()
FileDelete($base)
 

[aulus]

J'obtiens l'erreur :
SQLite3.dll can't be Loaded

[mikell]

OK, vérifie que tu as bien sqlite3.dll dans le systemdir

[aulus]

Qu'appelez-vous le systemdir ?

[mikell]

Le @systemdir d'autoit, sur mon XP c'est C:\windows\system32 , là où kya toutes les dll "sensibles"

[aulus]

Non, pas de sqlite3.dll dans le system32

[aulus]

Voilà, tout est en ordre... ça marche !

Alors, la construction de la table est très longue.
L'affichage de la table une fois celle-ci créée prend 3 à 4 secondes.
Le tri sur une colonne prend 10 secondes.

C'est sûr que ça va plus vite que la lecture et le tri d'un fichier texte. Il me faudra plancher là-dessus. Je vais étudier avec soin votre code pour bien le comprendre.

Grand grand grand merci !

[mikell]

Dernière version (plus complète)
ça aura fait un bon exercice

► Afficher le texte

Code : Tout sélectionner

#include <WindowsConstants.au3>
#include <GuiConstantsEx.au3>
#include <GuiListView.au3>
#include <SQLite.au3>
#include <SQLite.dll.au3>
#include <Array.au3>
Opt("GuiOnEventMode", 1)


; initialisation =============================

Global $lastclicked = 0, $var = 0, $base = @ScriptDir & "\genea2.sqlite"
Local $array, $iRows, $iColumns, $iRval, $hQuery
_SQLite_Startup ()
_SQLite_Open($base)

;==================== création de la base =====================

If FileRead($base) = "" Then
   SplashTextOn ("", "Création de la base...", 280, 55, -1, -1, 49)
   _SQLite_Exec (-1, "CREATE TABLE IF NOT EXISTS liste " & _ 
            "(id , date, inc1, inc2, inc3, nom, prenom, sexe, inc4, " & _
            "nompapa, prenompapa, infopapa, inc5, nommaman, prenommaman, " & _
            "inc6, inc7, inc8, inc9, inc10, inc11, preinc, info1, info2, inc12, inc13);") 

   $file = FileOpen(@ScriptDir & "\genea.txt", 0)    ; fichier texte
   $i = 1
   While 1
       $line = FileReadLine($file)
       If @error = -1 Then ExitLoop
       $a = _TriLigne($line)

_SQLite_Exec(-1, "INSERT INTO liste VALUES ('" & $i & "', " & _ 
                _SQLite_FastEscape($a[1]) & ", " & _
                _SQLite_FastEscape($a[2]) & ", " & _
                _SQLite_FastEscape($a[3]) & ", " & _
                _SQLite_FastEscape($a[4]) & ", " & _
                _SQLite_FastEscape($a[5]) & ", " & _
                _SQLite_FastEscape($a[6]) & ", " & _
                _SQLite_FastEscape($a[7]) & ", " & _
                _SQLite_FastEscape($a[8]) & ", " & _
                _SQLite_FastEscape($a[9]) & ", " & _
                _SQLite_FastEscape($a[10]) & ", " & _
                _SQLite_FastEscape($a[11]) & ", " & _
                _SQLite_FastEscape($a[12]) & ", " & _
                _SQLite_FastEscape($a[13]) & ", " & _
                _SQLite_FastEscape($a[14]) & ", " & _
                _SQLite_FastEscape($a[15]) & ", " & _
                _SQLite_FastEscape($a[16]) & ", " & _
                _SQLite_FastEscape($a[17]) & ", " & _
                _SQLite_FastEscape($a[18]) & ", " & _
                _SQLite_FastEscape($a[19]) & ", " & _
                _SQLite_FastEscape($a[20]) & ", " & _
                _SQLite_FastEscape($a[21]) & ", " & _
                _SQLite_FastEscape($a[22]) & ", " & _
                _SQLite_FastEscape($a[23]) & ", " & _
                _SQLite_FastEscape($a[24]) & ", " & _
                _SQLite_FastEscape($a[25]) & ");")
       $i += 1
   WEnd
   FileClose($file)
   SplashOff()
EndIf

;================ chargement ==============================

SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)

$gui = GuiCreate("genea", 600, 600)
GuiSetOnEvent(-3, "_Exit")
$listview = GuiCtrlCreateListview("n°|date|nom|papa|maman", 5, 5, 590, 550, -1, _ 
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
GUICtrlSendMsg($listview, $LVM_SETCOLUMNWIDTH, 0, 40)
_SQLite_GetTable2d (-1, "SELECT id, date, nom, prenom, nompapa, prenompapa, " & _
                    "nommaman, prenommaman FROM liste;", $array, $iRows, $iColumns)
For $i = 1 to UBound($array)-1
    GUICtrlCreateListViewItem($array[$i][0] &"|"& $array[$i][1] &"|"& _ 
            $array[$i][2] &" "& $array[$i][3] &"|"& $array[$i][4] &" "& _ 
            $array[$i][5] &"|"& $array[$i][6] &" "& $array[$i][7] , $listview)
Next
SplashOff()
GuiSetState()

GUIRegisterMsg($WM_NOTIFY, "WM_NOTIFY")

While 1
  Sleep(10)
Wend


;=====================================================

Func WM_NOTIFY($hWnd, $iMsg, $iwParam, $ilParam)
    Local $tNMHDR, $hWndFrom, $iCode
    $tNMHDR = DllStructCreate($tagNMHDR, $ilParam)
    $hWndFrom = DllStructGetData($tNMHDR, "hWndFrom")
    $iCode = DllStructGetData($tNMHDR, "Code")
    $hListView = GuiCtrlGetHandle($listView)

    Switch $hWndFrom
        Case $hListView
            Switch $iCode
              Case $LVN_COLUMNCLICK 
                   $tInfo = DllStructCreate($tagNMLISTVIEW, $ilParam)
                   $colonne = DllStructGetData($tInfo, "SubItem")
                   If $colonne = $lastclicked Then
                        $var = not $var
                   Else
                        $var = 0
                   EndIf
                   $lastclicked = $colonne
                   _LVSort($colonne, $var)
              Case $NM_DBLCLK  ; CLICK   
                   Local $tInfo = DllStructCreate($tagNMITEMACTIVATE, $ilParam)
                   $item = DllStructGetData($tInfo, "Index")+1 
                   Local $name = ControlListView($gui, "", $listview, "GetText", $item-1, 2)
                  _ShowData($item, $name)
           EndSwitch
    EndSwitch
    Return $GUI_RUNDEFMSG
EndFunc   ;==>WM_NOTIFY


Func _LVSort($nColumn, $var)
  Local $ar_tri, $iRows, $iColumns, $pattern
Switch $nColumn
   Case 0
      $pattern = "rowid "
   Case 1
      $pattern = "date "
   Case 2
      $pattern = "nom, prenom "
   Case 3
      $pattern = "nompapa, prenompapa "
   Case 4
      $pattern = "nommaman, prenommaman "
EndSwitch
  Local $sort[2] = ["ASC", "DESC"]
  Local $sens = $sort[$var]
  SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)
  Sleep(10)
 _SQLite_GetTable2d (-1, "SELECT id, date, nom, prenom, nompapa, prenompapa, " & _
                "nommaman, prenommaman FROM liste " & _
                "ORDER BY " & $pattern &" "& $sens & ";", $ar_tri, $iRows, $iColumns) 
  _GUICtrlListView_DeleteAllItems($listview)
  For $i = 1 to UBound($ar_tri)-1
    GUICtrlCreateListViewItem($ar_tri[$i][0] &"|"& $ar_tri[$i][1] &"|"& _ 
            $ar_tri[$i][2] &" "& $ar_tri[$i][3] &"|"& $ar_tri[$i][4] &" "& _ 
            $ar_tri[$i][5] &"|"& $ar_tri[$i][6] &" "& $ar_tri[$i][7] , $listview)
  Next
  SplashOff()
EndFunc


Func _ShowData($item, $name)
   Local $aResult, $aNames, $hQuery
   _SQlite_Query (-1, "SELECT * FROM liste WHERE rowid='" & $item &"';", $hQuery) 
   _SQLite_FetchNames($hQuery, $aNames)
   _SQLite_FetchData ($hQuery, $aResult) 
   _SQLite_QueryFinalize($hQuery)

   Local $details_gui = GuiCreate($name, 300, 300)
   GuiSetOnEvent(-3, "_Close", $details_gui)
   Local $details_LV = GuiCtrlCreateListview("col|details", 10, 10, 280, 280, -1, _ 
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
   GUICtrlSendMsg($details_LV, $LVM_SETCOLUMNWIDTH, 0, 90)
   GUICtrlSendMsg($details_LV, $LVM_SETCOLUMNWIDTH, 1, 160)
   For $i = 1 to UBound($aResult)-1
     GUICtrlCreateListViewItem($aNames[$i] &"|"& $aResult[$i], $details_LV)
   Next
   GuiSetState()
EndFunc  


Func _TriLigne($ligne)
   $ligne = StringRegExpReplace($ligne, "/{2,}", "/")
   Local $split = StringSplit($ligne, "|")
   Local $array_ligne[$split[0]+1]
   Local $date = StringSplit($split[1], "/")
   $array_ligne[0] = $split[0]
   $array_ligne[1] = $date[3] & " (" & $date[2] & " " & $date[1] & ")"     ; date2
   For $i = 2 to $split[0]
     $array_ligne[$i] = $split[$i]
   Next
   Return $array_ligne
EndFunc


Func _Exit()
  _SQLite_Close ()
  _SQLite_Shutdown ()
  Exit
EndFunc


Func _Close()
   GuiDelete(@GUI_WinHandle)
EndFunc
 

[aulus]

Pas de changements dans les temps de chargement et d'affichage.
J'ai découvert et bien apprécié la possibilité d'ouvrir une fiche en double-cliquant sur une ligne de la liste.
Tout ça me plaît bien.
Vous avez mérité un bon week-end reposant !

[mikell]

Et dis-toi qu'on n'a fait que survoler les possibilités...
Le temps d'affichage c'est à cause de la listview, on peut pas le faire plus vite
Si tu mets un timer sur juste le tri de la bdd tu verras que le temps de traitement est < 1 sec

Pas génial ce w-e, là il pleut bien c'est en partie pour ça que tu as eu le script si vite
Bon WE quand même !

[jchd]

Loin de moi l'idée de critiquer le boulot qu'a promptement réalisé Mikell. Que ça soit clair, il mérite un coup de chapeau.

Ceci dit je n'ai pas pu m'empêcher de laisser traîner un oeil et il m'est venu quelques remarques que je crois importantes sur la partie bdd.

Je ne me lance pas dans un trop long discours, j'ai mis mes conseils en commentaires dans le script, où je n'ai rien changé.

► Afficher le texte

Code : Tout sélectionner

#include <WindowsConstants.au3>
#include <GuiConstantsEx.au3>
#include <GuiListView.au3>
#include <SQLite.au3>
#include <SQLite.dll.au3>
#include <Array.au3>
Opt("GuiOnEventMode", 1)


; initialisation =============================

Global $lastclicked = 0, $var = 0, $base = @ScriptDir & "\genea2.sqlite"
Local $array, $iRows, $iColumns, $iRval, $hQuery
_SQLite_Startup ()
_SQLite_Open($base)

;==================== création de la base =====================

If FileRead($base) = "" Then
   SplashTextOn ("", "Création de la base...", 280, 55, -1, -1, 49)
; ################ déclarer les types de données autant que possible
; ################ déclarer id comme "integer not null primary key autoincrement" ; id devient alors un alias de rowid
; ################ voir plus bas pourquoi ce schéma ne convient pas : papa & maman sont déjà dans la table, donc il ne faut pas
; ################ faire figurer leur nom, prénom, infos et autres en plusieurs endroits.
   _SQLite_Exec (-1, "CREATE TABLE IF NOT EXISTS liste " & _
            "(id , date, inc1, inc2, inc3, nom, prenom, sexe, inc4, " & _
            "nompapa, prenompapa, infopapa, inc5, nommaman, prenommaman, " & _
            "inc6, inc7, inc8, inc9, inc10, inc11, preinc, info1, info2, inc12, inc13);")

   $file = FileOpen(@ScriptDir & "\genea.txt", 0)    ; fichier texte
   $i = 1
; ################ toujours grouper les modifications massives à l'intérieur d'une transaction
   _SQLite_Exec(-1, "Begin;")
   While 1
       $line = FileReadLine($file)
       If @error = -1 Then ExitLoop
       $a = _TriLigne($line)

; ############### ne pas fournir de valeur pour id ; c'est un rowid dont la valeur est indifférente qui doit être géré par SQLite, c'est juste une
; ############### étiquette unique, une sorte de n° de série interne
; ############### il nous faut déterminer si la rangée n'a pas déjà été insérée dans la base : "insert or replace" après création d'un index unique
; ############### qui permettra d'éviter le clash sur personnes homonymes de la même époque
; ############### il faut que les FK papaid et mamanid sur id soient déclarées "cascade" (voir plus bas pour les FKs)
; ############### ici, du fait que $i part de 1 et si on fait tourner N fois le prog avec le même fichier d'entrée, on aura N-1 doublons
_SQLite_Exec(-1, "INSERT INTO liste VALUES ('" & $i & "', " & _
                _SQLite_FastEscape($a[1]) & ", " & _
                _SQLite_FastEscape($a[2]) & ", " & _
                _SQLite_FastEscape($a[3]) & ", " & _
                _SQLite_FastEscape($a[4]) & ", " & _
                _SQLite_FastEscape($a[5]) & ", " & _
                _SQLite_FastEscape($a[6]) & ", " & _
                _SQLite_FastEscape($a[7]) & ", " & _
                _SQLite_FastEscape($a[8]) & ", " & _
                _SQLite_FastEscape($a[9]) & ", " & _
                _SQLite_FastEscape($a[10]) & ", " & _
                _SQLite_FastEscape($a[11]) & ", " & _
                _SQLite_FastEscape($a[12]) & ", " & _
                _SQLite_FastEscape($a[13]) & ", " & _
                _SQLite_FastEscape($a[14]) & ", " & _
                _SQLite_FastEscape($a[15]) & ", " & _
                _SQLite_FastEscape($a[16]) & ", " & _
                _SQLite_FastEscape($a[17]) & ", " & _
                _SQLite_FastEscape($a[18]) & ", " & _
                _SQLite_FastEscape($a[19]) & ", " & _
                _SQLite_FastEscape($a[20]) & ", " & _
                _SQLite_FastEscape($a[21]) & ", " & _
                _SQLite_FastEscape($a[22]) & ", " & _
                _SQLite_FastEscape($a[23]) & ", " & _
                _SQLite_FastEscape($a[24]) & ", " & _
                _SQLite_FastEscape($a[25]) & ");")
       $i += 1
   WEnd
; ############### fin de la transaction = une seule phase de MAJ massive de la bdd
   _SQLite_Exec(-1, "Commit;")
   FileClose($file)
   SplashOff()
EndIf

;================ chargement ==============================

SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)

$gui = GuiCreate("genea", 600, 600)
GuiSetOnEvent(-3, "_Exit")
$listview = GuiCtrlCreateListview("n°|date|nom|papa|maman", 5, 5, 590, 550, -1, _
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
GUICtrlSendMsg($listview, $LVM_SETCOLUMNWIDTH, 0, 40)
; ############ faire effectuer le formattage du résultat par SQLite, plutôt que de refaire une boucle ensuite pour tout concaténer entre des '|'
; ############ sur le modèle : select colA || '|' || colB || '|' || colC ....     SQLite possède plein de fonctions implémentées efficacement en C
; ############ et il est beaucoup plus rapide de confier ce boulot au moteur qui l'effectuera au vol pour chaque rangée du résultat
; ############ attention : ici id n'est pas forcément = rowid. Déclarer id en integer not null primary key (pas int, ce n'est pas pareil !)
; ############ ce schéma n'est pas bon car pas normalisé. Outre l'exigeance académique, le pb est que si un jour on s'aperçoit qu'en fait
; ############ tel ancêtre s'appelait Benoistre à l'époque et non pas Benoît comme on l'a enregistré, il faudra partir à la pêche pour corriger
; ############ dans sa descendance. Il faut ici utiliser des références au père et à la mère (leur propre id) en lieu et place d'une copie de leurs infos
; ############ Il faut donc déclarer des papaid et mamanid qui seront des FK (clés étrangères) à cette même table
; ############ du coup ce select deviendrait (juste un sketch)
; select id, date, nom, prenom, p.nom, p.prenom, m.nom, m.prenom from liste join liste as p on p.id = papaid join liste as m on m.id = mamanid;
_SQLite_GetTable2d (-1, "SELECT id, date, nom, prenom, nompapa, prenompapa, " & _
                    "nommaman, prenommaman FROM liste;", $array, $iRows, $iColumns)
For $i = 1 to UBound($array)-1
    GUICtrlCreateListViewItem($array[$i][0] &"|"& $array[$i][1] &"|"& _
            $array[$i][2] &" "& $array[$i][3] &"|"& $array[$i][4] &" "& _
            $array[$i][5] &"|"& $array[$i][6] &" "& $array[$i][7] , $listview)
Next
SplashOff()
GuiSetState()

GUIRegisterMsg($WM_NOTIFY, "WM_NOTIFY")

While 1
  Sleep(10)
Wend


;=====================================================

Func WM_NOTIFY($hWnd, $iMsg, $iwParam, $ilParam)
    Local $tNMHDR, $hWndFrom, $iCode
    $tNMHDR = DllStructCreate($tagNMHDR, $ilParam)
    $hWndFrom = DllStructGetData($tNMHDR, "hWndFrom")
    $iCode = DllStructGetData($tNMHDR, "Code")
    $hListView = GuiCtrlGetHandle($listView)

    Switch $hWndFrom
        Case $hListView
            Switch $iCode
              Case $LVN_COLUMNCLICK
                   $tInfo = DllStructCreate($tagNMLISTVIEW, $ilParam)
                   $colonne = DllStructGetData($tInfo, "SubItem")
                   If $colonne = $lastclicked Then
                        $var = not $var
                   Else
                        $var = 0
                   EndIf
                   $lastclicked = $colonne
                   _LVSort($colonne, $var)
              Case $NM_DBLCLK  ; CLICK
                   Local $tInfo = DllStructCreate($tagNMITEMACTIVATE, $ilParam)
                   $item = DllStructGetData($tInfo, "Index")+1
                   Local $name = ControlListView($gui, "", $listview, "GetText", $item-1, 2)
                  _ShowData($item, $name)
           EndSwitch
    EndSwitch
    Return $GUI_RUNDEFMSG
EndFunc   ;==>WM_NOTIFY


Func _LVSort($nColumn, $var)
  Local $ar_tri, $iRows, $iColumns, $pattern
Switch $nColumn
   Case 0
      $pattern = "rowid "
   Case 1
      $pattern = "date "
   Case 2
      $pattern = "nom, prenom "
   Case 3
      $pattern = "nompapa, prenompapa "
   Case 4
      $pattern = "nommaman, prenommaman "
EndSwitch
  Local $sort[2] = ["ASC", "DESC"]
  Local $sens = $sort[$var]
  SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)
  Sleep(10)
; ############ faire effectuer le formattage du résultat par SQLite, plutôt que de refaire une boucle ensuite pour tout concaténer entre des '|'
; ############ genre : select colA || '|' || colB || '|' || colC ....     SQLite possède plein de fonctions implémentées efficacement en C
; ############ et il est beaucoup plus rapide de confier ce boulot au moteur qui l'effectuera au vol pour chaque rangée du résultat
; ############ attention : ici id n'est pas forcément = rowid. Déclarer id en integer not null primary key (pas int, ce n'est pas pareil !)
; ############ ce schéma n'est pas bon car pas normalisé. Outre l'exigeance académique, le pb est que si un jour on s'aperçoit qu'en fait
; ############ tel ancêtre s'appelait Benoistre à l'époque et non pas Benoït comme on l'a enregistré, il faudra partir à la pêche pour corriger
; ############ sa descendance. Il faut ici utiliser des références au père et à la mère (leur id)
; ############ Il faut donc déclarer des papaid et mamanid qui seront des FK (clés étrangères) à cette même table
 _SQLite_GetTable2d (-1, "SELECT id, date, nom, prenom, nompapa, prenompapa, " & _
                "nommaman, prenommaman FROM liste " & _
                "ORDER BY " & $pattern &" "& $sens & ";", $ar_tri, $iRows, $iColumns)
  _GUICtrlListView_DeleteAllItems($listview)
  For $i = 1 to UBound($ar_tri)-1
    GUICtrlCreateListViewItem($ar_tri[$i][0] &"|"& $ar_tri[$i][1] &"|"& _
            $ar_tri[$i][2] &" "& $ar_tri[$i][3] &"|"& $ar_tri[$i][4] &" "& _
            $ar_tri[$i][5] &"|"& $ar_tri[$i][6] &" "& $ar_tri[$i][7] , $listview)
  Next
  SplashOff()
EndFunc


Func _ShowData($item, $name)
   Local $aResult, $aNames, $hQuery
; ############ éviter select * ... car l'ordre des colonnes dépend de la base. si elle doit être réorganisée, ça foutra le souk
; ############ discossier le nom des colonnes des tables et le nom souhaité pour l'affichage d'une listview
; ############ combattre la flemme et coder select colA, colB, colC, ... Ainsi le résultat ne dépend plus de l'ordre des colonnes dans la table
; ############ faire effectuer le formattage du résultat par SQLite, plutôt que de refaire une boucle ensuite pour tout concaténer entre des '|'
; ############ genre : select colA || '|' || colB || '|' || colC ....     SQLite possède plein de fonctions implémentées efficacement en C
; ############ et il est beaucoup plus rapide de confier ce boulot au moteur qui l'effectue au vol pour chaque rangée du résultat
; ############ ici, faire un _SQLite_GetTable
   _SQlite_Query (-1, "SELECT * FROM liste WHERE rowid='" & $item &"';", $hQuery)
   _SQLite_FetchNames($hQuery, $aNames)
   _SQLite_FetchData ($hQuery, $aResult)
   _SQLite_QueryFinalize($hQuery)

   Local $details_gui = GuiCreate($name, 300, 300)
   GuiSetOnEvent(-3, "_Close", $details_gui)
   Local $details_LV = GuiCtrlCreateListview("col|details", 10, 10, 280, 280, -1, _
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
   GUICtrlSendMsg($details_LV, $LVM_SETCOLUMNWIDTH, 0, 90)
   GUICtrlSendMsg($details_LV, $LVM_SETCOLUMNWIDTH, 1, 160)
   For $i = 1 to UBound($aResult)-1
     GUICtrlCreateListViewItem($aNames[$i] &"|"& $aResult[$i], $details_LV)
   Next
   GuiSetState()
EndFunc


Func _TriLigne($ligne)
   $ligne = StringRegExpReplace($ligne, "/{2,}", "/")
   Local $split = StringSplit($ligne, "|")
   Local $array_ligne[$split[0]+1]
   Local $date = StringSplit($split[1], "/")
   $array_ligne[0] = $split[0]
   $array_ligne[1] = $date[3] & " (" & $date[2] & " " & $date[1] & ")"     ; date2
   For $i = 2 to $split[0]
     $array_ligne[$i] = $split[$i]
   Next
   Return $array_ligne
EndFunc


Func _Exit()
  _SQLite_Close ()
  _SQLite_Shutdown ()
  Exit
EndFunc


Func _Close()
   GuiDelete(@GUI_WinHandle)
EndFunc

Ah oui, il est bon de travailler avec le handle de la connexion à la bdd, plutôt qu'avec -1. Pourquoi ? Parce que si un jour on a besoin de travailler en parallèle avec une autre base (ou plusieurs), par exemple faire des bidouilles super rapides avec une bdd en mémoire (ou plusieurs), on risquera de se mélanger les crayons avec les handles et les -1. Ce moment peut arriver plus vite qu'on ne croit !

Morale : récupérer les handles à chaque _SQLite_Open et les utiliser explicitement.

Il faudrait certainement créer à terme un ou plusieurs index sur les colonnes les plus courament utilisées pour les tris. par contre, ce ne sera à faire que lorsque le schéma sera apuré et stabilisé et seulement si l'expérience en démontre l'utilité. Sinon on obtiendra l'inverse de l'effet escompté : un ralentissement global (ou "comment se tirer dans le pied").

Je ne suis pas généalogiste, mais je me demande comment on peut éviter de grossières erreurs sans mettre en place un moyen fiable de gérer les contemporains homonymes. Ce schéma demande réflexion.

[aulus]

Oui,j'admire le travail de Mikell et la rapidité avec laquelle il code. Et je lui suis très reconnaissant de sa disponibilité.

Jchd, je vous remercie de l'attention que vous portez à la question posée. Vos conseils, que je ne comprends pas encore, me seront d'une grande utilité quand je maîtriserai un peu SQLite, si jamais je le maîtrise un jour !

[mikell]

Bon voilà le même avec quelques modifications selon les instructions de jchd
Au niveau de la vitesse d'affichage l'amélioration est plus que sensible, ya pas photo
En plus la nouvelle bdd fait 40 Ko de moins ^^

► Afficher le texte

Code : Tout sélectionner

#include <WindowsConstants.au3>
#include <GuiConstantsEx.au3>
#include <GuiListView.au3>
#include <SQLite.au3>
#include <SQLite.dll.au3>
#include <Array.au3>
Opt("GuiOnEventMode", 1)


; initialisation =============================

Global $lastclicked = 0, $var = 0, $base = @ScriptDir & "\genea3.sqlite"
Local $array, $iRows, $iColumns, $iRval, $hQuery
_SQLite_Startup ()
_SQLite_Open($base)

;==================== création de la base =====================

If FileRead($base) = "" Then
   SplashTextOn ("", "Création de la base...", 280, 55, -1, -1, 49)

   _SQLite_Exec (-1, "CREATE TABLE IF NOT EXISTS liste " & _
            "(id INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT, " & _ 
            "date VARCHAR(16), inc1, inc2, inc3, " & _ 
            "nom VARCHAR(30), prenom VARCHAR(20), sexe CHAR(1), inc4, " & _
            "nompapa VARCHAR(30), prenompapa VARCHAR(20), infopapa, inc5, " & _ 
            "nommaman VARCHAR(30), prenommaman VARCHAR(20), inc6, inc7, " & _ 
            "inc8, inc9, inc10, inc11, preinc VARCHAR(20), info1, info2, inc12, inc13);")

   $file = FileOpen(@ScriptDir & "\genea.txt", 0)    ; fichier texte
   _SQLite_Exec(-1, "Begin;")
   While 1
       $line = FileReadLine($file)
       If @error = -1 Then ExitLoop
       $a = _TriLigne($line)
       $string = ""
       For $i = 1 to $a[0]-1
              $string &= _SQLite_FastEscape($a[$i]) & ", "
       Next
       $string &= _SQLite_FastEscape($a[$a[0]])

     _SQLite_Exec(-1, "INSERT INTO liste (date, inc1, inc2, inc3, nom, prenom, sexe, inc4, " & _
            "nompapa, prenompapa, infopapa, inc5, nommaman, prenommaman, inc6, inc7, " & _
            "inc8, inc9, inc10, inc11, preinc, info1, info2, inc12, inc13) VALUES (" & $string & ");")
   WEnd
   _SQLite_Exec(-1, "Commit;")
   FileClose($file)
   SplashOff()
EndIf

;================ chargement ==============================

SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)

$gui = GuiCreate("genea", 600, 600)
GuiSetOnEvent(-3, "_Exit")
$listview = GuiCtrlCreateListview("n°|date|nom|papa|maman", 5, 5, 590, 550, -1, _
    BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
GUICtrlSendMsg($listview, $LVM_SETCOLUMNWIDTH, 0, 40)

_SQLite_GetTable2d (-1, "SELECT id || '|' || date || '|' || nom || ' ' || prenom || '|' || nompapa || ' ' || prenompapa || '|' || " & _
                    "nommaman || ' ' || prenommaman FROM liste;", $array, $iRows, $iColumns)
For $i = 1 to UBound($array)-1
    GUICtrlCreateListViewItem($array[$i][0], $listview)
Next

SplashOff()
GuiSetState()

GUIRegisterMsg($WM_NOTIFY, "WM_NOTIFY")

While 1
  Sleep(10)
Wend


;=====================================================

Func WM_NOTIFY($hWnd, $iMsg, $iwParam, $ilParam)
    Local $tNMHDR, $hWndFrom, $iCode
    $tNMHDR = DllStructCreate($tagNMHDR, $ilParam)
    $hWndFrom = DllStructGetData($tNMHDR, "hWndFrom")
    $iCode = DllStructGetData($tNMHDR, "Code")
    $hListView = GuiCtrlGetHandle($listView)

    Switch $hWndFrom
        Case $hListView
            Switch $iCode
              Case $LVN_COLUMNCLICK
                   $tInfo = DllStructCreate($tagNMLISTVIEW, $ilParam)
                   $colonne = DllStructGetData($tInfo, "SubItem")
                   If $colonne = $lastclicked Then
                        $var = not $var
                   Else
                        $var = 0
                   EndIf
                   $lastclicked = $colonne
                   _LVSort($colonne, $var)
              Case $NM_DBLCLK  ; CLICK
                   Local $tInfo = DllStructCreate($tagNMITEMACTIVATE, $ilParam)
                   $item = DllStructGetData($tInfo, "Index")+1
                   Local $name = ControlListView($gui, "", $listview, "GetText", $item-1, 2)
                   Local $num = ControlListView($gui, "", $listview, "GetText", $item-1, 0)
                 _ShowData($num, $name)
           EndSwitch
    EndSwitch
    Return $GUI_RUNDEFMSG
EndFunc   ;==>WM_NOTIFY


Func _LVSort($nColumn, $var)
  Local $ar_tri, $iRows, $iColumns
  Local $sort[2] = ["ASC", "DESC"]
  Local $sens = $sort[int($var)]
Switch $nColumn
   Case 0
      $pattern = "id " & $sens
   Case 1
      $pattern = "date " & $sens
   Case 2
      $pattern = "nom " & $sens & ", prenom " & $sens
   Case 3
      $pattern = "nompapa " & $sens & ", prenompapa " & $sens
   Case 4
      $pattern = "nommaman " & $sens & ", prenommaman " & $sens
EndSwitch
  SplashTextOn ("", "Chargement ...", 280, 55, -1, -1, 49)
  Sleep(10)
 _SQLite_GetTable2d (-1, "SELECT id || '|' || date || '|' || nom || ' ' || prenom || '|' || nompapa || ' ' || prenompapa || '|' || " & _
                    "nommaman || ' ' || prenommaman FROM liste " & _
                    "ORDER BY " & $pattern & ";", $ar_tri, $iRows, $iColumns)
  _GUICtrlListView_DeleteAllItems($listview)
  For $i = 1 to UBound($ar_tri)-1
    GUICtrlCreateListViewItem($ar_tri[$i][0], $listview)
  Next
  SplashOff()
EndFunc


Func _ShowData($num, $name)
   Local $aResult, $hQuery, $iRows, $iColumns
   _SQLite_GetTable(-1, "SELECT * FROM liste WHERE id='" & $num &"';", $aResult, $iRows, $iColumns)
   Local $n = (UBound($aResult)-1)/2

   Local $details_gui = GuiCreate($name, 300, 300)
   GuiSetOnEvent(-3, "_Close", $details_gui)
   Local $details_LV = GuiCtrlCreateListview("col|details", 10, 10, 280, 280, -1, _
             BitOR($LVS_EX_FULLROWSELECT, $LVS_EX_GRIDLINES, $WS_EX_CLIENTEDGE))
   GUICtrlSendMsg($details_LV, $LVM_SETCOLUMNWIDTH, 0, 90)
   GUICtrlSendMsg($details_LV, $LVM_SETCOLUMNWIDTH, 1, 160)
   For $i = 1 to $n
     GUICtrlCreateListViewItem($aResult[$i] &"|"& $aResult[$i+$n], $details_LV)
   Next
   GuiSetState()
EndFunc


Func _TriLigne($ligne)
   $ligne = StringRegExpReplace($ligne, "/{2,}", "/")
   Local $split = StringSplit($ligne, "|")
   Local $date = StringSplit($split[1], "/")
   $split[1] = $date[3] & " (" & $date[2] & " " & $date[1] & ")"     ; date2
   Return $split  
EndFunc


Func _Exit()
  _SQLite_Close ()
  _SQLite_Shutdown ()
  Exit
EndFunc


Func _Close()
   GuiDelete(@GUI_WinHandle)
EndFunc

Ce qui m'agace un peu c'est que "SELECT id || '|' || date ... " est très efficace mais pas moyen de trouver une explication de cette syntaxe dans la doc habituelle trouvé. "||" = "concatenate"
Sinon pour définir les types de données je sais pas ce qui doit figurer dans la plupart des colonnes
Et mettre des ids aux parents dépend des fonctionnalités souhaitées du script, sans compter qu'il faut apprendre d'abord à utiliser des FK

NB : il pleut de plus en plus ^^

[aulus]

Oui, l'affichage est plus rapide... jusqu'où ira le progrès ?

Me mettre à SQLite me semble inévitable... Et tout récrire mon programme aussi... Moi qui croyais toucher au but tout prochainement...

Merci Mikell pour le travail et jchd pour les bonnes infos... et vive le mauvais temps !

[mikell]

... comme dirait Brassens