[R] Mozilla ftp addons parser

[ConnorMcLeod]

Bonjour,

Je souhaiterais un script qui permettrait d'avoir une liste des addons contenus sur le ftp de mozilla :

http://ftp.mozilla.org/pub/mozilla.org/addons/

Le contenu de cette page se compose de dossiers portant un numéro, chaque dossier, s'il n'est pas vide, contient un addon dans ses différentes versions officielles et beta.
Le résultat recherché est de remplacer ces numeros par le nom de l'addon, ou alors si c'est pas dans le navigateur de créer par exemple un menu déroulant avec les noms des addons et que la sélection fasse ouvrir le dossier correspondant dans le navigateur.

Merci.

[mikell]

Hum
Lourde tâche
Sur ce ftp lister le contenu des 500 premiers dossiers prend ~ 7 minutes
Or il en contient 20514 , ça fait juste 4 petites heures quoi
Enfin si tu t'en sens, voilà le code (bridé aux 50 premiers dossiers, ça ne prend qu'une minute)

► Afficher le texte

Code : Tout sélectionner

#Include <Array.au3>
#include <FTPEx.au3>

$begin = TimerInit()

Local $pagetxt
$oHTTP = ObjCreate("Microsoft.XMLHTTP")
$oHTTP.Open("GET", "http://ftp.mozilla.org/pub/mozilla.org/addons" , 0)
$oHTTP.Send()
If ($oHTTP.Readystate = 4 AND $oHTTP.Status = 200) Then $pagetxt = $oHTTP.Responsetext 
$oHTTP = 0
Sleep(500)
; msgbox(0,"", $pagetxt)

Local $res = StringRegExp($pagetxt, '(?s)folder.+?href="([^"]+)', 3)
; _ArrayDisplay($res)
If not IsArray($res) Then Exit
Sleep(500)

Local $server = 'ftp.mozilla.org'
Local $Open = _FTP_Open('MyFTP Control')
Local $Conn = _FTP_Connect($Open, $server, "", "")

Local $array[UBound($res)][2], $n = 0, $aFile, $result = ""
For $i = 0 to 50 ; UBound($res)-1         ; 20513 ^^ ... <<<<<<<<<<<<<<<<<<<<<<<<<<<<<
   $result &= @crlf & $res[$i] & @crlf
   Local $h_Handle
   $aFile = _FTP_FindFileFirst($Conn, "pub/mozilla.org/addons/" & $res[$i] & "/", $h_Handle)
   If @error Then ContinueLoop
   While 1
      Local $name
      $aFile = _FTP_FindFileNext($h_Handle)
      If @error Then ExitLoop
      $name = $aFile[10]
   Wend
   $name = StringRegExpReplace($name, '(\-\d+\..+)', "")
   $result &= $name & @crlf
   $array[$n][0] = $res[$i]
   $array[$n][1] = $name
   $n += 1
   _FTP_FindFileClose($h_Handle)
Next

$dif = Round(TimerDiff($begin)/1000)

Filewrite("result.txt", $result)
ReDim $array[$n][2]
 _ArrayDisplay($array)

$sec = Mod($dif, 60)
$min = Int($dif/60)
Msgbox(0,"", $min & " : " & $sec)
_FTP_Close($Open)
 

[ConnorMcLeod]

Merci, tu pourrais faire en sorte de ne rien écrire dans result.txt quand le dossier est vide ?

[mikell]

Il suffit de déplacer cette ligne qui est au début de la boucle For

Code : Tout sélectionner

   $result &= @crlf & $res[$i] & @crlf

pour la mettre juste après le Wend

[Tlem]

Bonsoir.
Pas sur que ce soit mieux, mais voici une autre version sur laquelle je travaillais avant d'aller au ciné.

► Afficher le texte

Code : Tout sélectionner

; Adaptation du code de ce sujet : http://www.autoitscript.com/forum/topic/114382-recursive-ftp-search/#entry799714
#Include <FTPEx.au3>
#Include <Array.au3>

Global $sFileList, $Count = 0, $aAddonList[1000][2]
Global $ListLimit = 10

TrayTip("AddOnList", "Connexion en cours ...", 10)
_FTP_AddOnList('/pub/mozilla.org/addons/', 'ftp.mozilla.org')
ReDim $aAddonList[$Count + 1][2]
TrayTip("", "", 1)
_ArrayDisplay($aAddonList)

Func _FTP_AddOnList($sRemotePath, $sHost)
    Local $hFtp, $hSession, $aFind, $hFind, $Result = 1

    $hFtp = _FTP_Open('MyFtp')
    $hSession = _FTP_Connect($hFtp, $sHost, '', '')

    $aFind = _FTP_FindFileFirst($hSession, $sRemotePath, $hFind)
    While Not @error
        $Path = $sRemotePath & '\' & $aFind[10]
        If BitAND($aFind[1], $FILE_ATTRIBUTE_DIRECTORY) Then
            If Not _FTP_AddOnList($sRemotePath & $aFind[10], $sHost) Then
                Return 0
            EndIf
        Else
            $Count += 1
            If $Count = UBound($aAddonList) - 1 Then ReDim $aAddonList[UBound($aAddonList) + 1000][2]
            ConsoleWrite($sRemotePath & "/" & $aFind[10] & @CR)
            TrayTip("En Cours :", $sRemotePath, 3)
            $aAddonList[$Count][0] = StringTrimLeft($sRemotePath, 24) ; $sRemotePath <= Chemin complet
            $aAddonList[$Count][1] = $aFind[10]
            $aAddonList[0][0] = $Count
            If $Count = $ListLimit Then Return
        EndIf
        Local $Flag = 0
        While $Flag = 0
            $aFind = _FTP_FindFileNext($hFind)
            If @error Or BitAND($aFind[1], $FILE_ATTRIBUTE_DIRECTORY) Then $Flag = 1
        WEnd
    WEnd
    _FTP_FindFileClose($hFind)
    _FTP_Close($hFtp)
    Return $Result
EndFunc

[mikell]

Thierry, ça marche pas (chez moi du moins)
_FTP_ListToArray aurait été l'idéal mais macache, ça veut pas, je sais pas pourquoi
Au lieu de retourner la liste de dossiers
4/, 5/, 6/, etc
ça retourne une liste de nombres
10, 100, 1000, etc
et donc la lecture des dossiers renvoie ensuite un résultat farfelu
C'est pour ça que je suis passé par XMLHTTP pour récupérer cette foutue liste

[Tlem]

Bonsoir Michel, en ce qui me concerne, j'ai le même retour que FileZilla !
Idéalement, il aurait fallu que le fichier /pub/ls-lR ou /pub/ls-lR.gz soit à jour, cela aurait permit de faire le traitement en local ...

Maintenant, il est vrais que je n'avais pas vu le lien entre les nombres affichés sur la page Web et les nombres renvoyés par un client FTP ... Cette conversion me semble être une manipulation/salade interne. Si tu rentre l'adresse ftp://ftp.mozilla.org/pub/mozilla.org/addons/10000/ tu tombe bel et bien sur le véritable dossier FTP de l'addon xsidebar_for_thunderbird ...

ConnorMcLeod a écrit le lien avec le préfixe http:// mais en réalité, la liste des dossiers par véritable lien FTP est là : ftp://ftp.mozilla.org/pub/mozilla.org/addons/

[mikell]

Argh
Douloureuse mise en évidence de mon manque de pratique des ftp
Pourquoi diable ces dossiers ont 2 noms ?!?
Enfin bon

► Afficher le texte

Code : Tout sélectionner

#include <FTPEx.au3>
#Include <Array.au3>

$begin = TimerInit()
Local $server = 'ftp.mozilla.org'
TrayTip(" ftp.mozilla.org", "Connexion en cours ...", 10, 1)
Local $Open = _FTP_Open('MyFTP')
Local $Conn = _FTP_Connect($Open, $server, "", "")
_FTP_DirSetCurrent($Conn, "/pub/mozilla.org/addons/")
Local $aFile = _FTP_ListToArray($Conn, 0)
; _ArrayDisplay($aFile)

Local $array[$aFile[0]][2], $n = 0, $aFile2, $result = ""
For $i = 0 to 50 ; UBound($aFile[0])-1         ; 20513 ^^ ... <<<<<<<<
   Local $h_Handle, $name
   $aFile2 = _FTP_FindFileFirst($Conn, $aFile[$i] & "/", $h_Handle)
   If @error Then ContinueLoop
   $name = $aFile2[10]
   TrayTip("   ftp.mozilla.org/pub/mozilla.org/addons/" & $aFile[$i], $name, 10, 1)
   While 1
      $aFile2 = _FTP_FindFileNext($h_Handle)
      If @error Then ExitLoop
      $name = $aFile2[10]
   TrayTip("   ftp.mozilla.org/pub/mozilla.org/addons/" & $aFile[$i], $name, 10, 1)
   Wend
   $result &= $aFile[$i] & @crlf
   $name = StringRegExpReplace($name, '(\-\d+\..+)', "")
   $result &= $name & @crlf
   $array[$n][0] = $aFile[$i]
   $array[$n][1] = $name
   $n += 1
   _FTP_FindFileClose($h_Handle)
Next
TrayTip("", "", 1)

$dif = Round(TimerDiff($begin)/1000)
Filewrite("result.txt", $result)
ReDim $array[$n][2]
 _ArrayDisplay($array)

$sec = Mod($dif, 60)
$min = Int($dif/60)
Msgbox(0,"", $min & " : " & $sec)
_FTP_Close($Open)
 

[ConnorMcLeod]

Merci ça me fait une super base pour m'exercer

Par contre le regex pour enlever les versions ne semble pas fonctionner partout, mais j'ai plus l'exemple sous les yeux et le script est en train de tourner pour 1 bonne heure à mon avis, mais bon c'est vraiment un cas sur je sais pas combien donc c'est pas important.

Sinon j'ai l'impression que les n° de dossiers sont les mêmes qu'on entre ftp:// ou http://, c'est juste qu'ils ne sont pas affichés dans le même ordre dans le navigateur, mais je peux me tromper.

Encore merci, ça va me servir au travail, l'installation d'addons est bloquée, enfin pas l'installation en elle-même mais les sites (certains en tout cas) de téléchargement (qui diffèrent du ftp), avec ça le problème est résolu !

[mikell]

Oui, dans 99% des cas la structure du nom du fichier est :
nom, tiret, chiffre, point, rechiffre, repoint, ...etc.. extension
Donc le regex élimine tout ce qui se trouve après un bloc tiret+un ou plusieurs chiffres+point - bloc inclus -( pour ignorer les tirets pouvant faire partie du nom)
Mais dans certains cas c'est un underscore qui est utilisé au lieu du tiret et j'ai préféré ne pas courir de risque, mais tu pourrais tenter

Code : Tout sélectionner

StringRegExpReplace($name, '([\-_]\d+\..+)', "")

point de vue académique bien sûr

Et non, ce ne sont pas les mêmes numéros de dossier rangés dans le désordre
Edit : douloureuse mise en évidence de mon manque de pratique des ftp (bis)

Sinon, la boucle While ralentit un peu le processus mais ça permet de récupérer le nom le plus récent de l'addon (qui est souvent différent du nom de son ancienne version)

Si le sujet est résolu pense à mettre [R] dans le titre de ton 1er post

[Tlem]

Pourquoi diable ces dossiers ont 2 noms ?!?

Cela me tracassait un peux, donc j'ai regardé de plus près et j'ai constaté que tout simplement la page html (par le http://) affichait les numéros par ordre croissant alors que le lien par FTP affiche les dossiers comme le fait Windows ...

Il a donc 1 seul numéro de dossier. Il ne sont tout simplement pas affichés de la même manière.


Edit : Arrgh grillé pendent mes tests.

[ConnorMcLeod]

Oui on va dire que c'est résolu j'ai matière à bidouiller et je vais tenter de faire un truc un peu plus complet même si c'est pas franchement utile, mais ça m'exercera


Donc on est d'accord que les noms de dossiers sont les mêmes en ftp et en http ? (mikell semble dire le contraire).


Merci encore.

[Tlem]

Donc on est d'accord que les noms de dossiers sont les mêmes en ftp et en http ? (mikell semble dire le contraire).

Perso, je dit oui. J'ai testé un panel de 10 dossiers et en ce qui me concerne j'avais les mêmes fichiers dedans.

De plus, en comparant la liste des 10 premiers dossier du http:// avec la liste des dossiers du ftp:// on retrouve les mêmes éléments. Idem dans l'autre sens.

Je suis donc intimement convaincu que tous les dossiers sont identiques mais présentés différemment (et cela me parait absolument logique). ^^

De toute façons, pour comparer le nombre de dossiers, il suffirait de traiter le code source de la page web en http et celui en ftp pour constater que leur nombre est identique.