[R] Récupération de datas sur le web

[parazitenew]

Code : Tout sélectionner

;Nombre de pages
            ;Lit le code source de la page en cours
            $string = _IEDocReadHTML ($oIE)


            ;Nombre de résultats
            $nbr = _StringBetween($string,"<P><STRONG>Résultat de la recherche : ", " annonce(s) </STRONG>")

            ;Nombre de pages
            $nbp = _StringBetween($string,"<P class=pages>Page 1 /", "<SPAN class=numeros>")

Tu fais une boucle, le nombre de page est $nbp [0]

[mikell]

@parazitenew
Ya ~ un an je pensais comme toi, j'ai changé d'avis

@GhostLine
C'est à moi que tu poses la question ?
Si oui, la réponse est oui, faut juste mettre 'For $page = 1 to 66' et placer un 'If @error' judicieux
J'imagine que c'est pour créer ta bdd initiale, alors dans ce cas la méthode la plus prudente serait de relever les pages progressivement par paquets de 10 (après tout c'est un relevé que tu ne devrais avoir à faire qu'une seule fois)
Ake sinon, ça va prendre *beaucoup* de temps et si tu as une malencontreuse petite erreur juste à la fin, tu vas grimper aux rideaux et te les mordre à belles dents

[GhostLine]

mikell> vivi Mais il n'y a pas moyen de le récupérer quelque part dans le code comme le fait parazitenew ? En effet, à coté de la sélection des pages, on a bien une mention "Page 1 / ...", rien à en faire ? Je demande ca comme ca hein, tel quel, même sans le nombre de page, cela représente un tel gain de temps !

[GhostLine]

Je réponds moi même à la question

Code : Tout sélectionner

 
$url = "http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=1&WHAT=airsoft"

$string = BinaryToString(InetRead($url),4)
$nbp = _StringBetween($string, "Page 1 / ", "                     ")

Encore merci à tous !

[mikell]

Je le préfère en regex

► Afficher le texte

Code : Tout sélectionner

; http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=1&WHAT=airsoft"

#Include <Array.au3>

Global $total = 0, $array[1][5]
$array[0][0] = "Annonce N°"
$array[0][1] = "Date"
$array[0][2] = "Association"
$array[0][3] = "Code postal"
$array[0][4] = "Adresse"

$begin = TimerInit()
$url0 = "http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=1&WHAT=airsoft"
$txt0 = BinaryToString(InetRead($url0), 4)
$txt1 = StringRegExp($txt0, '(?s)/\s*(\d{1,3})\s*<', 1)
$nbpages = $txt1[0]

For $page = 1 to $nbpages
$url = "http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=" & $page & "&WHAT=airsoft"

$txt = BinaryToString(InetRead($url), 4)
$items = StringRegExp($txt, '(?s)<hr/>(.*?)"hr">', 3)
$n = UBound($items)

ReDim $array[$total+$n+1][5]
For $i = 0 To UBound($items) - 1
  $items[$i] = StringReplace($items[$i], "&nbsp;", " ")
  $annonce = StringRegExpReplace($items[$i], '(?s).+?(\d+).+', "$1")
  $date = StringRegExpReplace($items[$i], '(?s).+Paru le : <b>(.*?)<.+', "$1")
  $assoc = StringRegExpReplace($items[$i], '(?s).+Association : <b>(.*?)<.+', "$1")
  $siege = StringRegExpReplace($items[$i], '(?s).+(?:nouvelle adresse|ge social).+?/i>(.*?)<i.+', "$1")
  $siege = StringReplace($siege, "&egrave;", "è")
  $siege = StringReplace($siege, "&eacute;", "é")
  $siege = StringReplace($siege, "&#146;", "'")
  $siege = StringReplace($siege, "&acirc;", "â")  ; etc
  $siege = StringReplace($siege, "&ecirc;", "ê")  ; etc
  $siege = StringReplace($siege, "&ccedil;", "ç")  ; etc
  $siege = StringReplace($siege, "<sup>o</sup>", "°")  ; etc
  $codepostal = StringRegExpReplace($siege, '.+(\d{5}).+', "$1")

  $array[$total+$i+1][0] = $annonce
  $array[$total+$i+1][1] = $date
  $array[$total+$i+1][2] = $assoc
  $array[$total+$i+1][3] = $codepostal
  $array[$total+$i+1][4] = $siege

Next
$total += $n
Next

$diff = Round(TimerDiff($begin)/1000)
$sec = Mod($diff, 60)
$min = Mod($diff/60, 60)
msgbox(0,"", StringFormat("%02i mn %02i sec", $min, $sec))

_ArrayDisplay($array)
 

Edit
Pour la durée, j'ai rien dit
J'ai essayé par curiosité et le script affiche les 1626 annonces en 1 mn 26 secondes ^^

[GhostLine]

Clur Il faut juste que je compile ce code avec l'interface (et le système de détection d'URL) de parazitenew, et j'aurai un magnifique outil de recherche d'associations (manquera juste un petit choix de sélection de code postal, rien de bien méchant)

[mikell]

Correction de regex qui donnait qques erreurs d'adresse et de code postal
On reste à ~ 1 mn 20 s pour ratisser les 66 pages

► Afficher le texte

Code : Tout sélectionner

; http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=1&WHAT=airsoft"

#Include <Array.au3>

Global $total = 0, $array[1][5]
$array[0][0] = "Annonce N°"
$array[0][1] = "Date"
$array[0][2] = "Association"
$array[0][3] = "Code postal"
$array[0][4] = "Adresse"

$begin = TimerInit()
$url0 = "http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=1&WHAT=airsoft"
$txt0 = BinaryToString(InetRead($url0), 4)
$txt1 = StringRegExp($txt0, '(?s)/\s*(\d{1,3})\s*<', 1)
$nbpages = $txt1[0]

For $page = 1 to $nbpages
$url = "http://www.journal-officiel.gouv.fr/association/index.php?ctx=eJyLz2FIK2KIL8tjSCwuzk9miC9kSMwsKs5PK1FIzi8qyC9KLEnVLylKTbVSCskvUGKIz8gscSvNyWEwMmUAAG3jE!U_&page=" & $page & "&WHAT=airsoft"

$txt = BinaryToString(InetRead($url), 4)
$items = StringRegExp($txt, '(?s)<hr/>(.*?)"hr">', 3)
$n = UBound($items)

ReDim $array[$total+$n+1][5]
For $i = 0 To UBound($items) - 1
  $items[$i] = StringReplace($items[$i], "&nbsp;", " ")
  $annonce = StringRegExpReplace($items[$i], '(?s).+?(\d+).+', "$1")
  $date = StringRegExpReplace($items[$i], '(?s).+Paru le : <b>(.*?)<.+', "$1")
  $assoc = StringRegExpReplace($items[$i], '(?s).+Association : <b>(.*?)<.+', "$1")
  $siege = StringRegExpReplace($items[$i], '(?s).+(?:nouvelle adresse|ge social).+?/i>(.*?)(?<!\w\s)<i.+', "$1")
  $siege = StringReplace($siege, "&egrave;", "è")
  $siege = StringReplace($siege, "&eacute;", "é")
  $siege = StringReplace($siege, "&#146;", "'")
  $siege = StringReplace($siege, "&acirc;", "â")  ; etc
  $siege = StringReplace($siege, "&ecirc;", "ê")  ; etc
  $siege = StringReplace($siege, "&ccedil;", "ç")  ; etc
  $siege = StringReplace($siege, "<sup>o</sup>", "°")  ; etc
  $siege = StringReplace($siege, "<sup>e</sup>", "e")  ; etc
  $siege = StringReplace($siege, "<sup>r</sup>", "r")  ; etc
  $siege = StringRegExpReplace($siege, "<i>|</i>", "")  ; etc
  $codepostal = StringRegExpReplace($siege, '.*(\d{5}).+', "$1")

  $array[$total+$i+1][0] = $annonce
  $array[$total+$i+1][1] = $date
  $array[$total+$i+1][2] = $assoc
  $array[$total+$i+1][3] = $codepostal
  $array[$total+$i+1][4] = $siege

Next
$total += $n
Next

$diff = Round(TimerDiff($begin)/1000)
$sec = Mod($diff, 60)
$min = Mod($diff/60, 60)
msgbox(0,"", StringFormat("%02i mn %02i sec", $min, $sec))

_ArrayDisplay($array)

 

Hum ce script aurait été plus à sa place dans les demandes de script, en tout cas il pourrait honorablement figurer dans les exemples de script
Si tu veux demander des explications sur les regex n'hésite pas

[GhostLine]

Clur, je suis tout à fait d'accord Yapuka le passer dans cette partie du forum. Et pas de soucis pour les regex, je n'hésiterai pas à te solliciter.

[GhostLine]

Petit problème, tout est au 16/03/2013 ou au 23/03/2013.

Edit : résolu ! J'ai voulu sortir la variable $url de la boucle, tout à bien fonctionné sauf la date ... une fois remise en place, ca woule

[mikell]

j'aurai un magnifique outil de recherche d'associations

Attention, ce code est du 'sur mesure' et n'est valable que pour la recherche "airsoft"
Par exemple avec le mot-clé de recherche "natation" tu tombes sur cette page
http://www.journal-officiel.gouv.fr/ass ... T=natation
où la structure des annonces est parfois différente donc le script va retourner des erreurs
En faire un outil polyvalent serait possible mais demanderait *beaucoup* plus de travail

[parazitenew]

Mon GUI était polyvalent, valable pour n'importe quel mot clé mais y'avait jsute le problème du _stringbetween()

En combinant la structure de mon prog avec le code de mikell il sera opérationnel à 100%

[GhostLine]

J'ai dû mal m'exprimer, j'essayai de dire ce que parazitenew vient d'écrire depuis quelques posts déjà