Script affichant les contextes

Bonsoir,

Après un mois sans nouvelles, voici donc le script en dernière "phase". Des colonnes pour les contextes en .txt et en .html (grâce au minigrep) ont été ajoutées. Nous avons également créé des fichiers globaux comprenant pour chaque langue le dump-text et le contexte, le fichier global du contexte permettant de faire les nuages de mots.
Il ne reste plus qu'à ajouter le comptage du motif étudié (vacances).

Voici le script complet utilisé : (cliquer dessus pour que l'image s'affiche complètement)

Le tableau suivant est créé :

 

Nous devons encore chercher de nouvelles URL pour l'allemand.

Curl : Bad Request, 404 not found...rejet des pages aspirées

Bonsoir,

Ce billet exposera le script utilisé pour rejeter les URLs dont les pages n'ont pas pu être aspirées. On utilise la commande egrep pour savoir si des segments comme "Bad request" ou bien "404 not found" sont présents dans la page.

Script utilisé :

-> Avant de faire tout le "bloc" lynx, on pose une condition : si (if) ce que contient $controlcurl n'est pas vide (= si la commande egrep a trouvé un des segments désignant une erreur) alors on ne fait pas le dump-text/la conversion. Sinon (else) on rentre dans les boucles permettant de faire le dump-text et la conversion en UTF-8.

/!\ Ne pas oublier de fermer le if/else à la fin du bloc lynx (fi).  Il se trouvera après tous les fi du lynx mais avant le let et le done.

J'ai introduit dans mon fichier d'URLs des liens ayant un segment désignant une erreur pour illustrer le script, n'ayant pas d'URLs françaises qui en produisent.
Résultat :

Problème concernant les URLS japonaises : j'ai essayé de repérer moi-même les messages d'erreur en japonais (sans trop de problème) mais lorsque j'intègre ces messages d'erreurs (en kanjis) au script (donc à la suite de Bad Request|Service Unavailable...) cela ne fonctionne pas. Je pense que le script ne gère pas bien les kanjis, je n'ai donc pour le moment pas de solution.