#1 Le 14/04/2008, à 11:36
- M3PHISTOS
[Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
Bonjour!
Voila, j'ai un problème assez inhabituel:
J'ai téléchargé un fichier txt très volumineux (893Mo le fichier txt, je crois que c'est un record \o/ )
mais le problème, c'est qu'il est tellement lourd, que les éditeurs de texte (j'ai testé Gedit et Kate) finissent par se fermer tout seuls avant même d'avoir affiché le contenu!
Concrètement, quand Kate s'ouvre, la fenêtre est automatiquement grisée (effet Beryl indiquant que la fenêtre ne répond pas), ça mouline, ça mouline... Parfois j'arrive a apercevoir le texte, mais la fenêtre est toujours grisée et ne me passe pas la main. Puis Kate disparait, sans rien dire.
A mon avis ça doit être une sécurité du système qui kill automatiquement les processus qui ne répondent pas au bout de quelques secondes...
Question: Existe-t-il un moyen de rallonger cette limite si elle existe? J'ai vraiment besoin du contenu de ce fichier pour mon job.
En espérant que quelqu'un pourra m'aider.
Merci d'avance
M3
Dernière modification par M3PHISTOS (Le 15/04/2008, à 12:43)
Hors ligne
#2 Le 14/04/2008, à 11:47
- dwan
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
Bonjour
Essaie avec vim, un éditeur texte en ligne de commande.
Auto-hébergé !
HP dv6164ea
Hors ligne
#3 Le 14/04/2008, à 12:11
- Nasman
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
Combien disposes-tu de memoire vive ? N'est-elle pas saturée causant un pb sur l'application. Il me semble qu'à l'ouverture d'un fichier le fichier est lu sur le disque et est chargé en mémoire. Je ne sais pas si le swap peut fonctionner pour une application active.
PC fixe sous Bionic 64 bits et portable avec Focal 64 bits
Hors ligne
#4 Le 14/04/2008, à 12:31
- edenpulse
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
deja, bravo pour le record du fichier txT...mais oui je confirme, essai en terminal, en tapant, dans le dossier qui va bien...vi nomdufichier
http://edp.free-h.net
venez nombreux!
Tutos linux dispo!
Hors ligne
#5 Le 14/04/2008, à 12:54
- M3PHISTOS
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
@Nasman: j'ai 1Go de RAM en 2x512 DL, ça devrait suffire non?
Pour la swap, j'ai pas regardé si elle etait saturée (me souviens plus de la capacité que je lui ai donné)
@dwan & edenpulse: j'ai essayé, au bout de 2minutes de moulinages, ça a marché, mais c'est quand même pas très pratique de le lire en console parce que je comptait utiliser de la coloration syntaxique, des sélection en bloc et des Search&Replace.
Je sais que certaines de ces fonctions sont dispo sur les éditeurs texte en console, mais je les maîtrise pas encore très bien ^^
Néanmoins, je vais essayer de faire des petits morceaux du fichier grâce a vim pour pouvoir les ouvrir ensuite sur Kate.
Edit: non en fait c'est du suicide, j'en verrais jamais la fin!! Tant pis je trouverais un moyen pour me passer de ce fichier -_-"
PS: Du coup personne ne connaîtrait un moyen pour connaître les longitudes et latitudes des principales villes dans le monde? (autre que les chercher 1 par 1 via google earth) Je sais, c'est HS avec le sujet du topic mais au cas où...
Hors ligne
#6 Le 14/04/2008, à 13:14
- ddmdllt
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
PS: Du coup personne ne connaîtrait un moyen pour connaître les longitudes et latitudes des principales villes dans le monde? (autre que les chercher 1 par 1 via google earth) Je sais, c'est HS avec le sujet du topic mais au cas où...
Euh, ton fichier ce ne serait pas un .kml avec toutes les données par hasard?
Essaie de le visualiser avec less, ce n'est aps un éditeur mais généralement ça supporte bien de (très) gros fichiers (ou de très grosses redirections/tubes).
Une fois que tu vois à quoi ça ressemble, il serait plus envisageable d'envisager de fragmenter par un programme conçu pour ça...
Hors ligne
#7 Le 14/04/2008, à 13:39
- M3PHISTOS
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
heuuu, je sais pas trop (c'est un .txt, mais c'est possible que la syntaxe soit du kml, je connais pas trop)
Pour info, le fichier s'appelle géonames, je n'ai plus l'url du site ou je l'ai trouvé par contre, et les lignes ressemblent a ça:
1 -1323428 -1912780 17.05 -61.716667 170300 -614300 20QPD3657585535 NE20-11 P PPL AC 08 N MONTPELIER Montpelier Montpelier 1993-12-21
une syntaxe connue?
Hors ligne
#8 Le 15/04/2008, à 00:02
- Jules Petibidon
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
hello,
vu comme ça, pas de syntaxe, c'est (je pense) un export csv.
un truc comme ça s'ouvre normalement dans calc, mais vu la taille du fichier tu risques de le faire exploser.
split le en fichiers de 500 ou 1000 lignes, ce sera plus maniable
split --lines=500 -d monfichier.txt monfichier_
Hors ligne
#9 Le 15/04/2008, à 07:50
- ddmdllt
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
csv je suis pas sûr mais en tout cas il semblerait que chaque ligne corresponde à un tuple de valeurs donc le split ça devrait le faire (vérifie toutefois que t'as rien de spécial à la première ligne du fichier).
Hors ligne
#10 Le 15/04/2008, à 08:25
- M3PHISTOS
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
Re! Merci de vos réponses! ^^
Alors, j'ai testé
split --lines=500 -d monfichier.txt monfichier_
Il me dit "split: Produire les suffixes des fichiers épuisés" mais rien de grave: c'est juste qu'il m'a fait 100 petits fichiers apercu.txt: de apercu.txt00 a apercu.txt99
Apparemment il ne va pas au dessus de 100.
Mais qu'importe, c'est déjà bien pratique, je ne connaissait pas, merci beaucoup!
Ensuite j'ai essayé d'ouvrir le tout premier fichier avec Calc de OOo, mais il me l'ouvre sur le traitement de texte et non sur le tableur, meme si je change l'extension en .cvs
Pour info, il y a bien une entête dans le fichier, qui dit a quoi correspond chaque valeurs:
RC UFI UNI LAT LONG DMS_LAT DMS_LONG MGRS JOG FC DSG PC CC1 ADM1 ADM2 POP ELEV CC2 NT LC SHORT_FORM GENERIC SORT_NAME FULL_NAME FULL_NAME_ND MODIFY_DATE
et ensuite les entrées sont sous la forme:
1 -1307690 -1891634 12.533333 -70 123200 -700000 19PCP9135585735 ND19-14 H STMI AA 00 N ROOIAFO Rooi Afó Rooi Afo 1993-12-21
Voila, c'est tout ce que j'arrive à en tirer.
Mais je vais essayer de me passer de cette bdd qui est beaucoup trop volumineuse (apparemment elle a été commencée depuis le 21/12/1993 !!)
Donc ne vous cassez pas trop la tête dessus finalement. ;-)
Merci beaucoup
M3
Edit: d'ailleurs pour prouver a quel point c'est trop vaste: la première entrée listée (celle ci-dessus) correspond a un bidon-ville a Aruba, petite ile au large des cotes brésiliennes -_-"
Dernière modification par M3PHISTOS (Le 15/04/2008, à 08:34)
Hors ligne
#11 Le 15/04/2008, à 10:37
- Jules Petibidon
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
C'est bien un fichier csv (pas cvs attention !)
man split
Y'a moyen d'aller plus loin que 100.
Tu peux aussi faire des fichiers plus volumineux, 500 ou 1000 c'était des exemples.
Sinon, geonames.org => t'as des fichiers par pays, ptet un peu plus simple.
Hors ligne
#12 Le 15/04/2008, à 12:42
- M3PHISTOS
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
O_O HoMaGad!! je m'était trompé dans le format effectivement!
ça change tout!
Et merci pour le site geonames.org, je crois que le fichier venait d'une des pages perdues dans les tréfons du site. Mais en repassant par l'accueil, j'ai trouvé des listes .csv plus courte! \o/
Je suis passé de:
toutes les villes du monde (900Mo) à
seulement les villes > 15000 hab. (700Ko, 21 000 villes)
et une fois épluchée, je n'en ai retenu que 80, que je doit encore dégrossir ^^ Ouf! je vais y arriveeeeerrr!!! -______-"
Concernant le topic du sujet, je passe en résolu.
Merci a tous!
Hors ligne
#13 Le 15/04/2008, à 21:13
- ddmdllt
Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O
Déjà un truc ennuyant (ou pas) c'est que ça semble séparé par des espaces (et non par des virgules). D'un côté si tous les champs sont ainsi de taille fixe, ça permet peut-être des accès non séquentiels, mais de l'autre, si y a plusieurs espaces, y a pas mal de déperdition. (A moins que ce ne soit des TAB dans ton fichier?)
Si tu as une entête d'une ligne et que tu aurais voulu exploiter ton fichier, le mieux aurait été surement de rajouter l'en-tête à tous les autres fichiers produits par split (ou utiliser autre chose que split si tu tiens à la performance, car ajouter après plein de fois une ligne en début de fichier c'est pas le top).
Bon si pour toi le truc est résolu, vais pas trop en dire plus / en demander plus
Hors ligne