[Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

M3PHISTOS · Le 14/04/2008, à 11:36

Bonjour!

Voila, j'ai un problème assez inhabituel:

J'ai téléchargé un fichier txt très volumineux (893Mo le fichier txt, je crois que c'est un record \o/ )
mais le problème, c'est qu'il est tellement lourd, que les éditeurs de texte (j'ai testé Gedit et Kate) finissent par se fermer tout seuls avant même d'avoir affiché le contenu!

Concrètement, quand Kate s'ouvre, la fenêtre est automatiquement grisée (effet Beryl indiquant que la fenêtre ne répond pas), ça mouline, ça mouline... Parfois j'arrive a apercevoir le texte, mais la fenêtre est toujours grisée et ne me passe pas la main. Puis Kate disparait, sans rien dire.

A mon avis ça doit être une sécurité du système qui kill automatiquement les processus qui ne répondent pas au bout de quelques secondes...

Question: Existe-t-il un moyen de rallonger cette limite si elle existe? J'ai vraiment besoin du contenu de ce fichier pour mon job.

En espérant que quelqu'un pourra m'aider.

Merci d'avance

M3

Dernière modification par M3PHISTOS (Le 15/04/2008, à 12:43)

dwan · Le 14/04/2008, à 11:47

Bonjour
Essaie avec vim, un éditeur texte en ligne de commande.

Nasman · Le 14/04/2008, à 12:11

Combien disposes-tu de memoire vive ? N'est-elle pas saturée causant un pb sur l'application. Il me semble qu'à l'ouverture d'un fichier le fichier est lu sur le disque et est chargé en mémoire. Je ne sais pas si le swap peut fonctionner pour une application active.

edenpulse · Le 14/04/2008, à 12:31

deja, bravo pour le record du fichier txT...mais oui je confirme, essai en terminal, en tapant, dans le dossier qui va bien...vi nomdufichier

M3PHISTOS · Le 14/04/2008, à 12:54

@Nasman: j'ai 1Go de RAM en 2x512 DL, ça devrait suffire non?
Pour la swap, j'ai pas regardé si elle etait saturée (me souviens plus de la capacité que je lui ai donné)

@dwan & edenpulse: j'ai essayé, au bout de 2minutes de moulinages, ça a marché, mais c'est quand même pas très pratique de le lire en console parce que je comptait utiliser de la coloration syntaxique, des sélection en bloc et des Search&Replace.
Je sais que certaines de ces fonctions sont dispo sur les éditeurs texte en console, mais je les maîtrise pas encore très bien ^^

Néanmoins, je vais essayer de faire des petits morceaux du fichier grâce a vim pour pouvoir les ouvrir ensuite sur Kate.

Edit: non en fait c'est du suicide, j'en verrais jamais la fin!! Tant pis je trouverais un moyen pour me passer de ce fichier -_-"

PS: Du coup personne ne connaîtrait un moyen pour connaître les longitudes et latitudes des principales villes dans le monde? (autre que les chercher 1 par 1 via google earth) Je sais, c'est HS avec le sujet du topic mais au cas où...

ddmdllt · Le 14/04/2008, à 13:14

M3PHISTOS a écrit :

PS: Du coup personne ne connaîtrait un moyen pour connaître les longitudes et latitudes des principales villes dans le monde? (autre que les chercher 1 par 1 via google earth) Je sais, c'est HS avec le sujet du topic mais au cas où...

Euh, ton fichier ce ne serait pas un .kml avec toutes les données par hasard?

Essaie de le visualiser avec less, ce n'est aps un éditeur mais généralement ça supporte bien de (très) gros fichiers (ou de très grosses redirections/tubes).

Une fois que tu vois à quoi ça ressemble, il serait plus envisageable d'envisager de fragmenter par un programme conçu pour ça...

M3PHISTOS · Le 14/04/2008, à 13:39

heuuu, je sais pas trop (c'est un .txt, mais c'est possible que la syntaxe soit du kml, je connais pas trop)

Pour info, le fichier s'appelle géonames, je n'ai plus l'url du site ou je l'ai trouvé par contre, et les lignes ressemblent a ça:

1       -1323428        -1912780        17.05   -61.716667      170300  -614300 20QPD3657585535 NE20-11 P       PPL             AC      08                                      N                               MONTPELIER      Montpelier      Montpelier      1993-12-21

une syntaxe connue?

Jules Petibidon · Le 15/04/2008, à 00:02

hello,

vu comme ça, pas de syntaxe, c'est (je pense) un export csv.
un truc comme ça s'ouvre normalement dans calc, mais vu la taille du fichier tu risques de le faire exploser.

split le en fichiers de 500 ou 1000 lignes, ce sera plus maniable

split --lines=500 -d monfichier.txt monfichier_

ddmdllt · Le 15/04/2008, à 07:50

csv je suis pas sûr mais en tout cas il semblerait que chaque ligne corresponde à un tuple de valeurs donc le split ça devrait le faire (vérifie toutefois que t'as rien de spécial à la première ligne du fichier).

M3PHISTOS · Le 15/04/2008, à 08:25

Re! Merci de vos réponses! ^^
Alors, j'ai testé

split --lines=500 -d monfichier.txt monfichier_

Il me dit "split: Produire les suffixes des fichiers épuisés" mais rien de grave: c'est juste qu'il m'a fait 100 petits fichiers apercu.txt: de apercu.txt00 a apercu.txt99
Apparemment il ne va pas au dessus de 100.
Mais qu'importe, c'est déjà bien pratique, je ne connaissait pas, merci beaucoup!

Ensuite j'ai essayé d'ouvrir le tout premier fichier avec Calc de OOo, mais il me l'ouvre sur le traitement de texte et non sur le tableur, meme si je change l'extension en .cvs

Pour info, il y a bien une entête dans le fichier, qui dit a quoi correspond chaque valeurs:

RC	UFI	UNI	LAT	LONG	DMS_LAT	DMS_LONG	MGRS	JOG	FC	DSG	PC	CC1	ADM1	ADM2	POP	ELEV	CC2	NT	LC	SHORT_FORM	GENERIC	SORT_NAME	FULL_NAME	FULL_NAME_ND	MODIFY_DATE

et ensuite les entrées sont sous la forme:

1	-1307690	-1891634	12.533333	-70	123200	-700000	19PCP9135585735	ND19-14	H	STMI		AA	00					N				ROOIAFO	Rooi Afó	Rooi Afo	1993-12-21

Voila, c'est tout ce que j'arrive à en tirer.
Mais je vais essayer de me passer de cette bdd qui est beaucoup trop volumineuse (apparemment elle a été commencée depuis le 21/12/1993 !!)
Donc ne vous cassez pas trop la tête dessus finalement. ;-)

Merci beaucoup

M3

Edit: d'ailleurs pour prouver a quel point c'est trop vaste: la première entrée listée (celle ci-dessus) correspond a un bidon-ville a Aruba, petite ile au large des cotes brésiliennes -_-"

Dernière modification par M3PHISTOS (Le 15/04/2008, à 08:34)

Jules Petibidon · Le 15/04/2008, à 10:37

C'est bien un fichier csv (pas cvs attention !)

man split

Y'a moyen d'aller plus loin que 100.
Tu peux aussi faire des fichiers plus volumineux, 500 ou 1000 c'était des exemples.

Sinon, geonames.org => t'as des fichiers par pays, ptet un peu plus simple.

M3PHISTOS · Le 15/04/2008, à 12:42

O_O HoMaGad!! je m'était trompé dans le format effectivement!

ça change tout!

Et merci pour le site geonames.org, je crois que le fichier venait d'une des pages perdues dans les tréfons du site. Mais en repassant par l'accueil, j'ai trouvé des listes .csv plus courte! \o/

Je suis passé de:
toutes les villes du monde (900Mo) à
seulement les villes > 15000 hab. (700Ko, 21 000 villes)

et une fois épluchée, je n'en ai retenu que 80, que je doit encore dégrossir ^^ Ouf! je vais y arriveeeeerrr!!! -______-"

Concernant le topic du sujet, je passe en résolu.

Merci a tous!

ddmdllt · Le 15/04/2008, à 21:13

Déjà un truc ennuyant (ou pas) c'est que ça semble séparé par des espaces (et non par des virgules). D'un côté si tous les champs sont ainsi de taille fixe, ça permet peut-être des accès non séquentiels, mais de l'autre, si y a plusieurs espaces, y a pas mal de déperdition. (A moins que ce ne soit des TAB dans ton fichier?)

Si tu as une entête d'une ligne et que tu aurais voulu exploiter ton fichier, le mieux aurait été surement de rajouter l'en-tête à tous les autres fichiers produits par split (ou utiliser autre chose que split si tu tiens à la performance, car ajouter après plein de fois une ligne en début de fichier c'est pas le top).

Bon si pour toi le truc est résolu, vais pas trop en dire plus / en demander plus

Ubuntu-fr

Navigation

Liens de recherche

Annonce

#1 Le 14/04/2008, à 11:36

[Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#2 Le 14/04/2008, à 11:47

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#3 Le 14/04/2008, à 12:11

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#4 Le 14/04/2008, à 12:31

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#5 Le 14/04/2008, à 12:54

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#6 Le 14/04/2008, à 13:14

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#7 Le 14/04/2008, à 13:39

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#8 Le 15/04/2008, à 00:02

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#9 Le 15/04/2008, à 07:50

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#10 Le 15/04/2008, à 08:25

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#11 Le 15/04/2008, à 10:37

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#12 Le 15/04/2008, à 12:42

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

#13 Le 15/04/2008, à 21:13

Re : [Évité/Résolu] Fichier Txt trop gros pour être lancé O_O

Pied de page des forums