| |
Miembro registrado
2 mensajes |
|
| Publicado el 21,mayo 2020 - 16:49 |
Bonjour,
j'ai finalement décidé de venir sur le forum. On essaye d'exporter des tables avec plus de 8 millions d'enregistrements pour une analyse de faisabilité d'intelligence artificielle....
J'ai lu chaque forum, chaque post, essayer chaque solution. Que ce soit en ODBC ou avec l'outils SQLManagerX ou encore WD... N'importe quoi... Apres 3 jours en ligne de 8 heures et de frustrations... Je n,arrive pas a extraire les données. Le sevreur a 128 gig de ram et la j,essaye de lire et exporter en excel a coup de 900 000 lignes... Et la le serveur roule depuis 2 heures... C'est rendu a 64 gig dans la memoire! Je suis en tabarnak! Est-ce que quelqu'un peut nous aider?? J'en reviens pas qu'en 2020 on ne peut pas exporter les données simplement!! Sans embuche!! Sans erreur!! Je suis en informatique ca fait 17 ans! Je suis un gourou SQL... Je suis a bout de mes nerfs! S'il vous plait aidez moi!! Je suis a bout de solutions...
J'ai décidé de venir poster ici et voir les réponses! |
| |
| |
| | | |
|
| | |
| |
Miembro registrado
2 mensajes |
|
| Publicado el 21,mayo 2020 - 18:19 |
| |
| |
| | | |
|
| | |
| |
Miembro registrado
348 mensajes |
|
| Publicado el 22,mayo 2020 - 09:56 |
Bonjour Mathieu
Je suis l'auteur de cet outil mais je ne vois en quoi il pourrait t'aider
Ce n'est pas fait pour ça
Pascal
--
Pascal H. http://phapps.e-monsite.com |
| |
| |
| | | |
|
| | |
| |
Miembro registrado
1.002 mensajes |
|
| Publicado el 22,mayo 2020 - 10:40 |
Bonjour,
Regarde du coté des Halias et hchangeconnexion, moi j'ai migré des données (10 millions de ligne, 45 table) depuis mysql <-> hfsql et inversement, ca m'a pris un peu de temps (1 journée env) mais ca fonctionne du moment que des bases sont identique entre HFSQL et ton SGBD de destination.
Jordan |
| |
| |
| | | |
|
| | |
| |
Miembro registrado
2.682 mensajes |
|
| Publicado el 22,mayo 2020 - 11:13 |
Perso j'opterai pour du bulk insert c'est tellement plus rapide. Il suffit de créer des fichiers texte.
--
Cordialement,
Philippe SAINT-BERTIN |
| |
| |
| | | |
|
| | |
| |
Miembro registrado
237 mensajes |
|
| Publicado el 22,mayo 2020 - 12:19 |
Bonjour
si c'est un problème de consommation de mémoire du au nombre de ligne
Hlit coté HFSQL ==> dans un fichier txt (pas du excel) formater pour l'insert avec un nombre de ligne limité (vous incrémentez vos fichiers ) sa évite l'explosion en import côté SQL serveur et surtout si ça plante vous recommencer juste le fichier. (import côté SQL serveur via bulk insert comme la précisé Philippe SB)
vous scripter pour automatiser l'import des fichier (dans le bonne ordre si il faut) et normalement tous devrait bien se passer
Note: vous pouvez importer un fichier dans Server SQL pendant que HFsql génère le suivant
Et bien sur traiter sur deux serveurs l'export et l'import. |
| |
| |
| | | |
|
| | |
| |
| Publicado el 22,mayo 2020 - 13:59 |
et quel est le problème ?
1. déclarer 2 connexions
2. faire une boucle
2.1 lire d'un coté
2.2 écrire de l'autre
3. laisser tourner
y a pas vraiment plus basique que ca
les nuances : une boucle de lecture hlitpremier/hlitsuivant lira tous les enregs les uns après les autres et permettra de les écrire un par un SANS augmentation de la mémoire utilisée
Si on veut optimiser la vitesse de transfert, c'est la que commence les emmerdes, et il y a tout un tas de méthodes possibles. |
| |
| |
| | | |
|
| | |
| |
Miembro registrado
2.682 mensajes |
|
| Publicado el 22,mayo 2020 - 16:34 |
Argus a écrit :
et quel est le problème ?
1. déclarer 2 connexions
2. faire une boucle
2.1 lire d'un coté
2.2 écrire de l'autre
3. laisser tourner
Cette méthode est extrêmement lente...
--
Cordialement,
Philippe SAINT-BERTIN |
| |
| |
| | | |
|
| | |