Blog de Pierrick Le Gall

3 years ago, I introduced in PhpWebGallery a very fast way to update several lines of the same table, at once. See PhpWebGallery Subversion revision 625 for details. I don't remember how this idea came to me, but I've implemented it as a component in Talend Open Studio. The purpose is to improve speed on mass updates.

The standard way to update several lines of a table, with different values for each line of course, is to perform a query for each line to update. In a web application it is a really bad thing not to know in advance the number of queries for each page. In any other situation, it's not good because it's very slow.

Lire la suite

In feature 2378, I've implemented MySQL specific extended insert mode. Extended insert means that instead of inserting lines one by one, you insert many lines in the same insert query. Don't get confuse with a transaction mecanism, it's not. The advantage is speed.

To illustrate the performance improvement we'll have in Talend Open Studio 2.3.0M2 using extended inserts, I've created a benchmark : we read lines from a delimited file and we insert them in a table. 3 simple fields per line (numeric id, firstname, lastname). 1 million of lines to insert.

Lire la suite

I've updated the first Talend Open Studio "use case" I wrote nearly one year ago with release 1.1.0RC1. This time I use new feature from Talend Open Studio 2.2.x : tUnite and tNormalize avoid the temporary file and the "include sub directories" option in tFileList makes the job smarter.

• Full description of the use case, in talendforge.org wiki
• First use case, one year ago

Les journées Perl 2007 auront lieu à Lyon. Sur le campus où j'ai fait mes études d'ingénieur. Si la SNCF le veut bien, j'y serai pour écouter les autre présentateurs mais aussi pour co-présenter une conférence avec Richard, également développeur Perl chez Talend.

Devant une assemblée de développeurs Perl plus ou moins expérimentés, nous allons tenter de démontrer que dans certains cas, utiliser un générateur de code est plus avantageux que de coder directement le script. Notre objectif n'est pas de dire que TOS doit se substituer à tout développement spécifique en Perl mais bien de convaincre de l'intérêt à concevoir en 15 minutes un script qui prendrait plusieurs jours à coder à la main.

Pour faire cette démonstration, nous allons mettre sur notre job de la lecture XML, de l'aggregation, de l'écriture en base ainsi que d'autres petites surprises.

J'ajoute qu'afin d'attirer les foules, nous allons mettre en jeu un Ipod Nano 8GB qui sera gagné par tirage au sort. Ca fait au moins une bonne raison de venir :-)

• Site des journées Perl 2007