mercredi 8 décembre 2010

[Rasters in QGIS] Generate a Vector Grid with Average Slope Values




Operations:
  • Slope: DEM Layer.tif=[QGIS/Raster Based Terrain Analysis]=>slope.tif=>[r.in.gdal]=>slope
  • Grid: [QGIS/Vector/Research Tools/Vector Grid]=>grid.shp=[v.in.ogr]=>grid=>[v.to.rast]=>grid
  • Crossing Grid and Slope: grid*slope=[r.average]=>gridSlope=[r.to.vect]=>gridSlope=[v.out.ogr]=>gridSlope.shp

lundi 22 novembre 2010

[Talend SDI] 2 very simple , yet useful operations


Here, we'll see how to sort features by area and how to remove duplicate features.

Sort features by area

Here is an example of layer I got. The representation is not convenient for printing as small features are partially or totally covered by bigger ones. So, I'd like small features to be on the top.

Here is the job in SDI:


1-Automatically generate the schema of the shapefile




jeudi 9 septembre 2010

Importer le MNT de l'IGN avec QGIS & GRASS

Ici, nous allons voir comment importer le Modèle Numérique de Terrain de l'IGN dans QGIS/GRASS et comment visualiser le résultat dans le visionneur 3D NVIZ

jeudi 2 septembre 2010

[GRASS] Aerial Image + Shaded Relief => Shaded Aerial Image

Sometimes, one might find the relief feeling given by an aerial image a little poor. You could also find that the moment the photo was taken doesn't enhance the right elements of the relief.



One solution is to use a raster elevation to integrate a shaded relief to an aerial image.

Used modules

Prerequisites
This assumes that you already have in your mapset:
  • the aerial image: ortho
  • the elevation raster map: MNT. This article explains you how to import MNT (for french readers)
And that your GRASS region is positioned on your area of interest:

g.region rast=ortho

Creating the shaded relief

r.shaded.relief map=MNT shadedmap=MNT.shaded altitude=80 azimuth=60 zmult=1 scale=1



Combining the aerial image with the shaded relief
Here, we use the aerial image and use the intensity of the shaded relief so as to get a modified aerial image.

r.his h_map=ortho i_map=MNT.shaded g_map=ortho.shaded.green b_map=ortho.shaded.blue r_map=ortho.shaded.red

The areas of the aerial image covered by dark areas of shaded relief will get darker but those covered by white areas will remain closely the same.
That's why the choice of altitude is important during the r.shaded.relief step. Using a low altitude parameter will cause the horizontal areas of the final image to be dark. We chose a value close to 90 (mid-day time), so as to enhance the horizontal areas.

Combining the different color raster maps of the shaded aerial image
As the shaded relief aerial image has been generated in 3 different rasters maps, we have to merge them.

r.composite green=ortho.shaded.green blue=ortho.shaded.blue red=ortho.shaded.red out=ortho.shaded

Here's the result:

Here, the feeling of relief that has been added is very light. Play around the azimuth and altitude parameters to get the appropriate aspect for your map.

Note: All the operations have been performed from QGIS, sometimes from the GRASS QGIS Shell. If you use GRASS and not QGIS, this operation is unnecessary. When displaying the aerial image under GRASS, just choose "Drape Map". However, you may find an interest in applying this method under GRASS if you want to output the result...

jeudi 22 juillet 2010

[fr][MAJIC] Intégration OpenSource des Fichiers Fonciers

On peut lire beaucoup de fils de discussion dans les forums géomatiques traitant de l'extraction des données MAJIC comme celui-ci: http://georezo.net/forum/viewtopic.php?id=53811
La lecture de ces données, leur exploitation nécessitent des compétences particulières. Ainsi, certaines structures font appel à des prestataires ayant de l'expérience dans l'intégration de ces fichiers et/ou font l'acquisition de solutions le plus souvent propriétaires.

L'objectif de la série d'articles qui viendra est de:
  • vous présenter les fichiers fonciers MAJIC, leur structure
  • et surtout, de vous décrire comment procéder gratuitement à leur intégration à l'aide de Talend Open Studio, solution ETL OpenSource.

Présentation des fichiers fonciers
Voici un aperçu du contenu du CD ROM des fichiers fonciers:


On retrouve:
-l'ensemble des fichiers fonciers à la racine
*.NO748
-la liste des communes concernées LISTE_DES_COMMUNES.HTM
-le dossier DESCRIPT dans lequel on retrouve la documentation associée à chaque fichier.

Notons que pour les néophytes, la présentation des fichiers peut prêter à confusion comme ils ne possèdent pas d'extension. Un ajout de l'extension .txt vous permettra de les ouvrir automatiquement dans votre éditeur de texte préféré.

Structure des fichiers
Si l'on ouvre un fichier foncier, on retrouve cette structure (représentée de façon schématique):


Les fichiers source MAJIC sont de type positionnel, c'est-à-dire que chaque champ/colonne est déterminée par une position au nombre de caractères.

La structure de la plupart des fichiers fonciers est irrégulière dans la mesure où ces derniers peuvent contenir plusieurs types d'informations appelés articles revenant cycliquement au sein du fichier. Une ligne peut représenter un article, la suivante un autre article. Le nombre d'articles par fichier est variable. L'exemple ci-dessus serait celui d'un fichier foncier possédant 3 articles. Par exemple, le fichier des propriétés non-bâties NBAT en contient 4 (sans compter l'article direction commun à tous les fichiers).

Transformation des fichiers source
Peu de logiciels permettent de traiter et d'exploiter directement des fichiers de type positionnel.
Les formats les plus courants d'exploitation statistique sont les formats délimité, Excel/Calc ainsi que ceux de SGBDR tels que PostgreSQL. En l'état, les fichiers source MAJIC sont donc difficilement exploitables.
Une fois transformés dans les formats les plus couramment utilisés, il devient alors possible d'exécuter des requêtes spécifiques et donc d'exploiter pleinement les données. Les interrogations seront beaucoup plus poussées et plus faciles à exécuter sous un SGBDR comme PostgreSQL que sous Excel. C'est pourquoi la plupart du temps des prestataires proposent une intégration au sein d'un SGBDR.
Pour autant, nous verrons qu'il est tout à fait possible, dans Talend Open Studio, de procéder directement à des requêtes sur les fichiers source de type positionnel.

Etapes de traitement
Avant d'exploiter les données, il apparaît tout d'abord nécessaire d'effectuer quelques traitements.
Dans un premier temps, nous allons séparer un fichier foncier en autant de fichiers qu'il y a d'articles. Il y aura donc un fichier par article. Chaque fichier obtenu sera de structure homogène, contrairement à avant.
Article1


Article2
Article3



Une fois ce traitement réalisé, nous serons en mesure de transformer les fichiers source obtenus en fichier délimité et/ou procéder à leur intégration au sein d'un SGBDR (nous utiliserons ici PostgreSQL).

L'intérêt du fichier délimité est qu'il est ouvrable dans un logiciel Tableur comme OpenOffice Calc ainsi que dans les logiciels SIG courants.



Logiciels d'intégration existants
L'annexe du guide du CERTU mentionne, parmi les solutions d'intégration, le logiciel Feature Map Engine ainsi des macros ayant été développées sous Excel. La société veremes a développé une extension spécifique facilitant l'exploitation des données MAJIC dans FME.
Le tableau comparatif comprend deux solutions gratuites: les macros excel citées ci-dessus ainsi que l'application GISMeaux développée par le Pays de Meaux. Le développement de scripts Perl pour traiter les fichiers fonciers est gratuit, lui aussi, mais il demande des compétences fortes en programmation avec toutes les problématiques de maintenance que cela peut poser.
Talend Open Studio est une solution ETL opensource, assez similaire à FME, qui ne figure pas dans ce tableau. Elle fournit à l'utilisateur une interface de modélisation graphique des processus qui se substitue à l'écriture fastidieuse de lignes de code. Derrière, du code Java ou Perl est généré, sans que l'utilisateur n'ait à s'en préoccuper.
En plus de l'intégration, TOS permet d'effectuer un contrôle qualité des données: identification des doublons, de champs non renseignés, d'incohérences. De plus, l'implémentation de composants de Slow Changing Dimension permet de suivre l'évolution des données dans le temps, par exemple d'une année à une autre.
Spatial Data Integrator ajoute la composante spatiale à TOS. Il permet de générer des fichiers plats géographiques ainsi que d'importer les données MAJIC géolocalisées directement dans PostgreSQL/PostGIS.
En somme, il est tout à fait possible de procéder à l'intégration de la matrice cadastrale sans surcoût financier lié à l'acquisition d'un logiciel.

Les prochains articles vous décriront les opérations d'intégration sous le logiciel Talend Open Studio/Spatial Data Integrator.

samedi 27 mars 2010

Spatial Data Integrator, a spatial ETL - General Presentation and Use Cases

This presentation is a translation of the related post

In the context of the Geomatics Community Meeting Day organized by the French Ministry of Environement, Sustainable Development and the Ministry of Agriculture, I was invited to present the ETL Spatial Data Integrator.

I've tried to translate this presentation in english to share it to the largest public as possible.

The presentation contains many screen prints of processes. It's been made in a didactic way so that you can recur the processes on your computer. Even if you don't practice, I hope you'll get an idea of some posibilities offered by a spatial ETL.

Good reading!

mercredi 6 janvier 2010

1st post of the year!

I wish to all of you a happy new year. My best wishes for 2010!
I then want to thank everyone for consulting my blog. It's a pleasure to share knowledge amongst the OSGeo community.
I hope you have the same pleasure reading this blog that I have while reading other blogs on the web.
The OSGeo world is so active I discover new things every day!

I wrote the first article on the 17th of March 2009.
The post was about the power of an opensource GIS software as QGIS in an organization and announced a content strongly oriented on Open Source Softwares. It was an honor to see this post mentioned on RL D'Hont's blog, a very popular geo blog.
Since then, I tried to feed my blog regularly, with around 1 post per month.

Though French, I wanted to write this blog in english to allow the great majority of people to access its content, while practicing my english (I don't have this opportunity in my current job).
I was very surprised to see that people from all around the world consulted datagistips. I must admit I didn't expect that! That's one power of the web to make knowledge accessible to every one.

I often like to look at some statistics of consultation. These are the ones from the birth of the blog till now:

Let's have a closer look:



- The fact that France is at the top is not surprising: some articles are still in french, like the one about spatial data integration that I plan to translate.
- USA and Canada are then on the list, not surprisingly.
The fact that India has counted more visitors that United Kingdom and that it is in the "top 10" quite astonishes me!
- The same for Brazil that counts more visitors than European countries like UK and Belgium.
It reflects a global interest, not restricted to certain parts of the world. It kind of motivates me keeping on publishing.

I still have many ideas about posts that would potentially raise your interest. The use of Business Intelligence in geographical contexts gets more and more famous. I'll keep on writing some articles about this domain. You'll find some tips/tutorials about controlling data (quality, etc..), a critical function in all organizations, because it is strategic and time-consuming.
Also, I'm sure you'd like to read articles about Web developing. I've got some ideas of posts about programming with OpenLayers, jQuery.

Anyway, whatever you are interested in, if your concerns are about data and GIS, stay tuned!

Best,

Mathieu