Diskussion:GeoConverter: Unterschied zwischen den Versionen

Aus Geoinformation HSR
Wechseln zu: Navigation, Suche
(Grössere Erweiterungsideen)
(Ideen)
 
(34 dazwischenliegende Versionen von 4 Benutzern werden nicht angezeigt)
Zeile 1: Zeile 1:
== Projektmanagement ==
+
== GeoConverter 2013 (Python) ==
  
=== ToDos ===
+
  http://152.96.80.48/
 +
 
 +
=== Ideen ===
 +
 
 +
* Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
 +
* Auflistung der EPSG Nummern mit Suchfunktion (analog zu ogr2gui)
 +
* Fehlermeldungen von ogr2ogr "interpretieren", um dem Benutzer gezieltere Rückmeldungen zu geben
 +
* Besseres Handling von Dateien mit Nicht-ASCII-Zeichen (z.B. diese Zeichen vorher herausschneiden)
 +
 
 +
=== Beispieldaten ===
 +
 
 +
==== Beispieldaten 1 ====
 +
 
 +
[[Media:Beispieldaten1_filematching.zip]]
 +
 
 +
Eingabe:
 +
  pois.dbf
 +
  pois.gml
 +
  pois.mid
 +
  pois.mif
 +
  pois.shp
 +
  pois.shx
 +
  pois.xsd
 +
Ausgabe bei der Konvertierung zu KML:
 +
  pois.kml
 +
  pois_2.kml
 +
  pois_3.kml
 +
 
 +
Erklärung:
 +
 
 +
Der GeoConverter gruppiert als erstes die zusammengehörenden Dateien.
 +
  shp, dbf, shx: ESRI Shapefile
 +
  gml, xsd: Geography Markup Language (GML)
 +
  mid, mif: MapInfo Interchange Format (MIF/MID)
 +
Da es zu einem Namenskonflikt kommen würde (3x pois.kml), bekommen die Dateien von zwei der drei Gruppen einen anderen Namen. Danach werden die Dateien mit OGR konvertiert.
 +
 
 +
==== Beispieldaten 2 ====
 +
 
 +
[[Media:Beispieldaten2_directory_structure.zip]]
 +
 
 +
Eingabe:
 +
  category1
 +
    |--pois1
 +
        |--pois.dbf
 +
        |--pois.shp
 +
        |--pois.shx
 +
    |--pois2
 +
        |--pois.mid
 +
        |--pois.mif
 +
        |--pois.gml
 +
        |--pois.xsd
 +
  category2
 +
    |--pois1
 +
        |--pois.gml
 +
        |--pois.xsd
 +
  pois.sqlite
 +
Ausgabe bei der Konvertierung zu KML:
 +
  category1
 +
    |--pois1
 +
        |--pois.kml
 +
    |--pois2
 +
        |--pois.kml
 +
        |--pois_2.kml
 +
  category2
 +
    |--pois1
 +
        |--pois.kml
 +
  pois.kml
 +
 
 +
Erklärung:
 +
Der GeoConverter wandert durch alle Verzeichnisse und versucht, die gefundenen Dateien zu konvertieren.
 +
 
 +
==== Beispieldaten 3 ====
 +
 
 +
[[Media:Beispieldaten3_nested_archives.zip]]
 +
 
 +
Eingabe:
 +
  1.zip
 +
    |--2.tar
 +
        |--3.zip
 +
              |--pois.sqlite
 +
Ausgabe bei der Konvertierung zu KML:
 +
  1
 +
    |--2
 +
        |--pois.kml
 +
 
 +
Erklärung:
 +
Der GeoConverter kann verschachtelte Zip- und Tar-Archive entpacken. 3.zip innerhalb von 2.tar wird von der Tar-Entpackfunktion von Python direkt entpackt, darum wird kein Ordner "3" erzeugt. Die erlaubte Tiefe von verschachtelten Archiven ist beschränkt.
 +
 
 +
==== Beispieldaten 4 ====
 +
 
 +
WFS (Input):
 +
* OpenPOIMap (alles EPSG:4326, [http://openpoimap.ch:80/featureserver/workspace.cgi?key=DfuzRmPWrxFWvsujSVsgZj&SERVICE=WFS&VERSION=1.0.0&REQUEST=GetCapabilities GetCapabilities]):
 +
** (Hospitals/Spitäler der Schweiz): http://openpoimap.ch:80/featureserver/workspace.cgi?key=DfuzRmPWrxFWvsujSVsgZj
 +
* WFS Server Kt.ZH (alles im EPSG:21781, [http://maps.zh.ch/wfs/FnsNSWFS?SERVICE=WFS&VERSION=1.0.0&REQUEST=GetCapabilities GetCapabilities]):
 +
** FnsNSWFS (alle Featureklassen): Basis-URL: http://maps.zh.ch/wfs/FnsNSWFS,
 +
** FnsNSWFS (nur 'nso_2011_kantonal_p', Punkte): http://maps.zh.ch/wfs/FnsNSWFS?TYPENAME=nso_2011_kantonal_p
 +
** FnsNSWFS (nur 'svo_zonen', Polygone): http://maps.zh.ch/wfs/FnsNSWFS?TYPENAME=svo_zonen
 +
 
 +
== Release 2008 ==
 +
 
 +
Code auf https://cvsi.hsr.ch/svn/geoconverter
 +
 
 +
=== Task List (abgeschlossen) ===
  
 
1. Prio.
 
1. Prio.
Zeile 35: Zeile 137:
 
** => Nur .dbf? 19.03.2008 19:51  klmcmahan 168.236.43.132  conversion successful .dbf  .mif  L_COMM_INFO.dbf 1598
 
** => Nur .dbf? 19.03.2008 19:51  klmcmahan 168.236.43.132  conversion successful .dbf  .mif  L_COMM_INFO.dbf 1598
 
** => "e00"? 01.04.2008 18:53  natal 158.125.70.104  conversion succeeded  .e00  .csv  n/a n/a dividing_area.e00 134147
 
** => "e00"? 01.04.2008 18:53  natal 158.125.70.104  conversion succeeded  .e00  .csv  n/a n/a dividing_area.e00 134147
 +
 +
Formate ab OGR 1.10:
 +
* [[OSM]]-Reader für .OSM/.PBF-Dateien
 +
* Geospatial PDF-Reader und -Writer
 +
 +
Formate ff.
 +
* Interlis 1.1
  
 
=== Grössere Erweiterungsideen ===
 
=== Grössere Erweiterungsideen ===
Zeile 42: Zeile 151:
 
* Verwendeter OGR2OGR-Aufruf in eine Batch-Datei mit-verpacken (mit Dateinamen ohne Pfad).
 
* Verwendeter OGR2OGR-Aufruf in eine Batch-Datei mit-verpacken (mit Dateinamen ohne Pfad).
 
* Neues Zielformat 'Statistics (.txt)'. Ruft intern "ogrinfo <options> <inputfile_directory>" auf und gibt eine Textdatei aus.
 
* Neues Zielformat 'Statistics (.txt)'. Ruft intern "ogrinfo <options> <inputfile_directory>" auf und gibt eine Textdatei aus.
* Formate:
 
** DGN-Reader und DGN-Writer dazufügen/aktivieren
 
** [[OSM]]-Reader implementieren (mit Hilfe xslt/Java-Aufruf, der GML erzeugt, das dann weiterverarbeitet werden kann)
 
** Ergänzen der Converter-Checklist durch dasselbe Zielformat wie das Quellformat.
 
** (DXF Reader/Writer fehlt leider in OGR)
 
 
* Anzeige einer Statistik mit Konvertierungen.
 
* Anzeige einer Statistik mit Konvertierungen.
** Beispiel in Worten zur Statistik des Geoconverters: Seit 1. Juli 2008 bis heute (1.1.2009)- also sechs Monate oder 180 Tage - sind 859 Benutzer auf geoconverter angemeldet, davon waren 266 aktiv mit durchschnittlich zwölf Konvertierungen pro Tag (total ein halbes Tera-Bytes), die Hälfte davon KML-to-SHP.
+
** Beispiel in Worten zur Statistik des Geoconverters: Seit 1. Juli 2008 bis heute (1.1.2009)- also sechs Monate oder 180 Tage - sind 859 Benutzer auf geoconverter angemeldet, davon waren 266 aktiv mit durchschnittlich zwölf Konvertierungen pro Tag (total ein halbes Tera-Byte), die Hälfte davon KML-to-SHP.
 
   Statistics (2007-01-13, 55 Datasets)
 
   Statistics (2007-01-13, 55 Datasets)
 
   Top 10 Source Formats Sum Succ.  Top 10 Target Formats Sum Succ.
 
   Top 10 Source Formats Sum Succ.  Top 10 Target Formats Sum Succ.
Zeile 75: Zeile 179:
  
 
Please put your feature requests, bug reports and suggestions here.
 
Please put your feature requests, bug reports and suggestions here.
 +
 +
Beim Konvertieren von shp-Daten für OpenStreetMap sind Daten entstanden, die um etwa 200m verschoben dargestellt werden. Was kann der Grund dafür sein? -- Miple, 10:31, 31. Mär. 2010 (UTC)
 +
 +
:Lieber Miple, da müsste ich mehr Details (oder am besten gleich ein Datenausschnitt) haben: Von Shape nach GPX? Welche Gegend? --[[Benutzer:Stefan|Stefan]] 18:36, 31. Mär. 2010 (UTC)
 +
::Es handelt sich bei den Shape-Daten um die Stadtgrenzen von Delmenhorst in Norddeutschland. --[[Benutzer:Miple|Miple]] 09:34, 1. Apr. 2010 (UTC)
 +
 +
 +
Wie gehts?  I want to add GeoConvert by Charles Karney into shapelib by Frank Warmerdam.
 +
Specifically, I want shapelib to convert utm into lat,lon.
 +
Sorry if I am on the wrong page.
 +
I can help do that if its allowed.
 +
-cellurl

Aktuelle Version vom 8. Januar 2014, 16:58 Uhr

GeoConverter 2013 (Python)

 http://152.96.80.48/

Ideen

  • Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
  • Auflistung der EPSG Nummern mit Suchfunktion (analog zu ogr2gui)
  • Fehlermeldungen von ogr2ogr "interpretieren", um dem Benutzer gezieltere Rückmeldungen zu geben
  • Besseres Handling von Dateien mit Nicht-ASCII-Zeichen (z.B. diese Zeichen vorher herausschneiden)

Beispieldaten

Beispieldaten 1

Media:Beispieldaten1_filematching.zip

Eingabe:

 pois.dbf
 pois.gml
 pois.mid
 pois.mif
 pois.shp
 pois.shx
 pois.xsd

Ausgabe bei der Konvertierung zu KML:

 pois.kml
 pois_2.kml
 pois_3.kml

Erklärung:

Der GeoConverter gruppiert als erstes die zusammengehörenden Dateien.

 shp, dbf, shx: ESRI Shapefile
 gml, xsd: Geography Markup Language (GML)
 mid, mif: MapInfo Interchange Format (MIF/MID)

Da es zu einem Namenskonflikt kommen würde (3x pois.kml), bekommen die Dateien von zwei der drei Gruppen einen anderen Namen. Danach werden die Dateien mit OGR konvertiert.

Beispieldaten 2

Media:Beispieldaten2_directory_structure.zip

Eingabe:

 category1
   |--pois1
        |--pois.dbf
        |--pois.shp
        |--pois.shx
   |--pois2
        |--pois.mid
        |--pois.mif
        |--pois.gml
        |--pois.xsd
 category2
   |--pois1
        |--pois.gml
        |--pois.xsd
 pois.sqlite

Ausgabe bei der Konvertierung zu KML:

 category1
   |--pois1
        |--pois.kml
   |--pois2
        |--pois.kml
        |--pois_2.kml
 category2
   |--pois1
        |--pois.kml
 pois.kml

Erklärung: Der GeoConverter wandert durch alle Verzeichnisse und versucht, die gefundenen Dateien zu konvertieren.

Beispieldaten 3

Media:Beispieldaten3_nested_archives.zip

Eingabe:

 1.zip
   |--2.tar
        |--3.zip
             |--pois.sqlite

Ausgabe bei der Konvertierung zu KML:

 1
   |--2
        |--pois.kml

Erklärung: Der GeoConverter kann verschachtelte Zip- und Tar-Archive entpacken. 3.zip innerhalb von 2.tar wird von der Tar-Entpackfunktion von Python direkt entpackt, darum wird kein Ordner "3" erzeugt. Die erlaubte Tiefe von verschachtelten Archiven ist beschränkt.

Beispieldaten 4

WFS (Input):

Release 2008

Code auf https://cvsi.hsr.ch/svn/geoconverter

Task List (abgeschlossen)

1. Prio.

  • Neue Version u.a. mit (Geo)RSS, CSV-out mit Geometrie einspielen

Aktuell?

  • Übergabe der URL für s_srs und t_srs
  • GML-zu-Shapefile generiert nur 'rapperswil.shp' (LineString) und 'node.shp (Point): Warum? => OSM-Reader-XSL anpassen:
    • Bei nodes auch name-Attribut exportieren.
    • Im Falle von geschlossenen ways (= Polygone) soll anstelle 'osm:way' neu 'osm:area' stehen:
 <gml:featureMember>
 <osm:area fid="4304746">
 ...
 </osm:area>
 </gml:featureMember>
  • GML-zu-GPX gibt ein leeres GPX, falls das GML von OSM kommt.
mit "% ogr2ogr -skipfailures -nlt linestring -f GPX test.gpx rapperswil3.gml" hat etwas funktioniert. --Stefan 12:52, 10. Jul. 2008 (CEST)
  • Wenn bei Shapefile-Quellformat eine Metadaten-XML-Datei dabei ist (z.B. Bahnhoefe.shp.xml), dann funktioniert's nicht.
  • Möglichkeit, gleich nach "...succeeded" und v.a. nach "...failed" eine Mitteilung abzuschicken (intern per Mail). Dabei ev. eine 'Job-Nr.' mitgeben und diese auch ins Log schreiben. So kann man die Parameter nachvollziehen (ev. auch die Dateien??).

Bugs und kleinere Verbesserungen

Verbesserungen:

  • XML-Dateien (KML und GML?) upload mit DOS/ASCII ergibt "not successful", wenn Umlaute enthalten sind. => analysieren und ggf. Datei ad-hoc zu ANSI oder UTF-8 konvertieren.
  • Hilfe angeben (ERROR message): Source SRS missing. Conversion always includes a source and a target SRS given.
  • Mehr Angaben im Log-File im Fehlerfall.
  • Hintergrund grau statt schwarz => freundlicher?
  • Zusätzliches (vorhandenes) Format: "MapInfo Interchange Format (.tab)"
  • Neue CSV-out-Option "-lco GEOMETRY=AS_XY"

Bugs:

  • Ev. Problem mit der Wiki-Authentisierung wenn Space im Namen?: Siehe Benutzer_Diskussion:Stefan --Stefan 09:13, 8. Jul. 2008 (CEST)
  • Erstaunlich, dass das funktioniert: => Testen warum
    • => Nur .dbf? 19.03.2008 19:51 klmcmahan 168.236.43.132 conversion successful .dbf .mif L_COMM_INFO.dbf 1598
    • => "e00"? 01.04.2008 18:53 natal 158.125.70.104 conversion succeeded .e00 .csv n/a n/a dividing_area.e00 134147

Formate ab OGR 1.10:

  • OSM-Reader für .OSM/.PBF-Dateien
  • Geospatial PDF-Reader und -Writer

Formate ff.

  • Interlis 1.1

Grössere Erweiterungsideen

  • Ausbau nach AJAX zum Prüfen der Parameter (z.B. s_srs und t_srs)
  • .tar.gz verarbeiten?
  • Zusatz-Option 'Angabe Ausschnitt' (BBox-Feld: minX, minY, maxX, maxY)
  • Verwendeter OGR2OGR-Aufruf in eine Batch-Datei mit-verpacken (mit Dateinamen ohne Pfad).
  • Neues Zielformat 'Statistics (.txt)'. Ruft intern "ogrinfo <options> <inputfile_directory>" auf und gibt eine Textdatei aus.
  • Anzeige einer Statistik mit Konvertierungen.
    • Beispiel in Worten zur Statistik des Geoconverters: Seit 1. Juli 2008 bis heute (1.1.2009)- also sechs Monate oder 180 Tage - sind 859 Benutzer auf geoconverter angemeldet, davon waren 266 aktiv mit durchschnittlich zwölf Konvertierungen pro Tag (total ein halbes Tera-Byte), die Hälfte davon KML-to-SHP.
 Statistics (2007-01-13, 55 Datasets)
 Top 10 Source Formats Sum Succ.  Top 10 Target Formats Sum Succ.
 1. INTERLIS 1     (>) 33x (30x)  1. ESRI Shapefile (>) 39x (30x)
 2. ESRI Shapefile (v) 11x (..x)  2. KML            (^)  5x (..x)
 3. GPX            (^)  1x (..x)  3. GPX            (^)  1x (..x)

History

  • .kmz verarbeiten (KML mit Zip komprimiert). Sollte einfach mit (un-)zip weiterverarbeitbar sein (die Haupt-Datei drin hat dann oft denselben Namen 'google.kml' - aber nicht immer). -> DONE, 25.06.08
  • Logfile: mit ERROR-Code und ohne LF/CR -> DONE, 25.06.08
  • Redesign des Programmcodes -> DONE, 20.06.08
  • Upload und konvertieren von OSM-Dateien -> DONE, 20.06.08
  • Ergänzen der target file format-Auswahlliste mit allen notwendigen Dateien (z.B. ".shp, .shx, .dbf"). -> DONE, 08.04.08
  • CRS anstelle SRS -> DONE, 08.04.08
  • Anfang des log.txt löschen bis zum Punkt, wo CRS geloggt werden und Delimiter auf ";" stellen -> DONE, 08.04.08
  • "MapInfo Interchange Format" anstelle "Mapinfo File". -> DONE, 08.04.08
  • Rechtschreibefehler korrigieren (Refrence -> Reference) -> DONE, 28.03.08
  • SRS loggen -> DONE, 28.03.08
  • Führen eines Logs für spätere Statistik-Auswertung z.B. mit den Angaben: Username, User-IP, Datum/Zeit, Successfull (oder nicht), Quellformat, Zielformat, Quelldatei-Name, Quelldatei-Grösse (vgl. unten). -> DONE
  • Zusatz-Option 'Koordinaten-Transformation':
    • Angabe der Koordinaten-Transformation des Zielformats (-t_srs-Option). -> DONE
    • KML-Writer soll fix Parameter -t_srs EPSG:4326 erhalten (Google Earth erwartet immer WGS84). Dann muss aber auch das Quell-SRS bekannt sein, sonst wird EPSG:4326 angenommen (sonst gibt's Fehler). -> DONE
  • Formate: KML-Reader einbauen/aktivieren -> DONE

Feature Requests, Bug Reports and Suggestions

Please put your feature requests, bug reports and suggestions here.

Beim Konvertieren von shp-Daten für OpenStreetMap sind Daten entstanden, die um etwa 200m verschoben dargestellt werden. Was kann der Grund dafür sein? -- Miple, 10:31, 31. Mär. 2010 (UTC)

Lieber Miple, da müsste ich mehr Details (oder am besten gleich ein Datenausschnitt) haben: Von Shape nach GPX? Welche Gegend? --Stefan 18:36, 31. Mär. 2010 (UTC)
Es handelt sich bei den Shape-Daten um die Stadtgrenzen von Delmenhorst in Norddeutschland. --Miple 09:34, 1. Apr. 2010 (UTC)


Wie gehts? I want to add GeoConvert by Charles Karney into shapelib by Frank Warmerdam. Specifically, I want shapelib to convert utm into lat,lon. Sorry if I am on the wrong page. I can help do that if its allowed. -cellurl