OpenDataCity auf der re:publica 2014

Posted by on Apr 1, 2014 in News, Veranstaltungen | No Comments

re:publica 14 - INTO THE WILD

Into the Wild heißt es im Mai, wenn die Netzkonferenz re:publica wieder statt findet. Auch OpenDataCity wird wieder mit dabei sein. In diesem Jahr beteiligen wir uns nicht nur mit spannenden Talks, sondern liefern mit re:data erstmals eine offene Datenschnittstelle zur Konferenz, die unsere Kollegen Andrej Sandorf, Michael Kreil und Sebastian Vollnhals in einem Workshop vorstellen werden.

Ebenfalls werden wir zur rp14 ein eigenes Projekt in die Wildnis entlassen: Marco Maas und Sebastian Vollnhals werden LobbyCloud vorstellen, eine Transparenz-Plattform, welche die Ideen von LobbyPlag aufgreift und fortführt.

Wir freuen uns auf eine spannende und inspirierte Veranstaltung.

re:data

Posted by on Mar 21, 2014 in Allgemein | No Comments

Vom 6. bis 8. Mai 2014 findet in Berlin wieder die re:publica statt – die sicherlich größte und bekannteste Konferenz zu den Themen Web 2.0, neuen Medien und der digitalen Gesellschaft in Deutschland. Um diese Konferenz herum haben sich in den letzten Jahren zahlreiche Apps und Visualisierungen entwickelt. Um diese Entwicklung weiter zu unterstützen, stellen wir ab sofort allen interessierten Entwickler*innen eine zentrale, standardisierte Schnittstelle zur Verfügung.

Aktuell erlaubt die API Zugriff auf zahlreiche Informationen der re:publica 2013. Sobald der Sessionplan für 2014 feststeht, kann auch dieser über die API abgerufen werden.

Welche Daten liefert die API?

Über die API können alle wichtigen Informationen zu Sessions abgerufen werden, unter anderem Titel, Beschreibung, Art der Session (Workshop, Vortrag etc.), Themenfeld, Speaker, aber auch Links zu Mitschnitten wie YouTube. Außerdem liefert die API Daten über Speaker wie beispielsweise Name, Foto, Kurzbiografie.

Basis der Daten sind die offiziellen Konferenz-Daten der re:publica (https://re-publica.de/developer/register), so wie eigene Scraper, die beispielsweise YouTube nach neuen Vortragsaufzeichnungen durchsuchen.

Weitere Details zur API findet ihr in der Dokumentation.

Kleiner Ausblick in die Zukunft

Wir wollen die API weiterentwickeln und verbessern. Sie soll um Daten vergangener Konferenzen bereichert werden und auch weitere Informationen zu den jeweiligen Konferenzen liefern. So könnten beispielsweise Links zu Slides und EtherPads, die in Sessions verwendet wurden, integriert werden. Aber auch Informationen über Besucher*innen (Tweets, Lieblingssessions/-speaker, Bewertungen) könnten langfristig über die API verfügbar gemacht werden.

Langfristiges Ziel dabei ist, dass wir gemeinsam mit der Community eine standardisierte API entwickeln, die auf OpenSource-Basis dann auch anderen Konferenzen zur Verfügung steht (Chaos Communcation Congress, EuroPython, JSConf, …). Somit wären alle Apps, die diese offene Schnittstelle verwenden, mit wenigen Handgriffen auch für andere Konferenzen einsatzbereit.

Weitere Informationen

Der Code der API steht auf GitHub.

Die kompletten Datensätze könnt ihr hier wahlweise im JSON oder TSV Format runterladen.

Wer die API nutzen oder mitentwickeln möchte, kann sich bei der Mailingliste für Entwickler*innen anmelden.

World Summit Award für Lobbyplag

Posted by on Oct 28, 2013 in News | No Comments

Das Projekt Lobbyplag, das wir mitentwickelt haben, hat beim World Summit Award (WSA) zwei Preise gewonnen:

  • World Summit Award in eGovernment & OpenData – Link
  • den World Champion Award, den insgesamt fünf Projekte beim WSA 2013 erhielten.

Der WSA ist die Folgeinitative des United Nations World Summit on Information Society (WSIS)

Lead Award: Silber-Sonderpreis für ODC

Posted by on Oct 28, 2013 in News | No Comments

lead_award_2013_newslogoWir sind beim diesjährigen Lead Award mit einem Silber-Sonderpreis in der Kategorie Online ausgezeichnet worden. Der Preis erging für unser Gesamtportfolio.

Excel: Datensätze säubern, vereinheitlichen und automatisch ausfüllen

Posted by on Nov 7, 2012 in News | 13 Comments

Ich hatte gestern einen Datensatz von Postleitzahlen und Gemeinden/Landkreisen/Städten (im Rohformat 8000 Zeilen) am Wickel, an dem ich einmal ein paar Aufräum-Arbeiten demonstrieren will – ich konnte so einer Kollegin mehrere Stunden Handarbeit sparen. Read more…

Datensatz: Steinbrücks Honorare 2010 bis 2012

Posted by on Oct 30, 2012 in News | No Comments

Heute veröffentlichte Peer Steinbrück (SPD) die Höhe seiner Honorare und die Auftragsgeber für seine Vorträge. Wie nicht anders zu erwarten, wurden die Angaben feinsäuberlich als pdf-Dokument herausgegeben. Wir haben daraus einen Datensatz gemacht und daraus z.B. die Karte der Auftrittsorte oben generiert. Unten findet sich der Datensatz und ein Link auf ihn bei Google Docs. Read more…

Zwischenstand: GentriMap

Posted by on Sep 24, 2012 in News | No Comments

Seit rund einem Jahr arbeiten wir zusammen mit der Humboldt-Uni in Berlin an einem Projekt – genauer gesagt mit den Stadtsoziologen dort, nämlich einem Team rund um Andrej Holm. Es geht um das Thema Gentrifizierung eben in Berlin. Also die Aufwertung von bestimmten Stadtgebieten durch Sanierung von Wohnraum bzw. dessen Umwandlung in Eigentum, der Auswechslung der Wohnbevölkerung, der Wandlung der Geschäftsstrukturen usw. usf. – Für dieses Vorhaben “GentriMap” wurden bisher die verschiedensten Datensätze aus Verwaltung, Privatwirtschaft und Forschung zusammengetragen. Seit einiger Zeit verschränken wir sie nun miteinander.

Die Hauptziele von GentriMap, wie es Andrej beschreibt: “Es geht darum, die Wissenslücke zwischen einerseits Maklern, Verwaltungsangestellten etc. und den Bewohnern anderseits zu schließen. Und darum, eine valide und datenbasierte empirische Evaluation städtischer Dynamiken zu liefern. Und so Kieze zu identifizieren, auf den der Druck von Gentrifizierung lastet.”

Michael, der unserseits für die Entwicklung des geplanten Onlinewerkzeug-Sets verantwortlich ist, spricht von diesem als “einem Teilchenbeschleuniger, mit dem jeder spielen darf”. Tatsächlich geht es um Werkzeuge, mit denen jeder sich Veränderungsprozesse in der Stadt Berlin auf einfache Weise betrachten und erforschen kann. Gleichzeitig sollen die Werkzeuge aber auch erlauben, dass Soziologen ihre Theorien mit ihm überprüfen können.

Rechts sind Grafiken aus einem ersten Prototypen zu sehen. Sie zeigen die Dichte der 25 bis 35-jährigen Wohnbevölkerung – je röter um so mehr, je blauer um so weniger. Was hier schon (wenig überraschend) deutlich wird: In der (östlichen) Mitte Berlins hat sich in den letzten knapp 20 Jahren die jüngere Bevölkerung konzentriert.

Neben einer interaktiven Karte werden als Werkzeuge auch Matrizen angeboten werden, die die Entwicklung der Stadtgebiete an verschiedenen Kriterien zeigt. Unsere Hoffnung (und Vermutung): Wir werden sehen können, dass neben Gebieten wie Nord-Neukölln es auch andere Gegenden in Berlin gibt, die unbeachtet von der (medialen) Öffentlichkeit durchaus als Gentrifizierungsgebiete gelten könnten. Und vielleicht werden Aussagen möglich, in welchen Gebieten es mit Gentrifizierung losgehen könnte.

Übrigens: Wir suchen noch einen Medienpartner, der das Werkzeug gerne in einer datenjournalistischen  Variante auf seiner Website bringen will. Falls eine Redaktion Interesse hat – bitte mit uns in Kontakt treten.

Tutorial: Crashkurs Excel für Datenjournalismus

Posted by on Aug 9, 2012 in News | 5 Comments

Microsoft Excel ist eigentlich nur ein Tabellenkalkulationsprogramm und genau so wird es meist auch nur verwendet.

Excel ist aber in Wirklichkeit ein sehr, sehr mächtiges Werkzeug. Jede Datenjournalistin und jeder Datenjournalist sollte sich mit Excel wirklich sehr gut auskennen. Zum einen gibt es dafür viele Kurse und Anleitungen im Internet, aber es ist mindestens genau so wichtig, sich gegenseitig über die Schulter zu schauen und neue Tricks zu zeigen. Selbst ich lerne nach 15 Jahren immer wieder neue Tricks in Excel kennen, die mir jemand zeigt oder auf die man zufällig stößt.

Die wichtigsten Dinge, was man in Excel kennen sollte, sind:

  • die Excel-Funktionen
  • nutzbare Datenquellen
  • Ausgabemöglichkeiten

Excel-Funktionen

Die Hilfe in Excel enthält eine Liste alle Excel-Funktionen gruppiert nach Themengebiete. Das sollte wenigstens mal durchgeblättert werden, um sich einen groben Überblick zu verschaffen.
Die wichtigsten, die man auf jeden Fall kennen sollte, sind:

LÄNGE(Text)
gibt die Länge des Textes zurück, also die Anzahl der Zeichen.
LÄNGE(“Dingsbums “) = 9

LINKS(Text; Anzahl Zeichen)
gibt die angegebene Anzahl von Zeichen von link zurück, also z.B. die ersten 5 Zeichen.
LINKS(“Dingsbums”; 5) = “Dings”

RECHTS(Text; Anzahl Zeichen)
gibt die angegebene Anzahl von Zeichen von rechts zurück, also z.B. die letzten 4.
RECHTS(“Dingsbums”; 4) = “bums”

TEIL(Text; erstes Zeichen; Anzahl Zeichen)
gibt die angegebene Anzahl von Zeichen aus der Mitte zurück, also z.B. 2 Zeichen ab dem 3.
TEIL(“Dingsbums”; 2; 3) = “ing”

FINDEN(Suchtext; Text)
sucht nach einem Text in einem anderen und gibt die Position zurück:
FINDEN(“bum”; “Dingsbums”) = 6

WECHSELN(Text; alter Text; neuer Text)
ersetzt innerhalb eines Textes alle Vorkommen von „alter Text“ durch „neuer Text“
WECHSELN(“Dingsbums”; “s”; “el”) = “Dingelbumel”

Read more…

Tutorial: Erste Schritte mit regulären Ausdrücken

Posted by on Jul 23, 2012 in News | No Comments

Reguläre Ausdrücke 
(regular expressions, RegExp, RegEx, Grep, …)

Viele Aufgaben eines/r Datenjournalist/in kann man mit „Suchen und Ersetzen“ lösen, z.B. in Microsoft Word.

Für komplexere „Suchen und Ersetzen“ gibt es die sogenannten „regulären Ausdrücke“. Diese werden von Microsoft Word leider nicht unterstützt, aber in vielen einfachen Texteditoren, wie z.B. in den kostenlosen OpenSource-Anwendungen TextWrangler für Mac oder Notepad++ für Windows. Read more…

Farmsubsidy.org & OpenDataCity join forces for the Knight News Challenge

Posted by on Jun 21, 2012 in News | No Comments

cow_logo_square.gifWho are the beneficiaries of the almost €60 billion annual EU subsidies to farmers and the agro-industry? Since 2004 the farmsubsidy.org team has been working to obtain data about the beneficiaries and make them accessible to the European public. But making 12 GB of data accessible in a meaningful way needs more than award winning journalists and excellent analysts.

So now Farmsubsidy.org joins forces with OpenDataCity a German award winning datajournalism team. OpenDataCity specialises in data-storytelling based upon large datasets.

Together we have given our bid for the Knight Challenge. We intend to develop a tool which makes the Farmsubsidy datasets – 12 years and 27 countries – easily searchable and visible. This will become an EU Transparency Tool which also will be available for other large datasets concerning EU data, such as the structural funds, fisheries subsidies, R&D subsidies and so on.

Please support our application here.

Background:

Farmsubsidy.org was founded in 2005 by journalists Brigitte Alfter and Nils Mulvad and political analyst Jack Thurston. The common aim was to shed light on the beneficiaries of the EU agricultural policy. For decades this policy had been carried out under the same aim written up in the after-war years and without the public being able to follow how it actually functioned.

Since the first data sets were made available in 2004 and the following years, the public debate could focus on the actual money flows rather than just political speeches. Numerous media reports and several books on the subject have used Farmsubsidy data.

Read more on OpenDataCity here.