RDA und MARC-XML Import

Native Unterstützung des Datenformates MARC

Für die innerhalb von Goobi verwendete Metadatenbibliothek UGH wurde eine Erweiterung implementiert. Mit dieser unterstützt Goobi nun nativ das Datenformat MARC-XML und bietet ein deutlich flexibleres Mapping der Metadaten als in früheren Versionen. Wie bisher greift hierfür die Konfiguration der Regelsätze und gewährleistet neben dem Mapping (Felder, Subfelder, Datenübernahme, Abhängigkeiten) auch neue Möglichkeiten der Metadatenmanipulation während des Imports (z.B. Abschneiden oder Ersetzen von Metadaten). Folgende Änderungen ergeben sich mit diesen Umstellungen entsprechend:

Vollständige RDA-Kompatibilität ohne Datenverlust

Aufgrund der Erweiterung für die Datenkompatibilität auf der Basis von MARC ergibt sich für Goobi somit nun eine Reihe an Neuerungen für den Datenimport. Insbesondere bedeutet dies, dass nach RDA katalogisierte Datensätze nun vollständig unterstützt werden:

Änderungen im METS-Editor

Individuelle Tastenkombinationen für den METS-Editor

Goobi unterstützt bereits seit langem die Möglichkeit, dass innerhalb des METS-Editors zwischen den Bildern unter Nutzung von Tastenkombinationen navigiert werden kann. Mit der Version 2.2 von Goobi ist es nun möglich, dass Nutzer sich diese Tastenkombinationen für den METS-Editor selbst konfigurieren können. Dies dient insbesondere dazu, auf die individuellen Eigenheiten und Vorbelegungen der genutzten Browser und der Betriebssysteme eingehen zu können.

Die Konfiguration der gewünschten Tastenkombinationen erfolgt innerhalb der Nutzereinstellungen jedes Goobi-Nutzers.

Automatisches Speichern im METS-Editor

Goobi kann nun während der Arbeit im METS-Editor automatisch Sicherungskopien der Metadaten anlegen. Das automatische Speichern dieser Sicherheitskopien erfolgt dabei in individuell durch den Nutzer konfigurierbaren Zeitabständen und vermeidet auf diese Weise einen Datenverlust, der beispielsweise durch unbeabsichtigtes Schließen des Browserfensters verursacht werden kann.

Umstellung der Bildanzeige im METS-Editor

Die bisherige Bildanzeige wurde durch eine zeitgemäße und modernere Implementierung ersetzt. Diese basiert von nun an auf dem Framework OpenSeadragon und gewährleistet neben dem enormen Geschwindigkeitsvorteil für das Generieren und die Anzeige der Bilder ebenfalls einen stufenlosen und extrem tiefen Zoom in die Bilder.

Neu ist in diesem Zusammenhang ebenfalls die neue native Unterstützung und Anzeige der einzelnen Layer für JPEG2000 Bilder. Dies erlaubt nun, dass der Zoom auf Basis der gespeicherten Informationen innerhalb der Kachelebenen des Bildes ausgeführt wird. Dadurch ist sichergestellt, dass in Goobi auch für einen tiefen Zoom die originalen, später zur Anzeige verwendeten Bilder genutzt werden können und keine separaten hohen Auflösungen mit Kacheln berechnet werden müssen.

 

Alternative Bildanzeige für Vorschaubilder

Neben der bisherigen nun mit Zoom ausgestatteten Einzelbildanzeige wurde im METS-Editor von Goobi eine zweite Ansicht zur Anzeige von Vorschaubildern entwickelt. Dadurch kann der Benutzer während der Metadatenerfassung schnell einen guten Überblick über die vorhandene Struktur des gesamten Werkes bekommen. Die Anzahl und Größe der angezeigten Vorschaubilder kann dabei unterhalb der Thumbnailliste individuell eingestellt werden.

Ist auch während der Anzeige der Thumbnails gewünscht, dass Informationen auf den Seiten gelesen werden soll, ist hierfür nicht zwangsläufig ein Wechsel in die Einzelseitenansicht erforderlich. Stattdessen besteht ebenfalls für den Nutzer die Möglichkeit, den Mauszeiger über das gewünschte Thumbnail zu führen, wodurch automatisch ein Zoom auf die dreifache Bildgröße des Thumbnails erfolgt. Auf diese Weise lassen sich die Paginierung oder auch Titel einfach prüfen, ohne in die Bildanzeige für Einzelseiten wechseln zu müssen.

Validierung von Metadateninhalten

Die bereits bestehende Validierung von Metadaten wurde signifikant erweitert. Mit der neuen Version von Goobi ist es nun möglich, dass nun nicht mehr nur das Vorhandensein einzelner Metadaten geprüft werden kann, sondern auch, ob ein erfasstes Metadatum bestimmten Kriterien entspricht. So lässt sich beispielsweise über die Definition eines sogenannten regulären Ausdrucks innerhalb des Regelsatzes sicherstellen, dass der Wert für ein normiertes Erscheinungsjahr nur aus Zahlen bestehen darf:

<MetadataType>
<Name>PublicationYear</Name>
<language name="de">Erscheinungsjahr</language>
<language name="en">Publication year</language>
<language name="es">Año de publicación</language>
<validationExpression>\d+</validationExpression>
</MetadataType>

In diesem Beispiel hingegen wird vorgegeben, dass der Sprachcode zweistellig sein muss:

<MetadataType>
<Name>DocLanguage</Name>
<language name="de">Sprache</language>
<language name="en">Language</language>
<language name="es">Idioma</language>
<validationExpression>\w{2}</validationExpression>
</MetadataType>

Beachtet der spätere Bearbeiter diese Vorgaben nicht, so dass die Validierung nicht erfolgreich erfolgen kann, wird der Nutzer in Goobi auf diesen Umstand entsprechend hingewiesen. Im Falle der hier definierten Vorgaben würden Validierungsmeldungen für den Nutzer beispielsweise folgendermaßen aussehen können:

Einfacheres Verschieben von Bildern bei großen Werken mit vielen Seiten

Seit der Version 1.9.1 verfügt Goobi bereits über die Möglichkeit, dass sich auch innerhalb des METS-Editors direkt Änderungen an den Bilddateien vornehmen lassen. Eine der in diesem Zusammenhang am häufigsten verwendete Funktion ist das Verschieben von Bildern an eine andere Stelle innerhalb des Bereichs der Paginierung. Da hierbei aber insbesondere das Verschieben von Seiten über große Seitenbereiche (z.B. ganz an den Anfang eines umfangreichen Buches) umständlich war, gibt es nun die Möglichkeit, dass die Seiten in nicht nur um jeweils eine Position nach oben oder unten verschoben werden kann. Stattdessen ist nun auch das Bewegen um 10, 50 oder 100 Positionen möglich.

Lesezeichen für die schnelle Anzeige wichtiger Seiten im Werk

Goobi verfügt nun über die Möglichkeit, dass einzelne Seiten des Werkes als Lesezeichen markiert werden können. Dies erlaubt zum späteren Zeitpunkt, dass eine der als Lesezeichen markierten Seiten schnell angezeigt werden kann, ohne die aktuell angezeigte Seite ändern zu müssen.

Das Einsatzszenario wo diese Funktionalität den größten Nutzen entfaltet ist, wenn während der Erschließung die gedruckten Inhaltsverzeichnisse des Werkes als Lesezeichen markiert werden. Auf diese Weise ist es im Laufe der weiteren Erschließung eines Buches jederzeit möglich, noch einmal einen Blick in das Inhaltsverzeichnis zu werfen, um Informationen über den Buchaufbau zu erhalten sowie schnell zur gewünschten Seite springen zu können, anstatt das ganze Buch seitenweise zu durchblättern und neue Strukturelemente im Buch zu suchen.

Für das einfachere Springen zur gewünschten Seite ist es nun im Übrigen außerdem möglich, dass statt einer Bildnummer auch die paginierte Seitenzahl in die Textbox „Gehe zu Bild“ eingetragen wird, um zu der gewünschten Seite zu springen. Dabei stellt Goobi während der Eingabe eine Vorschlagliste zur Verfügung, um die gesuchte Seite schnell finden zu können.

Erweiterung der Plugin-Schnittstellen

RESTful API

Für eine noch flexiblere Kommunikation anderer Systeme mit Goobi wurde die bestehende Funktionalität um eine API erweitert, die die Spezifikationen JAX-RS 2.0 (https://jax-rs-spec.java.net/) erfüllt. Diese neue Schnittstelle erlaubt es externen Applikationen über standardisierte Wege mit Goobi zu kommunizieren und Daten in den Formaten CSV, XML, JSON, Plaintext oder HTML zu senden oder zu empfangen.

Ein beispielhaftes Einsatzszenario für diese Schnittstelle ist zum Beispiel ein externer OPAC Katalog, aus dem heraus ein Bestellformular abgeschickt wird, um in Goobi automatisch einen neuen Digitalisierungsauftrag zu starten oder maschinenlesbar den Fortschrittsstatus eines konkreten Goobi-Vorgangs von außen abzufragen und innerhalb eines anderen Systems zu visualisieren (Beispiel: Anzeige im Goobi viewer, dass ein Werk sich derzeit noch in der Digitalisierung in einem konkreten Arbeitsschritt befindet und daher noch nicht zur Verfügung steht).

Für eine möglichst hohe Nachnutzbarkeit wurde auch die RESTful API wieder auf der Basis einer Plugin-Infrastruktur realisiert. Dies erlaubt es uns jederzeit neue Kommandos oder Funktionalitäten im laufenden Betrieb hinzuzufügen und damit neue Einsatzszenarien zu erlauben.

Servlet Plugins

Neben der neuen RESTful API gibt es ebenso eine neue Plugin-Schnittstelle für sogenannte Servlets. Im Gegensatz zur RESTful API lassen sich mit dieser einzelne Kommandos als Plugins zu Goobi hinzufügen, die durch Nutzer auf Wunsch ausgeführt werden. Statt also eine maschinenlesbare Antwort zu erzeugen, die sich von Drittsystemen analysieren lassen, steht bei dieser Schnittstelle der Endanwender im Vordergrund, der mit dem Ergebnis des ausgeführten Kommandos persönlich weiterarbeiten kann.

Ein Beispiel für ein solches Plugin ist, dass dem Nutzer ein Link gegeben wird, der es dem Anwender erlaubt, sich unmittelbar mittels Login und Passwort einzuloggen und die Aufgabenliste mit allen angenommenen Aufgaben zu öffnen. Ein anderes Beispiel könnte sein, dass der Nutzer über ein solches Kommando direkt in eine konkrete Aufgabe gehen kann, um mit dieser fortfahren zu können. In beiden Beispielen würde ein Nutzer entsprechend eine oder mehrere Aktionen durch den Aufruf der URL ausführen und sich daraufhin gleich an der gewünschten Stelle innerhalb der Goobi-Weboberfläche befinden, so dass er dort mit seinen Arbeiten weiterarbeiten kann.

Administration Plugins

Die Pluginschnittstelle von Goobi wurde um eine neue Kategorie von Plugins erweitert, die lediglich Administratoren zur Verfügung stehen.

Hier können Plugins integriert werden, die losgelöst vom Workflowstatus einzelner Vorgänge einen administrativen Eingriff erlauben. Zum Beispiel lassen sich hier Plugins integrieren, die Vorgänge gezielt aus Goobi und der Präsentation löschen. Ebenso lassen sich hier auch andere Informationen gesammelt oder analysieren bzw. ändern.

Statistik Plugins

Die Pluginschnittstelle für die Statistiken wurde für Goobi 2.2 erweitert, um nun auch Berechtigungen für den Zugriff auf einzelne Plugins individuell festlegen zu können. So lassen sich beispielsweise nun einzelne Statistiken nur für Mitglieder bestimmter Nutzergruppen oder einzelne Nutzer erlauben, während andere Statistiken wiederum allen Nutzern zur Verfügung gestellt werden können.

Einfachere Integration von Plugins

Um innerhalb der Workflowkonfiguration für einen Arbeitsschritt möglichst einfach das gewünschte Plugin eintragen zu können, wurde die Nutzeroberfläche angepasst. In den Konfigurationen eines Arbeitsschritts muss nun nicht mehr der Name des zu verwendenden Plugins eingetragen werden, sondern kann nun einfach aus einer Auswahlliste ausgewählt werden.

Weitere Änderungen

Erweiterung der Benutzerkonfiguration

Die Konfigurationseinstellungen im Benutzerbereich wurden deutlich überarbeitet und umgestaltet. Die mittlerweile recht zahlreichen Einstellungsmöglichkeiten sind für den Nutzer nun über mehrere Registerkarten aufgeteilt und ebenfalls mit ausführlichen Hilfetexten versehen.

Neu ist in diesem Zusammenhang, dass neben der Möglichkeit, die Anzeige von Vorgängen und Aufgaben dauerhaft zu konfigurieren auch die Option besteht, dass verschiedene Vorgaben für die Arbeit im METS-Editor getroffen werden können.

So lassen sich nun beispielsweise die Anzeige des Titels, die Seitenzuweisung oder die Hierarchiestufe innerhalb des METS-Editors dauerhaft konfigurieren, so dass sie bei jedem Betreten des METS-Editors gleich den vom Nutzer gewünschten Werten entsprechen.

Duplizieren von Projekten

Die Konfiguration von Projekten innerhalb von Goobi war in der Vergangenheit stets aufwendig und potentiell fehleranfällig. Um diese Arbeiten zu vereinfachen, wurde nun die Möglichkeit geschaffen, vorhandene Projekte einfach als neue Projekte zu duplizieren.

Das kopierte Projekt enthält nach dem Duplizieren alle Eigenschaften und Konfigurationen des alten Projektes mit Ausnahme der Konfigurationen, die über externen Dateien im Konfigurationsverzeichnis von Goobi vorgenommen wurden. Auch diejenigen Nutzer, die dem alten Projekt zugeordneten waren, sind dem neuen Projekt ebenfalls zugeordnet.

Duplizieren von Produktionsvorlagen

Auch für das Erstellen von neuen Produktionsvorlagen, besteht nun die Möglichkeit, eine bestehende Produktionsvorlage zu duplizieren.

Die duplizierte Produktionsvorlage ist dabei mit Ausnahme des neu vergebenen Titels eine exakte Kopie der Ursprungsvorlage. Anpassungen wie das Ändern der Projektzugehörigkeit oder Anpassungen im Workflow können im Anschluss vorgenommen werden.

Generierung von Statistiken bei archivierten Vorgängen

Für den Fall, dass Statistiken über die Anzahl von Bildern generiert werden sollen, bei denen bereits eine Archivierung mit anschließendem Löschen der Bilder stattfand, werden die Statistiken nun auf Basis der Einträge in der sog. History-Tabelle generiert. Auf diese Weise kann die Anzahl der Bilder für die Statistik berücksichtigt werden, die ein Vorgang vor dem Löschen der Bilder besaß.

Umstellung der Dateizugriffe auf Non-blocking I/O

Alle Methoden, die auf das Dateisystem zugreifen, wurden durch das in Java 7 eingeführte Feature NIO ersetzt. Dies erlaubt neben einem spürbaren Performancegewinn eine deutlich bessere Integration von über das Netzwerk angebundenen Speicherbereichen.

Zur Vermeidung von Caching-Fehlern bei dem Export großer METS-Dateien wurde darüber hinaus ebenso die Möglichkeit geschaffen, die Dateien im lokalen Speicherbereich vorzubereiten. Hierzu muss innerhalb der Konfigurationsdatei von Goobi der folgende Parameter gesetzt werden:

ExportInTemporaryFile=true

Wurde der Parameter wie gewünscht konfiguriert, werden die METS Dateien innerhalb des angegebnen Verzeichnisses erzeugt  und anschließend auf den Netzwerkspeicher verschoben. Somit kann sichergestellt werden, dass der Cache des Netzwerkspeichers keine Dateien cached, die leer sind und lediglich 0 byte groß sind.

Integration oft genutzter Funktionen in den Vorgangsdetails

Innerhalb der Vorgangsdetails eines geöffneten Vorgangs sind nun zwei weitere Aktionen direkt ausführbar, die bisher ausschließlich aus der Trefferliste der Vorgänge aufgerufen werden konnten.  Von nun an läßt sich der METS-Editor auch aus den Vorgangsdetails heraus direkt betreten sowie auch ein Export des Vorgangs in das Präsentationssystem veranlassen.

Verbesserung des Suchindexes für Metadaten

Im Metadatenindex, der für die erweiterte Suche in Goobi verwendet wird, wurde die Nutzung von wiederholbaren Feldern optimiert. Außerdem lassen sich seit der Version 2.2 nun auch sog. Überindizes definieren, die Metadaten aus mehreren Feldern zusammen in einem Indexfeld vorhalten und durchsuchbar machen können. Solche Indizes können einfach innerhalb der globalen Konfigurationsdatei definiert werden:

index.Person=Author,Illustrator, Editor, Creator 
index.Identifier=DOI, URN, Handle, CatalogIDDigital

Ab dem Moment der Konfiguration läßt sich nun in der Suchmaske von Goobi das entsprechende Überindex-Feld auswählen, um z.B. über alle Personen hinweg suchen zu können, die innerhalb der METS-Dateien jedoch in unterschiedlichen Rollen vertreten sind.

Neben der Suche können diese Überindizes ebenfalls innerhalb der Drucklisten (z.B. als Excel-Export) verwendet werden.

Vereinheitlichung der Nutzung von Variablen

In Goobi zur Verfügung stehende Variablen können nun an sämtlichen Stellen über dieselbe Syntax genutzt werden.

Zur Gewährleistung der Abwärtskompatibilität bestehender Konfigurationen können verschiedene Schreibweisen zur Verwendung von Variablen genutzt werden.

$(VARIABLE)
${VARIABLE}
(VARIABLE)
{VARIABLE}

Fortschrittsbalken bei lang laufenden Aufgaben

Bei einigen langlaufenden Aufgaben wie dem Massenimport für zahlreiche Metadaten wurde nun ein Fortschrittsbalken integriert. Dies sorgt dafür, dass der Webbrowser nun regelmäßig aktualisiert wird, dem Nutzer stets einen Einblick in den Fortschritt der langlaufenden Aufgabe gibt und es darüber hinaus auch nicht mehr zu Timeouts zwischen dem Webserver und Webcontainer kommen kann.

Aktualisierung des Metadatenindexes nach Abschluss eines Schrittes

Um den Suchindex für die innerhalb der METS-Dateien vorliegenden Metadaten stets aktuell zu halten, auch wenn die Metadaten außerhalb von Goobi verändert werden, kann nun innerhalb der Konfiguration der Arbeitsschritte eines Vorgangs festgelegt werden, dass der Metadatenindex auch beim Abschluss des Arbeitsschrittes aktualisiert werden soll. Somit lässt sich sicherstellen, dass Änderungen wie zum Beispiel die Erzeugung von URNs stets auch im Suchindex der Datenbank im jeweils aktuellsten Stand hinterlegt sind.

GoobiScripte zum Aktualisieren der Anzahl von Metadaten und Bildern

Die Liste der bestehenden GoobiScripte wurde um zwei neue GoobiScripte erweitert. Es besteht nun die Möglichkeit zum Aktualisieren der Anzahl der Metadaten sowie der zugehörigen Bilder.

action:countImages
action:countMetadata

Unter Nutzung dieser neuen GoobiScripte ist es nun möglich, die Daten für statistische Zwecke gleich für ein ganzes Trefferset aktualisieren zu lassen.

Beseitigung offener Lizenzfragen im Quelltext

In frühen Entwicklungsphasen von Goobi wurde Quellcode aus verschiedenen Tutorials und Hilfeseiten übernommen, ohne explizit auf die Nennung der Autoren sowie die verwendete Lizenz zu achten. Die davon betroffenen Quelldateien wurden zwischenzeitlich innerhalb eines Ordners src-dubios zusammengestellt, um die Lizenzfragen zu klären.

Mit der Version 2.2 konnten diese offenen Fragen nun alle geklärt und die entsprechenden Lizenzhinweise nachgepflegt werden. Damit konnten nun alle offenen Lizenzfragen beseitigt und auch der Sammelordner für diese Quelltexte aufgelöst und gelöscht werden, so dass nun keine Unsicherheiten bezüglich enthaltener Quelltexte mehr vorliegen.

Nutzung von Proxy Servern

Neu in Goobi 2.2 ist auch die Möglichkeit, dass die Kommunikation mit externen Diensten wie einem OPAC oder dem intranda OCR Service über einen Proxy Server erfolgen kann. Dazu wird die entsprechende Konfiguration in der Datei goobi_config.properties vorgenommen:

http_useProxy=true
http_proxyUrl=127.0.0.1
http_proxyPort=3128

Diese Konfiguration wird anschließend für sämtliche HTTP-Requests von Goobi benutzt.

Nutzung moderner Techniken

Goobi nutzt seit der Version 2.2 nun die Servlet API 3.0. Damit einher ging unter anderem ein Update der eingesetzten JSF Version auf 2.2. Dies bedeutet, dass Goobi von nun an in modernen Webcontainern wie Apache Tomcat 8 läuft. Gleichzeitig wurde die Unterstützung der veralteten Versionen des Apache Tomcat 6 und Java 6 eingestellt.

Darüber hinaus wurden alle relevanten Programmbibliotheken aktualisiert sowie der bisher verwendete Logging-Mechanismus log4j durch einen anderen Logger auf Basis von chronicle (http://chronicle.software/products/chronicle-logger/) ersetzt, was zu einem performanteren Logging führte.

Um die weitere Entwicklung zu vereinfachen und den Programmcode übersichtlicher zu gestalten, wurde außerdem das Framework Lombok (https://projectlombok.org/) integriert.