kathleen neumann (vzg) umstellung auf solr 7 · 14.11.2018 kathleen neumann -umstellung auf solr 7...
TRANSCRIPT
Dieses Werk ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.
Umstellung auf Solr 7 Kathleen Neumann (VZG)
Agenda
• Von Lucene zu Solr – ein Rückblick
• Versionsunterschiede & Motivation umzusteigen
• Vorstellung der neuen Strukturen & Begrifflichkeiten
• Was hat sich für den Anwender geändert?
• Erste Erfahrungen
• Ausblick
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-
Anwenderworkshop 2018 Folie 2
Solr-Unterstützung - Rückblick
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 3
2012 2014 2016 2018
2.1.80 - Beta 1 Einführung der Solr-Komponente, ausschließliche Nutzung in Jena
Lucene Legacy Im LTS2013 wird SOLR fester Bestandteil und ein Lucene-Migration-Weg wird mitgegenem
LTS2014 Lucene gelöscht Lucene-spezifische Logik aus dem MyCoRe-Kern entfernt und über separaten Lib verfügbar.
Solr 4 Anwender migrieren nach und nach von Lucene auf Solr
Solr 4.10 MyCoRe bietet ein MyCoRe-spezifisches Solr-WAR-Archiv zum Download an
Solr 4.10 Auch weiterhin bleibt Solr-seitig alles stabil …
Solr 7.4 … Zeit für einen Versionwechsel, das LTS2018 erscheint mit Solr7-Unterstützung
Versionsunterschiede – erster Blick
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 4
• Version: 4.10 7.4 • Anzahl Kerne: 18 17 • RAM-Nutzung: ~300MB ~800MB (im Leerlauf) • Laufzeit: WAR im Tomcat Service (auf Jetty-Basis)
• Ersteindruck: Solr 7 ist schnell installiert und gestartet, sieht in der GUI sehr
ähnlich aus, ist aber deutlich speicherhungriger als sein Vorgänger
Warum der Umstieg?
• Umstieg auf Solr brachte Rückschritt hinsichtlich Konfigurierbarkeit der Suchfelder
• Vorher: searchfields.xml in verschiedenen MyCoRe-Komponenten und Anwendungsmodulen
• Nachher: genau eine schema.xml und solrconfig.xml im Solr-WAR -> musste händisch angepasst, erweitert und migriert werden
• Daher: Suche nach einer Lösung, um Suchfelder wieder da zu platzieren, wo sie gebraucht werden
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 5
Neue Strukturen
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 6
[MyCoRe-Solr-Konfiguration für v4.10 in separatem Maven-Modul]
[Solr-Basiskonfiguration für v7.* in MyCoRe-Solr-Komponente]
[MODS-Suchfelder für v7.* in MyCoRe-MODS-Komponente]
[Anwendungs-Suchfelder für v7.* am Beispiel MIR]
Begrifflichkeiten
• Configuration Set vorgefertigte MyCoRe-Templates für Solr-Kern
• Core Configuration Type Art der Konfiguration – von MyCoRe vorgegebene sind:
– Main Standard-Kern für die Anwendung, enthält Objekt- & Derivat-Index
– Classification Klassifikationsindex z.B. für Klassifikationseditor od. Autovervollständigung im xEditor
• CoreID fiktive ID, die in der Konfiguration festgelegt wird um den jeweiligen Core zu in der Anwendung zu bezeichnen
• CoreName echter Name des Solr-Kerns
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 7
UseCase – Registrieren versch. Kerne
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 8
Solr-Server #1 Solr-Server #2
• Main-Core: repper_main perspectivia_main • Classification-Core: repper_class perspectivia_class
• mycore.sh register solr core with name {core_name} as core {core_id}
register solr core with name repper_main as core main
register solr core with name perspectivia_main as core main
register solr core with name perspectivia_main as core main_new
rebuild solr metadata index in core main
rebuild solr metadata index in core main_new
Erste Erfahrungen
• Bessere Datumssuche mit solr.DateRangeField
– 2000-11 sucht im gesamten November 2000
– [2014 TO 2014-12-01] sucht von Anfang 2014 bis zum 1.12.24
• TIKA-Integration
– In Solr integriertes TIKA ist kein „Best Practice“ -> besser eigenen TIKA-Server für Volltextindizierung
– In Solr 7 mitgelieferte TIKA-Libs verursachen Memory-Leaks -> Patching notwendig!
• Viele Solr-Features und Neuerungen sind noch nicht erarbeitet und in den Anwendungen entsprechend noch nicht genutzt -> das ist erst der Anfang!
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 9
Was hat sich für den MyCoRe-Anwendungsentwickler geändert?
• Multicore-Unterstützung mit verschiedenen Typen, auch eigene Typen möglich (Stichwort: configsets)
• Alto-Unterstützung reimplementiert
– Keine separate lib mehr nötig – alles mit Solr-Boardmitteln implementiert im MyCoRe-Kern
– Xml-Dateien werden nun indiziert (z.B. mets.xml)
• Delta der Suchfelder und Konfiguration wird in json-Dateien gepflegt
• Blacklist der RequestHandler in LTS2017 -> Whitelist ab LTS2018
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 10
Ausblick
• Stärkere Nutzung neuer Features
• Umstellung auf kommendes Solr-LTS für langfristige Stabilität (siehe Solr 4.10 …)
– aktuelles Release 7.*
– aktuelles LTS Solr 6.4.*
– Wechsel auf LTS, sobald nächste Versiom erscheint (derzeit kein Releaseplan auf Solr-Seiten zu finden)
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Folie 11
14.11.2018 Kathleen Neumann - Umstellung auf Solr 7 - MyCoRe-Anwenderworkshop 2018
Vielen Dank für Ihr Interesse!
Folie 12
http://www.mycore.de/ [email protected]
Kathleen Neumann
Verbundzentrale des GBV (VZG)