Code & Projekte

Open-Source-Code, Datensätze, Demos und Tutorials zu multimodalem Retrieval, Patentsuche, Vision-Language-Modellen und Wissensgraphen.

iPatent

PatentSemTech @ SIGIR 2025

Interaktives Suchsystem für die multimodale Suche und Interpretation von Patentbildern, mit Clustering zur Exploration der Ergebnisse. Live-Demo an der TIB.

  • multimodal retrieval
  • patent search
  • vision-language models
Code Demo Paper

Patent Figure Classification

ECIR 2025

Code und die Datensätze PatFigCLS / PatFigVQA zur Klassifikation von Patentzeichnungen nach Typ, Projektion, Patentklasse und Objekt mit großen Vision-Language-Modellen, einschließlich einer turnierartigen Multiple-Choice-Strategie für große Label-Mengen.

  • vision-language models
  • classification
  • patents
Code Daten Paper

CARA

Software, 2026

Open-Source-Werkzeug für Relevanzbewertungen beim Aufbau von Testkollektionen im Bild-Retrieval. Bewertet wird in Gruppen ähnlicher Bilder; ein integrierter Simulator vergleicht Gruppierungseinstellungen vor Beginn einer Studie.

  • relevance assessment
  • image retrieval
  • evaluation
Code Doku

Colonial-Context VLM Bias Dataset

WebSci 2026

Annotierte historische Fotografien, mit denen sich Gender- und Hautfarben-Bias von Vision-Language-Modellen bei der Suche in Archivbeständen messen lässt.

  • dataset
  • bias
  • cultural heritage
  • vision-language models
Daten Paper

DBLP-QuAD

BIR @ ECIR 2023

10.000 Frage-Antwort-Paare mit SPARQL-Abfragen über den wissenschaftlichen Wissensgraphen DBLP, für Question Answering über Wissensgraphen.

  • dataset
  • knowledge graphs
  • question answering
Code Daten Paper

Hindi WordNet Extension

Erweiterung des Hindi-WordNet mit Verfahren zur Vervollständigung von Wissensgraphen.

  • knowledge graphs
  • NLP
  • low-resource languages
Code

Biomedical QA

Retrieval-basiertes Question-Answering-System für biomedizinische Fragen mit Elasticsearch und BERT.

  • question answering
  • information retrieval
Code

Mehr auf GitHub: github.com/awalesushil · TIB Visual Analytics