Benchmarking der genomischen Variantenbestimmung

Die genaue Bestimmung von Genomvarianten ist in der Genomforschung und Diagnostik von größter Bedeutung. Um die Präzision und Zuverlässigkeit von Tools und Workflows für die Variantenbestimmung zu gewährleisten, ist ein kontinuierlicher Vergleich mit etablierten Standards - genannt Benchmarking - unerlässlich. Diese Herausforderung hat zur Entwicklung eines neuen Ansatzes geführt, der das Benchmarking demokratisiert und für alle transparent und zugänglich macht.

Eine kürzlich veröffentlichte Studie, initiiert vom Next Generation Sequencing Kompetenznetzwerk (NGS-CN) und GHGA, stellt NCBench vor – eine Plattform für das kontinuierliche Benchmarking der Bestimmung von genomischen Varianten.

NCBench bietet einen umfassenden und reproduzierbaren Benchmarking-Workflow zur Bewertung genomischer Variantenbestimmungen in Bezug auf Präzision und falsch positiver/negativer Fehlermuster. Der kontinuierliche Open-Source-Ansatz macht eine spezielle Infrastruktur überflüssig und das Benchmarking damit für die breite Forschungsgemeinschaft zugänglich aber auch transparent für die Diagnostik und den Patienten selbst. Durch die Nutzung von öffentlichen Plattformen wie GitHub, GitHub Actions, und Zenodo vereinfacht NCBench das Benchmarking für Forscher weltweit. 

Die Analyse von über 40 Datensätzen aus verschiedenen Workflows zur Variantenbestimmung durch NCBench deckt feine Unterschiede zwischen Tools und Datensätzen auf. Dies hilft den Entwicklern die Workflows weiter zu entwickeln und zu verbessern.

Die neue offene Plattform lädt zur Mitarbeit ein, erlaubt es eigene Variantendatensätze zu analysieren, verringert die Neuimplementierung von Benchmarks und hält die Leistung der Tools auf dem neuesten Stand. Zu guter letzt stärkt sie die Kollaboration unter Forschern aber auch die Harmonisierung und Standardisierung von Benchmarkstrategien.

 

Hanssen, F., Gabernet, G., Smith, N. H., Mertes, C., Neogi, A. G., Brandhoff, L., Ossowski, A., Altmueller, J., Becker, K., Petzold, A., Sturm, M., Stöcker, T., Sugirthan, S., Brand, F., Schmid, A., Buness, A., Probst, A.J., Motameny, S. & Köster, J. (2023). NCBench: providing an open, reproducible, transparent, adaptable, and continuous benchmark approach for DNA-sequencing-based variant calling.  [version 1; peer review: awaiting peer review]. F1000Research, 12, 1125. https://doi.org/10.12688/f1000research.140344.1