In den letzten Jahren haben sich Foundation Models als leistungsstarke Werkzeuge zur Aufdeckung von Mustern, Beziehungen und den komplexen statistischen Eigenschaften biologischer Moleküle wie Proteinen, DNA und RNA etabliert. Durch die Nutzung dieser Modelle sind Forscher in der Lage, die DNA-/RNA-Forschung zu revolutionieren und eine neue Ära der Entdeckungen und Erkenntnisse in diesem Bereich der Biologie einzuläuten, die das Potenzial für die Entwicklung neuartiger Therapeutika und Diagnosewerkzeuge birgt. Die Fokusgruppe „LLM for Genomics” bringt SIB-Mitglieder zusammen, die sich für RNA-/DNA-Foundation-Modelle interessieren, um die neuesten Entwicklungen, Best Practices und Herausforderungen in diesem Bereich auszutauschen und zu diskutieren, mit dem Ziel, die Wissenschaft und Anwendung dieser transformativen Modelle voranzutreiben.
Über die SIB-Fokusgruppen
Die Fokusgruppen sollen den Wissensaustausch und die Zusammenarbeit innerhalb der Gemeinschaft von 900 SIB-Mitgliedern zu bestimmten wissenschaftlichen und/oder übergreifenden Themen fördern, von der Einzelzellsequenzierung bis hin zu Gleichstellung, Vielfalt und Inklusion. Alle Fokusgruppen anzeigen
Große Sprachmodelle für RNA/DNA
Foundation-Modelle stellen einen bedeutenden Durchbruch im Deep Learning dar. Sie zeichnen sich durch große Architekturen aus, die auf riesigen Mengen unbeschrifteter Daten trainiert wurden, um universelle Darstellungen zu erstellen, mit denen sich eine Vielzahl von nachgelagerten Aufgaben lösen lassen. Große Sprachmodelle (LLMs) für natürliche Sprache, wie beispielsweise ChatGPT, sind Paradebeispiele für Foundation-Modelle. Mithilfe von Selbstaufmerksamkeitsmechanismen decken sie Muster in der menschlichen Sprache auf und erfassen deren Essenz und zugrunde liegende Denkprozesse.
Über die SIB-Fokusgruppen
Die Fokusgruppen sollen den Wissensaustausch und die Zusammenarbeit innerhalb der Gemeinschaft von 900 SIB-Mitgliedern zu bestimmten wissenschaftlichen und/oder übergreifenden Themen fördern, von der Einzelzellsequenzierung bis hin zu Gleichstellung, Vielfalt und Inklusion. Alle Fokusgruppen anzeigen
In der Biologie sind ähnliche Modelle vielversprechend, insbesondere bei der Vorhersage von Proteinstrukturen und -funktionen. Im Gegensatz zu konvolutionellen neuronalen Netzen, die sich durch die Erkennung lokaler Muster auszeichnen, zeichnen sich Foundation-Modelle durch ihre Fähigkeit aus, weitreichende Abhängigkeiten und komplexe strukturelle Anordnungen zu erfassen. Kürzlich sind Modelle für DNA und RNA entstanden. RNA-Foundation-Modelle beispielsweise werden die RNA-Forschung revolutionieren, indem sie Muster und Beziehungen aufdecken, die Sekundär- und Tertiärstrukturen sowie regulatorischen Funktionen zugrunde liegen, und damit eine neue Ära der Entdeckungen in der Biologie einläuten. Bevor diese Technologie jedoch zum Forschungsstandard werden kann, müssen noch einige Herausforderungen bewältigt werden, darunter die Entschlüsselung dessen, was diese Modelle tatsächlich lernen, das Verständnis ihrer Grenzen, ihre effektive Nutzung und die kontinuierliche Verbesserung ihrer Fähigkeiten.
Ziele der Fokusgruppe
Die Fokusgruppe „LLM für Genomik“ bringt SIB-Mitglieder zusammen, die sich für Grundlagenmodelle für die Genomik interessieren, um die neuesten Entwicklungen, bewährte Verfahren und Herausforderungen in diesem Bereich auszutauschen und zu diskutieren. Angesichts des rasanten Fortschritts und der Notwendigkeit, über transformative Technologien auf dem Laufenden zu bleiben, möchte diese Gruppe die Zusammenarbeit zwischen Fachleuten und Informatikern fördern. Durch die Ausweitung unserer Reichweite auf nationale und internationale Forscher möchten wir eine Plattform schaffen für:
- Auf dem Laufenden bleiben: Da sich genomische Grundlagenmodelle rasant weiterentwickeln, ist es schwierig, Schritt zu halten. Diese Gruppe möchte sicherstellen, dass SIB-Mitglieder und die breitere Community über die neuesten Entwicklungen informiert bleiben, und ein aktives Netzwerk verschiedener Experten aufbauen, um die Community in der Schweiz und darüber hinaus zu unterstützen und zu schulen.
- Ressourcenaustausch: Da RNA/DNA-Grundlagenmodelle erhebliche Rechen- und Energieressourcen erfordern, möchte diese Gruppe ein Netzwerk von Forschungsgruppen aufbauen, die Ressourcen gemeinsam nutzen können, um diese Modelle für die gesamte Community zugänglicher zu machen und so einem möglichst großen Kreis von Menschen zugute zu kommen.
- Förderung der Zusammenarbeit: Die beste Entwicklung von RNA/DNA-Grundlagenmodellen erfolgt durch eine enge Zusammenarbeit zwischen Informatikern und Fachexperten. Diese Fokusgruppe möchte diese Gemeinschaften zusammenbringen, indem sie eine Plattform für den Wissensaustausch durch monatliche persönliche und Online-Treffen bietet, bei denen SIB-Mitglieder ihre Erfahrungen vorstellen, relevante Artikel besprechen und ihre neuesten Erkenntnisse austauschen können.
Wir ermutigen die Mitglieder, sich aktiv zu beteiligen, indem sie ihre Erfahrungen mit den neuesten Tools teilen, Artikel besprechen und Code zu einem öffentlichen GitHub-Repository beitragen, das RNA/DNA-Grundlagenmodellen gewidmet ist.
Die Gruppe umfasst derzeit 13 SIB-Forschungsgruppen und assoziierte Mitglieder, die im speziellen Kanal #LLM-omics-meetings auf SIB Slack registriert sind.
Koordinierende Mitglieder der Fokusgruppe
- Raphaëlle Luisier, Vorsitzende (Gruppenleiterin)
- Janna Hastings, Co-Vorsitzende (Gruppenleiterin)
Sind Sie SIB-Mitglied und möchten Sie mitmachen? Kontaktieren Sie Raphaëlle Luisier oder Janna Hastings, um zum Slack-Kanal hinzugefügt zu werden und einen Termin für eine zukünftige Präsentation zu vereinbaren.