Groupe de discussion sur les grands modèles linguistiques (LLM) pour la génomique

Ces dernières années, les modèles fondamentaux sont apparus comme des outils puissants pour mettre au jour les schémas, les relations et les propriétés statistiques complexes des molécules biologiques telles que les protéines, l'ADN et l'ARN. En tirant parti de ces modèles, les chercheurs sont sur le point de révolutionner la recherche sur l'ADN/ARN, ouvrant ainsi une nouvelle ère de découvertes et de compréhension dans ce domaine de la biologie, avec un potentiel pour le développement de nouveaux outils thérapeutiques et diagnostiques. Le groupe de discussion LLM pour la génomique rassemble des membres du SIB intéressés par les modèles fondamentaux de l'ARN/ADN afin de partager et de discuter des derniers développements, des meilleures pratiques et des défis dans ce domaine, dans le but de faire progresser la science et l'application de ces modèles transformateurs.

À propos des groupes de discussion du SIB

Les groupes de discussion visent à favoriser les échanges de connaissances et les collaborations au sein de la communauté des 900 membres du SIB, autour de thèmes scientifiques spécifiques et/ou transversaux, allant du séquençage unicellulaire à l'égalité, la diversité et l'inclusion. Voir tous les groupes de discussion

Modèles linguistiques à grande échelle pour l'ARN/ADN

Les modèles fondamentaux représentent une avancée significative dans le domaine du deep learning. Ils se caractérisent par des architectures volumineuses entraînées sur de grandes quantités de données non étiquetées afin de créer des représentations générales capables de résoudre une grande variété de tâches en aval. Les grands modèles linguistiques (LLM) pour le langage naturel, tels que ChatGPT, constituent des exemples parfaits de modèles fondamentaux. Grâce à des mécanismes d'auto-attention, ils mettent au jour des schémas dans le langage humain, capturant ainsi son essence et les processus de pensée sous-jacents.

À propos des groupes de discussion du SIB

Les groupes de discussion visent à favoriser les échanges de connaissances et les collaborations au sein de la communauté des 900 membres du SIB, autour de thèmes scientifiques spécifiques et/ou transversaux, allant du séquençage unicellulaire à l'égalité, la diversité et l'inclusion. Voir tous les groupes de discussion

En biologie, des modèles similaires se révèlent très prometteurs, en particulier pour prédire les structures et les fonctions des protéines. Contrairement aux réseaux neuronaux convolutifs, qui excellent dans la reconnaissance de modèles locaux, les modèles fondamentaux se distinguent par leur capacité à saisir les dépendances à longue portée et les arrangements structurels complexes. Récemment, des modèles pour l'ADN et l'ARN ont fait leur apparition. Les modèles de base pour l'ARN, par exemple, sont appelés à révolutionner la recherche sur l'ARN en mettant au jour les modèles et les relations qui sous-tendent les structures secondaires et tertiaires, ainsi que les fonctions régulatrices, ouvrant ainsi une nouvelle ère de découvertes en biologie. Cependant, plusieurs défis doivent être relevés avant que cette technologie puisse devenir une norme de recherche, notamment déchiffrer ce que ces modèles apprennent réellement, comprendre leurs limites, les utiliser efficacement et améliorer continuellement leurs capacités.

Objectifs du groupe de discussion

Le groupe de discussion LLM pour la génomique rassemble les membres du SIB intéressés par les modèles fondamentaux de la génomique afin de partager et de discuter des derniers développements, des meilleures pratiques et des défis dans ce domaine. Compte tenu de la rapidité des progrès et de la nécessité de se tenir informé des technologies transformatrices, ce groupe vise à favoriser la collaboration entre les experts du domaine et les informaticiens. En élargissant notre portée aux chercheurs nationaux et internationaux, nous cherchons à créer une plateforme pour :

  • Rester à jour : les modèles fondamentaux de la génomique évoluant rapidement, il est difficile de suivre le rythme. Ce groupe vise à garantir que les membres du SIB et la communauté au sens large restent informés des derniers développements, en maintenant un réseau actif d'experts diversifiés pour soutenir et former la communauté suisse et au-delà.
  • Partager les ressources : étant donné que les modèles fondamentaux d'ARN/ADN nécessitent d'importantes ressources informatiques et énergétiques, ce groupe cherche à créer un réseau de groupes de recherche pouvant partager leurs ressources, afin de rendre ces modèles plus accessibles à l'ensemble de la communauté et d'en faire bénéficier le plus grand nombre.
  • Promotion de la collaboration : le meilleur développement des modèles fondamentaux ARN/ADN passe par une collaboration étroite entre les informaticiens et les experts du domaine. Ce groupe de réflexion vise à unir ces communautés en offrant une plateforme d'échange de connaissances par le biais de réunions mensuelles en personne et en ligne, au cours desquelles les membres du SIB peuvent présenter leurs expériences, examiner des articles pertinents et partager leurs dernières découvertes.

Nous encourageons les membres à participer activement en partageant leurs expériences avec les derniers outils, en examinant des articles et en contribuant au code d'un dépôt GitHub public dédié aux modèles fondamentaux ARN/ADN.

Le groupe rassemble actuellement 13 groupes de recherche du SIB et des membres associés inscrits sur le canal dédié #LLM-omics-meetings sur le Slack du SIB.

Membres coordinateurs du groupe de discussion

Vous êtes membre du SIB et souhaitez rejoindre le groupe ? Contactez Raphaëlle Luisier ou Janna Hastings pour être ajouté au canal Slack et réserver une date pour une future présentation.