Un scientifique de génie est décédé et toute la communauté de l’IA se souvient de lui aujourd’hui

Cela fait près de deux mois que Felix Hill, chercheur chez Deepmind, s'est exprimé pour la dernière fois sur la plateforme X.

Malheureusement, le chercheur est décédé le 5 décembre de l’année dernière après une longue bataille contre une grave maladie mentale.

Cette nouvelle a également été confirmée par Douwe Kiela, professeur adjoint à l'Université de Stanford et PDG de Contextual AI, sur la plateforme X.

Après l'annonce de la mauvaise nouvelle, de nombreuses personnes du cercle d'IA se sont souvenues de cet ami dans la zone de commentaires de Douwe Kiela.

Même Gary Marcus, qui avait des divergences académiques avec Felix, a déclaré :

Même si nous sommes parfois en désaccord sur le plan intellectuel, je suis vraiment désolé d'entendre cela. Qu'il repose en paix.

De nombreux chercheurs scientifiques, dont le PDG et co-fondateur d'Udio David Ding, le chercheur principal de Google Nataniel Ruiz, Meta et OpenAI ont également publié des messages pour exprimer leurs condoléances.

Que le défunt repose en paix. Mes plus sincères condoléances à ses amis et à sa famille.

Kyunghyun Cho, chercheur bien connu en IA et professeur à l'Université de New York, a rencontré Felix à Montréal à l'été 2014 et a ensuite publié un article rappelant le passé. À cette époque, Kyunghyun était boursier postdoctoral et Félix était un étudiant invité.

Ils sont devenus amis grâce à une discussion académique sur les structures grammaticales.

Après avoir mené des travaux de recherche ensemble, l'un des résultats qu'ils ont obtenus a été de créer la tendance des « immenses tableaux » dans les articles publiés en 2016. Ce style a été largement imité par la communauté universitaire au cours des 3 à 5 années suivantes.

Bien que l’homme soit décédé, la lumière des opinions de Felix Hill vivra pour toujours.

Même les collègues qui ne l'ont jamais rencontré sont impressionnés par lui. Jim Fan, chercheur scientifique principal chez NVIDIA, a également transmis aujourd'hui le blog de Felix Hill sur la plate-forme X pour commémorer son ami.

C’est le blog le plus déchirant que j’ai jamais lu parce qu’il est si vrai et si proche de mon cœur.

L'auteur n'est plus parmi nous. Je n'ai pas pu m'empêcher de verser des larmes…

Je n'ai jamais eu le plaisir de connaître Félix en personne, mais j'ai adoré son point de vue en matière de recherche et j'ai mis en place une alerte Google Scholar pour chacun de ses nouveaux articles.

Ses travaux dans le domaine des agents et du VLM ont eu un impact profond sur mes recherches. Il aurait pu être un bon ami. Je voulais vraiment apprendre à le connaître, mais maintenant je n'en ai jamais l'occasion.

Il dirige l'équipe de recherche sur l'IA, mais ne parvient pas à vaincre ses démons intérieurs

Les informations publiques de Linkedin montrent que Felix Hill est un bon élève avec d'excellents résultats académiques au sens laïc.

Il est diplômé de l'Université d'Oxford avec un baccalauréat en mathématiques et a également été capitaine de l'équipe de badminton de l'Université d'Oxford. Le stage de troisième cycle se déroule à l'Université nationale autonome du Mexique, avec des spécialisations en sciences cognitives, linguistique et éducation, en se concentrant sur des domaines multidisciplinaires (sciences cognitives et linguistique).

Cette expérience a non seulement enrichi ses horizons internationaux, mais a également élargi ses intérêts académiques.

De 2011 à 2016, il a étudié la linguistique et la linguistique informatique à l'Université de Cambridge, au cours desquelles il a également été capitaine de l'équipe de golf.

Après son entrée sur le marché du travail, l'évolution de carrière de Félix s'est déroulée sans heurts.

Il s'est consacré autrefois à l'éducation et a enseigné les mathématiques pendant 14 mois, guidant les étudiants âgés de 14 à 18 ans dans leur préparation aux examens et leur candidature à l'université. En même temps, il était enthousiasmé par le bien-être public et soutenait les organisations non gouvernementales locales en matière d'éducation. .

Après 2016, Felix a longtemps travaillé chez Google Deepmind.

Avant sa mort, il était principalement responsable de la direction d'une équipe de Deepmind qui étudiait l'interaction entre le langage et l'intelligence générale. Dans le même temps, il a également commencé à se concentrer sur la recherche scientifique et technologique de pointe, en se concentrant sur la linguistique, l’apprentissage automatique et le développement de modèles d’IA.

Les données de Google Scholar montrent que ses articles ont été cités au total 19 680 fois, avec un indice h de 42, dont le nombre de citations après 2020 a atteint 16 608 fois, ce qui a eu un large impact sur des domaines connexes.

Sur la plateforme X, cet ami a écrit dans son auto-introduction :

J'essaie de vraiment réfléchir au contenu de chaque tweet, en particulier aux parties sur le football des années 90 et la musique des années 80. Mes opinions sont entièrement les miennes et ne représentent en aucun cas celles des autres.

Cependant, ce chercheur en IA qui a connu un grand succès aux yeux du monde est aux prises avec une grave maladie mentale. Sur le blog de Félix, il a également enregistré son voyage mental au cours de la dernière étape de sa vie :

Sa mère est décédée de la maladie d'Alzheimer en avril 2023 et, au cours de la même période, il a été hospitalisé pour psychose aiguë, peut-être provoquée par le stress. Cela faisait suite à une période de 12 mois d’anxiété intense et de profonde dépression.

Après avoir reçu la compréhension et le soutien de mon employeur, y compris un soutien thérapeutique et des soins spirituels, et après avoir commencé à m'améliorer après une période de 6 mois de dépression potentiellement mortelle, j'ai commencé à réfléchir et à enregistrer mes observations et ma compréhension du stress et de l'anxiété.

Cependant, le destin joue souvent des tours aux gens. Le 5 décembre dernier, cet ami est finalement décédé prématurément.

DÉCHIRER

Vous trouverez ci-joint la republication par Jim Fan du blog original de Felix Hill

La responsabilité de 200 milliards de poids

La pression du travail moderne sur l’IA

Par Felix Hill, octobre 2024

Au cours des deux dernières années, le domaine de l’IA a évolué de manière irréversible.

ChatGPT compte près de 200 millions d'utilisateurs actifs mensuels. Gemini a enregistré près de 320 millions de visites en mai 2024. Aujourd’hui, les passionnés d’IA peuvent même utiliser des micro-ondes IA, des brosses à dents IA et même des ballons de football IA.

Cependant, pour beaucoup d’entre nous travaillant dans le domaine de l’IA, ce regain d’intérêt populaire a été à la fois une bénédiction et un fardeau. En effet, à mesure que les salaires augmentent, les cours des actions et les valorisations boursières augmentent également. Mais en même temps, ce changement entraîne également une sorte de pression unique.

Ce blog porte sur les pressions causées par l'IA moderne. Son public cible est constitué de ceux qui travaillent dans le domaine de l'IA (qui, selon des estimations prudentes, représentent environ 87 % de la population mondiale), en particulier ceux qui travaillent dans la recherche sur l'IA.

En fin de compte, j’espère qu’en discutant des aspects stressants de la recherche en IA, je pourrai rendre la vie plus agréable à ceux qui ont la chance de travailler dans ce domaine. Parce que malgré le chaos actuel, il s’agit d’une carrière merveilleuse et enrichissante qui a le potentiel de répondre à de nombreuses grandes questions de la science, de la philosophie et même de l’humanité elle-même.

Pas d'échappatoire

Il y a quelques mois, j'ai assisté à la fête du 40e anniversaire d'un ami. Nous sommes des amis proches, donc je connaissais pas mal d’invités à la fête, certains très bien. Mais il y avait aussi des gens que je ne connaissais pas du tout.

Parmi ceux que je connaissais peu, j'ai remarqué un phénomène étrange.

Même si je n'étais pas en bonne santé à ce moment-là (nous en parlerons plus tard) et que je ne voulais évidemment pas participer activement à la conversation, il y avait une petite file de personnes autour de moi, simplement parce que tout le monde savait que je travaillais chez DeepMind et beaucoup de gens voulaient me parler.

Ces conversations ne portaient pas sur des sujets relaxants comme le football ou la musique des années 80, mais sur le sujet que je voulais le plus éviter : l’IA. Même si je suis flatté par l'intérêt porté à mon travail, cela me fait aussi réaliser à quel point les choses ont changé au cours des deux dernières années. Les banquiers, les avocats, les médecins et les consultants en gestion voulaient tous que je commente ChatGPT ; même si peu d'entre eux utilisaient directement ces LLM dans leur travail, ils étaient tous convaincus que quelque chose d'important se passait avec l'IA et qu'ils devaient comprendre.

En tant que chercheur moi-même, je suis sûr que vous pouvez comprendre le sentiment de ne pas pouvoir « éteindre l’interrupteur » dans des situations sociales.

Mais les choses ont empiré. Même chez moi, je ne pouvais pas m’échapper.

J'avais arrêté de regarder les informations de peur de déclencher de l'anxiété. Mais même lorsque l’on regarde le football, VH1, l’inspecteur Montalbano ou cette merveilleuse adaptation télévisée de la trilogie napolitaine, les publicités sont remplies de références à l’IA.

Pendant cette période, je pensais souvent à faire mes valises, à traverser le continent et à rejoindre une communauté religieuse isolée. Même si je ne serais pas surpris que même le Vipassana Yoga soit désormais infiltré dans une certaine mesure par l’IA.

concurrence implicite

Plusieurs grandes entreprises semblent rivaliser pour développer les modèles linguistiques à grande échelle les plus vastes et les plus puissants, ce qui en soi crée une pression énorme, quelle que soit l'entreprise pour laquelle vous travaillez.

Dans les recherches actuelles sur l’IA, on a parfois l’impression que nous sommes engagés dans une guerre. D’Adolf Hitler à Holland Schulz, nous savons que la participation à la guerre peut avoir de graves conséquences, notamment la maladie mentale, le divorce et le suicide.

Bien entendu, cela ne veut pas dire que la participation à la recherche sur l’IA est un combat physique dans une « vraie guerre ». Mais d’après ma propre expérience, les similitudes entre les deux, bien que farfelues, sont réelles.

Impacter les résultats de l'entreprise

En règle générale, les chercheurs travaillant dans l'industrie ne sont pas habitués à l'impact direct et immédiat de leur travail sur les résultats financiers de leur employeur.

Bien entendu, de nombreux chercheurs rêvent d’une telle opportunité. Mais dans le passé, cela ne se produisait généralement qu’une fois par décennie.

Aujourd’hui, les résultats de la recherche fondamentale sur les LLM n’aboutissent souvent qu’à des fluctuations subtiles et à court terme des performances des modèles. Cependant, en raison de l'intérêt accru du public pour les performances de LLM, ces fluctuations pourraient à leur tour entraîner des mouvements de plusieurs milliards de dollars sur le cours des actions.

Cette dynamique est clairement très stressante, et ce n’est pas quelque chose pour lequel les chercheurs en IA sont formés dans leurs études supérieures, leurs postdoctorats ou même dans leurs emplois d’avant 2022.

argent, argent, argent

La plupart des chercheurs en IA, en particulier ceux qui ont dépassé un certain âge, ne s’engagent pas dans des recherches pour gagner de l’argent. Gagner beaucoup d’argent pour un travail que vous aimez peut sembler être un bon remède, mais cela peut aussi déclencher d’intenses sentiments d’anxiété. Cette anxiété est particulièrement évidente lorsque les facteurs externes qui augmentent le revenu échappent à tout contrôle ou lorsque ces facteurs diminuent l'amour du travail.

Qu'il soit lié ou non à l'IA, de nombreuses preuves montrent qu'une accumulation soudaine de richesse peut causer toutes sortes de problèmes ; il suffit de regarder les acteurs ou les chanteurs qui, après des années de dur labeur, deviennent finalement célèbres du jour au lendemain. La dépendance, les relations brisées, les amitiés brisées et même le suicide sont quelques-unes des conséquences les plus courantes. Ces questions me touchent personnellement profondément.

Les scientifiques ne servent à rien

L'échelle, la simplicité et l'efficacité du LLM font qu'il est difficile pour la recherche scientifique de devenir « pertinente », c'est-à-dire de contribuer directement à améliorer les performances du LLM.

De nombreux chercheurs éminents du LLM ont commencé à promouvoir la « leçon amère » de Rich Sutton : il n'y a guère besoin d'innovation au-delà de la mise à l'échelle.

Même si des innovations substantielles sont théoriquement possibles (et cela ne fait aucun doute), la réalisation de ces innovations nécessite souvent une formation répétée des plus grands LLM dans des conditions différentes. C’est quelque chose que même les plus grandes entreprises ne peuvent se permettre aujourd’hui. Pour un chercheur scientifique « ordinaire », cette situation peut être épuisante sur le plan émotionnel et physique.

Ces conditions sont déjà sévères pour les scientifiques industriels habitués à travailler en petites équipes (5 à 10 personnes). Pour les doctorants, les postdoctorants et les professeurs d’IA/CS/ML du monde universitaire, cette pression est sans aucun doute plus intense.

Publier un article

Alors que les chercheurs universitaires peuvent (et devraient) continuer à publier les connaissances qu’ils tirent des expériences LLM, il devient de plus en plus incertain pour les scientifiques de l’industrie si la publication d’articles est toujours un résultat viable de la recherche.

La publication d’articles constitue depuis longtemps un élément essentiel du processus scientifique et un principe important de la recherche sur l’IA. La plupart des chercheurs en IA avec lesquels je discute, en particulier les chercheurs scientifiques, conviennent que la publication fait partie intégrante de notre carrière.

Toutefois, dans l’industrie du moins, la publication des résultats de la recherche en tant qu’option viable est devenue de plus en plus incertaine au cours des deux dernières années. Même quelques petites astuces qui peuvent légèrement améliorer les performances du LLM peuvent devenir des « armes » clés dans la guerre du LLM. La question de savoir si ces « secrets » doivent être rendus publics et si cela profite aux institutions qui financent la recherche est toujours une question délicate.

Tout cela signifie que les chercheurs ont souvent peu de contrôle sur le sort de leurs idées. Et cette situation, du moins pour moi, peut provoquer beaucoup de stress.

démarrer

Bien entendu, une solution possible à ces préoccupations consiste à formuler une vision scientifique, à lever des fonds et à créer une start-up. En fait, l’essor actuel des startups d’IA (grandes et petites) montre que de nombreux scientifiques ont déjà choisi cette voie.

Cependant, devenir fondateur ne garantit pas que vous serez à l’abri des problèmes liés au stress. En fait, cette route est connue pour son niveau de stress élevé. Même au milieu de l’enthousiasme actuel des investisseurs, de nombreuses startups d’IA bien financées échouent toujours. D’après ma propre expérience, être fondateur peut être un voyage particulièrement solitaire. Il s’agit certainement d’une option viable pour les aspirants scientifiques d’aujourd’hui, mais cela ne rend pas la recherche scientifique plus facile ni moins stressante.

Pourquoi ai-je choisi d’écrire un blog sur le stress ?

Les deux dernières années ont été chaotiques et folles pour le monde de l’IA, et une période particulièrement tumultueuse pour moi personnellement.

En avril 2023, ma mère est décédée après un long combat contre la maladie d'Alzheimer. À cette époque, j’étais dans un hôpital psychiatrique à cause d’une psychose aiguë, et le stress était probablement un facteur important dans le déclenchement de tout cela. Au cours des 12 mois suivants, j'étais théoriquement en convalescence, mais en réalité, je vivais un état d'anxiété extrême et de profonde dépression. Durant cette période, j’ai eu la chance d’avoir des employeurs qui comprenaient ma situation (et reconnaissaient la valeur de ma contribution à l’entreprise) et qui m’ont apporté un soutien thérapeutique continu et des soins éthiques.

Après encore 6 mois de dépression potentiellement mortelle, je commence enfin à me sentir mieux et je me sens récemment autorisé à écrire sur mes expériences. J’ai réalisé que le stress et l’anxiété vont de pair ; en fait, ils peuvent être essentiellement la même chose. Bien sûr, comme tout trait adaptatif, l’anxiété peut être bénéfique dans une certaine mesure (par exemple, elle peut augmenter la productivité), mais lorsque l’anxiété devient maligne, les conséquences peuvent être graves.

C'est en réfléchissant à mes expériences dans le domaine de l'IA au cours des deux dernières années, tout en essayant de réapprendre à devenir chercheur en IA, que j'ai acquis les idées que je partage dans ce blog. Bien sûr, partager ces idées ne résoudra pas tout, mais dans mes moments les plus sombres, l’une des seules choses qui m’a donné de l’espoir était de savoir que je n’étais pas seul. Si vous souffrez en ce moment, croyez-moi, vous n’êtes pas seul.

anxiété sociale

J'ai évoqué un certain nombre de raisons pour lesquelles les personnes travaillant actuellement sur l'IA pourraient se sentir stressées ou anxieuses. Mais il existe une autre forme de stress que je n’ai pas encore évoquée car j’ai eu la chance de ne jamais en faire l’expérience. Ce stress est une anxiété sociale.

Les amis décrivent les personnes souffrant d’anxiété sociale comme trouvant les interactions de groupe difficiles. Dans le monde moderne de l’IA, ces difficultés sont particulièrement aiguës, car les grandes équipes de projet et la collaboration transcontinentale sont devenues essentielles. Le problème n'est qu'exacerbé par les taux de rotation élevés dans l'industrie actuelle, dans la mesure où les équipes établies (souvent considérées comme un « filet de sécurité » social) peuvent être détruites du jour au lendemain. Les changements fréquents de personnel peuvent également entraîner des problèmes de confiance, car des alliés autrefois fiables peuvent rejoindre des équipes de recherche « hostiles ».

La bonne nouvelle est que, comme tous les signes d’anxiété ou de stress dont j’ai parlé plus tôt, l’anxiété sociale peut être surmontée. Le processus de dépassement commence par la culture de réseaux de soutien naturels, tels que le recours à la famille et aux amis « non-IA ». Mais une deuxième étape cruciale consiste pour tous ceux d’entre nous qui travaillent dans le domaine de l’IA à entamer et à poursuivre des conversations honnêtes sur le stress.

Alors partagez vos expériences via des tweets ou des commentaires. Travaillons ensemble pour faire de la recherche sur l’IA non seulement un lieu dynamique et intellectuellement stimulant, mais aussi un domaine de compassion et de gentillesse.

# Bienvenue pour suivre le compte public officiel WeChat d'aifaner : aifaner (ID WeChat : ifanr). Un contenu plus passionnant vous sera fourni dès que possible.

Ai Faner | Lien original · Voir les commentaires · Sina Weibo