Ақпарат

Сәбилерге арналған биологиялық нейрондық желіні оқыту

Сәбилерге арналған биологиялық нейрондық желіні оқыту


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Мені нәрестелердің жүре алмайтындығы алаңдатады, өйткені олардың аяқ-қолдарындағы бұлшықеттер бағытты басқару үшін дамымаған және реттелмеген, нәрестелер қозғалғыштық пен ептілікке ие болғанға дейін бірнеше жыл қажет. Осылайша, техникалық тұрғыдан мотор кортексіндегі нейрондық желілер бұл мүмкіндікке қол жеткізгенге дейін көптеген жылдар бойы жаттығуларды қажет етеді.

Дегенмен, нәрестелер дүниеге келген кезде, олардың көз алмаларын бағытты бақылау үшін көз бұлшықеттерін жаттықтырудың қажеті жоқ (бұл топсаның қозғалысымен салыстырғанда жоғары еркіндік дәрежесіне байланысты өте күрделі мәселе). Көз бұлшық еттеріне арналған биологиялық нейрондық желі алдын ала дайындалған, ал аяқ-қол бұлшық еттеріне арналған нейрондық желі туылған кезде оқытылмаған бола ма?


Биологиялық нейрондар машиналық оқытудың қарапайым жасанды нейрондық желілерімен салыстырғанда мүлде басқаша жұмыс істейді. Мысалы, нақты нейрондардың қалай жұмыс істейтінін және олардың бір-бірімен байланысын қараңыз. Нейрондардың түрлері өте әртүрлі: «... нейрондар бірполярлы, биполярлы, көпполярлы, анаксондық, псевдоуниполярлы, кәрзеңке жасушалары, пуркинье жасушалары, лугаро жасушалары, шпиндель жасушалары және т.б. сияқты арнайы формаларды қабылдайды.».
Көзге келетін болсақ, жарық таяқша мен конус жасушаларына соқпас бұрын нейрондардың үлкен желісі арқылы өтеді. Сегізаяқтың торлы қабығы үшін бұл керісінше. Жануарлардың сәбилері адам баласына қарағанда тезірек жүруді үйренеді. Сондай-ақ, соқыр балалардың жүруді қалай үйренетіні туралы бейнелерді қараңыз.

Негізінде, адам денесінің құрылуы мен жұмысында «нейрондық желіні оқытудан» гөрі әлдеқайда көп нәрсе бар. «Фактілер мен аномалиялар» деп аталатын өте жақсы қағаз осы күрделілікке перспектива береді.

Жасушалар жүйесі мен тепе-теңдік қалай жұмыс істейтінін ешкім толық түсінбейді. Бұл өте күрделі және көп өлшемді. Бір жасушаның ішіндегі күрделілікке және электрондарды тасымалдау тізбегіне қараған кезде, сіз құрылымдар мен құрылымдарды жасау үшін табиғаттың молекулалық қасиеттерін пайдалану үшін алдын ала бағдарламаланған және жасалған көптеген нәрселер бар екенін байқайсыз. химиялық қасиеттердің тепе-теңдігін пайдаланатын қозғалтқыштар. Мұндай тепе-теңдік жасалған кезде эволюция мен бейімделу болуы мүмкін, бірақ тек өте бақыланатын түрде. Сондықтан мен нәрестенің нейрондық желісі жүруге немесе көруге үйреніп жатқанына сенбеймін. Ол миллиондаған жылдардағы эволюциядан алдын ала дайындалған. Оның жетілуіне біраз уақыт қажет болуы мүмкін, себебі мидағы сәйкес нейрондардың дұрыс синапстарды қалыптастыру үшін пайда болуы, өсуі және мида өз жолын табуы үшін біраз уақыт қажет болуы мүмкін.


Кейбір нәрестелер 12-15 айда жүре бастайды, сондықтан олар мұны жасай алмайды. Олар туылғаннан бастап заттарды қолдарымен де ұстай алады. Бірінші туған кезде олар әлі жоқ толық көзді бақылау, әсіресе қатты қарама-қайшы нысандардан басқа назар аудара алмайды. Егер сіз жаңа туған нәрестені бақылап отырсаңыз, олардың көздері жиі бір жерден екінші жерге қозғалады, тіпті ата-анасының беті көрініп тұрса да.

Неліктен олардың бұлшық еттерін басқара алмайтындығына келетін болсақ, олардың жағдайлары туралы ойланыңыз - олар алдыңғы 9 айды өте тар жатырда өткізді, қозғалуға әрең орын қалды және аяқтарын толық ұзартуға мүмкіндік жоқ' үшінші триместрде қайта және мөлшері өте тез өседі. Бұл олардың бұлшық еттерін басқаратын нейрондық желілері мүлде оқытылмағаны емес, олар әлі толық көлемде оқытылмаған. Көздер біршама жаттықты, өйткені жарық жатырдың ішіне еніп кетуі мүмкін, әсіресе жүктіліктің соңғы кезеңдерінде, ананың іш терісі қатты созылған кезде және оларда ештеңе болмаса да, көздерін қозғалтуға мүмкіндіктері көп. назар аудару қосулы.


Жаяу серуендеу - бұл күшті аяқтар топсамен қозғалудан гөрі көп. Бұл туралы аяқтың барлық бұлшықеттерін және дене бұлшықеттерін үйлестіру. Нәрестелерде емізу үшін барлық бұлшықет қимылдарын қалай үйлестіру керектігін айтатын бейнеқосылғылары бар, бірақ олар әлі де тамақтану үшін барлық бұлшықет қимылдарын жаттықтыруы керек (және тағы да отыруға арналған барлық дене бұлшықеттерін үйлестіруді үйрену кезінде). Көз қозғалысы әлдеқайда қарапайым.


Машиналық оқыту биологиялық тізбектердің әрекетін болжайды

Дьюк университетінің биомедициналық инженерлері инженерлік бактериялардағы күрделі айнымалылар арасындағы өзара әрекеттесулерді модельдеу үшін машиналық оқыту әдісін ойлап тапты, әйтпесе болжау өте қиын болады. Олардың алгоритмдері биологиялық жүйелердің көптеген түрлеріне жалпыланады.

Жаңа зерттеуде зерттеушілер нейрондық желіні бактериялық мәдениетке енгізілген биологиялық тізбек арқылы жасалатын дөңгелек үлгілерді болжауға үйретті. Жүйе қолданыстағы есептеу моделінен 30 000 есе жылдам жұмыс істеді.

Дәлдікті одан әрі жақсарту үшін команда жауаптарын салыстыру үшін машиналық оқыту моделін бірнеше рет қайта даярлау әдісін ойлап тапты. Содан кейін олар оны есептеуді қажет ететін екінші биологиялық жүйені шешу үшін қолданды, бұл алгоритм әртүрлі қиындықтар үшін жұмыс істей алатындығын көрсетті.

Нәтижелер журналда 25 қыркүйекте онлайнда пайда болады Табиғат коммуникациялары.

«Бұл жұмыс Google-дан шабыттанды, нейрондық желілер Go үстел ойынында адамды ұрып-соғуды үйрене алады», - деді Лингчонг Ю, Дьюктің биомедициналық инженерия профессоры.

«Ойынның қарапайым ережелері болса да, компьютердің келесі ең жақсы нұсқаны детерминистикалық түрде есептеу мүмкіндігі тым көп», - дедіңіз. «Мен мұндай тәсіл бізге қарсы тұрған биологиялық күрделіліктің кейбір аспектілерімен күресу үшін пайдалы бола ма деп ойладым».

Сізге және оның постдокторлық серіктесі Шаннинг Вангтың алдында тұрған міндет инженерлік ген тізбегінен кейін бактериялар мәдениетінде қандай параметрлердің белгілі бір үлгісін жасай алатынын анықтау болды.

Алдыңғы жұмыста Сіз зертханасы дақылдың өсу ерекшеліктеріне байланысты бір-бірімен өзара әрекеттесіп, сақиналар түзетін белоктарды өндіруге бактерияларды бағдарламалады. Өсу ортасының өлшемі және берілген қоректік заттардың мөлшері сияқты айнымалы мәндерді бақылау арқылы зерттеушілер сақинаның қалыңдығын, қанша уақыт пайда болғанын және басқа сипаттамаларды басқара алатынын анықтады.

Ондаған әлеуетті айнымалылардың кез келген санын өзгерте отырып, зерттеушілер олардың екі немесе тіпті үш сақинаның пайда болуына себеп болуы сияқты көп нәрсені жасай алатынын анықтады. Бірақ бір компьютерлік модельдеу бес минутқа созылғандықтан, белгілі бір нәтиже үшін кез келген үлкен дизайн кеңістігін іздеу мүмкін болмады.

Оларды зерттеу үшін жүйе өсу, диффузия, ақуыздың ыдырауы және жасуша қозғалысы сияқты 13 бактериялық айнымалылардан тұрды. Бір параметрге алты мәнді есептеу үшін бір компьютерге 600 жылдан астам уақыт қажет. Оны жүздеген түйіндері бар параллельді компьютерлік кластерде іске қосу бұл жұмыс уақытын бірнеше айға дейін қысқартуы мүмкін, бірақ машиналық оқыту оны сағаттарға дейін қысқартуы мүмкін.

«Біз қолданатын модель баяу, өйткені ол дәл болу үшін жеткілікті аз жылдамдықпен уақыт бойынша аралық қадамдарды ескеруі керек», - деді Сіз. "Бірақ біз әрқашан аралық қадамдарға мән бермейміз. Біз тек белгілі бір қолданбалар үшін соңғы нәтижелерді алғымыз келеді. Егер түпкілікті нәтижелерді қызықты деп тапсақ, аралық қадамдарды анықтай аламыз (қайта оралу)."

Соңғы нәтижелерге өту үшін Ванг терең нейрондық желі деп аталатын машиналық оқыту моделіне жүгінді, ол болжауды бастапқы үлгіге қарағанда жылдамырақ жасайды. Желі модель айнымалыларын кіріс ретінде қабылдайды, бастапқыда кездейсоқ салмақтар мен қиғаштықтарды тағайындайды және соңғы үлгіге апаратын аралық қадамдарды толығымен өткізіп жібере отырып, бактериялық колония қандай үлгіні құрайтыны туралы болжамды шығарады.

Бастапқы нәтиже дұрыс жауапқа жақын болмаса да, жаңа жаттығу деректері желіге жіберілген сайын салмақтар мен ауытқуларды өзгертуге болады. Жеткілікті үлкен «жаттығулар» жиынтығын ескере отырып, нейрондық желі әр уақытта дерлік дәл болжам жасауды үйренеді.

Машиналық оқытуда қателесетін бірнеше жағдайларды шешу үшін Сіз және Ван өз жұмысын жылдам тексеру әдісін ойлап таптыңыз. Әрбір нейрондық желі үшін оқу үрдісінде кездейсоқтық элементі болады. Басқаша айтқанда, ол бірдей жауаптар жинағында дайындалған болса да, ол ешқашан бірдей жолмен екі рет үйренбейді.

Зерттеушілер төрт бөлек нейрондық желіні оқытты және олардың жауаптарын әрбір мысал үшін салыстырды. Олар үйретілген нейрондық желілер ұқсас болжамдар жасағанда, бұл болжамдар дұрыс жауапқа жақын екенін анықтады.

«Біз әрбір жауапты баяу стандартты есептеу үлгісімен растаудың қажеті жоқ екенін анықтадық», - деді Сіз. «Біз оның орнына «көпшіліктің даналығын» қолдандық».

Машиналық оқыту моделі оқытылып, дәлелденгеннен кейін зерттеушілер оны биологиялық тізбек туралы жаңа ашулар жасау үшін қолдануға кірісті. Нейрондық желіні үйрету үшін пайдаланылған бастапқы 100 000 деректер модельдеуінде тек біреуі үш сақинасы бар бактериялық колонияны жасады. Бірақ нейрондық желінің жылдамдығымен Сіз және Ванг тағы да көп үштіктерді тауып қана қоймай, оларды өндіруде қандай айнымалылар маңызды екенін анықтай алды.

«Нейрондық желі басқаша ашу мүмкін болмайтын айнымалылар арасындағы үлгілер мен өзара әрекеттесулерді таба алды», - деді Ванг.

Зерттеудің соңы ретінде Сіз және Ванг кездейсоқ жұмыс істейтін биологиялық жүйеде өз көзқарастарын қолданып көрді. Мұндай жүйелерді шешу ең ықтимал нәтижені табу үшін компьютерлік модельдің бірдей параметрлерді бірнеше рет қайталауын талап етеді. Бұл олардың бастапқы үлгісіне қарағанда ұзақ есептеу уақытының мүлде басқа себебі болғанымен, зерттеушілер олардың тәсілі әлі де жұмыс істейтінін анықтады, бұл оның көптеген әртүрлі күрделі биологиялық жүйелерге жалпылануға болатынын көрсетті.

Зерттеушілер енді өздерінің жаңа тәсілін күрделірек биологиялық жүйелерде қолдануға тырысуда. Оны жылдамырақ графикалық процессорлары бар компьютерлерде іске қосумен қатар, олар алгоритмді мүмкіндігінше тиімді етіп бағдарламалауға тырысады.

«Біз нейрондық желіні 100 000 деректер жиынтығымен оқыттық, бірақ бұл шамадан тыс болуы мүмкін», - деді Ванг. «Біз жұмысты тездетуге көмектесу үшін нейрондық желі нақты уақыт режимінде модельдеумен әрекеттесе алатын алгоритмді әзірлеп жатырмыз».

«Біздің бірінші мақсатымыз салыстырмалы түрде қарапайым жүйе болды», - деді Сіз. «Енді біз күрделірек биологиялық тізбектердің негізгі динамикасына терезені қамтамасыз ету үшін осы нейрондық желілерді жақсартқымыз келеді».

Бұл жұмысқа Әскери-теңіз зерттеулері кеңсесі (N00014-12-1-0631), Ұлттық денсаулық институттары (1R01-GM098642) және Дэвид пен Люсиль Пакард стипендиясы қолдау көрсетті.


Статистикаға қарсы машиналық оқыту

Машиналық оқыту мен статистика арасындағы шекара анық емес. Кейбір әдістер екі доменге де ортақ және оларды болжау мен қорытынды жасау үшін пайдалануға болады. Дегенмен, машиналық оқыту мен статистиканың әртүрлі фокустары, болжамы немесе қорытындылары бар [3]. Жалпы алғанда, классикалық статистикалық әдістер деректерді генерациялайтын жүйелер туралы болжамдарға сүйенеді. Жақсы жобаланған зерттеулерден жеткілікті деректер жиналған кезде статистика белгілі бір ықтималдық үлгісін орнату арқылы нақты қорытындылар бере алады. Машиналық оқыту тәжірибемен жақсартатын алгоритмдерді құру және қолдану мәселесімен байланысты. Көптеген машиналық оқыту әдістері бұрыннан бар деректерден үлгіні тану, жіктеу және болжау үлгілерін ала алады және деректерді генерациялайтын жүйелер туралы қатаң болжамдарға сүйенбейді, бұл оларды төменде сипатталғандай кейбір күрделі қолданбаларда тиімдірек етеді, бірақ тиімділігі азырақ. кейбір жағдайларда биологиялық маңызы бар айқын үлгілерді шығаруда [3].


Жасуша сигнализациясы желілерінде терең оқыту бір жасушалы биология үшін AI орнатады

Білімге негізделген нейрондық желілердің (KPNNs) тұжырымдамалық құрылымы. KPNN - құрылымы биологиялық білімге негізделген жасанды нейрондық желілер, осылайша биологиялық желілерде түсіндірілетін терең білім алуға мүмкіндік береді. Несие: Николай Фортелный/CeMM

Адам мәселесін шешудің негізгі аспектілеріне еліктейтін компьютерлік жүйелер әдетте жасанды интеллект (AI) деп аталады. Соңғы жылдары бұл салада үлкен ілгерілеушілік байқалады. Ең бастысы, терең оқыту өздігінен жүретін көліктер, стратегиялық ойындарда (Go, шахмат), компьютерлік ойындарда және покерде ең жақсы ойыншыларды жеңетін компьютерлер және диагностикалық медицинадағы алғашқы қолданбалар сияқты салаларда жаңашыл прогреске мүмкіндік берді. Терең оқыту жасанды нейрондық желілерге негізделген – математикалық функциялар желілері, олар берілген мәселені оның шешіміне сипаттайтын деректерді дәл картаға түсіргенге дейін итеративті түрде қайта ұйымдастырылады.

Биологияда терең білім геном деректерінен (мысалы, ген экспрессиясы профильдері) фенотиптерді (яғни, жасушалардың немесе жеке тұлғалардың бақыланатын сипаттамалары) болжаудың қуатты әдісі ретінде өзін көрсетті. Терең оқыту әдетте «қара жәшік» әдісі болып табылады: нейрондық желілер жеткілікті оқу деректерімен қамтамасыз етілгенде өте күшті болжаушылар болып табылады. Мысалы, олар геннің экспрессиялық профильдерінен жасуша түрін және ДНҚ тізбегі деректерінен белок құрылымдарын болжау үшін пайдаланылды. Бірақ стандартты нейрондық желілер кіріс пен шығыстың үйренген қатынасын адамға түсінікті түрде түсіндіре алмайды. Осы себепті, терең оқыту осы уақытқа дейін жасушалардағы молекулалық функциялар туралы механикалық түсінуімізді ілгерілетуге аз үлес қосты.

Түсіндірмеудің бұл жетіспеушілігін жою үшін CeMM докторантурасының қызметкері Николас Фортелни және CeMM бас зерттеушісі Кристоф Бок әдеттегі терең оқытуда қолданылатын жалпы, толық қосылған жасанды нейрондық желілердің орнына терең оқытуды тікелей биологиялық желілерде орындау идеясын алға тартты. Олар сигнал беру жолдары мен гендік реттеу желілеріне негізделген «білімге негізделген нейрондық желілерді» (KPNN) құрды. KPNN-де әрбір түйін белокқа немесе генге сәйкес келеді және әрбір жиектің механикалық биологиялық түсіндірмесі бар (мысалы, А ақуызы В генінің экспрессиясын реттейді).

Әдістің егжей-тегжейлі құрылымы: Жасанды нейрондық желілер кірістерді (X) шығыстарға (Y) түрлендіреді, мысалы, гендік экспрессия деректері (X) болжау дәлдігі жоғары фенотиптерге (Y) айналдырады. KPNN биологиялық желілер туралы білімді терең оқытуға қосады, осылайша қара жәшік алгоритмі болып табылатын нәрсені түсіндіруге мүмкіндік береді. Несие: Николай Фортелный/CeMM

CeMM зерттеушілері жарияланған жаңа зерттеуінде көрсетеді Геномдық биология биологиялық желілерде терең білім алу техникалық тұрғыдан мүмкін және практикалық пайдалы. Терең оқыту алгоритмін биологиялық желіде кодталған гендік реттеу процестеріне жақын тұруға мәжбүрлей отырып, KPNNs терең оқытудың күші мен күрделі биологиялық жүйелер туралы тез өсіп келе жатқан біліміміз бен түсінігіміз арасында көпір жасайды. Нәтижесінде, тәсіл жоғары болжау өнімділігін сақтай отырып, зерттелетін биологиялық жүйелерге нақты түсінік береді. Бұл қуатты жаңа әдістеме артықшылық болған кезде түйін салмағын тұрақтандыратын, түйін салмақтарының сандық интерпретациялануын жақсартатын және биологиялық желілерге тән біркелкі емес қосылымды басқаратын терең оқытуға оңтайландырылған тәсілді пайдаланады.

CeMM зерттеушілері үлкен бір жасушалы деректер жинақтарында жаңа KPNN әдісін көрсетті, соның ішінде Адам жасушасының атлас консорциумы құрған иммундық жасушаларға арналған 483 084 бір жасушалы транскриптомдардың жинағы. Бұл деректер жинағында ғалымдар сүйек кемігі мен сым қанынан алынған иммундық жасушалар арасындағы жасуша түрін анықтайтын реттеуші желілерде күтпеген әртүрлілікті тапты.

KPNN әдісі терең оқытудың болжамдық күшін және оның бірнеше жасырын қабаттардағы белсенділік деңгейлерін биологиялық желілердің функционалды түсіндірмелілігімен қорытындылау мүмкіндігін біріктіреді. KPNNs әсіресе бір ұяшықты секвенирлеу талдаулары арқылы жаппай масштабта жасалатын бір жасушалы РНҚ-сег деректері үшін пайдалы. Сонымен қатар, KPNN биология мен биомедицинаның басқа салаларына кеңінен қолданылады, онда тиісті алдыңғы білім желілер ретінде ұсынылуы мүмкін.

KPNNs арқылы алынған болжамдар мен биологиялық түсініктер денсаулық пен аурудағы жасуша сигналын және гендік реттеуді бөлуге, жаңа дәрілік мақсаттарды анықтауға және бір жасушалық реттілік деректерінен сыналатын биологиялық гипотезаларды шығаруға пайдалы болады. Жалпы алғанда, зерттеу жасанды интеллект пен терең оқытудың механикалық биологияға болашақ әсерін көрсетеді, өйткені ғылыми қоғамдастық AI нәтижелерін биологиялық тұрғыдан түсіндіруге болатынын біледі.


Сенсорларды өңдеудегі зерттеулер (1960 және 1970 жж.)

Доктор Хубель мен Визель сенсорлық өңдеу саласында жұмыс істеді. Онда олар микроэлектродты бастапқыға енгізді көру қыртысы жартылай жансыздандырылған мысықтың қозғала алмайтындай етіп, мысыққа әртүрлі бұрыштардағы сызықтың кескіндерін көрсетті.

Микро-электрод арқылы олар кейбір нейрондардың сызықтарды белгілі бір бұрыштарда бақылап, өте жылдам әрекет ететінін анықтады, ал басқа нейрондар әртүрлі бұрыштардағы сызықтарға жақсы жауап береді. Бұл нейрондардың кейбіреулері ашық және қараңғы үлгілерге басқаша жауап берді, ал басқа нейрондар белгілі бір бағытта қозғалысты анықтауға жауап берді.

Бұл жұмыс CNN тұжырымдамасы үшін өте маңызды.

Адамның миында көру қыртысы қай жерде орналасқан?

Көру қыртысы – мидың ми қыртысының көрнекі ақпаратты өңдейтін бөлігі. Көздің көру нервтері тікелей бастапқы көру кортексіне өтеді. Құрылымдық және функционалдық сипаттамаларына байланысты ол келесі суретте көрсетілгендей әртүрлі аймақтарға бөлінеді:

Көру қыртысы: Функциялар

Көрнекі ақпарат бір қыртыс аймағынан екіншісіне беріледі және әрбір қыртыс аймағы соңғысына қарағанда мамандандырылған. Арнайы өрістегі нейрондар тек нақты әрекеттерге жауап береді.

Олардың кейбіреулері өз функцияларымен келесідей:

  1. Бастапқы визуалды кортекс немесе V1 : Ол көрнекі ақпараттың кеңістіктік орнын, яғни жиектер мен сызықтардың бағдарын сақтайды. Бұл көздер түсірген сигналдарды бірінші болып қабылдайды.
  2. Қосымша көрнекі кортекс немесе V2 : Ол V1-ден күшті алға жіберу қосылымдарын алады және V3, V4 және V5-ке күшті қосылымдарды жібереді. Ол сондай-ақ V1-ге күшті кері байланыс желісін жібереді. Оның қызметі – объектінің кеңістіктік жиілігін, өлшемін, түсін және пішінін жинау.
  3. Үшінші көрнекі кортекс немесе V3 : Ол V2 кірістерін қабылдайды. Ол жаһандық қозғалысты өңдеуге көмектеседі және толық көрнекі көрініс береді.
  4. V4 : Ол сондай-ақ V2 кірістерін қабылдайды. Ол қарапайым геометриялық фигураларды таниды, сонымен қатар затты тануды қалыптастырады. Ол адам беттері сияқты күрделі нысандар үшін реттелмеген.
  5. Орташа уақытша (MT) көру аймағы немесе V5 : Ол қозғалатын көрнекі нысанның жылдамдығы мен бағытын, яғни қозғалысты қабылдауды анықтау үшін қолданылады. Ол сондай-ақ күрделі визуалды мүмкіндіктердің қозғалысын анықтайды. Ол V1-ден тікелей қосылымдарды алады.
  6. Dorsomedial (DM) Area немесе V6 : кең өрісті және өздігінен қозғалысты ынталандыруды анықтау үшін қолданылады. V5 сияқты ол V1-ден тікелей қосылымдарды алады. Ол визуалды контурлардың бағдарын таңдаудың өте айқын таңдауына ие.

CNN картасына түсіру

Жоғарыдағы көрнекі кортекс CNN қабаттары ретінде әрекет етеді. Шеттерді анықтау, бетті анықтау, дисперсияны анықтау (мысалы, бұрылған бетті анықтау, үлкен немесе кіші бетті анықтау) сияқты сценарийлерді алайық.

Жиекті анықтау: Sobel ядросының көмегімен кескінде конволюция операциясын қолдану арқылы біз жиектерді анықтай аламыз. Келесі суретке қараңыз:

Максималды біріктіру : Ол алдыңғы қабаттағы нейрондардың әрбір кластерінің шығысына негізделген кескінде объектілердің қай жерде орналасқанын анықтау үшін қолданылады. Бет қай жерде болса да анықталатындықтан, ол кескіндегі беттің орналасуына байланысты емес.

ReLU (Түзетілген сызықтық бірлік): Адам миы оқуды ешқашан тоқтатпайтындықтан, ол (ми) әрқашан бақылаулар мен тәжірибелерден үйренеді, яғни сенсорлық органдардан алған кірістер белгілі бір уақытта пайдаланылады, бірақ оқу ешқашан «нөлге» айналмайды. Бұл мүмкіндікті нейрондық желілерге қосу үшін ReLU қолданылады. Іске қосу функциясы: f(x) = max(0,x). Кез келген белсендіру функциясы үшін біз сол функцияның туындысын алуымыз керек және ReLU арқылы біз мұны істей аламыз. Бірақ нөлдік туынды ReLU үшін анықталмаған. Нөлге байланысты бізде өлі белсендіру күйі мәселесі болуы мүмкін. Бұл салмақтың өзгеруі болмайтынын білдіреді, яғни оқу болмайды. Бірақ адамдарда бұл жиі бола бермейді. Бұл мәселені шешу үшін Leaky ReLU тұжырымдамасы қолданылады.

Leaky ReLU: Функция: f(x) = if (x > 0) болса, x else 0,01*x. Осы арқылы біз өлі мемлекеттер мәселесінен аулақ боламыз. Бұл желі үйренуді жалғастыра алады, бірақ ол жоғалып кету градиентінің проблемасына тап болуы мүмкін.

Деректерді көбейту: Біз адамдар бетті төңкерілген, бұрылған, аударылған, шағылысқан немесе қиғаш болса да тани аламыз. Data Augmentation техникасын қолдана отырып, біз бір кескінді әртүрлі кескін түрлеріне түрлендіре аламыз және жаңадан пайда болған кескіндерді CNN оқыту үшін пайдалана аламыз. Осыдан кейін CNN бұрылған беттер, үлкен және кіші беттер, аударылған беттер және т.б. сияқты өзгермелі деректерге негізделген деректерді анықтай алады (яғни, нысандар бастапқы орнында болмаса да танылады).

Оқудан шығып қалғандар : Біздің миымызда орналасқан барлық нейрондар бірдеңе үйрену үшін оттай ма? Жауап мынада ЖОҚ’’. Олардың сызықты түрде немесе кері таралуда атуы міндетті емес. Кейбір нейрондар оқытудың бір кезеңінде белсенді емес күйінде қалуы мүмкін және оқытудың басқа кезеңінде белсенді болуы мүмкін немесе керісінше. Бұл нейрондарға өз бетінше білім алу мүмкіндігін береді. Бұл желілерде болуы үшін оқуды тастап кету түсінігі енгізілген. p ықтималдығы бар тастауды қолданғаннан кейін кездейсоқ таңдалған жеке түйіндер/нейрондар оқу процесі үшін сол дәуірден шығарылады және сәйкес кіріс және шығыс жиектер де алынып тасталады. Бұл желідегі шамадан тыс орнатуды болдырмау үшін жиі қолданылады.

Қалдық желі (ResNet): Көріп отырғанымыздай, V5 және V6 V1-ден тікелей қосылымдарды қалдық желі жұмыс істейтіндей қабылдайды. Ол қосылымдарды өткізіп жібереді және/немесе қабаттардың үстінен секіреді. Бұл жоғалып бара жатқан градиент мәселесін болдырмау үшін жасалады.


Биологияны тереңдетіп оқыту

Сара Уэбб - Теннесси штатының Чаттануга қаласындағы штаттан тыс жазушы.

Сондай-ақ бұл авторды PubMed Google Scholar қолданбасында іздеуге болады

Мидың нейрондық желісі жасанды интеллект зерттеушілерін ұзақ уақыт шабыттандырды. Несие: Альфред Пасиека/SPL/Getty

Төрт жыл бұрын Google ғалымдары нейробиолог Стив Финкбейнердің есігіне келді. Зерттеушілер Google Accelerated Science, Маунтин-Вьюдегі (Калифорния) зерттеу бөлімшесіне негізделген, ол ғылыми жаңалықтарды жылдамдату үшін Google технологияларын пайдалануды мақсат етеді. Олар Калифорниядағы Сан-Францискодағы Гладстоун неврологиялық аурулар институтында Финкбейнер тобы жасаған кескін деректерінің тауларына «терең оқыту» тәсілдерін қолдануға қызығушылық танытты.

Терең оқыту алгоритмдері суреттер немесе геномдар жинағы сияқты өте үлкен, аннотацияланған деректер жинағынан өңделмеген мүмкіндіктерді алады және оларды ішіне көмілген үлгілерге негізделген болжау құралын жасау үшін пайдаланады. Үйретілгеннен кейін алгоритмдер бұл жаттығуды кейде әртүрлі көздерден алынған басқа деректерді талдау үшін қолдана алады.

Финкбейнер бұл әдісті «шынымен қиын, қатал, күрделі мәселелерді шешу және деректердегі құрылымды - адам миы түсіну үшін тым үлкен және тым күрделі деректер көлемін көру үшін қолдануға болады» дейді.

Ол және оның командасы ми жасушаларын зерттеу үшін әзірлеген роботтық микроскопия деп аталатын жоғары өнімді бейнелеу стратегиясын қолдана отырып, деректер жиынтығын жасайды. Бірақ команда өз деректерін оларды алған жылдамдықта талдай алмады, сондықтан Финкбейнер бірлесіп жұмыс істеу мүмкіндігін құптады.

«Мен сол кезде терең білім беру арқылы қандай сұрақтарды шешуге болатынын нақты түсіндім деп айта алмаймын, бірақ біз деректерді талдауға болатын жылдамдықтан шамамен екі-үш есе жылдамдықпен жасайтынымызды білдім», - дейді ол. .

Бүгінде сол талпыныстар өз жемісін бере бастады. Финкбейнердің тобы Google ғалымдарымен бірге екі ұяшық жиынтығы бар терең алгоритмді оқытты, олардың бірі ғалымдар әдетте көре алмайтын мүмкіндіктерді бөлектеу үшін жасанды түрде таңбаланған, екіншісі таңбаланбаған. Кейінірек олар алгоритмді бұрын-соңды көрмеген таңбаланбаған ұяшықтардың кескіндерімен таныстырған кезде, Финкбейнер «бұл кескіндер үшін белгілердің қандай болуы керектігін болжауда таңқаларлық жақсы болды» дейді. Бұл жұмыс туралы егжей-тегжейлі басылым қазір баспасөзде.

Финкбейнердің жетістігі жасанды интеллекттің (AI) ең перспективалы салаларының бірі болып табылатын терең білімнің биологияда қаншалықты қарқынды дамып жатқанын көрсетеді. Алгоритмдер қазірдің өзінде смартфондарда, смарт динамиктерде және өздігінен жүретін көліктерде заманауи өмірге еніп жатыр. Биологияда терең оқыту алгоритмдері деректерге адамдар жасай алмайтын жолмен еніп, басқа жағдайда ұстау мүмкін болмайтын мүмкіндіктерді анықтайды. Зерттеушілер алгоритмдерді ұялы кескіндерді жіктеу, геномдық байланыстар жасау, дәрі-дәрмектің ашылуын ілгерілету және тіпті геномика мен бейнелеуден бастап электронды медициналық жазбаларға дейін әртүрлі деректер түрлері бойынша сілтемелерді табу үшін қолданады.

bioRxiv алдын ала басып шығару серверіндегі 440-тан астам мақала терең үйренуді талқылайды. PubMed 2017 жылы 700-ден астам сілтемелерді тізімдейді. Ал құралдар биологтар мен клиникалық зерттеушілерге кеңінен қолжетімді болу алдында тұр. Бірақ зерттеушілер бұл алгоритмдердің не істеп жатқанын түсінуде және олардың пайдаланушыларды адастырмауын қамтамасыз етуде қиындықтарға тап болады.

Ақылды алгоритмдерді үйрету

Терең оқыту алгоритмдері («Терең ойлар» бөлімін қараңыз) нейрондық желілерге сүйенеді, 1940 жылдары алғаш рет ұсынылған есептеу моделі, нейрон тәрізді түйіндердің қабаттары адам миы ақпаратты қалай талдайтынын ұқсатады. Филадельфиядағы Пенсильвания университетінің есептеуші биологы Кейси Грин, шамамен бес жыл бұрын нейрондық желілерге негізделген машиналық оқыту алгоритмдері зерттеушілерге бастапқы ақпаратты есептеу модельдеріне бермес бұрын маңыздырақ пішінге өңдеуге сүйенді. Бірақ смартфонның суреттері немесе кең ауқымды геномдық реттілік сияқты көздерден алынған деректер жиынының өлшеміндегі жарылыс және алгоритмдік инновациялар енді адамдарға кері қадам жасауға мүмкіндік берді. Машиналық оқытудағы бұл ілгерілеу – «терең» бөлік — олардың адамдық бағдарламашыларын емес, компьютерлерді пикселдер мен негіздерге енгізілген мағыналы қатынастарды табуға мәжбүр етеді. Нейрондық желідегі қабаттар ақпаратты сүзеді және сұрыптайды, олар бір-бірімен байланысады, бұл әрбір қабатқа алдыңғысынан шыққан нәтижені нақтылауға мүмкіндік береді.

Дереккөз: Джереми Линсли/Дрю Линсли/Стив Финкбейнер/Томас Серре

Сайып келгенде, бұл процесс үйретілген алгоритмге жаңа кескінді талдауға және оны, мысалы, Чарльз Дарвин немесе ауру жасуша ретінде дұрыс анықтауға мүмкіндік береді. Бірақ зерттеушілер алгоритмдерден алыстағандықтан, олар енді жіктеу процесін басқара алмайды, тіпті бағдарламалық жасақтама не істеп жатқанын нақты түсіндіре алмайды. Бұл терең білім беру желілері болжам жасауда таңқаларлық дәл болуы мүмкін болса да, Финкбейнер: «Кейде желі оған осындай жақсы болжам жасауға мүмкіндік беретін не көретінін анықтау әлі де қиынға соғады» дейді.

Дегенмен, биологияның көптеген ішкі пәндері, соның ішінде бейнелеу, сол болжамдардың жемісін алуда. Он жыл бұрын автоматтандырылған биологиялық кескінді талдауға арналған бағдарламалық қамтамасыз ету кескіндер жинағындағы жалғыз параметрлерді өлшеуге бағытталған. Мысалы, 2005 жылы Массачусетс штатындағы Кембридждегі Массачусетс штатындағы Массачусетс штатындағы MIT және Гарвард кең институтының есептеу биологы Энн Карпентер биологтарға жеке ерекшеліктерді сандық өлшеуге көмектесу үшін CellProfiler деп аталатын ашық бастапқы бағдарламалық жасақтаманы шығарды: флуоресцентті жасушалардың санын микроскопиялық өріс, мысалы, немесе зебра балығының ұзындығы.

Бірақ терең білім оның командасына әрі қарай жүруге мүмкіндік береді. «Біз биологтар суреттер арқылы өлшегісі келетінін түсінбейтін нәрселерді өлшеуге көштік», - дейді ол. ДНҚ бояуы, органелла құрылымы және жасушадағы бос кеңістіктердің сапасы сияқты көрнекі мүмкіндіктерді жазу және біріктіру мыңдаған «мүмкіндіктерді» жасай алады, олардың кез келгені жаңа түсініктерді аша алады. CellProfiler бағдарламасының ағымдағы нұсқасы кейбір тереңдетіп оқыту элементтерін қамтиды және оның командасы келесі жылы күрделірек терең оқыту құралдарын қосады деп күтеді.

Карпентер: «Көптеген адамдар мұнымен бастарын орап алу қиынға соғады, - дейді Карпентер, - бірақ жасуша популяциясының транскриптомиялық талдауындағы сияқты жасушалардың бір кескінінде де көп ақпарат бар».

Өңдеудің бұл түрі Карпентердің командасына жасуша кескіндерін аурумен байланысты фенотиптерге аударуға және оны капиталдандыруға аз бақыланатын тәсілді қолдануға мүмкіндік береді. Карпентер - Солт-Лейк-Ситидегі (Юта штаты) Recursion Pharmaceuticals компаниясының ғылыми кеңесшісі, ол дәрі-дәрмектің дамуы үшін сирек кездесетін, бір генді бұзылуларға бағытталған терең оқыту құралдарын пайдаланады.

Терең оқуға келетін болсақ, кез келген деректер ғана емес. Әдіс көбінесе ауқымды, жақсы аннотацияланған деректер жиынын қажет етеді. Бейнелеу деректері табиғи сәйкестікті қамтамасыз етеді, бірақ геномдық деректерді де жасайды.

Мұндай деректерді пайдаланатын биотехнологиялық фирмалардың бірі - Сан-Францискодағы Verily Life Sciences (бұрынғы Google Life Sciences). Google-дың бас компаниясы Alphabet-тің еншілес кәсіпорны Verily зерттеушілері мен Google бір нуклеотидті полиморфизм деп аталатын генетикалық вариацияның жалпы түрін кәдімгі құралдарға қарағанда дәлірек анықтайтын терең оқыту құралын әзірледі. DeepVariant деп аталатын бағдарламалық құрал геномдық ақпаратты кескінге ұқсас көріністерге аударады, содан кейін олар кескіндер ретінде талданады («Терең сүңгуге арналған құралдар» бөлімін қараңыз). Google-де терең оқытуға негізделген геномдық зерттеулерді басқаратын Марк ДеПристо DeepVariant әсіресе негізгі ағымнан тыс организмдерді зерттейтін зерттеушілер үшін пайдалы болады деп күтеді - төмен сапалы анықтамалық геномдары және генетикалық нұсқаларды анықтауда қателіктердің жоғары деңгейі. Өсімдіктерде DeepVariant-пен жұмыс істей отырып, оның әріптесі Райан Поплин басқа тәсілдердің әдеттегі 20%-ына қарағанда 2%-ға жақын қателік деңгейіне қол жеткізді.

Терең сүңгуге арналған құралдар

Терең оқыту құралдары тез дамып келеді және олардың артықшылықтарын пайдалану үшін зертханаларға арнайы есептеу тәжірибесі, ынтымақтастық немесе екеуі де қажет болады.

Біріншіден, түскі асқа терең білім беру тәжірибесі бар әріптесіңізді алып, стратегияның пайдалы болуы мүмкін екенін сұраңыз, деп кеңес береді Стив Финкбейнер, Сан-Францискодағы Гладстоун институттарының нейрологы, Калифорния. Бейнелеу деректері сияқты кейбір деректер жиынтығымен дайын бағдарлама күрделі жобалар үшін жұмыс істей алады, серіктесті қарастырыңыз, дейді ол. Семинарлар мен кездесулер оқыту мүмкіндіктерін қамтамасыз ете алады.

Бұлтты есептеу ресурстарына қол жеткізу зерттеушілерге терең оқытуды пайдалану үшін сайттағы компьютерлік кластерді қажет етпеуі мүмкін екенін білдіреді - олар есептеуді басқа жерде іске қоса алады. Google компаниясының TensorFlow, терең оқыту алгоритмдерін құруға арналған ашық бастапқы платформасы, бағдарламалық жасақтаманы бөлісу GitHub сайтында қол жетімді, сонымен қатар генетикалық вариацияны дәл анықтауға арналған құрал DeepVariant-тың ашық бастапқы нұсқасы.

Google Accelerated Science, a Google research division based in Mountain View, California, collaborates with a range of scientists, including biologists, says Michelle Dimon, one of its research scientists. Projects require a compelling biological question, large amounts of high-quality, labelled data, and a challenge that will allow the company’s machine-learning experts to make unique computational contributions to the field, Dimon says.

Those wishing to get up to speed on deep learning should check out the ‘deep review’, a comprehensive, crowdsourced review led by computational biologist Casey Greene of the University of Pennsylvania in Philadelphia (T. Ching т.б. Preprint at bioRxiv http://doi.org/gbpvh5 2018).

Brendan Frey, chief executive of the Canadian company Deep Genomics in Toronto, also focuses on genomic data, but with the goal of predicting and treating disease. Frey’s academic team at the University of Toronto developed algorithms trained on genomic and transcriptomic data from healthy cells. Those algorithms built predictive models of RNA-processing events such as splicing, transcription and polyadenylation within those data. When applied to clinical data, the algorithms were able to identify mutations and flag them as pathogenic, Frey says, even though they’d never seen clinical data. At Deep Genomics, Frey’s team is using the same tools to identify and target the disease mechanisms that the software uncovered, to develop therapies derived from short nucleic-acid sequences.

Another discipline with massive data sets that are amenable to deep learning is drug discovery. Here, deep-learning algorithms are helping to solve categorization challenges, sifting through such molecular features as shape and hydrogen bonding to identify criteria on which to rank those potential drugs. For instance, Atomwise, a biotech company based in San Francisco, has developed algorithms that convert molecules into grids of 3D pixels, called voxels. This representation allows the company to account for the 3D structure of proteins and small molecules with atomic precision, modelling features such as the geometries of carbon atoms. Those features are then translated into mathematical vectors that the algorithm can use to predict which small molecules are likely to interact with a given protein, says Abraham Heifets, the company’s chief executive. “A lot of the work we do is for [protein] targets with no known binders,” he says.

Atomwise is using this strategy to power its new AI-driven molecular-screening programme, which scans a library of 10 million compounds to provide academic researchers with up to 72 potential small-molecule binders for their protein of interest.

Deep-learning tools could also help researchers to stratify disease types, understand disease subpopulations, find new treatments and match them with the appropriate patients for clinical testing and treatment. Finkbeiner, for instance, is part of a consortium called Answer ALS, an effort to combine a range of data — genomics, transcriptomics, epigenomics, proteomics, imaging and even pluripotent stem-cell biology — from 1,000 people with the neurodegenerative disease amyotrophic lateral sclerosis (also called motor neuron disease). “For the first time, we’ll have a data set where we can apply deep learning and look at whether deep learning can uncover a relationship between the things we can measure in a dish around a cell, and what’s happening to that patient,” he says.

Challenges and cautions

For all its promise, deep learning poses significant challenges, researchers warn. As with any computational-biology technique, the results that arise from algorithms are only as good as the data that go in. Overfitting a model to its training data is also a concern. In addition, for deep learning, the criteria for data quantity and quality are often more rigorous than some experimental biologists might expect.

Deep-learning algorithms have required extremely large data sets that are well annotated so that the algorithms can learn to distinguish features and categorize patterns. Larger, clearly labelled data sets — with millions of data points representing different experimental and physiological conditions — give researchers the most flexibility for training an algorithm. Finkbeiner notes that algorithm training in his work improves significantly after about 15,000 examples. Those high-quality ‘ground truth’ data can be exceptionally hard to come by, says Carpenter.

To circumvent this challenge, researchers have been working on ways to train more with less data. Advances in the underlying algorithms are allowing the neural networks to use data much more efficiently, Carpenter says, enabling training on just a handful of images for some applications. Scientists can also exploit transfer learning, the ability of neural networks to apply classification prowess acquired from one data type to another type. For example, Finkbeiner’s team has developed an algorithm that it initially taught to predict cell death on the basis of morphology changes. Although the researchers trained it to study images of rodent cells, it achieved 90% accuracy the first time it was exposed to images of human cells, improving to 99% as it gained experience.

For some of its biological image-recognition work, Google Accelerated Science uses algorithms that were initially trained on hundreds of millions of consumer images mined from the Internet. Researchers then refine that training, using as few as several hundred biological images similar to the ones they wish to study.

Another challenge with deep learning is that the computers are both unintelligent and lazy, notes Michelle Dimon, a research scientist at Google Accelerated Science. They lack the judgement to distinguish biologically relevant differences from normal variation. “The computer is shockingly good at finding batch variation,” she notes. As a result, obtaining data that will be fed into a deep-learning algorithm often means applying a high bar for experimental design and controls. Google Accelerated Science requires researchers to place controls randomly on cell-culture plates to account for subtle environmental factors such as incubator temperature, and to use twice as many controls as a biologist might otherwise run. “We make it hard to pipette,” Dimon quips.

This hazard underscores the importance of biologists and computer scientists working together to design experiments that incorporate deep learning, Dimon says. And that careful design has become even more important with one of Google’s latest projects: Contour, a strategy for clustering cellular-imaging data in ways that highlight trends (such as dose responses) instead of putting them into specific categories (such as alive or dead).

Although deep-learning algorithms can evaluate data without human preconceptions and filters, Greene cautions, that doesn’t mean they are unbiased. Training data can be skewed — as happens, for example, when genomic data only from northern Europeans are used. Deep-learning algorithms trained on such data will acquire embedded biases and reflect them in their predictions, which could in turn lead to unequal patient care. If humans help to validate these predictions, that provides a potential check on the problem. But such concerns are troubling if a computer alone is left to make key decisions. “Thinking of these methods as a way to augment humans is better than thinking of these methods as replacing humans,” Greene says.

And then there’s the challenge of understanding exactly how these algorithms are building the characteristics, or features, that they use to classify data in the first place. Computer scientists are attacking this question by changing or shuffling individual features in a model and then examining how those tweaks change the accuracy of predictions, says Polina Mamoshina, a research scientist at Insilico Medicine in Baltimore, Maryland, which uses deep learning to improve drug discovery. But different neural networks working on the same problem won’t approach it in the same way, Greene cautions. Researchers are increasingly focusing on algorithms that make both accurate and explainable predictions, he says, but for now the systems remain black boxes.

“I don’t think highly explainable deep-learning models are going to come on the scene in 2018, though I’d love to be wrong,” Greene says.

Табиғат 554, 555-557 (2018)

Updates & Corrections

Correction 07 March 2018: An earlier version of this story affiliated Mark DePristo with Verily Life Sciences. It also omitted to mention that the DeepVariant tool was developed jointly by Verily and Google.


The main differences

  1. Өлшем: our brain contains about 86 billion neurons and more than a 100 trillion (or according to some estimates 1000 trillion) synapses (connections). The number of “neurons” in artificial networks is much less than that (usually in the ballpark of 10–1000) but comparing their numbers this way is misleading. Perceptrons just take inputs on their “dendrites” and generate output on their “axon branches”. A single layer perceptron network consists of several perceptrons that are not interconnected: they all just perform this very same task at once. Deep Neural Networks usually consist of input neurons (as many as the number of features in the data), output neurons (as many as the number of classes if they are built to solve a classification problem) and neurons in the hidden layers, in-between. All the layers are usually (but not necessarily) fully connected to the next layer, meaning that artificial neurons usually have as many connections as there are artificial neurons in the preceding and following layers combined. Convolutional Neural Networks also use different techniques to extract features from the data that are more sophisticated than what a few interconnected neurons can do alone. Manual feature extraction (altering data in a way that it can be fed to machine learning algorithms) requires human brain power which is also not taken into account when summing up the number of “neurons” required for Deep Learning tasks. The limitation in size isn’t just computational: simply increasing the number of layers and artificial neurons does not always yield better results in machine learning tasks.
  2. Topology: all artificial layers compute one by one, instead of being part of a network that has nodes computing asynchronously. Feedforward networks compute the state of one layer of artificial neurons and their weights, then use the results to compute the following layer the same way. During backpropagation, the algorithm computes some change in the weights the opposing way, to reduce the difference of the feedforward computational results in the output layer from the expected values of the output layer. Layers aren’t connected to non-neighboring layers, but it’s possible to somewhat mimic loops with recurrent and LSTM networks. In biological networks, neurons can fire asynchronously in parallel, have small-world nature with a small portion of highly connected neurons (hubs) and a large amount of lesser connected ones (the degree distribution at least partly follows the power-law). Since artificial neuron layers are usually fully connected, this small-world nature of biological neurons can only be simulated by introducing weights that are 0 to mimic the lack of connections between two neurons.
  3. Жылдамдық: certain biological neurons can fire around 200 times a second on average. Signals travel at different speeds depending on the type of the nerve impulse, ranging from 0.61 m/s up to 119 m/s. Signal travel speeds also vary from person to person depending on their sex, age, height, temperature, medical condition, lack of sleep etc. Action potential frequency carries information for biological neuron networks: information is carried by the firing frequency or the firing mode (tonic or burst-firing) of the output neuron and by the amplitude of the incoming signal in the input neuron in biological systems. Information in artificial neurons is instead carried over by the continuous, floating point number values of synaptic weights. How quickly feedforward or backpropagation algorithms are calculated carries no information, other than making the execution and training of the model faster. There are no refractory periods for artificial neural networks (periods while it is impossible to send another action potential, due to the sodium channels being lock shut) and artificial neurons do not experience “fatigue”: they are functions that can be calculated as many times and as fast as the computer architecture would allow. Since artificial neural network models can be understood as just a bunch of matrix operations and finding derivatives, running such calculations can be highly optimized for vector processors (doing the very same calculations on large amounts of data points over and over again) and sped up by magnitudes using GPUs or dedicated hardware (like on AI chips in recent SmartPhones).
  4. Fault-tolerance: biological neuron networks due to their topology are also fault-tolerant. Information is stored redundantly so minor failures will not result in memory loss. They don’t have one “central” part. The brain can also recover and heal to an extent. Artificial neural networks are not modeled for fault tolerance or self regeneration (similarly to fatigue, these ideas are not applicable to matrix operations), though recovery is possible by saving the current state (weight values) of the model and continuing the training from that save state. Dropouts can turn on and off random neurons in a layer during training, mimicking unavailable paths for signals and forcing some redundancy (dropouts are actually used to reduce the chance of overfitting). Trained models can be exported and used on different devices that support the framework, meaning that the same artificial neural network model will yield the same outputs for the same input data on every device it runs on. Training artificial neural networks for longer periods of time will not affect the efficiency of the artificial neurons. Дегенмен, the hardware used for training can wear out really fast if used regularly, and will need to be replaced. Another difference is, that all processes (states and values) can be closely monitored inside an artificial neural network.
  5. Қуатты тұтыну: the brain consumes about 20% of all the human body’s energy — despite it’s large cut, an adult brain operates on about 20 watts (barely enough to dimly light a bulb) being extremely efficient. Taking into account how humans can still operate for a while, when only given some c-vitamin rich lemon juice and beef tallow, this is quite remarkable. For benchmark: a single Nvidia GeForce Titan X GPU runs on 250 watts alone, and requires a power supply instead of beef tallow. Our machines are way less efficient than biological systems. Computers also generate a lot of heat when used, with consumer GPUs operating safely between 50–80 degrees Celsius instead of 36.5–37.5 °C.
  6. Signals: an action potential is either triggered or not — biological synapses either carry a signal or they don’t. Perceptrons work somewhat similarly, by accepting binary inputs, applying weights to them and generating binary outputs depending on whether the sum of these weighted inputs have reached a certain threshold (also called a step function). Artificial neurons accept continuous values as inputs and apply a simple non-linear, easily differentiable function (an activation function) on the sum of its weighted inputs to restrict the outputs’ range of values. The activation functions are nonlinear so multiple layers in theory could approximate any function. Formerly sigmoid and hyperbolic tangent functions were used as activation functions, but these networks suffered from the vanishing gradient problem, meaning that the more the layers in a network, the less the changes in the first layers will affect the output, due to these functions squashing their inputs into a very small output range. These problems were overcome by the introduction of different activation functions such as ReLU. The final outputs of these networks are usually also squashed between 0 — 1 (representing probabilities for classification tasks) instead of outputting binary signals. As mentioned earlier, neither the frequency/speed of the signals nor the firing rates carry any information for artificial neural networks (this information is carried over by the input weights instead). The timing of the signals is synchronous, where artificial neurons in the same layer receive their input signals and then send their output signals all at once. Loops and time deltas can only be partly simulated with Recurrent (RNN) layers (that suffer greatly from the aforementioned vanishing gradient problem) or with Long short-term memory (LSTM) layers that act more like state machines or latch circuits than neurons. These are all considerable differences between biological and artificial neurons.
  7. Learning: we still do not understand how brains learn, or how redundant connections store and recall information. Brain fibers grow and reach out to connect to other neurons, neuroplasticity allows new connections to be created or areas to move and change function, and synapses may strengthen or weaken based on their importance. Neurons that fire together, wire together (although this is a very simplified theory and should not taken too literally). By learning, we are building on information that is already stored in the brain. Our knowledge deepens by repetition and during sleep, and tasks that once required a focus can be executed automatically once mastered. Artificial neural networks in the other hand, have a predefined model, where no further neurons or connections can be added or removed. Only the weights of the connections (and biases representing thresholds) can change during training. The networks start with random weight values and will slowly try to reach a point where further changes in the weights would no longer improve performance. Just like there are many solutions for the same problems in real life, there is no guarantee that the weights of the network will be the best possible arrangement of weights to a problem — they will only represent one of the infinite approximations to infinite solutions. Learning can be understood as the process of finding optimal weights to minimize the differences between the network’s expected and generated output: changing weights one way would increase this error, changing them the other way would decrees it. Imagine a foggy mountain top, where all we could tell is that stepping towards a certain direction would take us downhill. By repeating this process, we would eventually reach a valley where taking any step further would only take us higher. Once this valley is found we can say that we have reached a local minima. Note that it’s possible that there are other, better valleys that are even lower from the mountain top (global minima) that we have missed, since we could not see them. Doing this in usually more than 3 dimensions is called gradient descent. To speed up this “learning process”, instead of going through each and every example every time, random samples (batches) are taken from the data set and used for training iterations. This will only give an approximation of how to adjust the weights to reach a local minima (finding which direction to take downhill without carefully looking at all directions all the time), but it’s still a pretty good approximation. We can also take larger steps when ascending the top and take smaller ones as we are reaching a valley where even small nudges could take us the wrong way. Walking like this downhill, going faster than carefully planning each and every step is called stochastic gradient descent. So the rate of how artificial neural networks learn can change over time (it decreases to ensure better performance), but there aren’t any periods similar to human sleep phases when the networks would learn better. There is no neural fatigue either, although GPUs overheating during training can reduce performance. Once trained, an artificial neural network’s weights can be exported and used to solve problem similar to the ones found in the training set. Training (backpropagation using an optimization method like stochastic gradient descent, over many layers and examples) is extremely expensive, but using a trained network (simply doing feedforward calculation) is ridiculously cheap. Unlike the brain, artificial neural networks don’t learn by recalling information — they only learn during training, but will always “recall” the same, learned answers afterwards, without making a mistake. The great thing about this is that “recalling” can be done on much weaker hardware as many times as we want to. It is also possible to use previously pretrained models (to save time and resources by not having to start from a totally random set of weights) and improve them by training with additional examples that have the same input features. This is somewhat similar to how it’s easier for the brain to learn certain things (like faces), by having dedicated areas for processing certain kinds of information.

So artificial and biological neurons do differ in more ways than the materials of their environment— biological neurons have only provided an inspiration to their artificial counterparts, but they are in no way direct copies with similar potential. If someone calls another human being smart or intelligent, we automatically assume that they are also capable of handling a large variety of problems, and are probably polite, kind and diligent as well. Calling a software intelligent only means that it is able to find an optimal solution to a set of problems.


Is artificial intelligence today where brain research was 100 years ago?

Babies are not born with randomly connected brains and turned on to learn. And yet, 100 years ago, neurobiologists were not so sure. In fact, most of them rather liked the idea, because they disliked the alternative: the development of intelligent brains without learning—as if embryo development could determine who you are. 100 years ago, neurobiologists had only recently discovered the existence of vast nerve fiber networks in the brain. But where could the information come from that rendered these networks ‘intelligent’? There could be but one answer: learning. It seemed much easier to envision the development of a randomly connected network that becomes smart through learning than a well-connected network that had grown smart during development. The underlying debate about the genetic basis of intelligence has lost none of its vigor to this day.

Curiously, today’s AI researchers are in agreement with those early pioneers of neurobiology: even the most advanced deep neural networks are based on the principle of an initially randomly connected network that is turned on to learn. Meanwhile, 100 years of research on the development and genetic encoding of biological neural networks have left a mark. Enormous (and enormously expensive) research efforts are underway to map ‘connectomes’ in brains to provide maps of genetically encoded connectivity. If connectomes were simply randomly connected, these efforts would be done in a day. But they are not. Neural circuits in biological brains are a fundamental basis to understand brain function, including the ability to learn.

The effort to map connectomes is reminiscent of similar efforts to map genomes 20 years ago. Back then, some people asked: Well, once we know the entire genome, aren’t we done? But as it became clear very quickly, we were at a beginning then, not the end. The genome does not contain information that describes neural networks, the genome only contains information to grow neural network. Scientists are grappling with this difference to this day.

Why is growth so important? Genes allow to grow brains, but we cannot read the connectome in the genome. In fact, there is much less information to read in the genome than there is in a connectome. It is easy to fully describe a genome compared to the attempt to fully describe a brain. Where is the missing information coming from? Growth is an energy- and time-dependent process. More energy and time during brain development allow for more information in brain wiring. The Monarch butterfly has a tiny brain, but it allows the butterfly to navigate in space and time by computing light, gravity, wind, landscapes and the electromagnetic field of the earth. Somehow, this enables the tiny brain to compute a journey of thousands of miles to a very small region in some far away mountains that the butterfly never knew, because its last ancestor to fly this route was its great-great-grandparent. One could say: the route is in the genes. But we can’t read it there. The genes can only guide the self-assembly of the butterfly’s brain. By the end of its development this brain knows how to fly and find those mountains, before learning anything. And the tiny brain achieves much more, of course: to recognize danger and adjust behavior accordingly, to find food and mate… and think like, well, a butterfly.

The history of AI is a history of trying to avoid biological detail in trying to create something that so far only exists in biology. For decades this history was characterized by trying to avoid neural networks. Today, neural networks have become synonymous with AI. But even the most advanced AI systems are still based on neural networks that are designed, not grown, with random connection weights prior to learning. The Monarch butterfly should be surprised that we consider a face-recognition AI as really smart, but a little butterfly as apparently rather stupid.

How brains self-assemble based on genes and learning is one of the most exciting riddles in natural sciences. After all, what comes out of it can think about the riddle of itself and try to build an artificial version of itself: our brain. The question AI researchers are facing since more than 70 years is this: what simplifying shortcuts can we take? For example, artificial neural networks get away with the shortcut to simulate synaptic connection strengths, without a simulation of the millions of molecules that create synaptic properties in biology. It works, but it has consequences. The complete omission of genes and growth should at least leave us wondering: what kind of intelligence would they have been needed for? Certainly not for the today’s AI applications. But how about the intelligence of a butterfly, or that of a teenager? Every shortcut has consequences for the intelligence we get. And for some things in life, there is just no shortcut.

Peter Robin Hiesinger is professor of neurobiology at the Institute for Biology, Freie Universität Berlin.


Self-organized criticality of molecular biology and thermodynamic analysis of life system based on optimized particle swarm algorithm

In order to improve the thermodynamic analysis and prediction ability of biological self-organized criticality and life system, a prediction model of biological self-organized criticality and thermodynamic characteristics of life system based on particle swarm optimization neural network is proposed. Fuzzy regression parameter fusion model is adopted to rearrange the statistical prior data of biological self-organized criticality and thermodynamic characteristics of life system, neural network training method is adopted to extract principal component characteristics of rearranged biological self-organized criticality and thermodynamic information flow of life system, and optimized particle swarm algorithm is adopted to carry out feature selection and self-organized supervised learning on extracted principal component characteristics, thus realizing accurate prediction of biological self-organized criticality and thermodynamic characteristics of life system. The simulation results show that the prediction accuracy of biological self-organization criticality and thermodynamic characteristics of life system using this model is high, the prior sample knowledge required is relatively small, and the reliability of biological self-organization criticality characteristics analysis is guaranteed.

Түйін сөздер: Biological self-organization criticality Forecast. Life system Thermodynamics.


Талқылау

One of the goals for artificial intelligence in biology could be the creation of controllable predictive and generative models that can read and generate biology in its native language. Accordingly, research will be necessary into methods that can learn intrinsic biological properties directly from protein sequences, which can be transferred to prediction and generation.

We investigated deep learning across evolution at the scale of the largest protein sequence databases, training contextual language models across 86 billion amino acids from 250 million sequences. The space of representations learned from sequences by high-capacity networks reflects biological structure at multiple levels, including that of amino acids, proteins, and evolutionary homology. Information about secondary and tertiary structure is internalized and represented within the network. Knowledge of intrinsic biological properties emerges without supervision—no learning signal other than sequences is given during pretraining.

We find that networks that have been trained across evolutionary data generalize: information can be extracted from representations by linear projections, deep neural networks, or by adapting the model using supervision. Fine-tuning produces results that match state of the art on variant activity prediction. Predictions are made directly from the sequence, using features that have been automatically learned by the language model rather than selected by domain knowledge.

We find that pretraining discovers information that is not present in current state-of-the-art features. The learned features can be combined with features used by state-of-the-art structure prediction methods to improve results. Empirically, we find that features discovered by larger models perform better on downstream tasks. The Transformer outperforms LSTMs with similar capacity across benchmarks. Increasing diversity of the training data results in significant improvements to the representations.

While the protein language models we study are of comparable scale to those used in the text domain, our experiments have not yet reached the limit of scale. We observed that even the highest capacity models we trained (with ∼650 to 700 M parameters) under-fit the sequence datasets because of insufficient model capacity. The relationship we find between language modeling fidelity and the information about structure encoded into the representations suggests that higher capacity models will yield better representations. These findings imply potential for further model scale and data diversity, incorporating sequences from metagenomics.

Combining high-capacity generative models with gene synthesis and high throughput characterization can enable generative biology. The models we have trained can be used to generate new sequences (79). If neural networks can transfer knowledge learned from protein sequences to design functional proteins, this could be coupled with predictive models to jointly generate and optimize sequences for desired functions. The size of current sequence data and its projected growth point toward the possibility of a general purpose generative model that can condense the totality of sequence statistics, internalizing and integrating fundamental chemical and biological concepts including structure, function, activity, localization, binding, and dynamics, to generate new sequences that have not been seen before in nature but that are biologically active.


Бейнені қараңыз: Нейрондық желілер (Желтоқсан 2022).