Образование для образованных. 2020. Анатолий ЛевенчукЧитать онлайн книгу.
человеком.
Беда в том, что бакалавриат люди не заканчивают второй-третий раз, как магистратуры. То есть общие для всех проектов знания и умения, личные качества остаются на прежнем уровне, как у остановившихся в развитии зверюшек после взросления, а рост идёт только о прикладном мастерстве, технических знаниях и опыте – но на морально стареющем год от года личностном фундаменте.
Появляется ситуация, в которой знания а хоть и пятого высшего образования укладываются на фундамент бакалавриата, полученного десятки лет назад – то есть речь идёт о личных качествах и применимых повсеместно навыках, полученных двадцать или даже тридцать лет назад! Получается эдакий молодящийся старик: прикладная часть, технарство у него современное, а личность и ожидаемое им устройство командной работы – антикварные.
Предобучи, потом подстрой/pretrain then finetune
Какой-то аналог этой ситуации с общим обучением в бакалавриате и потом обучением целевому прикладному мастерству в магистратуре может быть подсмотрен в исследованиях по искусственному интеллекту. Там ведь стоит такая же задача по обучению нейронной сети самым разным прикладным умениям (о мастерстве тут говорить сложно: оно подразумевает личное отношение к делу, в отличие от знаний, навыков, умений, которые демонстрируются вне связи с личным отношением). Говорят об этом обучении ровно тем же языком, которым говорят об обучении людей. Но говорят точнее, ибо математиков в сфере AI больше, и решают задачи более трудные: компьютеры научить интеллекту труднее, чем людей. Поэтому мы активно будем делать «реэкспорт» идей из сферы AI в образование – после того как люди из AI взяли эти идеи из образования, почистили и обогатили их, мы возьмём их и опять применим к обучению людей.
Текущий тренд в работе нейронных сетей с естественным языком – это использование так называемых языковых моделей. Берётся огромная пустая нейронная сеть, и ей скармливается огромное/gargantuan число самых разных текстов на всех доступных языках (википедия там только маленькая часть). В этих текстах отражены какие-то свойства языков в целом (кормят текстами отнюдь не только одного языка), а также свойства мира (ибо все эти тексты о чём-то в мире, речь не идёт о фантастике и сказках). Нейронная сетка выучивает из всех этих текстов что-то общее про языки и мир. Это называется pretrain, предобучение. И занимает это предобучение довольно много времени и денег – одна предобученная языковая модель на середину 2020 года может обходиться в десятки миллионов долларов56. Бакалавриат для нейронных сетей весьма недёшев.
Предобучение даёт нейронной сети какие-то знания о языке и мире, но языковая модель сама по себе не может при этом решать никаких прикладных задач. Про задачи и конкретные предметные области эта сеть ничего не знает. Так что потом идёт finetune, подстройка: берётся эта безумно дорогая языковая модель и очень быстро и дёшево доучивается