Команда из Стэнфорда разработала Sophia — новый способ оптимизации предварительной подготовки больших языковых моделей, который в два раза быстрее существующих подходов. ChatGPT и другие приложения, основанные на больших языковых моделях (LLM), получают широкое распространение и привлекают большое внимание средств массовой информации. Но горстка крупных технологических компаний доминирует в пространстве LLM, потому что предварительное обучение этих моделей чрезвычайно дорого, с оценками затрат, начинающимися с 10 миллионов долларов и потенциально достигающими десятков или сотен раз больше. «Большие языковые модели не очень доступны для небольших организаций или академических групп», — говорит Хун Лю, аспирант компьютерных наук Стэнфордского университета. Чтобы изменить это, Лю и его коллеги решили улучшить существующие методы оптимизации LLM. Результат: подход под названием Sophia, который вдвое сокращает время предварительной подготовки. Детали этого подхода опубликованы на сервере препринтов arXiv . Оптимизация оптимизации Чтобы оптимизировать предварительную подготовку LLM, Лю и его коллеги, в том числе научный сотрудник Стэнфордского университета Чжиюань Ли, стэнфордский инженер-исследователь Дэвид Холл, доцент кафедры компьютерных наук Тэнью Ма и доцент Перси Лян, использовали два приема. Первый, известный как оценка кривизны , не нов, но команда из Стэнфорда нашла способ сделать его более эффективным. Чтобы понять их подход, рассмотрим заводскую сборочную линию. Чтобы работать эффективно, директору фабрики необходимо оптимизировать количество шагов, необходимых для превращения сырья в конечный продукт, а также понимать и соответствующим образом распределять рабочую нагрузку на каждом этапе производственной линии. То же самое верно и для предварительной подготовки LLM. Эти модели имеют миллионы или даже миллиарды параметров, которые Лю сравнивает с фабричными рабочими, стремящимися к одним и тем же целям. Одним из свойств этих параметров является их кривизна, которую Лю считает максимально достижимой скоростью, которую они достигают по мере продвижения к коне...
Сообщает android-robot.com
Опубликовано: 21:00, 01.08.2023
Поделиться новостью:
Топ новости часа
Топ новости часа- Военный эксперт Перенджиев возмущен тем, что снаряды ЧВК «Вагнер» удалось получить только после информационного взрыва...
- Фондовый рынок, Daily history за 18 апреля 2023 г....
- Взяточничество как работа: Евраев привел в администрацию Ярославской области коррупционеров...
- Программа «Миллион призов» эффективнее «вертолетной» раздачи денег – Матвейчев...
- Программа «Миллион призов» поможет бизнесу Москвы с реабилитацией...
- Американские бомбардировщики B-21 готовят против российских систем С-400 и С-500...
09:00, 24 Мар Новая методика LiGO ускоряет обучение больших моделей машинного обучения Не секрет, что ChatGPT от OpenAI обладает невероятными возможностями — например, чат-бот может писать стихи, напоминающие шекспировские сонеты, или о...
16:00, 16 Окт Инженеры нашли способ массово превращать дизельные двигатели в водородные — они эффективнее и намного более "чистые" Исследователи Университета Нового Южного Уэльса создали прототип и протестировали систему модернизации, которая преобразует дизельные двигатели для р...
23:43, 16 Окт Создан материал, который обещает более быстрые дисплеи с более высоким разрешением Новый материал призван предоставить нам более быстрые дисплеи с более высоким разрешением. Исследователи Университета Хоккайдо объясняют, что делает ...
09:00, 09 Сен Разрабатывается технология преобразования энергии ветра в водород в море В будущей ветряной электростанции, расположенной далеко в море, каждая отдельная ветряная турбина может иметь все необходимые системы для производств...
07:00, 29 Янв Как оформить быстрый кредит В случае, когда возникает острая необходимость в деньгах, люди берут кредит. Выдают кредиты банки. Сумма, на которую может рассчитывать заёмщик, зави...
14:00, 05 Ноя Мы протестировали самый дешёвый 32" 2K монитор. И он хорош! Можно сколько угодно трындеть: «Digma? Ахаха, всё с вами понятно, больше сюда ни ногой!». Точнее, не сколько угодно, а до тех пор, пока не увидите, с...
13:00, 04 Июн Дешевый хостинг для сайта и домен в подарок У всех, кому потребовался дешевый хостинг для сайта, появилась возможность заказать такую услугу в компании HostiMan. Виртуальный хостинг NVMe предос...
05:00, 22 Июн Как выбрать надежный и быстрый обменник криптовалют? С каждым днем все больше людей интересуются криптовалютой, и многие из них хотят купить или продать ее. Для этого нужен надежный и быстрый обменник к...
02:00, 11 Апр Грядет эра больших накопителей: рейтинг AnTuTu предпочтений пользователей смартфонов Команда популярного бенчмарка AnTuTu поделилась интересной статистикой по свежим тенденциям на рынке смартфонов и предпочтениям пользователей —...
11:00, 25 Ноя Лучшая видеокарта для игр 2022: топ-6 моделей Видеокарта – это ключевой элемент любого игрового компьютера. Поэтому и вопрос о том, какая видеокарта для игр в 2022 году считается лучшей, в наше в...
02:00, 22 Ноя Лучшие камерофоны 2023: 7 моделей для идеальных фото Телефонов с хорошей камерой в 2023 году очень много. Но как не запутаться во всем этом разнообразии и выбрать действительно лучший из них. Универсаль...
21:00, 17 Фев Модель машинного обучения помогает врачам прогнозировать риск назначения опиоидов пациентам Модель машинного обучения помогает врачам прогнозировать риск назначения опиоидов пациентам. Исследователи из Университета Альберты используют форму ...
20:00, 23 Июн Виртуальная лаборатория открывает возможности машинного обучения для понимания многообещающего класса квантовых материалов Томас Эдисон испытал сотни материалов и тысячи раз потерпел неудачу, прежде чем обнаружил, что карбонизированная хлопковая нить долго и ярко горит в ...
00:00, 06 Май В России нашли способ борьбы с мошенническими письмами Российские ученые разработали модель оценки заражённости файлов, передаваемых в корпоративных сетях, которая поможет компаниям противостоять интернет...
11:00, 19 Окт В ГАЗ придумали простой способ, как перевести автомобили на водород Перевод грузового коммерческого транспорта на водородное топливо – один из трендов мировой автомобильной промышленности. Это экологично, однако весьм...
07:00, 29 Окт Учёные назвали самый экологичный способ похорон В последнее время людей призывают к тому, чтобы они стали жить экологичнее, то есть меньше вредить природе. Однако, как оказалось, быть осознанным пр...
04:00, 01 Ноя Учёные открыли совершенно новый способ измерения времени В обычной жизни мы привыкли отмечать ход времени, просто отмеряя отрезки между «тогда» и «сейчас». Однако на квантовом уровне «тогда» не всегда можно...
22:00, 10 Мар Spotify представил новый способ поиска в формате TikTok Вертикальный видеопоток TikTok стал привычным для большинства пользователей. Неоднократно были замечены попытки крупных платформ скопировать формат T...
11:00, 29 Июн Учёные обнаружили новый способ обнаружения колоректального рака Колоректальный рак (КРР) — одно из самых распространенных и опасных заболеваний во всем мире. Большинство смертей, связанных с КРР, происходит из-за ...
23:42, 16 Окт Больше никаких мучений: лучший способ отмыть моторный отсек автомобиля Узлы и агрегаты под капотом автомобиля обычно покрыты слоем грязи и масляным налётом, но очистить их не так-то просто, потому что многие детали весьм...
16:00, 05 Сен Ученые Универститета Сучжоу нашли способ повысить иммунитет против коронавируса Полученные результаты могут иметь важные практические последствия для разработки новых подходов к укреплению иммунной системы и повышению ее способно...
07:00, 22 Окт Кенийская женщина нашла способ переработать пластик в кирпичи, которые прочнее бетона Кенийская предпринимательница, уставшая от бездействия правительства в отношении загрязнения пластиком, сама нашла решение проблемы, создав кирпичи и...
19:00, 17 Окт Китайские и российские ученые нашли способ увеличить урожай риса с помощью спутников Российские и китайские ученые создали интеллектуальную спутниковую систему контроля для рисовых полей. Статья об этом опубликована в Advances in Spac...
14:00, 22 Июн Разрабатываются более «экологичные» фундаменты для ветряных турбин Фундаменты на основе гравитации: безопасное для морской среды будущее ветряных турбин. Новое исследование предполагает, что конструкции на основе гра...
14:00, 18 Окт Песков: в России не могут мобилизовать более 300 тыс. человек Количество мобилизованных в России не может превышать 300 тыс. человек, потому что такое число закреплено в указе Владимира Путина, заявил его пресс-...
04:00, 07 Июл В Брянске чествовали семейные пары, прожившие в браке 25 и более лет В Брянске в честь Дня семьи, любви и верности чествовали семьи, стаж супружества которых составляет 25 и более лет. Это не просто пары-долгожители, а...
18:00, 31 Янв Суд обязал должников выплатить «Газпром энергосбыт Брянск» более 642 млн В 2022 году гарантирующий поставщик электроэнергии ООО «Газпром энергосбыт Брянск» направил в суд 11,8 тысяч исковых заявлений на сумму более 1 млрд ...
12:00, 01 Сен Метаанализ спрогнозировал более 175 тысяч случаев косолапости ежегодно Британские ученые провели систематический обзор и метаанализ 35 исследований с общей выборкой почти 45 миллионов новорожденных и выяснили, что в сред...
07:00, 27 Авг Захаркин о деле Федотова: «Послать ИИХФ проще всего. Но как потом это обернется? Я за цивилизованный способ решения проблем» 14 августа ИИХФ объявила, что контракт Ивана Федотова с «Филадельфией» в НХЛ действителен на сезон-2023/24, а соглашение с ЦСКА является нарушением т...
11:00, 08 Авг Второй кинопоказ в рамках фестиваля «Кинометрия» посетили более 150 пензенцев Второй кинопоказ в рамках фестиваля «Кинометрия» посетили более 150 пензенцев В минувшее воскресенье, 6 августа, более 150 жителей и гостей Пензы пос...
05:00, 30 Май Жители Сибири начали использовать ездовых собак более 9 500 лет назад Из Северо-восточной Азии питомцы и помощники людей попали на Аляску и Гренландию. С помощью собак жители Сибири смогли охотиться и преодолевать больш...
14:00, 28 Фев «Ростелеком» подключил к безопасному интернету более 47 тысяч школ и техникумов Компания «Ростелеком» подключила к единой сети передачи данных (ЕСПД) более 47 000 российских школ, колледжей, техникумов, лицеев и других организаци...
17:00, 23 Ноя Креативные и оригинальные обложки в ВК - как сделать своё сообщество более популярным Чтобы привлечь пользователей в своё сообщество в ВК, необходимо учесть много разных факторов. Это качество контента, правильный пиар, взаимная реклам...
05:00, 04 Окт В Кузбассе зарегистрировано более 65 тысяч субъектов малого и среднего бизнеса По данным департамента инвестиционной политики и развития предпринимательства Кузбасса, в нашем регионе зарегистрировано 65 199 субъектов малого и ср...
23:03, 15 Окт Лауреатами VI Международного Русского кинофестиваля стали более 70 кинематографистов из 15 стран мира Обладатель Гран-при и более 70 лауреатов VI Международного Русского кинофестиваля были объявлены 30 сентября в Москве во время церемонии награждения,...
01:00, 20 Окт Добыча биткоинов, которую раскритиковал Илон Маск, станет более экологичной Илон Маск объявил на этой неделе, что Tesla приостановит прием биткоинов для покупки электромобилей, сославшись на потребление энергии криптовалютой....
16:00, 16 Апр Эксперты «Цифры Роботикс» прогнозируют увеличение эффективности роботизированного станка в Перу более чем на 40% «Цифра Роботикс» (входит в ГК «Цифра») роботизировала буровой станок в Перу. Система роботизации увеличила производительность станка на 16,4% по коли...
11:00, 16 Янв Более 700 организаций атакованы таргетированными группами шифровальщиков в четвёртом квартале 2022 года По данным «Лаборатории Касперского», как минимум 730 организаций по всему миру пострадали от таргетированных атак шифровальщиков в четвёртом квартале...