Эта новость очень важна для мира Искусственный интеллект, поскольку ChatGPT — одна из самых продвинутых языковых моделей в мире. И теперь, с выпуском Dolly, другие могут создавать и развивать свои собственные языковые модели с открытым исходным кодом.
Это означает, что Технология искусственного интеллекта становится все более доступным и демократичным. Теперь больше людей могут внести свой вклад в развитие ИИ и разрабатывать решения, отвечающие потребности общества.
Создание языковая модель с открытым исходным кодом это также означает, что больше людей смогут использовать его для разрабатывать чат-ботов, виртуальные помощники и другие ИИ-решения для ваших компаний или личных проектов.
O Запуск Долли это свидетельство потенциала технологии с открытым исходным кодом изменить способы создания и использования ИИ. Поскольку все больше компаний и разработчиков будут работать вместе, мы можем ожидать еще более значительных успехов в ближайшие годы.
Сотрудничество и прозрачность, основанные на языковых моделях с открытым исходным кодом
Недавним примером этой тенденции является Долли, LLM, крупномасштабная языковая модель с открытым исходным кодом, целью которой является предоставление более широкого доступа к Технология искусственного интеллекта. Цель этой инициативы — не дать компаниям бояться делиться конфиденциальными данными с третьими сторонами, которые контролируют технологию искусственного интеллекта.
Одна из главных причин движения ИИ с открытым исходным кодом это опасение, что компании могут не захотеть делиться конфиденциальной информацией с третьей стороной, которая контролирует технологию. Это может нанести ущерб инновациям и развитию сектора.
С ростом популярности крупномасштабных языковых моделей с открытым исходным кодом возможна большая прозрачность. сотрудничество и обмен информацией. Это может способствовать более быстрому, эффективному и безопасному развитию ИИ.
Инициатива сделать ИИ открытым исходным кодом может иметь большое влияние на общество и экономику, способствуя большей демократизации технологий и поощряя инновации во всем мире. Это важный шаг на пути к тому, чтобы сделать ИИ более доступным и позволить большему количеству людей внести свой вклад в развитие технологий.
Dolly: новое творение с открытым исходным кодом, основанное на языковых моделях
Основой успеха Dolly является LLaMA, языковая модель с открытым исходным кодом с 65 миллиардами параметров, созданная Meta. LLaMA обучается на общедоступных данных, что позволяет постоянно совершенствоваться. Согласно статье в журнале Weights & Biases, ЛАМА он может превзойти многие основные языковые модели, несмотря на свои меньшие размеры.
Благодаря использованию LLaMA и созданию Долли, искусственный интеллект в чатеGPT может выйти на новый уровень. Эти технологии обеспечивают более эффективное и естественное общение с пользователями, а также позволяют модели постоянно развиваться и адаптироваться к новым задачам. Создание языковых моделей с открытым исходным кодом, обученных на общедоступных данных, — важная тенденция в области искусственного интеллекта, и Долли — яркий пример положительных результатов, которые может принести этот подход.
Важность качества обучающих данных для улучшения обработки естественного языка
В этой статье объясняется, что при использовании инструкций, написанных экспертами для новых задач, Языковая модель GPT-3 можно настроить более эффективно, чем при использовании существующих общедоступных наборов данных.
Они провели оценку на людях и обнаружили, что метод SELF-INSTRUCT превзошел другие методы, оставив лишь 5% разницу по сравнению с лучшим из существующих методов.
Теперь новый инструмент под названием Долли демонстрирует, что можно создать большую полезную языковую модель с меньшим, но высококачественным набором данных. Он работает путем изменения модели EleutherAI с открытым исходным кодом, содержащей 6 миллиардов параметров, добавляя следующие функции, такие как генерация текста и мозговой штурм, которых не было в исходной модели. Это стало возможным благодаря использованию данных Альпаки.
Самое удивительное, что вам не обязательно иметь самую последнюю или самую лучшую модель, чтобы получить обучение следующим навыкам, поскольку используемая модель имеет только 6 миллиардов параметров по сравнению с 175 миллиардами параметров GPT-3.
Это открытие обнадеживает тех, кто работает с обработка естественного языка, поскольку это предполагает, что качество набора данных важнее его размера. И это открывает путь к меньшим, но более качественным языковым моделям, что может привести к значительному улучшению качества обработки естественного языка.
Заключение
Кроме того, такие инициативы, как mozilla.ai продемонстрировать растущее движение к использованию программного обеспечения с открытым исходным кодом, чтобы сделать ИИ более доступным и прозрачным. Мы верим, что благодаря этим инициативам искусственный интеллект будет все чаще присутствовать в нашей жизни, принося значительную пользу обществу.