Компания Databricks, занимающаяся разработкой корпоративного программного обеспечения, выпустила новую широкую языковую модель под названием Dolly, версию ChatGPT с открытым исходным кодом . Название Dolly — дань уважения знаменитой овце с тем же именем, первому клонированному млекопитающему.
Эта новость очень важна для мира искусственного интеллекта , поскольку ChatGPT — одна из самых передовых моделей языков программирования в мире. А теперь, с запуском Dolly, другие люди могут создавать и разрабатывать свои собственные модели языков программирования с открытым исходным кодом.
Это означает, что технологии искусственного интеллекта становятся все более доступными и демократичными. Теперь больше людей могут внести свой вклад в развитие ИИ и разрабатывать решения, отвечающие потребностям общества.
Создание модели языка программирования с открытым исходным кодом также означает, что больше людей смогут использовать его для разработки чат-ботов , виртуальных помощников и других решений на основе искусственного интеллекта для своего бизнеса или личных проектов.
Запуск Dolly доказывает потенциал технологий с открытым исходным кодом в изменении способов создания и использования ИИ. Благодаря сотрудничеству всё большего числа компаний и разработчиков, в ближайшие годы можно ожидать ещё более значительных достижений.
Сотрудничество и прозрачность, основанные на языковых моделях с открытым исходным кодом
В мире искусственного интеллекта (ИИ) все большую популярность приобретают языки программирования с открытым исходным кодом , призванные обеспечить более широкий доступ к этой технологии, чтобы она не была монополизирована и контролировалась крупными корпорациями.
Недавним примером этой тенденции является Dolly LLM , модель языка программирования с открытым исходным кодом для крупномасштабного применения, которая стремится обеспечить более широкий доступ к технологиям искусственного интеллекта . Цель этой инициативы — предотвратить боязнь компаний делиться конфиденциальными данными с третьими сторонами, контролирующими технологии ИИ.
Одна из главных причин, стимулирующих движение за открытый исходный код в области ИИ, — это опасение, что компании могут неохотно делиться конфиденциальной информацией с третьей стороной, контролирующей технологию. Это может препятствовать инновациям и развитию отрасли.
С ростом популярности крупномасштабных моделей языков программирования с открытым исходным кодом открываются возможности для большей прозрачности, сотрудничества и обмена информацией . Это может способствовать более быстрому, эффективному и безопасному развитию искусственного интеллекта.
Инициатива по созданию открытого исходного кода для ИИ может оказать значительное влияние на общество и экономику , способствуя большей демократизации технологий и стимулируя инновации во всем мире. Это важный шаг на пути к повышению доступности ИИ и предоставлению возможности большему числу людей внести свой вклад в развитие этой технологии.
Dolly: новое творение с открытым исходным кодом, основанное на языковых моделях
Создание Dolly — это значительный вклад в развитие языковых моделей в искусственном интеллекте. Разработанная на основе модели с открытым исходным кодом, созданной исследовательским институтом EleutherAI, и модели Alpaca из Стэнфордского университета, Dolly выделяется тем, что превосходит многие из самых передовых языковых моделей, таких как OpenAI GPT-3, Gopher от DeepMind и Chinchilla от DeepMind.
В основе успеха Dolly лежит LLaMA, модель языка программирования с открытым исходным кодом, созданная компанией Meta, имеющая 65 миллиардов параметров. LLaMA обучается на общедоступных данных, что позволяет постоянно её улучшать. Согласно статье в Weights & Biases, LLaMA , несмотря на свои меньшие размеры, превосходит многие ведущие модели языков программирования.
Благодаря использованию LLaMA и созданию Dolly, искусственный интеллект в chatGPT может выйти на новый уровень. Эти технологии позволяют более эффективно и естественно общаться с пользователями, а также дают возможность модели постоянно развиваться и адаптироваться к новым задачам. Создание языковых моделей с открытым исходным кодом, обученных на общедоступных данных, является важной тенденцией в области искусственного интеллекта, и Dolly — отличный пример положительных результатов, которые может принести такой подход.
Важность качества обучающих данных для улучшения обработки естественного языка
Важность создания высококачественных наборов данных неоспорима. И недавно в научной статье под названием «SELF-INSTRUCT: Aligning Language Model with Self-Generated Instructions PDF» был представлен способ создания высококачественных, автоматически генерируемых обучающих данных в виде вопросов и ответов , которые превосходят ограниченные общедоступные данные.
В этой статье объясняется, что, используя инструкции, написанные экспертами в новых задачах, языковую модель GPT-3 можно настроить более эффективно, чем с использованием существующих общедоступных наборов данных.
Они провели оценку на людях и обнаружили, что метод SELF-INSTRUCT превзошел другие методы, оставив лишь 5% разницу по сравнению с лучшим из существующих методов.
Новый инструмент под названием Dolly демонстрирует возможность создания большой и полезной языковой модели с использованием меньшего, но высококачественного набора данных. Он работает путем модификации модели с открытым исходным кодом, содержащей 6 миллиардов параметров, от EleutherAI, добавляя функции следования инструкциям, такие как генерация текста и мозговой штурм , которые отсутствовали в исходной модели. Это стало возможным благодаря использованию данных Alpaca.
Самое удивительное, что для достижения возможности следования инструкциям не требуется самая новая или самая большая модель , поскольку используемая модель имеет всего 6 миллиардов параметров, по сравнению со 175 миллиардами у GPT-3.
Это открытие обнадеживает тех, кто работает с обработкой естественного языка , поскольку оно указывает на то, что качество набора данных важнее его размера. Это открывает возможности для создания меньших по размеру, но более качественных языковых моделей, что может привести к значительному улучшению качества обработки естественного языка.
Заключение
Подводя итог, можно сказать, что инструмент Dolly представляет собой крупный шаг вперед в демократизации искусственного интеллекта. Благодаря этому новому подходу к созданию языковых моделей с использованием небольших, но высококачественных наборов данных больше людей смогут получить доступ к этой мощной технологии.
Кроме того, такие инициативы, как Mozilla.ai, демонстрируют растущую тенденцию к использованию программного обеспечения с открытым исходным кодом для повышения доступности и прозрачности ИИ. Мы считаем, что благодаря этим инициативам искусственный интеллект будет все больше присутствовать в нашей жизни, принося значительные выгоды обществу.
