aizen_tt (aizen_tt) wrote,
aizen_tt
aizen_tt

Categories:

Частная китайская компания Kingsoft создает грандиозный ИИ

Китайская лаборатория искусственного интеллекта создает модель ИИ за 1,75 триллиона параметров. Что ж, посмотрим, насколько может стать антиутопическим ИИ, когда его контролирует Китай.

Тут сказано:
"В гонке за создание базовых технологий, которые могут привести к следующей волне революции искусственного интеллекта, китайская лаборатория только что свергла OpenAI, уважаемую исследовательскую лабораторию в США, с точки зрения того, кто может обучить гигантскую модель глубокого обучения с наибольшим количеством параметров обучения. -Что касается того, существует ли гонка, по крайней мере, высокопоставленные члены лаборатории так считают.

Пекинская академия искусственного интеллекта, именуемая BAAI и известная по-китайски как 北京 智 源 人工智能 研究院, запустила последнюю версию Wudao 悟道, предварительно обученной модели глубокого обучения, которую лаборатория назвала «первой в Китае», и « самая большая в мире »с колоссальными 1,75 триллиона параметров.

(Цифры не рассказывают полную историю, но просто ради нее: Wudao имеет на 150 миллиардов параметров больше, чем Switch Transformers от Google, и в 10 раз больше, чем у OpenAI GPT-3, который широко считается лучшей моделью с точки зрения языкового поколения.)





В отличие от обычных моделей глубокого обучения, которые обычно ориентированы на конкретные задачи, Wudao - это мультимодальная модель, обученная решать как текст, так и изображение, два совершенно разных набора проблем. На ежегодной академической конференции BAAI во вторник учреждение продемонстрировало выполнение Вудао таких задач, как обработка естественного языка, генерация текста, распознавание изображений, генерация изображений и т. Д.

Модель способна писать стихи и куплеты в традиционном китайском стиле, отвечать на вопросы, писать эссе, генерировать альтернативный текст для изображений и генерировать соответствующие изображения из описания на естественном языке с приличным уровнем фотореализма. Он даже может приводить в действие «виртуальных идолов» с помощью XiaoIce, китайской компании, выделенной из Microsoft, поэтому в дополнение к тексту и изображениям может быть также голосовая поддержка.

Мультимодальная модель в настоящее время является модным словом в сообществе глубокого обучения, и исследователи все чаще хотят раздвинуть границы так называемого общего искусственного интеллекта или, проще говоря, ИИ, которые являются более чем невероятно умными пони, способными справиться с одним трюком. MUM от Google, или многозадачная унифицированная модель, представленная две недели назад на ежегодной конференции разработчиков гиганта Кремниевой долины, способная отвечать на сложные вопросы и извлекать информацию как из текста, так и из изображений, является одним из недавних примеров мультимодальных моделей.

Слайд конференции BAAI, показывающий, как модель работает при создании китайских стихов. Изображение предоставлено: PingWestA слайд на конференции BAAI, показывающий, как модель работает при создании китайских стихов. Изображение предоставлено: PingWest
Очень интересно, что эта модель с 1,75 триллионом параметров уже является версией Wudao 2.0, первая версия которой была выпущена менее 3 месяцев назад. Одна из основных причин быстрого прогресса китайских исследователей заключалась в том, что они смогли подключиться к китайским суперкомпьютерным кластерам с помощью нескольких его основных членов, которые также работали над национальными суперкомпьютерными проектами.

Немного более техническое объяснение: исследователи BAAI разработали и открыли исходный код системы глубокого обучения под названием FastMoE, которая позволила Вудао обучаться как на суперкомпьютерах, так и на обычных графических процессорах со значительно большим количеством параметров, что дает модели, теоретически, большую гибкость, чем у Google. МО, или смесь экспертов. Это связано с тем, что для системы Google требуется специальное оборудование TPU и распределенная среда обучения, а FastMoE BAAI работает по крайней мере с одной отраслевой структурой с открытым исходным кодом, а именно PyTorch, и может работать на стандартном оборудовании.

Китайская лаборатория утверждает, что подмодели Вудао показали лучшую производительность, чем предыдущие модели, превзойдя CLIP OpenAI и ALIGN от Google по английской индексации изображений и текста в наборе данных Microsoft COCO.

BAAI утверждает, что для создания изображений из текста это новая задача, что подмодель Wudao Cogview превзошла OpenAI DALL-E, современную нейронную сеть с 12 миллиардами параметров, запущенную в январе этого года. Учреждение работает с Damo Academy, исследовательской лабораторией AI Alibaba, чтобы использовать CogView для разработки приложений, которые можно использовать для производства индивидуально разработанной одежды, которая соответствует потребностям покупателей.

Краткое введение CogView на китайском языке. Изображение из раздаточного материала. Краткое описание CogView на китайском языке. Изображение предоставлено раздаточным материалом. Тан Цзе, заместитель директора BAAI по академическим вопросам, показывает список критериев, по которым последняя модель Вудао его учреждения достигла лучших результатов. Изображение из раздаточного материала Тан Цзе, заместитель директора BAAI по академическим вопросам, демонстрирующий список критериев, по которым последняя модель Вудао его учреждения достигла лучших результатов.








«Путь к общему искусственному интеллекту - это большие модели и большой компьютер, - сказал доктор Чжан Хунцзян, председатель BAAI. - Мы строим электростанцию ​​для будущего ИИ с мега данными, мега вычислительной мощностью и мега вычислительной мощностью. моделей, мы можем преобразовывать данные, чтобы питать приложения ИИ будущего ».

Доктор Чжан возглавил проект, который в конечном итоге привел к основанию BAAI. В настоящее время он является венчурным партнером Source Code Capital, был генеральным директором Kingsoft, а также одним из дюжины соучредителей Microsoft Research Asia.

Нет никаких сомнений в том, что BAAI, основанная в 2018 году, позиционирует себя как «OpenAI Китая», поскольку высокопоставленные члены организации не могут говорить и пять минут, не упомянув хотя бы один раз об исследовательском учреждении в США на ежегодной конференции.

И BAAI, и OpenAI нацелены на фундаментальные исследования, которые могут обеспечить значительно более высокую производительность для технологий глубокого обучения, предоставляя новые возможности, ранее невообразимые. Оба способны обучать гигантских моделей, большое количество которых привлекает внимание и, в свою очередь, помогает им при приеме на работу и развитии бизнеса.



Чжан Хунцзян еще тогда, когда он работал генеральным директором Kingsoft.


Одна из подмоделей Вудао, Wensu 文 溯, даже способна предсказывать трехмерные структуры белков - очень сложную задачу с огромной реальной ценностью, которую Google DeepMind также брал на себя в прошлом со своей системой AlphaFold. DeepMind, с другой стороны, также является ведущей исследовательской организацией в области ИИ.

Однако, хотя OpenAI и DeepMind финансируются из частных источников, ключевым отличием BAAI является то, что он сформирован и финансируется при значительной помощи Министерства науки и технологий Китая, а также муниципального правительства Пекина.

Многие из постоянных исследователей BAAI происходят из ведущих институтов, включая Пекинский университет, Университет Цинхуа и Китайскую академию наук. Работая во множестве отдельных лабораторий учреждения, они проводят исследования по всем актуальным направлениям, включая глубокое обучение, обучение с подкреплением и интеллектуальный интеллект. В конце концов, цель BAAI - решить фундаментальные проблемы, которые мешают продвижению к искусственному интеллекту в целом.

Лаборатория также тесно сотрудничает со списком тех, кто работает на технологической сцене Китая: Didi, Xiaomi, Meituan, Baidu, ByteDance, Megvii, JD.com и т. Д.

Как и OpenAI, BAAI управляется советом директоров, состоящим из уважаемых китайских исследователей в сфере глубокого обучения, включая Сон-Чун Чжу из PKU, Ван Хайфэна из Baidu, Сун Цзянь из Megvii и Цуй Баоциу из Xiaomi и многие другие. Учреждение также консультируют Майкл И. Джордан, профессор Калифорнийского университета в Беркли и ведущая фигура в мире машинного обучения, а также Джон Э. Хопкрофт, лауреат премии ACM A. M. Turing.

Комитет академических консультантов BAAIКомитет академических консультантов BAAI
Помимо новаторской и рекордной новой модели глубокого обучения, учреждение с трехлетней историей добилось и других многообещающих результатов, получив одной из своих команд премию ACM Gordon Bell Prize за исследования в области прогнозирования микроклимата. проблема, которая обычно считалась слишком сложной для ИИ.

Фактически, учреждение так гордится своей командой из более чем 100 исследователей ИИ, что Хуан Тиецзюнь, вице-председатель и директор BAAI, буквально заявляет, что оно создало «Пекинскую школу» (北京 学派) для исследований ИИ, привлекая ученых из разных стран. по Китаю и по всему миру. В учреждении работает около сотни исследователей с разным стажем и резидентством.

Благодаря удобству хороших отношений с правительством это исследование, удостоенное премии Гордона Белла, уже используется на предстоящих зимних Олимпийских играх 2022 года. По данным учреждения, некоторые из других результатов исследований BAAI также были приняты местными органами власти для более эффективного ведения гражданских дел.

Учреждение объединяет различные китайские исследования и инициативы в области искусственного интеллекта и делает большие объявления в том же, если не даже более быстром темпе, чем OpenAI в США или DeepMind (аффилированный с Google / Alphabet) в Великобритании.

Чжан Хунцзян еще тогда, когда он работал генеральным директором Kingsoft. Изображение предоставлено SCMP Изображение Чжан Хунцзян, когда он работал генеральным директором Kingsoft. Изображение предоставлено: SCMP Изображение
В дальнейшем, помимо продолжающихся усилий по основным исследованиям, BAAI также планирует работать с большим количеством партнеров для создания демонстрационных приложений в этом году. В следующем году он планирует объединить соответствующие API-интерфейсы в платформу с потенциалом коммерциализации - путь, по которому OpenAI также пошел со своей столь востребованной моделью GPT-3.

«Независимо от того, сколько существует моделей, это самые большие и самые эффективные из немногих, которые в конечном итоге получают коммерческое распространение в отрасли», - сказал Хуанг, объясняя, почему BAAI фокусируется на создании больших моделей. Но директор понимает, что общий искусственный интеллект не может быть достигнут только с помощью больших моделей, заявив, что BAAI также организовал отдельные лаборатории, посвященные законам физики, а также наукам о жизни.

«Вудао - наша модель информации. Мы также создаем Tiandao 天道 как модель для физики и Tianyan 天演 как модель для наук о жизни », - сказал директор, добавив, что конечный план состоит в том, чтобы объединить их все вместе, чтобы ИИ работал не только внутри компьютеров. , но и по всей вселенной.

BAAI сможет попытаться достичь этой очень футуристической цели с постоянной помощью Китайской академии наук, которая уже десятилетиями занимается исследованием этих фундаментальных научных дисциплин. Идея состоит в том, что если в прошлом их исследованиям препятствовали из-за нехватки вычислительной мощности, то теперь BAAI пришла сюда, чтобы спасти положение. "


https://en.pingwest.com/a/8693
Tags: Цифровые технологии
Subscribe

Recent Posts from This Journal

Buy for 10 tokens
Buy promo for minimal price.
  • Post a new comment

    Error

    default userpic
    When you submit the form an invisible reCAPTCHA check will be performed.
    You must follow the Privacy Policy and Google Terms of use.
  • 1 comment