Сравнительная организация SPEC сформировала комитет для надзора за разработкой независимых от поставщиков тестов для обучения машинному обучению и задач логического вывода.
SPEC, некоммерческая корпорация Standard Performance Evaluation Corporation, выпускает ряд эталонных тестов, которые широко используются для оценки производительности компьютерных систем, особенно в отрасли высокопроизводительных вычислений (HPC).
Согласно SPEC, недавно сформированный комитет по машинному обучению будет разрабатывать практические методологии для сравнительного анализа производительности искусственного интеллекта и машинного обучения в контексте реальных платформ и сред.
Цель состоит в том, чтобы предоставить эталонные тесты, которые будут лучше отражать отраслевые практики по сравнению с сегодняшними тестами, такими как MLperf, за счет включения основных частей конвейера машинного и глубокого обучения, таких как процессы подготовки данных, а также этапы обучения и вывода. Комитет также будет работать с другими комитетами SPEC, чтобы обновить их тесты для сред ML.
Первоначально комитет SPEC ML сосредоточится на разработке тестов, которые будут измерять сквозную производительность тестируемой аппаратной системы при выполнении задач обучения машинного обучения и логических выводов. Ожидается, что панель создаст независимый от поставщиков сторонний эталонный тест, который затем может быть использован разработчиками систем для оценки конкурирующих платформ и технологий.
Это также позволит пользователям инструментов машинного обучения, включая предприятия и научно-исследовательские институты, понять, как решения машинного обучения будут работать в реальных условиях, и поможет им принимать более эффективные решения о покупке, по словам председателя SPEC ML. Комитет, Артур Канг.
«IDC ожидает, что предприятия потратят почти 342 миллиарда долларов на ИИ в 2021 году, и важно, чтобы эти компании понимали, что можно купить на эти деньги», — сказал Канг в своем заявлении.
Тем временем комитет SPEC ML приглашает всех, кто обладает соответствующим опытом, присоединиться к ним в разработке и управлении эталонным тестом SPEC ML, особенно пользователей и производителей инструментов машинного обучения или глубокого обучения. «Я призываю всех, кто интересуется будущим обработки ML, присоединиться к комитету SPEC ML и помочь сформировать эти бесценные тесты», — сказал Канг.
Текущие члены комитета SPEC ML включают представителей AMD, Dell, Inspur, Intel, NetApp, Nvidia и Red Hat — всех поставщиков, проявляющих интерес к рынку машинного обучения.
Другие органы, которые добились успеха в разработке эталонных тестов машинного обучения, включают Совет по производительности обработки транзакций (TPC) и MLPerf при поддержке Google и Байду. ®
