Продолжающийся дефицит микросхем памяти, вызванный резким ростом спроса на ИИ, выявил неэффективность управления неструктурированными данными, вынуждая предприятия сталкиваться с растущими затратами на хранение избыточных, устаревших и несущественных данных.

За последний год то, что многие считали очередной циклической проблемой дефицита полупроводников, вместо этого переросло в структурный дефицит микросхем памяти — динамику цепочки поставок, обусловленную не столько перебоями в производстве, сколько беспрецедентным спросом на высокопроизводительную память со стороны рабочих нагрузок искусственного интеллекта. Этот дефицит меняет подход предприятий к памяти, хранению данных и более широкой экономике управления данными.

Аналитическая компания IDC сообщила , что контрактные цены на память в сегментах DRAM и NAND flash выросли на 50-60% в конце 2025 года, и прогнозируется дальнейшее увеличение на 30-95% в начале 2026 года, поскольку спрос на ИИ поглощает мощности, обычно выделяемые для ПК, смартфонов и ИТ-инфраструктуры. Во многих случаях запасы DRAM сократились с исторически высокого уровня до уровня, достаточного всего на две недели, что является резким сокращением, имеющим волновой эффект для производителей оборудования и планирования центров обработки данных.

Кризис памяти имеет важное значение для рынков аппаратного обеспечения, но он также выявляет более глубокий стратегический пробел в корпоративных ИТ: многолетнее отношение к данным как к бесконечным и бесплатным превратило неструктурированные данные в дорогостоящую проблему именно тогда, когда современные рабочие нагрузки ИИ требуют качества, контекста и точности.

Когда рост объема неструктурированных данных становится стратегической проблемой

На протяжении большей части последнего десятилетия предприятия работали по негласному договору: хранить всё, на всякий случай. Считалось, что объём памяти неисчерпаем и отслеживается только в гигабайтах. В результате объём неструктурированных данных (общие файловые хранилища, архивы журналов, многопользовательские объектные хранилища и т. д.) разросся без строгой атрибуции, политики жизненного цикла или контекста, позволяющего принимать обоснованные решения.

В настоящее время дефицит памяти и растущие затраты на хранение данных вынуждают предприятия столкнуться с простой истиной: стоимость неуправляемых данных увеличивается с каждой новой инициативой в области ИИ. Каждый терабайт, хранящийся и реплицируемый на разных уровнях, добавляет не только затраты на хранение, но и на индексирование, резервное копирование, накладные расходы на соответствие нормативным требованиям и вычислительные затраты при использовании для обучения систем ИИ.

Хуже того, неструктурированные массивы данных часто содержат огромные объемы избыточных, устаревших, тривиальных данных (ROT), которые практически не представляют ценности для аналитики, моделирования или оперативного анализа. Отраслевые исследования регулярно показывают, что значительная часть неструктурированных данных попадает в эту категорию ROT, но при этом они по-прежнему хранятся за счет предприятия, перескакивая между уровнями хранения и подпитывая будущий спрос на хранение. Дефицит памяти усугубляет стоимость такого подхода.

Системы искусственного интеллекта стремятся к получению сигнала, а не шума

Дефицит памяти преподает более важный урок, чем просто планирование на случай внезапной нехватки ресурсов. Речь идет об эффективности использования данных. В отличие от традиционных аналитических платформ, где большие выборки могут повысить статистическую достоверность, модели ИИ, особенно большие языковые модели и трансформерные архитектуры, очень чувствительны к соотношению сигнал/шум в обучающих и выводных наборах данных.

Использование неразборчивых данных для обработки данных в рамках ИИ приводит к снижению эффективности: шум подавляет распознавание образов, усиливаются искажения, и для достижения незначительного улучшения требуются дополнительные вычислительные ресурсы. Кроме того, безопасность данных может быть скомпрометирована, если конфиденциальные данные непреднамеренно будут переданы в ИИ. На современном рынке такая неэффективность недопустима.

Следовательно, предприятиям необходимо думать не только о том, какие данные они хранят, но и о том, зачем они их хранят. Стратегии хранения данных должны перейти от бессрочного накопления к хранению на основе намерений: политикам, которые явно связывают существование данных с текущими или планируемыми результатами бизнеса. Помимо оптимизации объема данных и затрат, сейчас существует уникальная возможность использовать ценность данных с помощью ИИ. Для устранения информационного шума, снижающего рентабельность инвестиций в ИИ, классификация и понимание данных становятся жизненно важными.

Управление неструктурированными метаданными: новый инструмент для экономии средств, искусственного интеллекта и соблюдения нормативных требований.

Представляем аналитику на основе метаданных для неструктурированных наборов данных. Такой подход помогает ИТ-специалистам и руководителям бизнеса вернуть контроль над своими массивами данных и согласовать их с целями в области искусственного интеллекта. Метаданные, также известные как информация о данных, предоставляют подсказки о том, какие данные существуют, кто их использует, как часто, насколько они конфиденциальны и какова их история происхождения.

Метаданные также могут быть обогащены для предоставления ценной контекстной информации, которая часто теряется при переходе от уровня приложения к уровню хранения, например, какая часть тела изображена на медицинском изображении или какие коды финансирования связаны с этими файлами.

Грамотно составленные метаданные для неструктурированных данных позволяют организациям:

Рассмотрим типичное корпоративное хранилище данных на основе файлов: без метаданных каждый файл кажется одинаково важным. С метаданными (возраст, шаблоны доступа, владелец, метки тем, контекстные метки и метки конфиденциальности) тот же самый ресурс становится пригодным для принятия решений. Можно запускать автоматизированные политики, которые понижают статус файлов или удаляют их из хранилища на основе неактивности, изменения владельца или отсутствия деловой значимости.

Эта дисциплина превращает хранение данных из пассивного пассива в управляемый актив, оптимизированный как по стоимости, так и по использованию искусственного интеллекта.

Межфункциональная связь метаданных

Современная практика управления метаданными для неструктурированных данных способствует межфункциональному взаимодействию, что имеет решающее значение для согласования обязательств относительно того, какие данные важны и почему.

Например:

Интеллектуальные системы и автоматизация усиливают это сотрудничество. Инструменты, которые непрерывно сканируют и классифицируют данные на основе меняющихся моделей использования, помогают организациям динамично внедрять политики без трудоемких проверок.

Как ни парадоксально, дефицит микросхем памяти, который поначалу казался угрозой для амбиций в области ИИ, может стать катализатором более эффективных методов работы с данными. Преодолев ограничения экономики хранения данных, ИТ-руководители могут переосмыслить подход к оценке, использованию и хранению данных; внедрить метаанализ для понимания и реализации намерений, связанных с данными; автоматизировать управление для приведения массивов данных в соответствие с реальными бизнес-результатами; и снизить затраты на хранение именно в тот момент, когда бюджеты испытывают давление.