yml файл как создать php
YML (Yandex Market Language) — Генерация файла товаров для Яндекс Вебмастер
Недавно я заметил что в Yandex Webmaster появился новый есть раздел, он называется «Товары и цены». Там я увидел как можно бесплатно улучшить в выдаче яндекса, страницы товаров магазина.
Так как я разрабатываю сейчас интернет магазин, такая возможность показалось очень заманчивой.
Стоит отметить что подключиться могут не все магазины. Из самых важных критериев, как по мне, является, то что у магазина должно быть юридическое лицо на которое магазин зарегистрирован. Более детально про подключение можно прочитать в документации к Yandex Webmaster в разделе Подключение магазина.
Проведя немного времени в поисках готовых решений, для генерации yml файла с товарами, я наткнулся на пару готовых класов, которые помогают в генерации. Все они были без тестов и не реализовывали всего нужного функционала. Посмотрев на все это, было решено писать свою библиотеку с блекджеком и тестами.
Мне хотелось максимально обезопасить пользователя от генерации не корректного YML файла. По этому все ноды xml представлены в виде PHP objects. В идеале было б еще сделать валидацию обьекта перед записью его в yml файл, но руки пока к этому не дошли. Боннусом является то что формат файла для Яндекс Маркет и для Яндекс вебмастер одинаковый в связи с чем библиотеку можно использовать для двух сервисов.
В процессе написания библиотеки пришлось разобраться с валидацией xml с помощью dtd, а также прочитать достаточно много документации от Yandex. Вот разделы документации которые я использовал во время написания:
З.Ы. Вопрос к сообществу, кто пользовался возможностью выгрузки товаров в Яндекс Вебмастер вы заметили улучшение в конверсии или приросте трафика? (У меня пока нету такой информации).
YAML за 5 минут: синтаксис и основные возможности
YAML за 5 минут: синтаксис и основные возможности
YAML — это язык для сериализации данных, который отличается простым синтаксисом и позволяет хранить сложноорганизованные данные в компактном и читаемом формате. Рассказываем, как это пригодится для DevOps и виртуализации.
Что такое YAML?
YAML — это язык для хранения информации в формате понятном человеку. Его название расшифровывается как, «Ещё один язык разметки». Однако, позже расшифровку изменили на — «YAML не язык разметки», чтобы отличать его от настоящих языков разметки.
Язык похож на XML и JSON, но использует более минималистичный синтаксис при сохранении аналогичных возможностей. YAML обычно применяют для создания конфигурационных файлов в программах типа Инфраструктура как код (Iac), или для управления контейнерами в работе DevOps.
Чаще всего с помощью YAML создают протоколы автоматизации, которые могут выполнять последовательности команд записанные в YAML-файле. Это позволяет вашей системе быть более независимой и отзывчивой без дополнительного внимания разработчика.
13 сентября – 9 октября, Санкт-Петербург и онлайн, Беcплатно
Всё больше и больше компаний используют DevOps и виртуализацию, поэтому YAML — это must have для современного разработчика. Кроме того, YAML легко интегрировать, благодаря поддержке Python (используя PyYAML библиотеку, Docker или Ansible) и других популярных технологий.
YAML vs JSON vs XML
YAML (.yml)
Применение: YAML лучше всего подходит для приложений с большим объемом данных, которые используют DevOps конвейеры или виртуальные машины. Кроме того, улучшение читаемости данных пригодится в командах, где разработчики часто с ними взаимодействуют.
Применение: JSON используется в веб-разработке — это лучший формат для сериализации и передачи данных через HTTP-соединение.
Применение: XML идеален для сложных проектов, которым требуется тонкий контроль над валидацией, схемой и пространством имён. Язык обладает плохой читаемостью, требует большей пропускной способности и ёмкости хранилища, но обеспечивает беспрецедентный контроль.
Характерные особенности YAML
Поддержка мультидокументов
Вы можете объединить несколько YAML-документов в один YAML-файл для облегчения организации файлов и парсинга данных.
Документы разделяются тремя дефисами (—):
Поддержка комментариев
YAML позволяет добавлять комментарии после символа #, как в Python:
Легко читаемый синтаксис
В синтаксисе YAML-файлов используется система отступов, как в Python. Необходимо использовать пробелы, а не табуляцию, чтобы избежать путаницы.
Это избавляет от лишних символов, которые есть в JSON и XML (кавычки, скобки, фигурные скобки).
В итоге читаемость файла значительно повышается.
Явная и неявная типизация
Отсутствие исполняемых файлов
YAML не содержит исполняемых файлов. Поэтому можно безопасно обмениваться YAML-файлами с третьей стороной.
Чтобы использовать исполняемые файлы, YAML нужно интегрировать с другими языками, например Perl или Java.
Синтаксис YAML
В языке есть несколько базовых концепций, которые позволяют обрабатывать большинство данных.
Пары ключ-значение
Большинство данных в YAML-файле хранятся в виде пары ключ-значение, где ключ — это имя пары, а значение — связанные данные.
Скаляры и маппинг
Скаляр представляет собой одно значение, которому соответствует имя.
YAML поддерживает стандартные типы: int и float, boolean, string и null.
Строки
Строка — это коллекция символов, которая может содержать слово или предложение. Можно использовать либо |, для отдельных строк, либо >, для параграфов.
Кавычки в YAML не нужны.
Последовательности
Последовательности — это структуры данных похожие на списки или массивы, которые хранят несколько значений под одним ключом. Они определяются с помощью отступов или [].
Однострочные последовательности выглядят лаконичнее, но хуже читаются.
Словари
Словари — это коллекции пар ключ-значение, которые хранятся под одним ключом. Они позволяют разделить данные на логические категории.
Словари могут содержать более сложные структуры, что позволяет хранить сложные реляционные данные.
YML-файл: зачем он нужен магазинам и как его создать
Руководство для тех, кто хочет продавать на Яндекс.Маркете
Маркетплейс (агрегатор товарных предложений от разных продавцов) — удобный ресурс для пользователя. На одной площадке собрано большое количество товаров, есть возможность изучить отзывы покупателей и сравнить цены.
Яндекс.Маркет — самый популярный российский маркетплейс с огромной аудиторией. Технически для попадания на его витрину требуется создать специальный прайс-лист в формате YML. Это файл с данными о всех товарах, которые вы планируете размещать на площадке. Составили подробную инструкцию, как подготовить этот файл и загрузить его в систему.
YML-файл: что это и зачем он нужен
У Яндекс.Маркета есть определенные требования к прайс-листам, их содержанию и формату. Для загрузки товаров можно использовать привычные форматы XLS (файл Excel) и CSV. Однако предпочтительнее создавать документ YML (Yandex Market Language) — собственную разработку Яндекса на базе стандарта XML.
Готовить прайс-лист в формате YML немного сложнее, чем в XLS или CSV. Однако он дает ряд преимуществ. Например, позволяет автоматизировать процесс обновления товарных позиций и их характеристик.
Вот как это работает:
Контекст на профессиональном уровне и без агентства — в системе PromoPult.
Автоматический подбор слов, автогенерация объявлений, «умное» управление ставками. Готовые отраслевые решения. Статистика в реальном времени. Для профессионалов — множество точных настроек.
Как выглядит YML-файл
Прайс-лист для Яндекс.Маркета состоит из общей информации о магазине и списка товарных предложений (офферов).
Шапка
В шапке YML-файла указана:
Вот так выглядит шапка в YML-файле (первые две строки):
Информация о магазине
Внутри элемента указана информация о магазине, оффере и другие данные:
В элемент вложены другие элементы:
Есть еще и дополнительные, необязательные элементы, входящие в : CMS и ее версия, название агентства, которое отвечает за техподдержку сайта, и другие. Подробнее о них читайте в соответствующем разделе Справки.
Оффер
Вот как выглядит часть YML-файла с одним товарным предложением ( ):
На этом скриншоте показан — одно товарное предложение (в данном случае мороженица). Маркет использует эти данные и создает карточку товара.
Элемент может быть упрощенного и произвольного типа. Разница — в названии товара:
Подробное описание формата — по ссылке.
Подробнее обо всех элементах YML-файлов можно почитать здесь.
Не все элементы обязательны к использованию. Для каждой категории товаров перечень обязательных и рекомендуемых элементов будет разным. У Яндекса есть готовые рекомендации по подготовке прайс-листов для разных категорий. Подробно описывать все их нет смысла — воспользуйтесь удобным рубрикатором Справки Яндекса.
Как создать YML-файл
Есть три основных способа создания YML-файлов:
Вручную
Это самый трудоемкий способ. Он подойдет интернет-магазинам, у которых не более 20-30 товарных предложений.
Можно попросить программиста написать скрипт для выгрузки товарных предложений в YML-файл. На GitHub есть готовые библиотеки, которыми можно воспользоваться для генерации YML-файлов. Например, вот эта.
Модули для CMS
Большинство популярных CMS могут экспортировать данные из интернет-магазинов в YML-файлы. У одних CMS есть встроенный функционал — файл можно сгенерировать прямо в административной панели сайта. В других случаях приходится использовать дополнительные модули/плагины.
Яндекс подсказывает, в каких CMS можно создать YML-файл
Полный список CMS, в которых можно создавать файл прайс-листа для Яндекс.Маркета, здесь.
С помощью софта
Можно воспользоваться программным обеспечением сторонних разработчиков, созданным специально для генерации YML-файлов.
Например, YML-генератор от Mysitemapgenerator.com. С ним можно:
Важно! Страницы товарных предложений (карточки товара) должны содержать разметку Schema.org Product или Open Graph Product. Детально микроразметку Schema.org мы разобрали здесь, Open Graph — тут. О добавлении разметки с помощью Google Tag Manager вы можете почитать в этой статье.
Как добавить прайс-лист на Яндекс.Маркет
После регистрации магазина на Маркете помимо указания необходимой информации о нем нужно добавить прайс-лист.
Делается это в разделе Ассортимент → Прайс-лист.
Добавление прайс-листа на Маркет
Добавить прайс можно тремя способами:
Способ 1. Разместить YML-файл на сайте вашего интернет-магазина (обычно — в корневой папке), а в личном кабинете Маркета добавить ссылку на него. Если доступ на сервер, где хранится файл, защищен, укажите логин и пароль.
Добавление ссылки на прайс-лист
После добавления файла нажмите кнопку «Проверить прайс-лист». Система проверит его, и если найдет ошибки, сообщит о них.
Проверка прайс-листа перед загрузкой на Маркет
После загрузки прайс появится в общем списке.
Список загруженных прайс-листов на Маркете
Способ 2. Загрузить YML-файл напрямую (размер не должен превышать 100 Мб). Для этого в окне загрузки выберите «Файл» и загрузите прайс с компьютера.
Загрузка YML-файла напрямую
Способ 3. Загрузка прайса с помощью макроса в Excel. Способ подходит, если вы составляли прайс в Excel. Он позволяет установить связь вашего файла в Excel с Яндекс.Маркетом и обновлять прайс автоматически после внесения изменений в исходный файл. Для использования этой функции нужно авторизоваться в Excel, используя полученный в Яндексе номер рекламной кампании и ключ. Подробно об этом способе — в справке Яндекса.
Загрузка прайса из Excel
Проверка YML на ошибки
После создания YML его стоит проверить на ошибки в валидаторе XML-фидов в Яндекс.Вебмастере (вот ссылка). Для этого выберите схему валидации документа (недвижимость, работа, видео, Маркет и другие) и источник XML-данных (файл, ссылка или текст).
Если вы не проверите YML-файл, в любом случае при добавлении его в Яндекс.Маркет сервис проверит его на ошибки и выдаст отчет.
Ошибки могут появиться как в случае создания YML-файла вручную, так и тогда, когда вы просто выгружали его с помощью модуля CMS.
Есть несколько классификаций ошибок, о которых сообщает Яндекс:
Подробнее об ошибках — здесь.
Обновление прайс-листа формата YML
Обновление прайс-листа необходимо для того, чтобы на карточках товарных предложений в Маркете всегда отображалась актуальная информация о:
Размещенный на Маркете прайс-лист нужно обновлять как минимум один раз в 30 дней, если вы загружали его в личном кабинете.
Если же YML-файл находится на сайте, нужно обновлять его каждый раз, как происходят изменения ключевых параметров (цена, количество товара и т.д.). Робот Яндекс.Маркета сам скачает обновленный файл при индексации.
Общая индексация Яндекс.Маркета проводится каждые 3-6 часов. За это время полностью обновляются все товарные предложения на Маркете. Измененные цены и скидки обновляются быстрее — 30-40 минут.
Удобнее всего настроить автоматическое обновление YML-файла на сайте. Тогда на Маркете всегда будет актуальная информация.
YML-файл полезен не только для Яндекс.Маркета, но и контекстной рекламы
Добавление магазина на Яндекс.Маркет — не единственная причина создать YML. Еще один вариант применения YML-файла — быстрое составление объявлений для контекстной рекламы. Для того чтобы в один клик получить объявления для каждого товара:
Объявления составляются для Яндекс.Директа и Google Ads и выглядят так:
Без автоматизации пришлось бы долго вручную перебирать все названия и цены товаров. Для интернет-магазинов с большим ассортиментом Генератор из YML — удобное решение. Вот исчерпывающий гайд по работе с Генератором из YML от PromoPult.
Если же вы хотите полностью избавиться от необходимости составлять объявления контекстной рекламы, попробуйте инструмент «Написание контекстных объявлений» от PromoPult. Вот инструкция по работе с ним.
Резюме
Размещение товарных предложений на Яндекс.Маркете дает ряд преимуществ:
Поэтому однозначно стоит воспользоваться этим инструментом. Стать участником маркетплейса несложно, к тому же это доступно даже малому бизнесу.
Следуя нашей инструкции, вы легко подготовите YML-файл.
И напоследок: позаботьтесь о должном качестве сайта, чтобы привлекаемый трафик не уходил из-за досадных ошибок.
10 шагов к YAML-дзену
Мы все любим Ansible, но Ansible – это YAML. Для конфигурационных файлов существует масса форматов: списки значений, пары «параметр-значение», INI-файлы, YAML, JSON, XML и множество других. Однако по нескольким причинам из всех них YAML часто считается особенно трудным. В частности, несмотря на его освежающий минимализм и впечатляющие возможности для работы с иерархическими значениями, синтаксис YAML может раздражать своим Python-образными подходом к отступам.
Если вас бесит YAML, вы можете – и должны! – предпринять 10 следующих шагов, чтобы снизить свое раздражение до приемлемого уровня и полюбить YAML. Как и положено настоящему списку, наша десятка советов будет нумероваться с нуля, медитацию и духовные практики добавляем по желанию 😉
0. Заставьте ваш редактор работать
Неважно, какой у вас текстовый редактор – для него наверняка существует хотя бы один плагин для работы с YAML. Если у вас такого нет, немедленно найдите и установите. Потраченное на поиск и настройку время будет многократно окупаться каждый раз, когда вам придется редактировать YAML.
Например, редактор Atom поддерживает YAML по умолчанию, а вот для GNU Emacs придется установить дополнительные пакеты, например, yaml-mode.
Emacs в режиме YAML и отображения пробелов.
Если в вашем любимом редакторе нет режима YAML, то часть проблем можно решить, поработав с настройками. Например, штатный для GNOME текстовый редактор Gedit не имеет режима YAML, но по умолчанию подсвечивает синтаксис YAML и позволяет настроить работу с отступами:
Настройка отступов в Gedit.
А плагин drawspaces для Gedit отображает пробелы в виде точек, устраняя неясности с уровнями отступа.
Иными словами, потратьте время на изучение своего любимого редактора. Выясните, что он сам или его сообщество разработки предлагают для работы с YAML, и используйте эти возможности. Вы точно об этом не пожалеете.
1. Используйте линтер (linter)
В идеале языки программирования и языки разметки используют предсказуемый синтаксис. Компьютеры хорошо справляются с предсказуемостью, поэтому еще в 1978 году возникла концепция линтера. Если за 40 лет своего существования она прошла мимо вас и вы до сих пор не пользуетесь YAML-линтером, то самое время попробовать yamllint.
Установить yamllint можно с помощью штатного менеджера пакетов Linux. Например, в Red Hat Enterprise Linux 8 или Fedora это делается так:
Затем вы просто запускаете yamllint, передавая ему YAML-файл для проверки. Вот как это выглядит, если передать линтеру файл с ошибкой:
Цифры слева – это не время, а координаты ошибки: номер строки и столбца. Описание ошибки может вам ни о чем не говорить, зато вы точно знаете, где она находится. Просто посмотрите на это место в коде, и, скорее всего, все станет ясно.
Когда yamllint не находит ошибок в файле, на экран ничего не выводится. Если вас пугает такая тишина и хочется немного больше обратной связи, то можно запускать линтер с условной командой echo через двойной амперсанд (&&), вот так:
В POSIX двойной амперсанд срабатывает тогда и только тогда, когда предшествующая команда возвращает 0. А yamllint как раз возвращает количество найденных ошибок, поэтому вся эта условная конструкция и работает.
2. Пишите на Python, а не на YAML
Если вас реально бесит YAML, просто не пишите на нем, в буквальном смысле. Бывает, что YAML – это единственный формат, который воспринимается приложением. Но и в этом случае необязательно создавать YAML-файл. Пишите на том, что вам нравится, а потом конвертируйте. Например, для Python есть отличная библиотека pyyaml и целых два способа конвертирования: самоконвертирование и конвертирование через скрипты.
Самоконвертирование
В этом случае файл с данными заодно является и Python-скриптом, который генерирует YAML. Этот способ лучше всего подходит для небольших наборов данных. Вы просто пишите JSON-данные в переменную Python, предваряете это директивой import, а в конце файла добавляете три строчки для реализации вывода.
Теперь запускаем это файл на Python-е и на выходе получаем файл output.yaml:
Конвертирование через скрипты
В этом случае сначала пишем на JSON-е, а затем запускаем конвертор в виде отдельного Python-скрипта, который на выходе дает YAML. По сравнению с предыдущим этот способ лучше масштабируется, поскольку конвертирование отделено данных.
Для начала создадим JSON-файл example.json, например, его можно взять на json.org:
Затем создадим простой скрипт-конвертор и сохраним его под именем json2yaml.py. Этот скрипт импортирует оба модуля — YAML и JSON Python, а также загружает указанный пользователем файл JSON, выполняет конвертирование и пишет данные в файл output.yaml.
Сохраните этот скрипт в system path и запускайте по мере необходимости:
3. Парсите много и часто
Иногда на проблему полезно взглянуть под другим углом. Если вам трудно представить взаимосвязи между данными в YAML, можно временно преобразовать их в нечто более привычное.
Например, если вам удобно работать со словарными списками или с JSON, то YAML можно преобразовать в JSON всего двумя командами в интерактивной оболочке Python. Допустим, у вас есть YAML-файл mydata.yaml, тогда вот как это будет выглядеть:
На эту тему можно найти массу других примеров. Кроме того, в наличии множество онлайн-конвертеров и локальных парсеров. Так что не стесняйтесь переформатировать данные, когда видите в них только непонятную мешанину.
4. Читайте спеки
Возвращаясь к YAML после долгого перерыва, полезно зайти на yaml.org и перечитать спецификации (спеки). Если у вас трудности с YAML, но до спецификации руки так и не дошли, то пора эту ситуацию исправлять. Спеки на удивление легко написаны, а требования к синтаксису иллюстрируются большим количеством примеров в Главе 6.
5. Псевдоконфиги
При написании книги или статьи всегда полезно сперва набросать предварительный план, хотя бы в виде оглавления. Так же и с YAML. Скорее всего, вы представляете, какие данные надо записать в файл YAML, но не очень понимаете, как связать их друг с другом. Поэтому прежде чем ваять YAML, нарисуйте псевдоконфиг.
Псевдоконфиг похож на псевдокод, где не надо заботиться о структуре или отступах, отношениях «родитель-потомок», наследовании и вложенности. Так и здесь: вы рисуете итерации данных по мере того, как они возникают у вас в голове.
Псевдоконфиг с перечислением программистов (Martin и Tabitha) и их навыков (языков программирования: Python, Perl, Pascal и Lisp, Fortran, Erlang, соответственно).
Нарисовав псевдоконфиг на листе бумаги, внимательно проанализируйте его и, если все в порядке, оформите в виде валидного YAML-файла.
6. Дилемма «табуляция или пробелы»
Вам придется решить дилемму «табуляция или пробелы?». Не в глобальном смысле, а лишь на уровне вашей организации, или хотя бы проекта. Неважно, будет ли при этом использоваться пост-обработка скриптом sed, настройка текстовых редакторов на машинах программистов или же поголовное взятие расписок о строгом соблюдении указаний линтера под угрозой увольнения, но все члены вашей команды, которые так или иначе касаются YAML, в обязательном порядке должны использовать только пробелы (как того требует спецификация YAML).
В любом нормальном текстовом редакторе можно настроить автозамену табуляции на заданное количество пробелов, поэтому бунта приверженцев клавиши Tab можно не бояться.
Как хорошо известно каждому ненавистнику YAML, на экране не видно разницы между табуляцией и пробелами. А когда чего-то не видно, об этом, как правило, вспоминают в последнюю очередь, после того, как перебрали, проверили и устранили все остальные возможные проблемы. Час времени, убитый на поиск кривой табуляции или блока пробелов, просто вопиет о том, что вам над срочно создать политику использования того или другого, а затем реализовать железобетонную проверку ее соблюдения (например, через Git-хук для принудительного прогона через линтер).
7. Лучше меньше да лучше (или больше – это меньше)
Некоторые люди любят писать на YAML, поскольку он подчеркивает структуру. При этом они активно используют отступы, чтобы выделять блоки данных. Это такое своего рода жульничество для имитации языков разметки, в которых используются явные разделители.
Вот пример такой структурированности из документации Ansible:
Кому-то такой вариант помогает разложить в голове структуру YAML, других он наоборот раздражает массой ненужных, на их взгляд, отступов.
Но если вы являетесь владельцем YAML-документа и отвечаете за его сопровождение, то вы и только вы должны определять, как использовать отступы. Если вас раздражают большие отступы, сведите их к минимуму, который только возможен согласно спецификации YAML. Например, вышеприведенный файл из документации Ansible без каких бы то ни было потерь можно переписать вот так:
8. Используйте заготовки
Если при заполнении файла YAML вы постоянно повторяете одни и те же ошибки, имеет смысл вставить в него шаблон-заготовку в виде комментария. Тогда в следующий раз можно будет просто скопировать эту заготовку и вписать туда реальные данные, например:
9. Используйте что-то другое
Если приложение не держит вас мертвой хваткой, то, возможно, стоит сменить YAML на другой формат. Со временем конфигурационные файлы могут перерастать себя и тогда лучше преобразовать их в простые скрипты на Lua или Python.
YAML – отличная штука, которую многие любят за минимализм и простоту, но это далеко не единственный инструмент в вашем арсенале. Так что иногда от него можно отказаться. Для YAML легко найти библиотеки парсинга, поэтому, если вы предложите удобные варианты миграции, ваши пользователи относительно безболезненно переживут такой отказ.
Если же без YAML никак не обойтись, то возьмите на вооружение эти 10 советов и победите свою неприязнь к YAML раз и навсегда!