invalid dag generated is your memory oc too high как исправить
[BUG] Invalid DAG generated (EVGA 2080ti OC Black) #352
Comments
LeeDurant commented Apr 7, 2021 •
I have only been able to get quickminer to work a handful of times, and it seems the issue lies within the excavator miner itself or daggerhashimoto because the other miners in NiceHash Miner like TRex or NBminer seem to work just fine.
I have adjusted clocks higher and lower in both OCTuner and using Precision X1 to no avail. Only by chance am I able to get QuickMiner to work, where I then use the autotune setting and hope that it does not crash for a day or two. Since excavator and daggerhashimoto are the most efficient per kw/h on my system, I’d like to find what could make this work.
Error: [0x000032c4][warning] cuda-daggerhashimoto Device #0 | Invalid DAG generated. Is your memory OC too high?
GPU: EVGA 2080ti OC Black 12gb (11G-P4-2281) running driver version 27.21.14.6589 (GeForce 465.89) non-DCH/UWD drivers.
CPU: AMD Ryzen 9 3900X
Clocks and speeds
Memory clock delta: 1100
Core clock max: 1080
Version Affected:
v.0.4.5.0, v.0.4.6.0 RC
Current working solution
Run NiceHash Miner without a miner active, start quickminer. Switch between the two until share (green text) is accepted in quick miner, then close nicehash. Run efficiency or speed autotuner from there.
The text was updated successfully, but these errors were encountered:
We are unable to convert the task to an issue at this time. Please try again.
The issue was successfully created but we are unable to update the comment at this time.
Excavator Invalid Dag Generation Memory OC too high? 3060RTX #310
Comments
Cheeks87 commented Apr 1, 2021 •
I was mining on this 3060 with the last quickminer with zero issues. I saw you had an update and Installed it and started getting this error. Ive tried to remove the OC but the OCtune isnt making changes. I am currently running the 470.05 Driver for the RTX 3060 for the unlocked hashrate. I was running the «medium tune» through the quickminer.
What can I do on my end to attempt to remedy this? 
The text was updated successfully, but these errors were encountered:
We are unable to convert the task to an issue at this time. Please try again.
The issue was successfully created but we are unable to update the comment at this time.
nicehashdev commented Apr 1, 2021
Try to reboot your PC first.
Cheeks87 commented Apr 1, 2021
I have done this, as well has reinstall quickminer, and rebooted the Nvidia drivers.
nicehashdev commented Apr 1, 2021
Enable full logging and export logs after it happens then attach them here.
Cheeks87 commented Apr 1, 2021
nicehashdev commented Apr 1, 2021
Cheeks87 commented Apr 1, 2021 •
I just want to add as well the benchmark also failed for excavator for daggerhashimoto, though with NBMiner I can still use Daggerhashimoto. Not sure if that helps any at all or not.
This was when I was testing out the NiceHash Miner and not the quickminer.
I will test that out and let you know
Cheeks87 commented Apr 1, 2021
I replaced the excavator file in my quickminer installation path with the one you provided and Im still getting the same thing.
Cheeks87 commented Apr 1, 2021
Im not sure what happened, but its working exactly like it should with my «medium» settings turned on.
nicehashdev commented Apr 2, 2021
nicehashdev commented Apr 2, 2021
You can’t perform that action at this time.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session.
Как бороться с высоким DAG файлом на 4 ГБ видеокартах
У видеокарт с 4 ГБ видеопамяти проблема в том, что размер DAG-файла уже становится слишком большим.
Операционная система Windows 10 занимает около 0,5 ГБ видеопамяти, а DAG-эпоха уже слишком велика, и программы начинают забирать память из системной памяти, поэтому скорость замедляется с 27-28 до 19-20 Mh/s.
Как уменьшить зарезервированный объем VRAM Windows 10
Существует обходной путь для борьбы с веским DAG-файлом.
Если вы активируете iGPU (внутренний gpu в вашем процессоре) и используете hdmi на материнской плате, то Windows не выделит эту память из ваших 4 ГБ видеокарт.
Если у вас нет внутренней графики на вашем процессоре, обходной путь сработает, если вы установите в качестве главной видеокарты с памятью более 4 ГБ ( или дополнительную карточку, которую вы используете только для заглушки, для отрисовки Windows, а не для майнинга ).
Вставьте HDMI в материнскую плату, а не в видеокарту
Подойдет любая, самая дешевая карта
Второй вариант – указать эпохи вручную
Для управления DAG-файлом и его эпохами в программах PhoenixMiner и Claymore Dual Miner существуют следующие команды:
Можно указать для отдельных карт. В настоящее время опция работает только на картах AMD
1-частичное перекрытие генерации DAG на каждой карте;
Не забудьте выставить файл подкачки на максимум. В некоторых случаях это тоже помогает.
Следующие команды только для PhoenixMiner:
Третий вариант – обновить софт
На Windows 10 4 ГБ видеокарты в данный момент еще работают. И должны работать до конца лета, если не обновятся программы.
Четвертый вариант – установить Linux
Линукс и его производные (hive os, MinerBabe и т. д.) резервируют меньше видеопамяти, чем системы на Windows (порядка 22 МБ или 128 МБ против 384 МБ). Хотя они и платные, однако это тоже может быть кратковременным решением проблемы.
Пятый вариант – добывать другие монеты
Ни единым ETH и ETC жив майнинг. И хотя Ethereum и Ethereum Classic – это лучшее, что есть на Ethash алгоритме, лучше поискать другие альткоины, чем фермы будут простаивать.
Важно сразу продавать эти монеты потому, что в отличии от ETH они могут в любой момент соскамитсья!
Шестой вариант – продать карты заранее и перезайти с 8 ГБ картами
Наиболее разумный вариант. Пока рынок оживает в преддверии халвинга BTC и рынок видеокарт не перенасыщен предложением, имеет смысл продать старые 4 ГБ карты и купить вместо них 8 ГБ.
Обо всем этом и о многих других важных вещах мы говорили на нашем канале. Подписывайтесь, кто еще не подписался!
7 распространенных ошибок, которые нужно проверить при отладке DAG-файлов Airflow
Задачи не выполняются? DAG не работает? Журналы не находятся? У нас были те же самые проблемы. Вот список распространенных ошибок и некоторые соответствующие исправления, которые следует учитывать при отладке развертывания Airflow.
Apache Airflow стал ведущим планировщиком задач с открытым исходным кодом практически для любого вида работы, от обучения модели машинного обучения до общей оркестровки ETL. Это невероятно гибкий инструмент, который, как мы можем сказать по опыту, поддерживает критически важные проекты как для стартапов из пяти человек, так и для команд из списка Fortune 50.
С учетом сказанного, тот самый инструмент, который многие считают мощным «чистым холстом», может быстро стать обоюдоострым мечом, если вы только начинаете. И, к сожалению, нет особенно огромного богатства ресурсов и лучших практик на шаг или два выше базовых основ Apache Airflow.
Стремясь максимально заполнить этот пробел, мы собрали некоторые из наиболее распространенных проблем, с которыми сталкивается почти каждый пользователь, независимо от того, насколько опытна и многочисленна его команда. Независимо от того, являетесь ли вы новичком в Airflow или опытным пользователем, ознакомьтесь с этим списком распространенных ошибок и некоторыми соответствующими исправлениями, которые следует учитывать.
1. Ваш DAG не работает в необходимое время
Вы написали новый DAG, который должен запускаться каждый час. Вы устанавливаете почасовой интервал, начинающийся сегодня в 14:00, и устанавливаете напоминание, чтобы проверить его через пару часов. Вы проверяете его в 15:30 и обнаруживаете, что хотя ваш DAG действительно работал, в ваших журналах указано, что существует только одна записанная дата выполнения на 14:00. А что происходило в 3 часа дня?
Прежде чем вы перейдете в режим debug (вы не будете первым), будьте уверены, что это вполне ожидаемое поведение. Функциональность планировщика Airflow немного противоречит здравому смыслу (и вызывает некоторые разногласия в сообществе Airflow), но вы освоитесь. Две вещи:
2. Одна из ваших DAG не работает
Если рабочие процессы в вашем развертывании обычно выполняются без сбоев, но вы обнаруживаете, что один конкретный DAG не планирует задачи и не запускается вообще, это может иметь какое-то отношение к тому, как вы настроили ее для расписания.
Для выполнения DAG start_date должен быть временем в прошлом, иначе Airflow будет считать, что он еще не готов к выполнению. Когда Airflow оценивает ваш DAG, он интерпретирует datetime.now() как текущую метку времени (т.е. НЕ время в прошлом) и решает, что он не готов к запуску. Поскольку это будет происходить каждый раз, когда пульс Airflow будет оценивать ваш DAG каждые 5-10 секунд, он никогда не запустится.
Чтобы правильно запустить DAG, обязательно ставьте фиксированное время в прошлом (например, datetime(2019,1,1) ) и установите catchup=False (если вы не хотите запускать обратную засыпку).
3. Вы видите ошибку 503 при развертывании
Если вы переходите к развертыванию Airflow только для того, чтобы понять, что ваш экземпляр полностью недоступен через веб-браузер, скорее всего, это как-то связано с вашим веб-сервером.
Если вы уже обновили страницу один или два раза и продолжаете видеть ошибку 503, прочтите ниже некоторые рекомендации, связанные с веб-сервером.
Ваш веб-сервер может дать сбой
Ошибка 503 обычно указывает на проблему веб-сервера (или проблему deployment в kubernetes), основным компонентом Airflow, отвечающим за отображение состояния задачи и журналов выполнения задач в интерфейсе Airflow. Если по какой-либо причине у него недостаточно мощности или иным образом возникла проблема, это может повлиять на время загрузки пользовательского интерфейса или доступность веб-браузера.
По нашему опыту, ошибка 503 часто указывает на то, что ваш веб-сервер дает сбой (например, в Astronomer в kubernetes это называется состоянием CrashLoopBackOff ). Если вы запускаете deployment в kubernetes, и вашему веб-серверу по какой-либо причине требуется больше нескольких секунд для запуска, он может не достичь периода ожидания (10 секунд по умолчанию), в котором он вылетит, прежде чем он успеет развернуться. Это вызывает повторную попытку, которая снова дает сбой и так далее.
Если ваше deployment находится в этом состоянии, возможно, ваш веб-сервер достигает предела памяти при загрузке ваших DAG (даже если ваши рабочие и планировщик продолжают выполнять задачи, как ожидалось).
Несколько замечаний
Вы пытались увеличить ресурсы своего веб-сервера?
Airflow 1.10 немного жаднее, чем Airflow 1.9, в отношении ЦП (использования памяти), поэтому мы видели недавний всплеск количества пользователей, сообщающих о 503-х ошибках. Помогает быстрое увеличение ресурсов, выделенных вашему веб-серверу.
Если вы используете Astronomer, мы рекомендуем поддерживать размер веб-сервера на отметке минимум 5 AU (Astronomer Units).
Вы делаете запросы вне оператора?
Если вы выполняете вызовы API, запросы JSON или запросы к базе данных за пределами оператора с высокой частотой, вероятность тайм-аута вашего веб-сервера гораздо выше.
Когда Airflow интерпретирует файл для поиска любых допустимых DAG, он сначала немедленно запускает весь код на верхнем уровне (то есть вне операторов). Даже если сам оператор выполняется только во время выполнения, все, что вызывается вне оператора, вызывается при каждом такте, что может быть довольно утомительным.
Мы бы порекомендовали взять логику, которую вы в настоящее время выполняете вне оператора, и по возможности переместить ее внутрь оператора Python.
4. Задачи тасков периодически не работают
Это подводит нас к общей передовой практике, которую мы начали применять.
Будьте осторожны при использовании Sensors
Если вы используете Airflow 1.10.1 или более раннюю версию, датчики работают непрерывно и постоянно занимают слот для задач, пока не найдут то, что ищут, поэтому они имеют тенденцию вызывать проблемы с параллелизмом. Если у вас действительно никогда не бывает более нескольких задач, выполняемых одновременно, мы рекомендуем избегать их, если вы не знаете, что они не займут слишком много времени для выхода.
Например, если работник может одновременно запускать только X задач, а у вас работает три датчика (sensors?), то вы сможете запускать только X-3 задачи в любой заданный момент. Имейте в виду, что если вы постоянно используете датчик (sensors?), это ограничивает то, как и когда может произойти перезапуск планировщика (иначе датчик (sensors?) выйдет из строя).
В зависимости от вашего варианта использования мы предлагаем рассмотреть следующее:
Создайте DAG, который запускается с более частым интервалом.
Возможно, что задан тычок — и пропускает последующие задачи, если файл не найден.
2. Триггер лямбда-функции
5. Задачи выполняются, но становятся бутылочным горлышком
Если все выглядит так, как ожидалось, но вы обнаруживаете, что ваши задачи становятся бутылочным горлышком, мы рекомендуем внимательнее присмотреться к двум вещам: Ваши переменные Env и конфигурации, связанные с параллелизмом + ваши ресурсы Worker и Scheduler.
1. Проверьте свои переменные Env и связанные с параллелизмом (Concurrency) конфигурации
Какие именно эти значения должны быть установлены (и что может стать потенциальным узким местом), зависит от вашей настройки — например, вы запускаете несколько DAG одновременно или один DAG с сотнями одновременных задач? С учетом сказанного, их точная настройка, безусловно, может помочь решить проблемы с производительностью. Вот список того, что вы можете найти:
1. Параллелизм (параллелизм)
Это определяет, сколько экземпляров задач может активно выполняться параллельно (parallel) в нескольких DAG с учетом ресурсов, доступных в любой момент времени на уровне развертывания. Думайте об этом как о «максимально активных задачах в любом месте».
2. Concurrency DAG (dag_concurrency)
Это определяет, сколько экземпляров задач ваш планировщик может запланировать одновременно для каждой DAG. Думайте об этом как о «максимальном количестве задач, которые можно запланировать за один раз для каждой DAG».
3. Количество слотов задач без пула (Nonpooledtaskslotcount)
Когда пулы не используются, задачи запускаются в «пуле по умолчанию», размер которого определяется этим элементом конфигурации.
4. Максимальное количество активных запусков на DAG (maxactiverunsperdag)
Это говорит само за себя, но он определяет максимальное количество активных запусков DAG на DAG.
5. Concurrency воркеров (worker_concurrency)
Это определяет, сколько задач каждый воркер может запускать в любой момент времени. Например, CeleryExecutor по умолчанию будет одновременно выполнять не более 16 задач. Думайте об этом как о «Сколько задач каждый из моих воркеров может взять на себя в любой момент времени».
6. Параллелизм (параллелизм)
Совет от профессионала: если вы рассматриваете возможность установить низкое число конфигураций параллелизма на уровне DAG или развертывания для защиты от ограничений скорости API, мы рекомендуем вместо этого использовать «пулы» — они позволят вам ограничить параллелизм на уровне задачи и выиграть t, ограничивать планирование или выполнение за пределами задач, которые в этом нуждаются.
2. Попробуйте увеличить масштаб планировщика или добавить воркера
Если задачи становятся узкими местами и все ваши конфигурации concurrency выглядят нормально, возможно, ваш Планировщик недостаточно мощный или ваше развертывание (deployment) может использовать другого воркера. Если вы используете Astronomer, мы обычно рекомендуем 5 AU в качестве минимума по умолчанию для Scheduler и 10 AU для ваших рабочих Celery, если они у вас есть.
Увеличите ли вы свои текущие ресурсы или добавите дополнительного работника, во многом зависит от вашего варианта использования, но мы обычно рекомендуем следующее:
Для получения дополнительной информации о различиях между Executors ознакомьтесь с нашим Airflow Executors: Explained Guide.
6. У вас отсутствуют журналы
Вообще говоря, журналы не отображаются из-за процесса, который умер на одном из ваших рабочих процессов.
Вы можете увидеть что-то вроде следующего:
Несколько действий, которые стоит попробовать:
Повторите (удалите) задачу, если это возможно, чтобы увидеть, появляются ли журналы.
Это очистит / сбросит задачи и предложит снова их запустить
Измените log_fetch_timeout_sec на значение более 5 секунд (по умолчанию).
Это количество времени (в секундах), в течение которого веб-сервер будет ожидать начального рукопожатия (handshake) при получении журналов от других воркеров.
Дайте вашим воркерам немного больше прав
Если вы используете Astronomer, вы можете сделать это на вкладке Configure пользовательского интерфейса Astronomer.
Вы ищете журнал, сделанный более 15 дней назад?
Если вы используете Astronomer, период хранения журнала — это переменная среды, которую мы жестко запрограммировали на нашей платформе. На данный момент у вас не будет доступа к журналам, которым более 15 дней.
Вы можете выполнить команду в одном из своих воркеров Celery, чтобы найти там файлы журнала.
Эта функция предназначена только для корпоративных клиентов или людей, использующих Kubernetes.
Файлы журнала должны быть в
Задачи медленно планируются или вообще перестали планироваться.
Если ваши задачи выполняются медленнее, чем обычно, вы захотите проверить, как часто вы устанавливаете свой планировщик для перезапуска. К сожалению, у Airflow есть хорошо известная проблема, из-за которой производительность планировщика со временем ухудшается и требуется быстрый перезапуск для обеспечения оптимальной производительности.
Если вы используете Astronomer, вы можете перезапустить планировщик следующим образом:
Этот список основан на нашем опыте оказания помощи клиентам Astronomer в решении основных проблем с Airflow, но мы хотим услышать ваше мнение. Не стесняйтесь обращаться к нам по адресу people@astronomer.io, если мы пропустили что-то, что, по вашему мнению, было бы полезно включить.
Если у вас есть дополнительные вопросы или вы ищете поддержку Airflow от нашей команды, свяжитесь с нами здесь.
Здравствуйте!👋🏻 Как мы можем помочь?
Kryptex
Приложение
Майнинг
Компьютеры
Выплаты
Безопасность
Задать вопрос
Как убрать ограничение видеопамяти в Найсхеш на майнинг Эфира
Из-за растущего размера DAG файла (в августе 2020 он достиг 3.8ГБ) НайсХэш отключил карты с 4ГБ памяти от майнинга Эфира; например, популярные RX470/480 и RX570/580/590. Также карты Нвидиа 1060 с 3ГБ памяти перестали майнить на алгоритме KawPow. Сервис связывает это с проблемами на видеокартах с 4ГБ памяти, DAG файлом и связанными с ним ошибками.
Ошибки майнеров cannot write buffer for dag или cannot allocate big buffer for DAG — это результат увеличения DAG файла Эфира.
А вот поддерживаемые устройства не найдены — ошибка самого НайсХеш, который отключил поддержку карт с 4ГБ на Эфире и 3ГБ на КауПоу.
Отличные новости: в Криптексе таких ограничей нет, мы поможем устранить ошибки и продолжить майнить Эфир! В этой статье рассказываем, что делать и делимся удобными инструкциями.
Решение проблемы DAG файла на 4ГБ AMD
Если интересно понять, что такое ДАГ файл и почему он растёт, читайте нашу статью про Эфир и его ДАГ файл. Вкратце — видеокартам просто не хватает памяти, чтобы загрузить в себя граф для майнинг-вычислений. Но это пока исправимо! Вот наши советы, которые помогут вам помайнить на 4ГБ картах ещё до ноября.
Установите Криптекс 💎
В последней версии мы добавили «Phoenix miner», который эффективнее работает с 4ГБ картами. Он позволит картам проработаь примерно 375 эпохи, то есть до ноября.
Установите свежие драйвера видеокарты 🏎️
Установите драйвера последней версии с сайта AMD. На момент выхода статьи это 20.8.1.
Включите режим вычислений 🧮
Убедитесь, что у вас включен режим вычисления на всех картах. Иногда он слетает после обновления драйверов. Рассказывали об этом в отдельной статье «Как включить «режим вычислений».
Оптимизируйте порядок карт 🔄
Если у вас есть хоть одна карта с 8ГБ, поставьте её в первый PCIe слот. Это высвободит память на остальных 4ГБ картах. А если у вас процессор со встроенным видеоядром, и в материнке есть встроенный видеовыход, подключите монитор к нему: Виндоус перестанет занимать память видеокарт.
Разгоните память 🔥
Чтобы выжать максимум из ситуации, немного разгоним карты. Установите MSI Afterburner, увеличьте частоту памяти и понизьте пауэр-лимит. Подробно про разгон мы пишем статье «Как разогнать видеокарту для майнинга Эфира». Или можете послушать Фёдора на Ютубе:
Прошейте БИОС 🔧
Феникс майнер не поддерживает rxboost и страпы, поэтому хэшрейт может оказаться гораздо ниже, чем обычно на Клейморе. Чтобы вернуть привычный хэшрейт понадобится прошить БИОС видеокарты.
Готово! Можно майнить дальше 🚀
Эти шаги должны помочь вернуть 4ГБ картам былую мощность, но не на долго — в ноябре–декабре они перестанут майнить выгодный эфир. Самое время задуматься об апгрейде!
Возникли сложности?
Да, шагов много. Некоторые довольно хлопотные! Но мы здесь и поможем с чем угодно: с прошивкой, разгоном, подбором карт. Спрашивайте в телеграм чате Криптекса — мы и наши опытные пользователи помогут во всём разобраться 👋🏻 💪🏻
Или напишите нам напрямую — расскажем вам всё, что знаем 😁