Инструменты of-scraper теперь с поддержкой DRM

  • Автор темы Автор темы graytin6
  • Дата начала Дата начала

graytin6

Лёркер
Регистрация
01.04.2023
Сообщения
21
Реакции
0
ofscraper
ofscaper — это форк onlyfans-scraper с дополнительными фичами и исправлениями.
Много изменений связано с управлением файлами. Например, теперь можно контролировать, какие типы файлов скачиваются, и больше управлять конечным местом сохранения этих файлов. Также добавили поддержку файлов с метаданными.
Для тех, кто сейчас использует скрипт digitalcriminals. Мы используем ту же структуру user_data.db. Так что эти файлы полностью совместимы. При условии, что у вас правильная настройка metadata в config.json. Ваш user_data.db можно использовать, чтобы пропускать уже скачанные файлы.
Запуск
Код:
ofscraper
Позволяет не только скрапить контент, но и массово лайкать/дизлайкать
Также позволяет управлять большей частью программы. Например переключать профили, менять настройки конфига, сбрасывать файл авторизации
Для пользователей, кто комфортно работает с командной строкой, мы предоставляем возможность усилить автоматизацию и пропускать все меню
Например команда, которую я использую
Код:
ofscraper --posts all --purchased --renewal disabled --sub-status active --account-type paid
Она предназначена только для скрапа всего контента стены и платного контента. Только для платных аккаунтов, которые активны и с отключённым продлением
Также доступен демон
Код:
--daemon {minutes}
Изменения
Много изменений можно найти на changes.md
Но некоторые из тех, что мне нравятся:
- скрапинг сообщений и платного контента для конкретных моделей
- фильтрация по типу аккаунта, статусу подписки и статусу продления
- нечёткий поиск при выборе модели
- возможность выбрать конкретный тип постов для скачивания
- поддержка фонового демона
Это задумано как очень простая программа. Сейчас план — поддерживать только onlyfans, так как есть другие скрипты, поддерживающие, например, fansly.
Ссылки
Repo
Pypi
 
Быстро попробовал этот скрипт, и он работает отлично. Однако наткнулся на четыре маленьких бага:
Во-первых получил run failed with exception: 'text' для одного профиля, в итоге никаких загрузок вообще не было. Правда не смог воспроизвести это на других профилях.
Код:
? Which models do you want to scrape: auroraangel1
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for auroraangel1
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: aurora angel | Username: auroraangel1 | ID: 66748071 | Joined: 2020-09-03T00:00:00+00:00
- 501 posts
-- 452 photos
-- 207 videos
-- 0 audios
- 2 archived posts
Pages Progress: 12: : 12it [01:05, 5.49s/it]
run failed with exception: 'text'
Using profile: main_profile[01:03, 4.17s/it]
Status - UP
Getting paid content for auroraangel1
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: auroraangel1
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
Второй баг в том, что скрипт по какой-то причине пропускает один файл при скрапинге. Пробовал и с --dupe, и без — не меняет ситуацию. Однако запуск скрапа ещё 1-2 раза на том же профиле, похоже, исправляет это, и загадочно пропущенный файл скачивается. К сожалению, точно не знаю какой это файл.
Третий баг в том, что скрипт иногда вообще не скачивает архивный контент профиля. --dupe не меняет этого, как и выбор только архивного контента. :SadgeCry:
Код:
? Which models do you want to scrape: avaxreyes
Status - UP
? Would you like to also download paid content Yes
Using profile: main_profile
Status - UP
Getting Selected post type(s) for avaxreyes
Subscription Active: True
? Which area(s) would you like to scrape? (Press ENTER to continue) ['Timeline', 'Archived', 'Highlights', 'Stories', '
Messages']
Name: Ava Reyes 💖 | Username: avaxreyes | ID: 125000045 | Joined: 2021-03-11T00:00:00+00:00
- 261 posts
-- 286 photos
-- 8 videos
-- 0 audios
- 30 archived posts
Pages Progress: 9: : 9it [00:05, 1.60it/s]
Pages Progress: 3: : 3it [00:46, 15.52s/it]
forcing all downloads

Downloading to ofscraper/{model_username}/{responsetype}/{mediatype}/

Progress: (300 photos, 8 videos, 0 skipped || 308/308||150.15 MB): : 308it [00:43, 7.08it/s]
Using profile: main_profile
Status - UP
Getting paid content for avaxreyes
Scraping, Scraping isn't frozen. It takes time.
Scraped Page: 1

Username: avaxreyes
- paid content 0
-- photos 0
-- videos 0
-- audios 0

Done With Run
И наконец, четвёртый баг — аватары скачиваются без расширения файла. Для меня не критично, но решил поделиться на случай если кому-то пригодится. 👍
Кроме этих четырёх мелких багов, скрипт работает абсолютно идеально и им очень легко пользоваться. Спасибо за то, что поделился! :MLADY:👍
 
Спасибо за добрые слова, а также отчёты о багах очень полезны
 
Мне много помогли улучшить этот скрипт, как в процитированном посте
С выходом 1.82
Я подумал заглянуть сюда и посмотреть, исправлены ли уже некоторые баги отсюда
Благодаря этому я смог пофиксить кучу проблем из ранних версий и внедрить способы улучшить скрипт.
1. Ошибка текста может означать, что конфиг неправильный, либо что ответ от onlyfans не содержит ожидаемое значение. Так как это происходит только с конкретной моделью, скорее всего второе. Я переработал скрипт, чтобы он лучше справлялся со всеми разными типами ответов от onlyfans. Мне присылали отчёты о похожих ошибках, но большинство из них, похоже, исчезли с более поздними обновлениями.
2. Неудачные загрузки, скорее всего, проблема на стороне onlyfans, иногда они просто присылают плохой ответ. Предыдущие версии должны были повторять запрос, но это было реализовано неправильно. В новой версии я это исправил. Теперь каждая загрузка будет пытаться выполниться 5 раз с паузой. Надеюсь, это сильно уменьшит или уберёт пропущенные загрузки
3. В этом я не уверен. Есть хороший шанс, что это уже исправлено всеми изменениями в скрипте.
4. Я реализовал фикс для этого в 1.82
 
Я убрал 1.82 из-за бага, который сам туда внёс
последняя версия — 1.87
 
Отличные новости
ofscraper 1.95 теперь поддерживает DRM-контент
 
Спасибо, hornyone! Так и не дошёл до использования digitalcriminal и скачивал контент вручную... Попробовал твой скрипт, и он реально облегчил жизнь.
 
Добавил бета-функцию
Это способ быстро визуализировать информацию из бд вместе с данными, полученными через api
Это часть предстоящего релиза 2.2
Вероятно, появится способ скачивать отдельные посты, разблокированные таким образом, а также делать это прямо из командной строки
dp-Y8eWwsgY.png
 
Внёс несколько обновлений в версию скрипта из репозитория, теперь можно скачивать отдельные медиа/посты
https://github.com/datawhores/OF-Scraper/wiki/Scraping-Individual-Posts-or-Media
У меня сейчас черновик релиза готов, но хочу сделать пару мелких правок перед выпуском
 
Не уверен, делаю ли я что-то не так, или есть какой-то способ, но при скрейпинге DRM-сообщений качество не добавляется в имя файла (напр. _source). С постами ещё не пробовал, пока использую инструмент только для сообщений.
 
Только к некоторым файлам добавляется _source
Зависит от url, который возвращает api
 
Не думаю, что это так. Потому что я использовал скрейпер sim0n00ps для тех же сообщений, и он вернул с добавленным _source, а твой — нет, для тех же файлов.
 
Да, я использовал то, что указывал исходный url
Быстро глянул его код, он добавляет это к имени файла
folder + path + "/" + filename + "_source.mp4"
В некоторых файлах это есть внутри url, но не всегда одинаково
Вероятно, сделаю что-то похожее, чтобы избежать путаницы
 
Использую ofscraper 2.4.5 на macOS. Скачал всё из моих покупок отлично... кроме того, что DRM-видео скачивается неправильно. Оно скачивает DRM-видео, но его нельзя открыть. macOS QuickTime (софт для воспроизведения mp4 на macOS) пишет: "The file isn't compatible with QuickTime Player.". Также пробовал загрузить этот файл на gofile, чтобы проверить, будет ли он там играть, и там тоже нет.
Вот что я использую для mp4decrypt: https://formulae.brew.sh/formula/bento4
И ещё указал в конфиге путь к исполняемому файлу ffmpeg (уже регулярно им пользуюсь)
При проверке метаданных скачанного DRM-видео, которое не открывается... заметил, что разница между ним и остальными не-DRM видео в том, что у DRM-видео нет информации о разрешении, кодеке и т.д. Этих метаданных не хватает, и я предполагаю, что именно поэтому у меня оно может быть сломано. Есть идеи?
 
Ещё, как повторить попытку скачивания уже ранее скачанного контента? Заметил, что когда перезапускаю на сообщениях модели, он не скачивает те, что я уже скачивал раньше?
 
Вышла версия 2.5
Я запушил фикс проблемы с метаданными, который исправит будущие файлы
Есть пара решений для текущих файлов
https://github.com/datawhores/OF-Scraper/issues/85
Проблемные файлы должны заработать, если конвертировать их в .mkv
 
Проблема в расширении
Некоторые видеоплееры могут это обойти.
Судя по дискорду, vlc один из них
но смена имени на .mkv или
повторная загрузка с --dupe исправит проблему
https://github.com/datawhores/OF-Scraper/issues/85
можешь запустить
ofscraper --dupe
Это пропустит проверку дублей и перекачает каждый файл
 
Извините, пожалуйста.
можешь объяснить как для тупых, как этим пользоваться?
 
Перекачал DRM-файл, всё получилось, всё работает. Спасибо за работу!
 
Привет, я скачал платное DRM-видео (сообщение) и хочу скачать его заново, как это сделать? В базе файл отмечен как скачанный.
 
Назад
Верх