YadWeb: удаление файлов не работает

[harmonyblend]

Похоже Яндекс убрали метод, используемый для удаления файлов.

[ZZZConsulting]

Вышла новая версия от ZZZConsulting, v1.15
Подробнее в соседнем Issue

Если нужно удаление с Яндекс.Диска, рекомендую обратить внимание.

[harmonyblend]

Хорошо, но я сделал уже форк, который успешно работает несколько месяцев в автоматическом режиме :)

[ZZZConsulting]

Хорошо, но я сделал уже форк, который успешно работает несколько месяцев в автоматическом режиме :)

Приветствую!

Попытка в каком-то виде интегрировать Ваш TOTP получилась в том или ином виде, собран специальный билд под это дело:
v1.25.03.04.
Большая просьба проверить как работает эта сборка (по ссылке)!

Код забирался отсюда: https://github.com/harmonyblend/WebDavMailRuCloud
Интеграция в связи с сильно разбежавшимися исходниками была не простой, авторство и код сохранялись по максимуму, но о точном копировании говорить не приходится - перенос был ручной, автоматика давала катастрофический результат, а отлавливать потом ошибки нет никакой возможности. Поэтому примите, пожалуйста, все возможные извинения, если что не так!
Результат в отдельной ветке - totp-by-harmonyblend (не в master), из нее же делалась сборка.

Если скажете, что сборка работоспособна, код будет перенесен в master.
С нетерпением буду ждать результата проверки!

Когда (и если) код будете забирать себе, смотрите что поменялось, как минимум выпал один избыточный комментарий с деталями протокола Яндекса, возможно Вам он все же нужен.

[harmonyblend]

С нетерпением буду ждать результата проверки!

К сожалению, теперь они как-то определяют, что запрос роботизирован и возвращают "captcha.required" в YadAuthTotpRequest. Может нужно как-то поиграть с заголовками, чтобы это обойти.

Причём эта капча даже руками не проходится с браузера...

[ZZZConsulting]

К сожалению, теперь они как-то определяют, что запрос роботизирован и возвращают "captcha.required" в YadAuthTotpRequest. Может нужно как-то поиграть с заголовками, чтобы это обойти.

Причём эта капча даже руками не проходится с браузера...

Имеются очень большие сомнения, что кто-то в Яндексе на текущий момент хоть как-то обеспокоен противодействием сторонним попыткам добраться до их Диска, все что нужно было, они уже сделали, и судя по количеству скачиваний Эмулятора, остались единицы, для Яндекса не существенные.
На вход без СМС или QR навешано уже столько разных эвристических защит, что новые потребоваться могут только против какого-нибудь ИИ, заточенного за взлом.
Уже приличное количество месяцев назад была замечена вот такая закономерность - при входе по логину и паролю (вход по TOTP вряд ли тут отличается) система хочет дополнительной проверки - в коде это указано как капча, но по факту - это СМС или номер телефона входящего звонка. Если такую проверку пройти, то дальше логин-пароль вполне работают на вход.

При работе с Яндекс.Диском способом аутентификации Эмулятора можно управлять через логин:
!pasha@yandex.ru - здесь ! означает полный запрет применения браузера для аутентификации;
?pasha@yandex.ru - здесь ? означает обязательное использование браузера для аутентификации;
pasha@yandex.ru - а в этом случае делается попытка зайти по логину, а в случае неуспеха (тот же код на капчу), аутентификация через браузер (имеется в виду BrowserAuthenticator из комплекта).
И вот такая схема была вполне работоспособна - настраивается BrowserAuthenticator, делается вход по логину без знаков ! или ?. Если проходит, хорошо, нет - ручной вход с вводом кода из СМС и т.д. Когда вход с привлечением браузера произошел, система какое-то время позволяет входить без него. Опять-таки всё с вариациями, т.к. на сервере много эвристики, никогда не угадаешь какие факторы смотрятся, но в целом схема работала.

Просматриваются два варианта решения с NAS:

Первый по принципу - через тернии к звездам - надо делать вход на Диск, забирать из браузера аутентификационные куки, класть их в файл на NAS, чтобы приложение в докере ими пользовалось. Тут, естественно, нужна модификация кода Эмулятора. Сложно. Но интересно ;-).

Второй вариант аналогичен, но использоваться будет уже реализованные штатный механизм, а именно:
На ПК (сейчас это только Windows) запускается и настраивается BrowserAuthenticator;
в докере на NAS, в конфиге задается расположение BrowserAuthenticator (адрес, порт и пароль для BrowserAuthenticator), вход делается по логину и паролю, пароль в данном случае (не обязательно, но желательно) - пароль от BrowserAuthenticator.
Логин можно задавать как с ?, так и просто email без знака.
При обращении к Эмулятору, Эмулятор будет делать обращение к BrowserAuthenticator на вход (firewall должен быть настроен и пропускать такие запросы), получать обратно куки и работать как ни в чем не бывало.
Тут надо учесть, что кто-то должен увидеть окно BrowserAuthenticator и сделать вход. Поэтому первый запуск лучше сделать руками, чтобы инициировать всю схему. В последующем обращения к BrowserAuthenticator могут происходить без участия человека, программа просто определяет, что вход состоялся и этого достаточно. Это как открыть страницу сайта, куда уже ранее входил, страницу открыл - вход не требуется, уже все само.

Как на счет попробовать реализовать такую схему? Может из этого что-то получиться?
На первый взгляд проблем не прослеживается в применении. Собственно, BrowserAuthenticator изначально и рассчитывался на подобную схему работы, он в принципе может работать даже и не в одной локальной сети с Эмулятором - главное чтобы доступ на входящие соединения был. Ну, и обязательно выставить пароль нетривиальный, чтобы не подобрали, он не обязательно должен быть в виде GUID-а, лучше использовать какой-нибудь специализированный генератор паролей. И не забывать, что там http без шифрования. Если сеть действительно не защищена, то есть не домашняя какая-нибудь, то лучше сделать канал через VPN с шифрованием.

[harmonyblend]

Как на счет попробовать реализовать такую схему? Может из этого что-то получиться?

Сломался способ только неделю назад. И такое ощущения, что это или по IP-адресу, или User-Agent эвристика, заставляющая делать каптчу.
Причём, повторюсь, даже их штатный интерфейс входа через браузер логин+пароль+totp не работает! Появляется каптча, её заполняешь, а браузер не посылает дальнейший челлендж на сервер с результатом каптчи.

Я уже подумаю сделать вход через приложение Яндекс.Ключ, который бы в Telegram отправлял мне какую картинку нужно тыкнуть или QR (не знаю, что там хранится).

Но обязательно нужно сделать кэш для аутентификаций. Видимо, он (алгоритм) меня "забанил" из-за кучи аутентификаций при каждой синхронизации. Или там какая-то ошибка вылезла и какой-нибудь rate успешных аутентификаций для моего IP стал выше порогового.

[ZZZConsulting]

Причём, повторюсь, даже их штатный интерфейс входа через браузер логин+пароль+totp не работает! Появляется каптча, её заполняешь, а браузер не посылает дальнейший челлендж на сервер с результатом каптчи.

Есть такая дурная особенность, если появилось подозрение, учетная запись принудительно переводится на двухфакторную аутентификацию (то есть вход по СМС или QR обязательно). Надо войти, чтобы признали хозяина, а потом переключать обратно на логин с паролем. Ну и брыкаться тоже может какое-то время.
Поддержка Яндекса рекомендует в таких случаях сделать смену пароля, из-за чего сбрасывается все сессии и т.д. После этого стоит несколько раз войти-выйти, что эвристика привыкла к успешным входам. Затем через какое-то время флаг, что все пропало, к нам ломятся хулиганы, снимается и начинает работать нормально. Но без гарантий, что не повторится.
Если не установлена двухфакторная аутентификация (то есть СМС или QR), то повторится обязательно, вопрос только времени.
Именно поэтому рекомендация во включении двухфакторной аутентификации и использовании BrowserAuthenticator. В таком случае проблемы со входом практически нет. Взбрыкивает только в случае каких-то массовых сбросов куки, когда входы в Яндекс вообще для всех учетных записей теряются в раз и приходится логиниться во все подряд заново.

BrowserAuthenticator при работе на диске хранит куки. Это и не безопасно с одной стороны, и позволяет не спрашивать пользователя каждый раз, когда нужно аутентифицироваться. В норме руками вход приходится делать раз в несколько месяцев. Если же настроить отправку email в конфиге Эмулятора, что ситуация, когда что-то пошло не штатно и требует внимания будет показываться.

Можете пойти по схеме:

• сбросить пароль,
• установить двухфакторную аутентификацию,
• настроить вход через BrowserAuthenticator?
  Или, к примеру, такая схема не реализуема в принципе?

По идее, после смены пароля, через несколько часов анализатор входов долен отпустить и не сопротивляться больше, но только при двухфакторной модели.

[ZZZConsulting]

harmonyblend, если можно, хотелось бы какой-нибудь определенности чтобы понять куда и как двигаться.
При объединении кода ветки с TOTP в master могут появиться проблемы, т.к. изменения продолжают накапливаться, а мержить две разъехавшиеся ветки кода - всегда проблема.
Хотелось бы понять интегрировать код ветки с TOTP по Synology или удалить за ненадобностью, если это вообще теперь не применимо.
Есть ли планы использования BrowserAuthenticator при работе с NAS или нет - получается или не получается настроить. Может какие-то доработки нужны, которых не хватает? Или тема с бэкапом NAS вообще закрыта?

То есть, вопросов по большому счету два - что делать с кодом под TOTP и применимость Эмулятора на подобных устройствах в принципе (поскольку это первый реальный кейс использования Эмулятора и BrowserAuthenticator на разных машинах).

Если нужна какая-то помощь в настройке или доработке - тоже обязательно пишите!

[harmonyblend]

Есть ли планы использования BrowserAuthenticator при работе с NAS или нет - получается или не получается настроить. Может какие-то доработки нужны, которых не хватает? Или тема с бэкапом NAS вообще закрыта?

Взяв паузу, пожалуй, на подумать. Решил, что подход с TOTP или умер, или вот-вот умрёт.

Поэтому нужно использовать другой подход:

1. Проверяется по хэшу логин + пароль наличие действующей сессии в файловом кэше; если сессия есть и она активна (можно запрос сделать на получение / или ещё как-то) проводит операцию по ней, если нет, то п.2
2. Сервер начинает аутентификацию по QR-коду: https://passport.yandex.ru/

• получает QR-код
• расшифровывает ссылку из этого кода (переводя в растр и расшифровывая этот растр с какой-то либой для .NET, быстрый гуглёж показал пару либ)
• отправляет в Telegram ссылку по токенам бота из ENV (среды окружения)
• ждёт в течение 9,5 минут, как и браузер (видимо, основано на сроке жизни ссылки, также нужно проверить таймаут WebDAV) опрашивая результат по https://passport.yandex.ru/auth/new/magic/status/

2. Пользователь кликает в течение этого времени ссылку в Telegram и подтверждает вход
3. Сервер получает нужные токены и сохраняет в кэше; проводит нужную операцию по WebDAV

Такой подход использует новейшие подходы в авторизации (слово new в запросе) и ещё ни разу не запросил каптчу. Кстати, используя телеграм с пользователем можно и каптчу решить в интерактивном режиме.

BrowserAuthenticator очень не удобна, поскольку пользователь (я) не всегда у компа, а telegram почти всегда доступен.

[ZZZConsulting]

Понятно. Значит тема с TOTP закрывается - ветка удаляется.
Тема подтверждения входа (пачка или QR) в Telegram - актуальна.
С использованием ли BrowserAuthenticator или без - вопрос. Что именно будет общаться с Telegram, вероятно, не так принципиально, как принципиальна платформа (браузер), которой Яндекс будет показывать нечто для входа.
Сейчас Эмулятор работает представляется как MS Edge, потому BrowserAuthenticator по всей видимости останется, но при этом должен начать запрашивать вход через Telegram.
Принцип понятен. Скачать что-либо о сроках реализации пока не возможно, как и наступит ли этот момент вообще.
Спасибо!

[harmonyblend]

Принцип понятен. Скачать что-либо о сроках реализации пока не возможно, как и наступит ли этот момент вообще.

Да и сам подумываю этим заняться, как будет несколько (по прикидкам 4+, учитывая, что .net я уже плохо помню) свободных часов. Пока что с кэшем видится даже сложнее задача, учитывая, что придется с "чужим" кодом возиться.

Как решу, возьму актуальную версию из Вашей ветки main.