Когда-то довольно уже давно скачал архив библиотеки Lib.rus.ec – больше 100 Гб данных и клиент для доставания книжек из архивов и для обновления самих архивов. Несколько месяцев назад клиент почему-то перестал обновлять базу, а из существующей базы книжки доставал тоже как-то не очень уверенно.
Потыкался, потыкался, выяснилось, что можно и руками книжки доставать, но в архивах они имеют имена наподобие 12345678.fb2, что не очень радостно. Полез на трекеры - а там архив для скачивания уже больше 250 Гб. Провёл ревизию компьютеров - у меня и места-то столько нет, чтоб это всё хозяйство развернуть.
При более внимательном рассмотрении выяснилось, что к имеющимся у меня архивам можно скачать дополнительные файлы и получить более или менее актуальный архив библиотеки. С клиентом оказалось хуже - его автор бросает поддержку, отдаёт исходники, ковыряйтесь сами.
Решил пойти своим путём.
Соорудил WPF-программку, которая потрошит zip-архивы, достаёт оттуда fb2-файлы, фильтрует их по языкам и жанрам, переименовывает по названию книжки и раскладывает по системе папок типа \жанр\автор\язык. Для экономии места используются жёсткие ссылки (когда книга имеет несколько жанров) и упаковка в zip-архивы (читалки, выяснилось, поддерживают книжки в таком формате).
Скачал все доступные на трекере (http://trec.to/viewforum.php?f=52) обновления архива (получилось примерно 130 файлов с суммарным объёмом около 200 Гб). "Распаковка" заняла примерно неделю, по ходу дела потребовалось раз 20 модифицировать программку (из-за несоблюдения стандартов fb2 в файлах библиотеки и для учёта и исправления ошибок в данных, которых быть не должно бы, но пользователь у нас пытливый). Программку даже переделал под другую платформу - вместо .NET 4.7 использовал .NET Core 3. Из любопытства в основном.
Дальше уже чисто вручную, при помощи ФАРа. Выкинуть чепуху типа "Наука-политика" и т.п. жанры и выкинуть мелочи в отдельных жанрах. Думаю, за неделю потихоньку справлюсь и запущу на облака куда-нибудь.
Пускай теперь родимое государствие блокирует что угодно - книжек мне хватит лет на 500, даже если читать только известных мне авторов.
суббота, 13 апреля 2019 г.
Почитаем…
воскресенье, 4 декабря 2016 г.
Все на VPN!
Собирался поплакаться про “художества” нашего провайдера, но выяснилось, что подобная фигня не только у нас, другие тоже страдают. Наш ещё достаточно быстро дело поправил, могут быть провайдеры и значительно хуже…
Вчера поутру обнаружил, что программа Microsoft Band на моём винфоне не синхронизирует данные с десктопом, хотя телефон подключён как к домашней wi-fi сети, так и к мобильной сети МТС. После традиционных пожеланий здоровья корпорации стал разбираться, в чём же дело. Выяснилось, что если отключить wi-fi, то синхронизация данных проходит. Тут же обнаружилось, что и на десктопе недоступны многие сервисы MS – visualstudio, Office365, к вечеру “пропал” Onedrive. Никаких сообщений о блокировке не выводится, страница недоступна, заходите позже… При подключении через телефон всё работало. Называется, приехали. “Техподдержка” провайдера бодро рапортует, что проблема им известна, причина не ясна, работают над устранением. Как и ожидал, сегодня положение не изменилось, только ближе к вечеру доступ к сайтам восстановился.
Нет худа без добра – решил поплотнее посмотреть, как подобные художества впредь обходить: меньше-то их не станет, правительственные дурилки будут всё больше беситься на тему блокировок ресурсов, а дурилки провайдерские будут тупо (а как они могут ещё?) блокировать то, что им указали дурилки из какого-нибудь районного сельского суда по наводке дурилок из прокуратуры. Блокировали ведь уже такие сервисы, как last.fm, github.com… Для браузеров проблема решается сравнительно легко при помощи многочисленных расширений и дополнений, а вот с программами наподобие MS Office, Visual Studio и т.п. такой подход вряд ли реализуется. Тут только VPN поможет.
Оказалось, что отрасль VPN достаточно хорошо развита, в т.ч. можно найти и бесплатные услуги. Понравился небольшой обзор провайдеров VPN здесь. Для себя выбрал два с бесплатным доступом – hide.me и vpnGate. Первый лёгок в настройке и использовании, в т.ч. на Windows 10 Mobile, бесплатно предоставляет 2 Гб трафика в месяц, скорость передачи данных не рекордная, но отправить/получить данные сервисов вполне можно.
Второй в принципе бесплатный, не просит никакой авторизации и никак не ограничивает трафик. Как его использовать на телефоне, пока не сообразил, но всё прочие потребности, от обновлений программ в магазине и на серверах до просмотра видеороликов на YouTube и скачивания файлов через торрент-клиента, vpnGate обеспечивает. Скорость при скачивании доходила до 25 Мбит/с по диспетчеру задач Windows. Похоже, его можно постоянно на десктопе включать и использовать. Неясно пока, правда, как система себя ведёт при выключении сервера, к которому подключился – там многие серверы от добровольцев, а им тоже отдыхать надо…
На следующей неделе, 13-14 декабря, должно быть “большое” обновление Windows почти всех версий и при продолжении игр с блокировками можно этих обновлений не получить и отдать компьютер злобным хакерам – некоторые умники публикуют информацию об уязвимостях до того, как их устранят (а теперь и родимое “правительство” может препятствовать установке даже тех заплаток, которые выпустят). И никакие антивирусы в подобной ситуации могут не помочь – их-то сервисы обновлений тоже могут под блокировку попасть.
В общем, граждане россияне, спасение утопающих – дело рук самих утопающих, все на выборы. Ну да, правильно, выборы уже прошли и на них благополучно не сходили, поэтому все на VPN!