welinux.ru/Есть вопрос! — Почему не сделают обновление Линукс систем по p2p?

ZogG 20.09.10 15:37 # +2–

думаю ты имел ввиду по п2п протоколу, и думаю это возможно.

exelens 20.09.10 15:38 # ↑ +0–

Профиксил =)
да именно по нему

mwChief 20.09.10 17:36 # ↑ +0–

тогда пофиксь еще парктеный менеджер :)

: mwChief 20.09.10 17:38 # ↑ +0–

тоже сделал опечатку :)

: exelens 20.09.10 17:40 # ↑ +0–

сделано

: kstep 20.09.10 17:55 # ↑ +5–

паркетный менеджер
ням!

xT 20.09.10 15:43 # +1–

в чем профит?

exelens 20.09.10 15:51 # ↑ +0–

Быстрее обновляться

cblp 20.09.10 15:58 # ↑ +5–

Разница в скорости будет разве что в быстрых локалках, подключённых к Интернету медленным каналом.

: hate 20.09.10 20:06 # ↑ +2–

обычно организовывают локальные зеркала

dr_magnus 21.09.10 01:04 # ↑ +-1–

нет. сравни скачивание на berloga.net
у них зачастую выкладывают прямую ссылку и торрент.
торрент качается в разы быстрее, т.к. сумарная скорость закачки ограничена только твоим каналом и сумарной скоростью раздающих. в то время как скорость "прямой ссылки" в первую очередь ограничена скоростью отдачи сервера, что (обычно) гораздо меньше твоей "принимающей" скорости.
обрати внимание на странички Download популярных дистров - они, в первую очередь, советуют Р2Р, а только потом уже "Direct Download", тем самым разгружая свой канал и увеличивая скорость твоей закачки.
хотя, если ты сидишь на (тьфу-тьфу) диал-апе, то разницы ты не заметишь :-)

: cblp 21.09.10 07:08 # ↑ +2–

Ваш сайт не работает, ознакомиться с ним не удалось.

Спасибо, расписывать прелести p2p перед традиционными методами доставки не надо. Дистрибутивы — да, первую неделю после выхода дистрибутива центральные серверы нагружены сильно. Но топик-то об автоматизированных обновлениях, которые текущие, а не о прямых ссылках.

: pumbur 20.09.10 15:44 # +0–

реально, идея не нова, реализаций не видел.

snowemo 20.09.10 15:45 # +0–

А тебе зачем?

: exelens 20.09.10 15:51 # ↑ +1–

Вопрос гипотетический

haku 20.09.10 15:45 # +1–

А зачем? Какой смысл в этом? Рядовому пользователю профита нуль целых нуль десятых. К тому же неизбежно ведёт к повышению сложности системы без всякой необходимости. Да и при такой системе устаревшие версии пакетов вы не скачаете – их все сиды просто по-удаляют.

pumbur 20.09.10 15:54 # ↑ +1–

пользователям — профит в быстрой (зачастую и бесплатной, если в локальной сети есть такие же дистры) загрузке. дистрам — разгрузка серверов репозитариев.

пакеты находятся на другом уровне и проблему их устаревания можно легко решить. например, распостранением всех версий — что из них скачивать и хранить — выбор пользователя.

haku 20.09.10 16:11 # ↑ +5–

Если вы говорите о бесплатности, значит инет по траффику. Если инет по траффику, значит пользователь скачает и раздавать не будет (деньги). Так в чём-же профит пользователю (как конкретно этому так и всем в целом)? Логичнее и правильнее использовать getdelta какой-нить при траффике.

проблему их устаревания можно решить распостранением всех версий — что из них скачивать и хранить — выбор пользователя.

Вот именно. Есть пакет foo-4.4.5. Появился новый пакет foo-4.5.1. Через три дня все обновились, количество копий в раздаче пакета foo-4.4.5 упало с 1М до 1К. И это пакет всего лишь на версию ниже, а теперь подумайте сколько будет копий в раздаче пакета верcии скажем 3.5.9 ? Две-три, не больше. И то если повезёт. Так чем это лучше классической схемы реп?

P.S. Пере-хеширование локальных данных на 5-8 Гб при ежедневном обновлении будет, как ни странно, ежедневным. Оно вам нада? :)

: pumbur 20.09.10 16:31 # ↑ +1–

пользователь может и не раздавать.

на счёт последнего, повторюсь пожалуй:
находятся на другом уровне
конкретно к п2п это имеет посредственное отношение. в сегодняшних rollingrelease-дистрах ситуация не лучше: на сервере только последняя версия.

: dr_magnus 21.09.10 01:10 # ↑ +1–

в данном случае речь идет, скорее всего, о таких дистрах как Арч и Убунту. т.е. тех, которые хранят скачанные пакеты в /var/pkg (ну или где-то там).
ИМХО, было бы здорово указать пакетному манагеру, каким боком ему качать (отдавать) пакеты - либо по прямым ссылкам, либо через Р2Р.

ozalexo 20.09.10 15:48 # +4–

Как думаете, а цифровые ключи, подтверждающие, что мы скачиваем обновления именно из доверенного источника, для чего нужны? По протоколу p2p некий зловредный юзер может подменить часть пакета для внедрения своего зловредного кода. Есть мнение, что именно из-за подобных соображений и не распространяют обновления и фиксы таким способом.

: exelens 20.09.10 15:51 # ↑ +1–

Понял, спасибо

kstep 20.09.10 16:51 # ↑ +2–

С другой стороны можно централизированно (на уровне главного репозитория, выполняющего роль торрент-трекера в нашей гипотетической схеме) распространять цифровые криптоподписи раздаваемых пакетов-торрентов, и после скачивания по подписи этой подписи целостность. Тогда фига с два такой сценарий взлома будет возможен.

: pumbur 20.09.10 17:07 # ↑ +0–

см ниже. так же как и http или ftp, p2p — лишь способ передачи — тут (почти) всё то же самое, что и с сегодняшними системами распостранения.

: divius 20.09.10 17:34 # ↑ +4–

А вы думаете контрольные суммы в торрент-файле или магнет-ссылке для чего нужны?

: cblp 21.09.10 07:10 # ↑ +-1–

Как думаете, цифровые подписи не защищают от подделки содержимого? По-моему, в системах дистрибуции свободного ПО они только для этого и используются.

: cblp 20.09.10 15:49 # +1–

Есть костыли типа debtorrent.

imn 20.09.10 15:55 # +1–

в дебиане есть:
apt-transport-debtorrent

раньше вроде и едонки умело

exelens 20.09.10 15:56 # ↑ +1–

Смотри на 1 коммент выше.

Поясни про осла

: imn 20.09.10 16:03 # ↑ +0–

не обнаружил кнопки удалить...

насчет осла видимо ошибся, наверное эта штука сбила с толку http://packages.debian.org/ru/lenny/apt-p2p

ZogG 20.09.10 15:58 # +0–

Я думаю проблема будет так же в безопасности.

cblp 20.09.10 15:59 # ↑ +1–

Так же, как где?

ZogG 20.09.10 16:02 # ↑ +1–

так же = ко всему прочему выше перечисленному.

cblp 20.09.10 16:03 # ↑ +0–

ко всему прочему выше перечисленному = также

ZogG 20.09.10 16:17 # ↑ +1–

а может без придирок, или ты реально не понял меня?

cblp 20.09.10 16:21 # ↑ +1–

Реально в данной фразе уместны оба варианта, и они придают фразе различные смыслы.

: ZogG 20.09.10 16:23 # ↑ +1–

ну щас думаю мы разрешили этот вопрос)

: pumbur 20.09.10 16:04 # ↑ +0–

не больше, чем в обычных.

cblp 20.09.10 16:05 # ↑ +0–

От кого в данном случае исходит угроза?

ZogG 20.09.10 16:18 # ↑ +-2–

п2п это самоконтролируемая сеть юзеров, каждый сможет добавить свой код и изменения, как я это понимаю

: cblp 20.09.10 16:26 # ↑ +2–

Цифровые подписи пакетов давно уже распространяются централизованно и независимо от способв распространения самих пакетов.

pumbur 20.09.10 16:41 # ↑ +0–

каждый может добавить свой код и изменения

не больше, чем в сегодняшних версиях распостранения через http или ftp. всё то же самое.

можно те же подписи использовать. можно, например, в случае с битторрентом торрент-файл и трекер через раздавать через ssl. хэши пакетов уже есть и в торренте и в пакейджманегере.

ZogG 20.09.10 16:59 # ↑ +0–

я предпочитаю использовать или официальные репы или проверенные.

: demon1981 21.09.10 13:15 # ↑ +-1–

неважно откуда скачан подписанный пакет. подпись проверяется пакетным менеджером при установке как правило. по крайней мере в yum и apt так

divius 20.09.10 17:35 # ↑ +0–

Торрент-файл/магнет-ссылка итп содержат контрольную сумму. Максимальный вред - не удастся скачать.

hate 20.09.10 20:05 # ↑ +0–

Максимальный вред - не удастся скачать.

... критический апдейт на ядро (например).

divius 20.09.10 20:13 # ↑ +0–

Решение: иметь fallback на обычную загрузку. Кстати, та же проблема может быть и с обычной скачкой - подменить в сети пакет, поставить вы его не сможете.

: hate 20.09.10 20:20 # ↑ +-1–

подменить в сети пакет

при обычной загрузке нужно делать mitm где-то вблизи маршрута. практически это означает, что нехороший человек находится в области доступности и с ним можно поговорить на тему незаконности данной операции. к распределенно-удаленной сети это применить сложнее.

: yurijevs 20.09.10 16:18 # +4–

apt-p2p если требуемый пакет есть у сидов, то качается с них, если нет, то качается напрямую с зеркала и раздается остальным по p2p. Польза очевидна - снижение нагрузки на официальные сервера, особенно в день выхода новых версий, например убунты.

h31 20.09.10 16:21 # +3–

Во-первых, большие пакеты в апдейтах встречаются редко.
Во-вторых, если обновляться регулярно, то объём апдейтов будет недостаточным для того, чтобы от p2p было преимушество.
В-третьих, если качать за раз по одному пакету, то будет неэффективно.

yurijevs 20.09.10 16:26 # ↑ +2–

> то объём апдейтов будет недостаточным для того, чтобы от p2p было преимушество.

Если миллион пользователей будет качать не с сервера, а друг с друга, то преимущество будет как серверу (не ляжет под нагрузкой), так и пользователям.

hate 20.09.10 20:04 # ↑ +1–

преимущество будет как серверу (не ляжет под нагрузкой)

и много серверов уже лягло под нагрузкой?

exelens 20.09.10 20:07 # ↑ +0–

Вы хабра эффекта не видели?

hate 20.09.10 20:15 # ↑ +3–

хабраэффект - это когда много, одномоментно и на слабый сервер. сервера репозитариев работают не так.

yurijevs 20.09.10 22:55 # ↑ +0–

10.10.10 все увидите.

exelens 20.09.10 23:02 # ↑ +1–

Почему именно тогда?

yurijevs 20.09.10 23:07 # ↑ +0–

Я имел в виду дату релиза новой убунты, как всегда по http/ftp ничего не скачать.

: goblinyara 21.09.10 00:26 # ↑ +0–

всегда качал торрентом

: vovan888 20.09.10 16:30 # +3–

Думаю что основным неудобством тут будет большая задержка от запроса до начала закачки.
Так что это оправдано для скачки образов дисков, чем уже давно пользуюсь.

Abaza 20.09.10 16:31 # +2–

http://www.opennet.ru/tips/info/2032.shtml

: exelens 20.09.10 16:41 # ↑ +-1–

1 у нас не принято тыкать урлами
2 выше в комментах это решение уже есть

: DobrijZmej 20.09.10 18:14 # +2–

ну, для разгрузки офф.серверов / для локалки делается локальное зеркало репов.
В остальном смысла не имеет, разве что в принципе такой возможности =)

goblinyara 20.09.10 19:16 # +1–

ИМХО, имеет смысл только если делать кучу офф.репозитариев, и с них уже п2п качать. чтобы каждый отдельный сервер получал меньшую в разы нагрузку.

: Vzlom 21.09.10 00:19 # ↑ +1–

Ну кстати тоже вариант вполне так хороший... +1

hate 20.09.10 20:02 # +1–

а кто сидировать будет?

exelens 20.09.10 20:06 # ↑ +0–

А кто сейчас размещает пакеты?

: hate 20.09.10 20:13 # ↑ +1–

пакеты сейчас размещаются на зеркалах и клиенты разбрасываются балансировщиком нагрузки. что поменяется при переходе к p2p - не понятно.

divius 20.09.10 20:13 # ↑ +3–

Те же, кто, к примеру, сидирует диски Убунту. Например, я.

: Vzlom 21.09.10 00:20 # ↑ +0–

или диски того же archbang например я =)

hate 20.09.10 20:44 # +4–

еще p2p врядли наилучший вариант для апдейта гентушного портежа. rsync, имхо, будет лучше работать с огромным кол-вом мелких файлов.

: atommixz 21.09.10 02:22 # ↑ +0–

тут скорее по контексту подходит к вашим дистфайлам...

atommixz 21.09.10 02:20 # +0–

Нет проблем. Совершенно реальная идея. На это дело будет висеть отдельный демон. Нужно только разработать проект и написать его. Написать то не сложно. А вот нарисовать на бумаге проект, в смысле что и как будет работать...

atommixz 21.09.10 02:31 # ↑ +0–

Если не лепить много отсебятины, то сходу вот такой вариант:
- на archlinux.org (или на другом сайте) запускается торрент трекер
- на каждый файл в зеркале создаётся торрент
- pacman во время установки софта, по мимо скачки самого архива с прогой, скачивает этот торрент. Ещё лучше, обойтись без торрентов, юзать магнет ссылки. Торренты вроде умеют
- торрент раздаёт специальный демон-торрент-клиент

Если чо я поддержку. Сам особо не программирую, но что нибудь закоммитил бы на D или Python'e.

: atommixz 21.09.10 02:34 # ↑ +0–

Останется научить pacman (или костыль к нему) запрашивать данные с треккера и качать с него.

: atommixz 21.09.10 13:35 # ↑ +0–

Есть ещё два варианта. Самопальный и по аналогии работы сети Kademlia.
Самопальный это когда на сервере (пусть это будет archlinux.org) запущен демон, в памяти которого хранится хеш таблица (или списки, не знаю как это назвать) такого вида. "Чексумма-имя файла-список ip адресов".
Pacman загружает список файлов, как он это обычно делает при pacman -Sy. А когда устанавливается какой либо софт, он посылает серверу (archlinux.org) чексумму файла, который ему требуется (которую он получает по pacman -Sy), сервер отвечает списком ip адрессов, которые у него есть, к примеру 20-ать случайных ip-адресов из всего множества которые у него есть. По началу это могут быть ip адреса различных зеркал. Или например если у него нет ip адресов к этой чексумме, то он сам отдаёт этот файл.
Когда пакман получает список ip адресов, он кеширует их у себя и обращается к ним, (те так же могут обмениваться пирами) скачивать можно через какую нибудь стороннюю утилиту вроде aria2.
Не забываем что у пользователя тоже должен быть демон, который должен отдавать файлы.

Ещё возможен вариант с KADemlia который я пока не в силах описать.

: haku 21.09.10 16:18 # ↑ +1–

плодить сущности без необходимости это не unix way

—

20.09.10 15:33 exelens

Есть вопрос! — Почему не сделают обновление Линукс систем по p2p?

Стал интересен САБЖ!

Было бы нормально проанализировать чего там новое и сформировать торрент.
Слил пакеты и пока они в кеше или хранилище пакетного менеджера находятся.. пусть раздаются.

Или не реально такое?

Похожие +5–

zend — « Есть проблема! / [РЕШЕНО]Squid и flash» zend — « Есть проблема! / [РЕШЕНО]Squid и flash» mikle — « Есть проблема! / [РЕШЕНО]Squid и flash» goodle — « Есть проблема! / [РЕШЕНО]Squid и flash» goodle — « Есть проблема! / [РЕШЕНО]Squid и flash» mikle — « Есть проблема! / [РЕШЕНО]Squid и flash» goodle — « Есть проблема! / [РЕШЕНО]Squid и flash» goodle — « Есть проблема! / [РЕШЕНО]Squid и flash» mikle — « Есть проблема! / [РЕШЕНО]Squid и flash» Zend — « Есть проблема! / [РЕШЕНО]Squid и flash» jh — « Talks! / Почему программисты допускают ошибки? Они, что глупые?» ( -1 ) k1b — « Есть проблема! / [РЕШЕНО]Squid и flash» Alx — « Есть вопрос! / Изменение голоса в skype» Zereal — « WeИнтервью / Интервью с разработчиками Agilia Linux» k1b — « Есть проблема! / [РЕШЕНО]Squid и flash» goodle — « Есть проблема! / [РЕШЕНО]Squid и flash»
Последние посты
Последние комментарии
Изменения
Черновики (все)
Избранное (всё)

Лучшие блоги (все 137) Tips & tricks (31) Есть вопрос! (24) How-to`s (22) Archlinux (22) Vim (21) Мой рабочий стол. (18) Скрипты (16) Linux Games (15) KDE (15) Debian (14)
Элита (все 2621 из 205 городов) Username (247.25) muhas (246.8) Aesdana (131.1) Shtsh (126.9) h0rr0rr_drag0n (120.25) cppmm (117.8) ZogG (113.4) digiwhite (101.4) Minoru (98.45) LeniH (92.45)

В сети: dieformetal, shidoh, DobrijZmej, goodle, time2die, thoughtful_fox

Новенькие: kkl, ddh, vedmakoff, Lupo Alberto, Lautre