#Mastodon #статистика

Подумалось: а ведь если взять, допустим, записи @rur за месяц, по ним ведь можно подсчитать MAU всего русскоязычного Федиверса, ведь так? Никто еще не пробовал сделать такое?

@rf @ru

@johan @rur @rf @ru

Попробуй! Возможно это будет интересно )

@Dmitry Ну да, «заодно кодить на питоне научишься» ;-)

@johan
Я кодить не умею от слова совсем! Максимум: простенький скрипт по шпаргалке могу накосяпорить.
У меня лингвистические проблемы по части общения с машиной.

@johan оно же не тянет посты со многих инстанцев френдики, хабзилы. и вообще ни в каком виде с диаспоры или со streams и много с чего другого.

это сервис для любителей клонов твитера — мастодона с плеромой, мискея и т.п.

оно не про федивёрс ни разу.

@Dmitry

@johan экспортни эти все массивы данных в xml и дальше через декларативный стиль xslt за счёт xquery & xpath уже операции агрегации проведёшь. ну классический такой map-reduce. @Dmitry

@grumb @Dmitry френдики с хабизиллами — это доли процента на уровне погрешности ;-)

@johan @Dmitry ну ёперный театр. почему любая мастодоновско-мискеевская блядь в этом уверена? ну в какую шмару ни плюнь, а такая хуйня из неё лезет? :)

@grumb @Dmitry Эти массивы данных сначала как-то спарсить надо. Или, как вариант, у автора архив попросить?

@grumb @Dmitry Когда fedilist еще работал — там это было видно, общее количество юзеров на разных платформах.

@johan @Dmitry ну тебе нужен просто нормальный xml, например, полученный через atom/rss.
и дальше обработка через sax-парсер умеющий xslt & xquery (xpath часть xquery).
потому что dom-парсер сожрёт тебе всю оперативку, даже на машине с 64гб ОЗУ уже на первых же шагах даже при работе с небольшими xml-файлами.

@grumb @Dmitry Хм. Подписаться на rur по RSS и собрать базу? Это, в принципе, мысль.

@johan @Dmitry это миф и заблуждение, что он вообще хоть что-то значимое показывал. огромная часть инстанцев федивёрса никогда не предоставляла этой информации статистики и никогда не будет её предоставлять из принципа находясь в тени такого рода любителей.

оно никому не нужно, никто не заинтересован, кроме любителей попиарить свой сервис или свои инстанцы.

@grumb @Dmitry Ну, значит, такие огороженные в статистике и не нужны.

@johan @Dmitry Потому как это и не статистика, это тупо пиар мастодонов :) Пытающихся замерить, к кому и сколько набежало с переделки Twitter → X.

@grumb @Dmitry Сколько набежало — мы знаем. Вопрос, сколько осталось, и именно RU.

@grumb @Dmitry Такой инфы нигде, афайк, нет.

@johan @Dmitry Выдаёшь желаемое за действительно.
Мы знаем сколько набежало не в Федивёрс, а сколько набежало мигрантов с твиттера в клоны твиттера.
Чуешь разницу?

@grumb @Dmitry Чую, она на уровне статпогрешности ;-)

@johan @grumb
Да тут как минимум 1/3 криптошизы.
Не, если собирать статистику по феди, то полную/релевантную или нахер.

@johan @Dmitry уверен, что можешь доверять своему прокуренно, пропитому чутью, упорно пытающемуся достучаться до твоего обдолбанно-упоротого мозга? :)

@grumb @Dmitry Это не имеет значения. Я могу, допустим, по своему аккаунту посмотреть статистику, на кого я подписан, сколько там мастодона, сколько френдики, миски и т.д. Люди, которые где-то прячутся — совершенно не интересны, не считаешь?

@Dmitry @grumb А что даст «полная статистика», включающая людей, которые для окружающего мира фактически не существуют?

@johan @Dmitry А если они не прячутся, а банально дистанцируются от таких как ты и подобных тебе?

Diaspora не поддерживает ActivityPub, но доступна из Frendica & Hubzilla и этой троице инстанцев как-то абсолютно похуй, что же происходит при этом в клонах твиттера. Особенно на волнах миграции толп долбаёбов с патлатыми хомячками-смузихлёбами — похеру как они там трясут навощенными бородами с усами или кого куда ими мокают.

@johan @Dmitry Это очень самонадеянно полагать себя «людьми», а тех кто от вас осознано или вынужденно дистанцируется — якобы несуществующими для «людей» :)

@johan @rur @rf @ru шо курим? кто отсыпет? :)

@copypasta Что-то не так?

@grumb @Dmitry Ты неправильно обобщаешь совершенно не те категории.

@johan @Dmitry использую инверсию, что бы ты понял свою оплошность в плане анализа групп субъектов в массиве данных :)

@grumb @Dmitry Только почему-то из тебя инверсивно говно брызжет постоянно. «Мастодоно-мискеевские бляди», «толпы долбаёбов с патлатыми хомячками-смузихлёбами» — у тебя день не задался, или что?

@johan @Dmitry эмоциональная окраска. Ты совершаешь проекцию необоснованную, что якобы кто-то прячется, какие-то группы. А я даю понять как они могут видеть твою тусовку используя тот же подход в плане проекций.

@grumb @Dmitry Да именно так, скорее всего, и видят. Неотъемлемое право. В слове «прячутся» особой эмоциональной окраски нет, можно заменить «сознательно не участвуют в тусовке», допустим.

Соответственно, в статистике будут только ее портить ;-)

Даже в рамках «тусовки» (любой) полно закрытых френдз-онли аккаунтов, которые уже точно не «прячутся», а именно «сознательно дистанцируются».

Соответственно, если хочется выяснить именно MAU — то в эту категорию ни те, ни эти просто не попадают, т.к. в тусовке о них ничего неизвестно.

@johan да всё так, только зачем?

@copypasta Мне очень интересно 🙂

@johan @Dmitry

отрицаешь принципы кластерного анализа данных и совершаешь систематическую ошибку выжившего.

подумай дважды, какую группу лиц ты выявишь анализируя @rur — что это за кластер в данных.

@grumb @Dmitry

подумай дважды, какую группу лиц ты выявишь анализируя @rur

А это надо у автора спрашивать, насколько я понимаю, бот выцепляет русскоязычные записи из публичной ленты лорша? #НоЭтоНеТочно

отрицаешь принципы кластерного анализа данных и совершаешь систематическую ошибку выжившего.

Тебе по ходу не понравилось, что я приравнял подмножество пользователей, которые кому-то известны в тусовке и на них потенциально можно подписаться к «всему русскоязычному федиверсу»? ;-)

@johan @Dmitry Что ты не понимаешь какую часть постов в федиверсе собирает @rur. Даже среди клонов твиттера видит далеко не все. Далее, тебе придётся пройтись не только по /0 постам, но и всем комментам в треды. Чтобы не отсеять пользователей, кто любит комментировать, но при этом сами мало пишут /0.

Далее, часть комментов в этих тредах будет локальной по отношению к инстанцу, не федерируемые. Т.е. один и тот же тред выглядит по разному в плане комментов для аккаунтов с разных инстанцев.

А теперь добавь к этому, что часть акксунтов отвечает в треды выставляя видимость лишь для своих подписчиков.

Сколько кластеров получилось? Кого из них, ты откинуть собрался?

@grumb, @johan, @Dmitry, слоников считаете?

@grumb @Dmitry
Да, с непишущими комментаторами, конечно, вылезает проблема 😠 MAU тут и не пахнет. Получается, собрать (с разумными усилиями) реально только «активно пишущих, известных тусовке», иначе кроме как парсить все посты и списки подписок/подписчиков — не выйдет.

ОК, значит MAU федиверса останется покрытой мраком 😠

@amoeba @grumb @Dmitry Не только слоников, но задача оказалась сложнее, проще забить.

@johan @Dmitry ну ActivityPub — это xml, определенной схемы, реализующей семантической веб, но xml. Так что парсить его вполне удобно, с валидацией и корректностью, проблем не возникнет.

Вопрос лишь как вытаскивать xml данные одного вида, используя другой xml в качестве каталога и отправной точки — тот же atom/rss.

Эдакий краулер, но которому реально нужны лишь метаданные. Таким занимаются всякие службисты. Для отслеживания кто с кем пересекается и контактирует в публичном поле.

Поскольку, изначально людям свойственно налаживать социальные контакты в публичной части, лишь потом переходя в приватные обмены личными сообщениями.

Так что, MAU ни разу не секрет.

@johan

это не учитывая ботов и ммл и lor.sh и нишевых других серверов.

тоесть можно умножить на 2.

и не учитывая комментов

@sley Спс, примерно такой порядок я себе и представлял 😠

@grumb @Dmitry https://mastodon.ml/@sley/114004012655248876

@johan @grumb
Т.е.
Нас 3 - 4 тысячи по очень грубой прикидке?
Мне категорически не нравится такой подход к статистике. Если бы это был вопрос денег, проигнорировал бы данную информацию как нерелевантную.
Но другой нет и это просто праздный интерес.

@Dmitry @johan Там на скриншоте 746 за сутки. Откуда три-четыре тысячи взялись? Когда тут речь шла про MAU — это число активных уникальных в месяц.

@grumb @johan
А так это минус Л было… 🤦‍♂️тогда сорян.
Значит около полутора тысяч.

@Dmitry @grumb Я думаю, в этих пределах, не больше.

@johan @Dmitry отлично, думай.

а мы пока проверим твоё представление о комбинаторике.

каким будет MAU (уникальных в месяц), если известно, что в сутки уникальных 746 и треть от всех пользователей пишет новые посты раз в пять дней?

@grumb @Dmitry От 746 до неопределенного количества ;-)