вторник, 13 сентября 2011 г.

Чтение стен ВКонтакте через RSS

Недавно возникло желание читать пару групп ВКонтакте. Регулярно заходить туда и проверять, не появилось ли чего нового - это не наш путь. Поэтому, узрев в этом желании отличную возможность поиграться с Google App Engine и Python'овским HTMLParser'ом, написал себе небольшой "велосипед" - vkontakte-feed.appspot.com. :)

Отдает посты с публичных стен в RSS. Пользуйтесь, если кому надо.

50 комментариев:

  1. VGusev13 сентября 2011 г. в 09:37

    Спасибо Дмитрий, как всегда то что надо!

    ОтветитьУдалить
  2. Юрий13 сентября 2011 г. в 10:53

    Отлично.

    ОтветитьУдалить
  3. Dmitry13 сентября 2011 г. в 17:08

    Круто! Спасибо!!!

    ОтветитьУдалить
  4. Анонимный13 сентября 2011 г. в 17:31

    Спасибо - вполне удобно.

    Может еще распишете весь процесс создания подобного. Просто пользуюсь для некоторых целей сайтом feed43.com - думаю идея с разбором сайт на куски текста похожа.

    ОтветитьУдалить
  5. Dmitry Konishchev13 сентября 2011 г. в 19:11

    Анонимный, а что именно вас интересует?

    Вообще, когда парсишь HTML, к каждому сайту приходится подходить индивидуально. Тут счастья никогда не будет. Да, в vkontakte-feed.appspot.com я расширил Python'овский HTMLParser, чтобы с ним можно было удобно работать, но все равно большая часть кода - это именно подстройка под HTML-код vkontakte.ru.

    Можно парсить как я, HTML-парсером (сложнее, но более устойчиво к изменениям дизайна), можно регулярными выражениями, но, в любом случае, если хотите, чтобы за генерируемый RSS не было стыдно, придется повозиться... Ничего особо сложного - просто кропотливая работа, требующая некоторого времени.

    А так, на сайте есть ссылка на исходный код - https://github.com/KonishchevDmitry/vkfeed. Смотрите, заимствуйте - я будут только за.

    ОтветитьУдалить
  6. Анонимный13 сентября 2011 г. в 22:17

    Если можно, один багрепорт:

    не работает использование id'шников, т.е. http://vkontakte.ru/durov работает, а http://vkontakte.ru/id1 - нет.

    ОтветитьУдалить
  7. Dmitry Konishchev13 сентября 2011 г. в 22:31

    Не знал, что существуют такие маленькие id'шники. :) У меня там просто проверка стоит, чтобы народ не вводил всякую фигню. Спасибо, поправил.

    ОтветитьУдалить
  8. my_funky15 сентября 2011 г. в 19:43

    У меня выдаёт страницу с кодом каким-то почему-то

    ОтветитьУдалить
  9. Dmitry Konishchev15 сентября 2011 г. в 20:35

    Ну вы хотя бы покажите, что за код-то - мне так сложно понять, что именно вы имеете в виду.

    P.S.: На всякий случай спрошу: а вы вообще в курсе, что такое RSS? А то, может быть, этот код и есть RSS? :)

    ОтветитьУдалить
  10. Анонимный21 сентября 2011 г. в 00:27

    Хорошая идея, респект. Буду вашим бета-тестером :) а с какой переодичностью обновляется лента?

    ОтветитьУдалить
  11. Dmitry Konishchev21 сентября 2011 г. в 00:55

    На данный момент в реальном времени: при обращении к http://vkontakte-feed.appspot.com/feed/.../wall отправляется запрос на http://vkontakte.ru/, парсится ответ, и генерируется RSS-лента. Впоследствии, возможно, добавлю какое-нибудь кэширование.

    ОтветитьУдалить
  12. Анонимный22 октября 2011 г. в 19:57

    Спасибо, отлично подошло для http://www.wordle.net/create.

    ОтветитьУдалить
  13. Юрий20 ноября 2011 г. в 12:42

    супер, то что я так давно хотел

    ОтветитьУдалить
  14. boogiebomzh26 ноября 2011 г. в 14:47

    Можно ли добавить авторизацию, чтобы можно было получать стены закрытых групп?

    ОтветитьУдалить
  15. Dmitry Konishchev26 ноября 2011 г. в 23:22

    Тут есть ряд проблем:
    1) Если пользоваться ВКонтакте API, то авторизацию придется время от времени подтверждать, т. к. токены, которые выдает API, имеют expiration time. Для RSS-ленты это неприемлемо.
    2) Если не использовать API, то пользователь должен будет передать свой логин и пароль моему сервису - не многие согласятся это сделать.
    3) Авторизацию в RSS поддерживают далеко не все клиенты. К примеру, самый популярный клиент (Google Reader) не поддерживает. К тому же, он считает все ленты полностью публичными, и может предложить RSS-ленту одного пользователя другому. Поэтому во всех RSS-лентах должна быть исключительно публичная информация.

    ОтветитьУдалить
  16. Мастерстоп19 декабря 2011 г. в 01:18

    Этот комментарий был удален автором.

    ОтветитьУдалить
  17. Мастерстоп19 декабря 2011 г. в 01:19

    Спасибо, работает. Но есть один баг. Как только пользователь добавляет аудиозапись, в течение двух недель будет висеть непрочитанная новость (браузер opera mini от 6.0).
    Мелочь, но иногда раздражает.

    Но всё равно огромное спасибо за продукт!)

    ОтветитьУдалить
  18. Alexander1 января 2012 г. в 20:16

    Дмитрий, а если пользоваться API но к примеру от какого-нить спец. логина во вконтакте, чтобы не парсить HTML?

    ОтветитьУдалить
  19. Dmitry Konishchev2 января 2012 г. в 14:22

    gaRex, во-первых, боюсь, что слишком быстро упрусь в лимит на количество просмотренных однотипных страниц в секунду от одного пользователя, а во-вторых - в таком случае я буду отдавать по RSS страницы, которые пользователи пометили как "только для зарегистрированных пользователей", что будет нарушать их privacy.

    ОтветитьУдалить
  20. 111129 марта 2012 г. в 20:38

    Огромнейшее спасибо!

    ОтветитьУдалить
  21. Илия1 июня 2012 г. в 18:29

    Спасибо огромное, теперь читаю контакт на Флипборде, сортированный по темам, очень удобно и красиво!)

    ОтветитьУдалить
  22. Анонимный22 декабря 2012 г. в 22:40

    Дмитрий !
    Спасибо !
    Просто супер!
    Женя.

    ОтветитьУдалить
  23. Анонимный11 сентября 2013 г. в 10:56

    Дмитрий, ваш сайт превысил какую-то квоту и больше не работает.
    Включите, пожалуйста, снова :)

    ОтветитьУдалить
  24. Dmitry Konishchev11 сентября 2013 г. в 11:56

    Анонимный, ВКонтакте RSS - полностью некоммерческий проект, поэтому он бежит на бесплатном аккаунте Google App Engine и, в связи с возросшей популярностью сервиса, под конец каждого дня упирается в лимиты. На данный момент у меня нет времени и желания выносить его на выделенный сервер, поэтому могу разве что порекомендовать либо запустить для себя свой персональный инстанс на Google App Engine, либо воспользоваться social-rss, которым я теперь пользуюсь вместо ВКонтакте RSS.

    ОтветитьУдалить
  25. DoReMi9 декабря 2013 г. в 18:12

    Хочу вот Yahoo.Pipes попробовать на предмет формирования ленты с публичных стен. Странно, думал, что уже кто-то такое сделал...
    Кстати, зачем вам в блоге капча? Так тяжко разбирать эти каракули... Отпугивать назойливых посетителей?

    ОтветитьУдалить
  26. Vlad3 января 2014 г. в 16:04

    Давно пользуюсь вашим сервисом, очень классная штука, но есть одна проблемка.. Я хоть и выбираю отображение "полноразмерного фото", но все равно изображение в RSS намного меньше того, что в самом посте в группе! Не могли бы исправить, если это возможно? Буду очень благодарен! :)

    ОтветитьУдалить
  27. Dmitry Konishchev3 января 2014 г. в 16:59

    Vlad, к сожалению, это все, что мне доступно через VK API. Действительно полноразмерную картинку наверняка можно было бы получить, оправляя дополнительные API-запросы для каждой из картинок, но этого я себе не могу позволить, т. к. это сильно увеличит нагрузку на сервис, который итак уже не укладывается в бесплатную квоту Google App Engine.

    ОтветитьУдалить
  28. Unknown12 января 2014 г. в 11:27

    Этот комментарий был удален автором.

    ОтветитьУдалить
  29. Dmitry Konishchev12 января 2014 г. в 12:01

    Клонируете себе git-репозиторий, меняете все копирайты с "Дмитрий Конищев" и "Dmitry Konishchev" на свои, меняете под себя app.yaml (https://developers.google.com/appengine/docs/python/config/appconfig), и заливаете на свой аккаунт (https://developers.google.com/appengine/docs/python/gettingstartedpython27/uploading).

    ОтветитьУдалить
  30. Читающий21 марта 2014 г. в 16:02

    А есть ли возможность залить код на свой сайт (хостинг с Pythonом), или обязательно на аккаунт в Google?

    Сейчас с удовольствием использую ваш сервис, но вечером утыкаюсь в лимит а хочется независимости.
    Скопировал git-репозиторий на хостинг, но как запустить без index.php не разбираюсь.
    Нашёл нечто похожее (http://lifeexample.ru/razrabotka-i-optimizacia-saita/format-yaml-i-ego-parser-na-php.html), но применить аналогично - знаний не хватает.
    Долгое время успешно работает код Full text RSS (fivefilters.org) на моём сайте - у них доступная инструкция по установке.
    Надеюсь на похожий вариант вашего RSS для ВКонтакте.

    ОтветитьУдалить
  31. Newman25 марта 2014 г. в 23:37

    Есть код для получения RSS Вконтакте со своего хостинга http://code.google.com/p/vk-rss/ , но он не различает многие ссылки на странице и не верно выдаёт главную ссылку в конце - на саму страницу. Хотя основной текст и фото выдаёт отлично

    ОтветитьУдалить
  32. Artem6 мая 2014 г. в 10:37

    Добрый день.
    на сегодня сервис не работает. Когда можно ждать восстановления?

    ОтветитьУдалить
  33. Dmitry Konishchev6 мая 2014 г. в 11:01

    Artem, сервис хостится на бесплатном аккаунте Google App Engine и каждый день ближе к ночи выбирает свою дневную квоту. На следующий день часов в 11:00-12:00 снова становится доступным. Сервис некоммерческий, делался "на поиграться" и я, честно говоря, не ждал такой популярности. У меня нет возможности выделять время на его развитие, поэтому могу разве что только предложить вам поднять его для себя на собственном аккаунте Google App Engine. На небольшую группу людей дневного лимита Google App Engine хватит за глаза.

    ОтветитьУдалить
  34. Никита7 мая 2014 г. в 00:04

    Дмитрий,можете ли вы мне скинуть этот сервис,для личного использования?

    ОтветитьУдалить
  35. Alexander7 мая 2014 г. в 01:59

    Отличная идея! Вы молодец. Может я что то пропустил и не видел, может вы уже описывали процесс, как поставить к себе ваше приложение. А то я в США и когда у вас 11:00 у нас тут глубокая ночь. очень бы пригодилось ваше приложение!

    ОтветитьУдалить
  36. Alexander7 мая 2014 г. в 01:59

    Отличная идея! Вы молодец. Может я что то пропустил и не видел, может вы уже описывали процесс, как поставить к себе ваше приложение. А то я в США и когда у вас 11:00 у нас тут глубокая ночь. очень бы пригодилось ваше приложение!

    ОтветитьУдалить
  37. Dmitry Konishchev7 мая 2014 г. в 12:59

    Да, на сайте есть ссылка - https://github.com/KonishchevDmitry/vkfeed

    ОтветитьУдалить
  38. Никита7 мая 2014 г. в 14:35

    Спасибо!

    ОтветитьУдалить
  39. Анонимный8 мая 2014 г. в 02:11

    Дмитрий, а для твиттера такая штука возможна? Я нигде не нашёл как ленту в твиттере преобразовать в RSS

    ОтветитьУдалить
  40. Dmitry Konishchev8 мая 2014 г. в 10:44

    У меня для этого есть еще одно наколеночное поделие, которым я как раз и читаю ВКонтакте и Twitter - social-rss. :) Выдает ленту VK/Twitter через RSS. Но его нужно ставить на своем сервере.

    ОтветитьУдалить
  41. Unknown14 мая 2014 г. в 15:34

    Дмитрий, большое Вам спасибо за сервис. Единственное - как можно увеличить длину рсс ленты? А то она выдает только 4-10 последних сообщений?

    ОтветитьУдалить
  42. Unknown14 мая 2014 г. в 15:35

    Я установил себе на бесплатный аккаунт тоже, но не могу понять где изменить объем забираемой информации

    ОтветитьУдалить
  43. Unknown14 мая 2014 г. в 15:50

    И второй вопрос, за финансовое вознаграждение возможно ли добавить функцию превращения в RSS отдельных обсуждений в группах?

    ОтветитьУдалить
  44. Dmitry Konishchev14 мая 2014 г. в 15:51

    Количество отдаваемых постов определяется здесь. На публичном сервисе увеличить не могу, т. к. это скажется на исходящем трафике, и бесплатная квота Google App Engine будет выбираться еще быстрее.

    ОтветитьУдалить
  45. Unknown2 апреля 2015 г. в 09:10

    Дмитрий, подскажите пожалуйста, как поменять последовательность записи в RSS ленту?
    Сейчас это - фото потом текст, а нужно сначала текст, потом фото

    ОтветитьУдалить
  46. Dmitry Konishchev2 апреля 2015 г. в 09:26

    Вот тут https://github.com/KonishchevDmitry/vkfeed/blob/master/vkfeed/tools/wall_reader.py#L187 можно задать нужный вам порядок.

    ОтветитьУдалить
  47. Alex9 сентября 2015 г. в 10:41

    Добрый день! Возможно ли установить на свой сервер?
    напишите если не сложно инструкцию по установке на свой сервер. Спасибо!

    ОтветитьУдалить
  48. Dmitry Konishchev9 сентября 2015 г. в 21:55

    На свой сервер нельзя - приложение писалось под Google App Engine и довольно сильно на него завязано (хотя, если у кого будет желание - отвязать его совсем не сложно, особенно если отказаться от кэширования). Но поднять свою версию на GAE - проще простого и к тому же совершенно бесплатно.

    ОтветитьУдалить
  49. Анонимный20 августа 2016 г. в 10:11

    Дмитрий, спасибо за ваш сервис, в свое время им было очень удобно пользоваться. Сейчас нашел сайт, который не работает через GAE и генерирует довольно симпатичные RSS - https://vkrss.com

    ОтветитьУдалить
  50. lexmaxak11 декабря 2022 г. в 14:33

    Долго мучался, но в итоге сделал Telegram бота на Питоне.
    Он импортирует посты из групп и сообществ вконтакте и конвертирует их в формат RSS согласно спецификации.
    Делюсь разработкой с сообществом.
    https://vk4rss.ru/

    ОтветитьУдалить