Перейти к содержимому

Добро пожаловать на ЖЕЛЕЗНЫЙ ФАКТОР!
Рекомендуем Вам зарегистрироваться, чтобы получить полный доступ к форуму. После регистрации Вам будет разрешено создавать топики, писать сообщения, загружать и просматривать фотографии, оценивать посты других форумчан, управлять собственным профилем на форуме и многое другое. Личные сообщения доступны после 50 оставленных на форуме сообщений . Полный доступ к разделу "Химия" так же доступен после 50 сообщений. Если у Вас уже есть аккаунт, войдите здесь, либо зарегистрируйтесь!
Фото

Техническая сторона работы форума (и сайта)

* * * - - 13 голосов

  • Please log in to reply
7634 ответов в этой теме

#4801
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

на php 7.0.2 у людей отлично ipb работает, с заметным приростом в скорости:

https://invisionpowe...ibility/?page=2

в комментах можно почитать .



#4802
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

Diabloawm, спасибо, изучу



#4803
beylbom

beylbom

    Аксакал

  • Привилегированный пользователь
  • PipPipPipPipPipPip
  • 46 431 сообщений
  • Имя: Андрей
  • Пол: Мужчина
  • Город: МО

в 3-5-7 раз

 

В "3-5-7" раз 7 php не даёт прироста. Если только какой-нить ну совсем уж простой код, оторванный от реала. Ну в 2 раза самый максимум время уменьшится, при хорошем стечении обстоятельств.


Сообщение изменено: beylbom (12 апреля 2016 - 12:36)


#4804
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва
Проблема в том, что таблица постов более 3 млн записей, поэтому при больших запросах, она просто не выдерживает нагрузки. Плюс прикрепленнын фотографии, которых так же несколько десятков миллионов )
Надо будет все это как то разнести на разные сервера, чем займусь уже после сезона.

#4805
zinid

zinid

    Бывалый

  • Участник форума
  • PipPipPip
  • 7 591 сообщений
  • Имя: Евгений
  • Пол: Мужчина
  • Город: Мадрид

Проблема в том, что таблица постов более 3 млн записей, поэтому при больших запросах, она просто не выдерживает нагрузки. Плюс прикрепленнын фотографии, которых так же несколько десятков миллионов )

Непонятно. Там индексов может где-то нет? Что за база? Ты slow query смотрел?



#4806
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

Проблема в том, что таблица постов более 3 млн записей, поэтому при больших запросах, она просто не выдерживает нагрузки. Плюс прикрепленнын фотографии, которых так же несколько десятков миллионов )
Надо будет все это как то разнести на разные сервера, чем займусь уже после сезона.

 

кэширование надо  - хотя бы редис тот же установить .



В "3-5-7" раз 7 php не даёт прироста. Если только какой-нить ну совсем уж простой код, оторванный от реала. Ну в 2 раза самый максимум время уменьшится, при хорошем стечении обстоятельств.

 

про ipb я не в курсе ага, 

а вот как раз при хайлоад нагрузках , там пхп7 может дать неплохой прирост скорости, правда код придется переписывать .

 

но тут видимо все упирается в кривую работу с базой, траф то небольшой .



#4807
zinid

zinid

    Бывалый

  • Участник форума
  • PipPipPip
  • 7 591 сообщений
  • Имя: Евгений
  • Пол: Мужчина
  • Город: Мадрид

Тоже считаю, что надо сначала пооптимизировать до конца. Потому что если там какой-нить запрос O(N), то никакой SSD не поможет.



#4808
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва
Переписывать ipb не реально - сразу скажу )
Базу проверял, индексы есть

#4809
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва
Переписывать ipb не реально - сразу скажу )
Базу проверял, индексы есть

#4810
Михайлов Саша

Михайлов Саша

    Bon Vivian

  • Участник форума
  • PipPipPipPipPip
  • 21 808 сообщений
  • Имя: Александр Михайлов
  • Пол: Мужчина
  • Город: Москва
{ADMIN},
Рома,привет!
Хотелось бы вставлять ролики из инстаграм, это возможно технически? В VK -можно ;)
Спасибо

#4811
beylbom

beylbom

    Аксакал

  • Привилегированный пользователь
  • PipPipPipPipPipPip
  • 46 431 сообщений
  • Имя: Андрей
  • Пол: Мужчина
  • Город: МО

про ipb я не в курсе ага

 

А я не про ipb. Но в целом на типичной ООП странице, общающейся с БД, парсящей шаблоны и т.д. никакого там в "3-5-7" прироста не будет просто при смене версии PHP. ipb в этом смысла можно считать "обычным кодом".. Те страницы, которые, допустим, в моих проектах выполнялись на локале за 700мс, стали 400-450мс на php7 вместо php4. Это круто, конечно, очень круто, как подарок прям, но это даже не в 2 раза.

 

А на сайте зенда на графиках, в том числе популярных всяких движков блогов и форумах... максимум в 2 раза прирост, а чаще "почти в два". 

http://www.zend.com/...hp7_infographic

 

0f81191a1c.jpg


Сообщение изменено: beylbom (12 апреля 2016 - 09:27)


#4812
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

Михайлов Саша, пока я такого мода не встречал 



#4813
Михайлов Саша

Михайлов Саша

    Bon Vivian

  • Участник форума
  • PipPipPipPipPip
  • 21 808 сообщений
  • Имя: Александр Михайлов
  • Пол: Мужчина
  • Город: Москва

{ADMIN},ясно



#4814
Don VOVCHIK

Don VOVCHIK

    Молотобоец

  • Участник форума
  • PipPipPipPipPip
  • 24 299 сообщений
  • Имя: Владимир
  • Пол: Мужчина
  • Город: Ростов-на-Дону

{ADMIN},Рома,привет! Хотелось бы вставлять, это возможно технически? Спасибо


Хе-хе (с)

#4815
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

Коллеги, а что разумнее сейчас в сервак ставить?

Задача увеличить до 4Тб один из серверов.

Но чтобы относительно быстро и бюджетно.

Храниться там будет видео, поэтому сильного трафика на этих дисках не будет.



#4816
Михайлов Саша

Михайлов Саша

    Bon Vivian

  • Участник форума
  • PipPipPipPipPip
  • 21 808 сообщений
  • Имя: Александр Михайлов
  • Пол: Мужчина
  • Город: Москва

Хе-хе (с)


.i.

#4817
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

Коллеги, а что разумнее сейчас в сервак ставить?

Задача увеличить до 4Тб один из серверов.

Но чтобы относительно быстро и бюджетно.

Храниться там будет видео, поэтому сильного трафика на этих дисках не будет.

 

если траф совсем небольшой , то 4 сата диска по 2тб , 4тб х 2 в рейде сделать и норм . или если сохранность данных совсем не важна , то 2тб х 2 или 1тб х 4

если траф ощутимый - то только сас диски , сата чахлые в плане отдачи



#4818
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

отключите клаудфлару плиз - ну с тапаталка не почитать форум же =\

 

она все равно нужно только когда ддосят , а на форуме просто работа с базой кривая - антиддос защита от cf здесь никак не поможет 



#4819
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

Diabloawm, работа с базой не кривая.

Проблема в ботах поисковых и парсерах, которые грузят базу.

Поэтому ставится клаудфаре.

Но я его снял )



#4820
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

почему ботам и парсерам страницы не из кэша отдаются? они вообще никак нагружать базу не должны ж



#4821
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

Все что возможно, отдается из кеша, но как отдать из кеша картинки, которые висят в облаке клаудфаре?



#4822
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

картинки здесь не при чем - статика пусть с облака клаудфлары так пусть и отдается, это правильно

 

в данный момент видимо не работает кэширование страниц форума для ботов/парсеров , либо настроено некорректно. редис давно предлагаю поставить ) кэш вообще предусмотрен у этого движка?



#4823
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва
Кеширование есть, но на уровне движка
Те новые посты и новые картинки дёргаются из базы, а она 10 ГБ )

#4824
zinid

zinid

    Бывалый

  • Участник форума
  • PipPipPip
  • 7 591 сообщений
  • Имя: Евгений
  • Пол: Мужчина
  • Город: Мадрид

Картинки из базы? ЗОМГ



#4825
Diabloawm

Diabloawm

    Новичок

  • Участник форума
  • Pip
  • 973 сообщений
  • Пол: Мужчина
  • Город: Chiang Mai

я тож не очень понял эту фразу :)

 

Роман, если нужно я могу дать контакты отличнейшего программер/администратора. берет за час работы, уверен что поможет просто махом

 

он мне разгрузил один сервак хорошо, который обслуживал 80млн хитов в сутки

у других спецов просто опыта хайлоад нагрузок нет обычно



#4826
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

Поясняю: заходит бот в топик, дергается помимо таблицы с топиком, сообщениями, пользователями, правами и т.д. еще и гигантская таблица с записями о прикрепленных файлах, в т.ч. графических. Картинка же не может показываться просто так на форуме - верно? Она относится к посту и доступ к этим картинкам так же разграничен по правам для пользователей - так ведь? )

А теперь представьте. что одновременно заходит Гугл, Яндекс, Яху и несколько странных ботов-парсеров, на которые нельзя никак повлиять robots.txt Они упорно заходят, как им нравится, а не как их просишь.

 

я тож не очень понял эту фразу   Роман, если нужно я могу дать контакты отличнейшего программер/администратора. берет за час работы, уверен что поможет просто махом   он мне разгрузил один сервак хорошо, который обслуживал 80млн хитов в сутки у других спецов просто опыта хайлоад нагрузок нет обычно

 

Скиньте ). Мои админы сделали что могли.

но я уже сейчас знаю, чего скажет человек: надо переписывать частично движок IPB ))

А это нереально.

И финал всего - это "хай лоад" только при массовом наличии ботов на форуме, в противном случае проблем нет.



#4827
zinid

zinid

    Бывалый

  • Участник форума
  • PipPipPip
  • 7 591 сообщений
  • Имя: Евгений
  • Пол: Мужчина
  • Город: Мадрид

но я уже сейчас знаю, чего скажет человек: надо переписывать частично движок IPB ))

Ну можно же хотя бы баги зарепортить. Или за новую версию платить придётся?



#4828
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

zinid, почитайте о IPB - это довольно серьезная разработка

навороченная, но очень косячная

баги репортятся постоянно тысячами вебмастеров

но к сожалению хай лоад скрипт держит очень хреново

один из принципиальных косяков-  это повешенные на картинки и прикрепления права пользователей, поэтому изображения вешаются не по прямой ссылке, а через php )

вот такой вот коленкор...



#4829
Silovichok

Silovichok

    Гражданин СССР

  • Модератор
  • PipPipPipPipPipPip
  • 38 972 сообщений
  • Имя: Максим
  • Пол: Мужчина
  • Город: *

Они упорно заходят, как им нравится, а не как их просишь.

 

закрыть доступ )  правила для всех одни: 50 сообщений и лазай где хочешь ...  :pardon:



#4830
{ADMIN}

{ADMIN}

    STEELFACTOR.RU

  • Администратор
  • PipPipPipPipPipPip
  • 34 123 сообщений
  • Имя: Роман Джабелов
  • Пол: Мужчина
  • Город: Москва

К тому же новую версию на наш форум не  повесить, в связи с большим количеством доработок данной версии.



Закрывал я доступ )) Говорят, уберите клаудфаре.

Как раз от нежеланных ботов клаудфаре спасал.




2 посетителей читают эту тему

0 пользователей, 1 гостей, 0 скрытых


    Bing (1)