Убивает ли Gmail независимую электронную почту?

Электронная почта работает со всеми

Электронная почта - это отличный протокол, поскольку он работает практически со всеми. С первых дней существования Интернета люди могли отправлять и получать сообщения по электронной почте на любой почтовый сервер и с него. Позже к этому присоединились такие почтовые службы, как Hotmail - теперь Outlook, Yahoo и Gmail, чтобы люди и компании могли просто создать адрес электронной почты в этих службах - вместо того, чтобы содержать собственный почтовый сервер. Это сделало электронную почту наиболее широко используемым средством коммуникации во всем мире - и она по-прежнему остается таковым.

Использование почтовых служб стало невероятно удобным, поскольку службы взяли на себя заботу о настройке серверов, включая создание записей SPF, DKIM и DMARC, чтобы убедиться, что электронная почта принимается другими почтовыми провайдерами.

Несмотря на это, и по сей день можно разместить собственный почтовый сервер, и многие компании делают это. Однако, похоже, что даже если вы правильно используете SPF, DKIM и т.д., Gmail не любит, когда вы отправляете письма со своих собственных почтовых серверов.

Недавно компания из Новой Зеландии, School interviews, пожаловалась, что их электронные письма родителям, которые ожидают подтверждения бронирования с этого сайта, не получают их из-за ограничения скорости в Gmail.

Gmail ограничивает скорость отправки электронных писем

”Эти синие точки показывают, что более 3 500 клиентов Gmail получили подтверждение бронирования с задержкой до 12 часов. Наши сотрудники службы поддержки получают по несколько звонков в день с вопросами о пропавших письмах-подтверждениях и устало объясняют, что Gmail задерживает доставку без веской причины”.

Фактическая ошибка от Google, согласно интервью в школе, выглядит следующим образом:

Наша система обнаружила необычную частоту 421-4.7.28 нежелательной почты, исходящей с вашего IP-адреса. Чтобы защитить наших 421-4.7.28 пользователей от спама, отправка почты с вашего IP-адреса была временно 421-4.7.28 ограничена.

Учитывая, сколько людей на Reddit жалуются, что их письма с self-hosted серверов вообще не попадают в почтовый ящик Gmail, а попадают в спам, школьные интервью все еще находятся в довольно хорошем положении. Но для ведения бизнеса своевременное получение этих писем имеет первостепенное значение.

Может ли Gmail работать лучше?

На Hacker News люди утверждают, что у Google нет другого выбора, потому что правильная настройка почтовых серверов не доказывает, что вы не спамер - сегодня даже спамеры способны правильно настроить свой почтовый сервер. Таким образом, недавно настроенные почтовые серверы рассматриваются огромными почтовыми провайдерами как спамеры:

Они говорят: “На обоих почтовых серверах установлены записи PTR, SPF […] DKIM и DMARC[…]“. Да. Отлично. Дело в том, что это настолько тривиальный барьер для входа, что угадайте что? Спамеры тоже так делают! Электронная почта настолько испорчена спамом, что реальность такова, что независимый провайдер, не имеющий репутации, в 99% случаев окажется спамером.

Или:

Я понимаю разочарование этого парня, но вот это: “И это происходит после того, как SPF, DKIM и DMARC обеспечили решение проблемы спама.” просто неверно. Сейчас тонны спама приходят с серверов с SPF, DKIM и DMARC. Они перестали быть надежным сигналом отсутствия спама много лет назад.

Тем не менее, главный вопрос остается: Нормально ли, что Gmail имеет право решать, рассылает ли предприятие спам или нет?

По крайней мере, службе поддержки Gmail следовало бы прислушаться к компании и изучить проблему, чтобы устранить ее.

Если Google не хочет этого делать, то это еще один признак того, как Google может злоупотреблять своей рыночной властью и препятствовать небольшим сервисам или - в данном случае - самостоятельным хостингам электронной почты, ограничивая возможности людей и предприятий, когда они хотят, чтобы их электронная почта надежно принималась Gmail.

---

Вопрос, который остается открытым, заключается в следующем:

Должен ли я размещать свой единственный почтовый сервер?

Это было довольно хорошо объяснено на Reddit:

Как определить, стоит ли вам размещать собственный почтовый сервер? Задайте следующие вопросы:

1. Хочу ли я отправлять и получать электронную почту с других доменов? Если нет, то некоторые из этих вопросов будут неприменимы, так что имейте это в виду.
2. Готов ли я проделать определенную работу, чтобы все получилось? Если нет, остановитесь.
3. Это мое первое знакомство с Linux, Docker, хостингом или любой другой новой технологией? Если да, то остановитесь. Сначала разместите что-нибудь другое, чтобы поднапрячься.
4. Разрешит ли мой интернет-провайдер входящий нефильтрованный доступ к портам 25, 143, 465, 587, 993 на мой IP? Если нет, остановитесь.
5. Есть ли у меня статический IP, который также позволит мне редактировать запись в rDNS? Если нет, остановитесь. Ваша способность доказать, что вы не спам, во многом зависит от rDNS. Проверьте записи mx моего домена (который является моим именем пользователя), чтобы понять, что я имею в виду. У меня статический IP с Verizon FiOS, и это бизнес-класс. Все, что меньше, и я не могу прикоснуться к этому входу. Я также плачу больше за интернет из-за этого.
6. Буду ли я проявлять должную осмотрительность, получая и просматривая отчеты SPF и DMARC, которые вы можете получить о своей электронной почте? Если нет, остановитесь. Это ежедневные (или еженедельные) электронные письма от других доменов о замеченных ими проблемах. Вы должны обращать на них внимание, и если вы этого не делаете, то делаете это на свой страх и риск.
7. Наконец, готов ли я нести бремя быть самым крутым из всех моих друзей, поскольку я размещаю свою собственную электронную почту? Если нет, то ничего страшного, вы не станете самым крутым, но я должен сказать, что мне нравится хостинг собственной электронной почты, и я никогда не вернусь к чему-либо другому.

Все еще хотите стать хостером?

Если приведенный выше список все еще заставляет вас чувствовать себя комфортно при размещении собственной электронной почты, прочтите также это забавное объяснение на тему “Почему вы действительно НЕ хотите самостоятельно размещать свой собственный почтовый сервер”:

Итак, вы думаете о том, чтобы разместить свой собственный сервер электронной почты, и это не может быть слишком сложно, верно? Собирайтесь, мы рассмотрим все варианты и поймем, почему ответ почти на каждый вопрос в области ИТ - “зависит от ситуации”! :) На базовом уровне электронная почта - это простой протокол, особенно в Интернете. Если вы говорите о LOCAL ONLY сервере, который просто отправляет электронную почту в пределах одного “сайта” - это довольно просто. Все усложняется, когда вы хотите общаться с другими пользователями в Интернете, и хотите, чтобы они могли общаться с вами.

Основная проблема, откровенно говоря, - это СПАМ. Нежелательная массовая электронная почта, реклама, мошенничество, нежелательная почта - мы будем объединять их под общим названием “спам”. Это противоположно “ветчине”, или письмам, которые вы хотите получить от людей, которых вы знаете и о которых заботитесь. Сейчас я слышу, как некоторые из вас говорят “да какая разница”, потому что на самом деле я могу отделить пшеницу от плевел, так что ничего страшного. Но эта проблема спама касается не только электронной почты, идущей к вам, это также серьезная проблема для электронной почты, идущей ВНЕ (или ОТ вас) - как провайдеры узнают, что вы не очередной случайный спамер?

Время истории: Вначале Интернет был небольшим, и люди знали и доверяли друг другу. Из этого доверия родился протокол, который является основой нашей современной электронной почты, “Простой протокол передачи почты”, или SMTP. Он был написан для быстрой транспортировки и не предусматривал никакой безопасности или проверки, о которой можно было бы говорить, а значит, легко было выдать себя за кого-то другого или “подделать” адреса. Кроме того, на раннем этапе машины были анемичны в обработке (по сегодняшним стандартам), поэтому никто не использовал шифрование, то есть вся электронная почта отправлялась в открытом виде. Теперь вы должны знать, что в самом начале было трудно попасть в Интернет, он был довольно дорогим, что ограничивало круг тех, кто имел (прямой) доступ. Но по мере расширения Интернета никто не задумывался о проблемах, которые могут возникнуть из-за открытого/доверительного характера протоколов, включая SMTP.

Все еще здесь? Хорошо, давайте поговорим о том, как укротить некоторые из этих проблем со спамом. Для входящей почты вы можете сделать несколько вещей. Если у вас сайт небольшого объема (например, домашний), вы можете использовать клиентское программное обеспечение, которое имеет что-то вроде байесовского фильтра - вы обучаете фильтр, помечая письма, а затем фильтр “оценивает” письма. Это очень эффективно, но требует больших усилий со стороны конечного пользователя. Хотя это не совсем спам, нежелательные вредоносные сообщения (вирусы, трояны и т.д.) могут быть тем, что вы хотите сканировать. Возможно, вы захотите автоматически сканировать вложения, чтобы попытаться предотвратить получение вредоносных писем вами и вашими пользователями. ПРИМЕЧАНИЕ: Такие инструменты не являются на 100% эффективными, поэтому вы должны быть осведомлены о них. Возвращаясь к нашей основной проблеме спама, мы можем сделать одну вещь, чтобы помочь в решении этой проблемы - убедиться, что мы не способствуем ее решению, и даже посмотреть на инструменты, ограничивающие известных спамеров. В первую очередь, мы хотим убедиться, что мы “пересылаем”, или принимаем, а затем пересылаем только ту электронную почту, которую действительно хотим. Для этого мы ограничиваем, какие машины могут отправлять, или даже заставляем их аутентифицироваться (предоставлять пользователя/пасс), прежде чем принимать от них почту. Что касается второй части - известных спамеров, то это использование так называемых списков поиска (иногда называемых черными списками или черными дырами), которые динамически отслеживают машины, рассылающие спам. Иногда для этого требуется подписка. Для исходящей почты проблема становится немного сложнее. Теперь вместо того, чтобы контролировать почту, вы находитесь во власти удаленных администраторов, которые знают, что большинство новых серверов электронной почты - спам, и почему они должны думать, что ваш новый сервер - не спам? Отчасти это терпение - если вы хорошо эксплуатируете свой сервер и НЕ рассылаете спам, ваша репутация со временем улучшится. Но во многом это лабиринт слоев, созданных в течение многих лет, чтобы помочь выяснить, действительно ли вы спамер или нет. С такими названиями, как SPF и DKIM, они кажутся странными и сложными для понимания, но это вопрос правильной настройки. Обычно для этого требуется немного магии в записях DNS (Domain Name System), а также может использоваться программное обеспечение, которое “подписывает” электронные письма. Теперь ничто из этого не мешает вам рассылать спам, но спамеры должны рассылать много спама, чтобы быть эффективными, а провайдеры только сейчас позволяют им рассылать много (много - это миллионы сообщений). Но подписанные сообщения и DNS помогают отслеживать и блокировать спам несколько быстрее - или, по крайней мере, если отправитель сам не является спамером - иметь канал связи, чтобы предупредить хорошего менеджера электронной почты о том, что кто-то злоупотребляет его системой.

Подождите, вы все еще здесь? :) Если после всего этого вы все еще хотите управлять своей собственной электронной почтой - вам все еще нужно беспокоиться о шифровании между сайтами, о том, как ваши пользователи будут читать свою почту (веб-почта или клиенты), о таких вещах, как проблемы хранения (насколько большими могут стать почтовые ящики?) и отладка проблем с отправкой (например, ваш близкий человек злится, что его письмо не доходит до члена семьи в течение 5 минут). Не говоря уже о таких вещах, как отображение вашего письма в спаме и нежелательной почте получателей, прохождение через кучу препятствий, а оно все равно попадает в нежелательную почту.

Ладно, если вы все еще здесь: Поздравляю, теперь вы знаете, что это будет нелегко. Как давний ветеран управления серверами электронной почты компании, есть много вещей, о которых вам придется беспокоиться. СОВЕТЫ: Облегчите себе некоторые задачи. Во-первых, получая IP от провайдера, проверьте, не находится ли он СЕЙЧАС или в недавнем прошлом в списке “черных дыр”. (Это относится ТОЛЬКО к серверам электронной почты. Если вы используете веб-сервер, который никогда никому не отправляет электронную почту - какая разница, был ли он в списке). Выберите основной TLD (домен верхнего уровня) для вашего первого/раннего почтового домена, что-нибудь с окончанием .COM/.NET/.ORG или домен страны, например, .us/.ca/.eu и т.д. Старайтесь держаться подальше от эзотерических доменов или “новых” TLD для электронной почты - некоторые плохо закодированные программы будут задыхаться на новых доменах, а некоторые крупные провайдеры, похоже, не одобряют новые TLD. ПРЕДУПРЕЖДЕНИЕ: Любой новый домен, независимо от того, где он зарегистрирован, потребует некоторого времени, чтобы “доказать”, что он не является спамом. Поэтому, если вы хотите получить мгновенную доставку, используйте уже существующее (не спамерское) доменное имя. Выберите для своей электронной почты доменное имя, которое легко пишется и произносится. Тот милый домен, который меняет “i” на “y” и состоит из 30 букв… удачи вам в объяснении всего этого по телефону. В идеале вам нужен домен, который вы можете просто произнести, и люди его знают, например “hello world dot com” (уже зарегистрирован, не мной, просто пример).