Kendi Elastik Arama Kümesini oluşturuyor

Elastic Search, herhangi bir ek altyapı olmadan ölçeklenebilirlik ve güvenilirlik sağlayan, birden çok düğümü birlikte çalışan kümeyi destekleyen en popüler tam metin arama motorudur.

Amazon tarafından yönetilen hizmetin yazıldığı sırada mevcuttu, ancak kullanımda olmayan şifreleme ve düğümler arası şifreli iletişim gibi sınırlı işlevsellik mevcut değildi ve çözümümüz için zorunlu sayıldılar.

AWS’de kendi ES kümemizi ayakta tutmaya karar verdik, zorluklarla karşılaştık.

Otomatik olarak keşfedilebilir düğümler

Otomatik ölçeklendirme politikası nedeniyle yeni düğümler herhangi bir zamanda kümeye katılacaktır, ancak zorluk olan yeni düğümün mevcut ES kümesine eklenmesi gerekir ve bu, etiketlerin kullanılmasıyla çözülür.

Bir EC2’yi önyüklediğimizde, bir kümeye eklenebilmesi için belirli etiketlere sahip başka düğümler buluyoruz.

Kullanımda olmayan verileri şifreleme

Bekleyen veri şifreleme, geçici sürücüye sahip EC2 türleri kullanılarak ve kök sürücüleri şifrelemek için Linux LUKS kullanılarak elde edilir. ES’nin geçici sürücülerle iyi performans alması dışında, şifrelenmiş EBS birimleri de mümkündür.

Düğümler arası iletişimi şifreleme

Şifrelemeye yardımcı olması için ES ile SearchGuard eklentisini kullandık. Karşılaştığımız bir başka zorluk da sertifika yetkilisiydi. CA’mızla sertifikalar oluşturmak ve bunu yükü imzalamak için kullanmak için kendi sertifika yetkilimizi oluşturduk. Eklenti sayfasında daha fazla ayrıntı.

Anlık Görüntüler

Anlık görüntüyü S3’te depolamak için anlık görüntü API’si kullandık. ES düğümünü önyüklerken anlık görüntüleri depolamak için S3 anahtarını yapılandırıyoruz.

Küme mevcut bir Anlık Görüntüden geri yükleniyor

Yine anlık görüntü konumunu kaydettikten sonra önyükleme yaparken, kümeye yeni bir düğüm eklendiğinde, en son anlık görüntüyü yükledikten sonra ES’nin yeniden dengelenmesine izin verdiğimiz şekilde, küme son anlık görüntüden yeniden oluşturulur.

Varsayımlar

Farklı bir mimariye sahipseniz, ihtiyacınıza uyacak şekilde değiştirmeniz gerekebilir.

Bootstrap Komut Dosyası

Sonuç

Elastic Search, ihtiyaçlarımıza göre yapılandırmamıza izin veren zengin özellik kümesine sahiptir. Umarım bu, kendi ES kümelerini oluşturmak isteyen kişiler için yararlıdır.