D Z o n e : P r o g r a m m i n g C R E A T E O R R E P L A C E T A B L E s u p e r s t o r e . s u p e r s t o r e _ m l _ f u n c t i o n s . u s _ c a l e n d e r ( D a t e D A T E , H O L I D A Y V A R C H A R ( 1 6 7 7 7 2 1 6 ) ) ; s e l e c t * f r o m s u p e r s t o r e . s u p e r s t o r e _ m l _ f u n c t i o n s . s u p e r s t o r e _ s a l e s w h e r e c a t e g o r y = T e c h n o l o g y ; H a v i n g e x p l o r e d t h e h i s t o r i c a l s a l e s , I w o u l d t r a i n t h e f o r e c a s t m o d e l b a s e d o n t h e l a s t 1 2 m o n t h s o f s a l e s . T h e f o l l o w i n g c o d e c a n b e u s e d t o c r e a t e t h e t r a i n i n g d a t a t a b l e . S Q L C R E A T E O R R E P L A C E T A B L E s u p e r s t o r e _ s a l e s _ l a s t _ y e a r A S ( S E L E C T t o _ t i m e s t a m p _ n t z ( O r d e r _ D a t e ) A S t i m e s t a m p , S e g m e n t , C a t e g o r y , S u b _ C a t e g o r y , S a l e s F R O M s u p e r s t o r e _ s a l e s W H E R E O r d e r _ D a t e > ( S E L E C T m a x ( O r d e r _ D a t e ) i n t e r v a l 1 y e a r F R O M s u p e r s t o r e _ s a l e s ) G R O U P B Y a l l ) ; T r a i n t h e F o r e c a s t M o d e l S N O W F L A K E . M L . F O R E C A S T S Q L f u n c t i o n c a n b e u s e d t o t r a i n t h e f o r e c a s t m o d e l b a s e d o n t h e h i s t o r i c a l d a t a , i n t h i s s e c t i o n w e w i l l c r e a t e a v i e w t o b e u s e d a s a t r a i n i n g d a t a s e t f o r t e c h n o l o g y s a l e s a n d t r a i n t h e m o d e l . S Q L C R E A T E O R R E P L A C E V I E W t e c h n o l o g y _ s a l e s A S ( S E L E C T t i m e s t a m p , s u m ( S a l e s ) a s S a l e s F R O M s u p e r s t o r e _ s a l e s _ l a s t _ y e a r W H E R E c a t e g o r y = T e c h n o l o g y g r o u p b y t i m e s t a m p ) ; C R E A T E O R R E P L A C E S N O W F L A K E . M L . F O R E C A S T t e c h n o l o g y _ f o r e c a s t ( I N P U T _ D A T A = > S Y S T E M $ R E F E R E N C E ( V I E W , t e c h n o l o g y _ s a l e s ) , T I M E S T A M P _ C O L N A M E = > T I M E S T A M P , T A R G E T _ C O L N A M E = > S A L E S ) ; S H O W S N O W F L A K E . M L . F O R E C A S T ; C r e a t i n g a n d V i s u a l i z i n g t h e F o r e c a s t s H a v i n g t r a i n e d t h e f o r e c a s t m o d e l , l e t ’ s u s e t h e f o l l o w i n g c o d e b l o c k t o c r e a t e p r e d i c t i o n s f o r t h e n e x t 9 0 d a y s . S Q L C A L L t e c h n o l o g y _ f o r e c a s t ! F O R E C A S T ( F O R E C A S T I N G _ P E R I O D S = > 9 0 ) ; R u n i m m e d i a t e l y a f t e r t h e a b o v e c a l l t o s t o r e r e s u l t s ! C R E A T E O R R E P L A C E T A B L E t e c h n o l o g y _ p r e d i c t i o n s A S ( S E L E C T * F R O M T A B L E ( R E S U L T _ S C A N ( 1 ) ) ) ; S E L E C T t i m e s t a m p , s a l e s , N U L L A S f o r e c a s t F R O M t e c h n o l o g y _ s a l e s W H E R E t i m e s t a m p > 2 0 2 3 0 1 0 1 U N I O N S E L E C T T S A S t i m e s t a m p , N U L L A S s a l e s , f o r e c a s t F R O M t e c h n o l o g y _ p r e d i c t i o n s O R D E R B Y t i m e s t a m p a s c ; T h e t r e n d l i n e i n Y E L L O W i n t h e a b o v e c h a r t v i s u a l i z e s t h e p r e d i c t i o n s f o r t h e s a m e i n t h e n e x t 9 0 d a y s . C o n c l u s i o n I n t h e e n d , i n t h i s a r t i c l e , w e h a v e e x p l o r e d t h e S N O W F L A K E . M L . F O R E C A S T f u n c t i o n t o b u i l d a n L L M f o r e c a s t m o d e l f o r a s u p e r s t o r e s a l e s p r e d i c t i o n , v i s u a l i z e d t h e h i s t o r i c a l d a t a , c r e a t e d n e c e s s a r y t r a i n i n g d a t a s e t s , b u i l d t h e f o r e c a s t m o d e l , a n d v i s u a l i z e d t h e e s t i m a t i o n s . A s a n e x t s t e p , I w o u l d r e c o m m e n d c o n t i n u e d e x p l o r a t i o n o f t h e S n o w f l a k e C o r t e x f r a m e w o r k t o b u i l d m u l t i p l e f o r e c a s t m o d e l s b a s e d o n d i m e n s i o n s , a n o m a l y d e t e c t i o n , a n d t o p i n s i g h t s b a s e d o n i n h o u s e l a r g e l a n g u a g e m o d e l s . M o r e T r e n d R e p o r t C l o u d N a t i v e C l o u d n a t i v e h a s b e e n d e e p l y e n t r e n c h e d i n o r g a n i z a t i o n s f o r y e a r s n o w , y e t i t r e m a i n s a n e v o l v i n g a n d i n n o v a t i v e s o l u t i o n a c r o s s t h e s o f t w a r e d e v e l o p m e n t i n d u s t r y . O r g a n i z a t i o n s r e l y o n a c l o u d c e n t r i c s t a t e o f d e v e l o p m e n t t h a t a l l o w s t h e i r a p p l i c a t i o n s t o r e m a i n r e s i l i e n t a n d s c a l a b l e i n t h i s e v e r c h a n g i n g l a n d s c a p e . A m i d s t m a r k e t c o n c e r n s , t o o l s p r a w l , a n d t h e i n c r e a s e d n e e d f o r c o s t o p t i m i z a t i o n , t h e r e a r e f e w c o n v e r s a t i o n s m o r e i m p o r t a n t t o d a y t h a n t h o s e a r o u n d c l o u d n a t i v e e f f i c a c y a t o r g a n i z a t i o n s . G o o g l e C l o u d b r e a k s d o w n c l o u d n a t i v e i n t o f i v e p r i m a r y p i l l a r s : c o n t a i n e r s a n d o r c h e s t r a t i o n , m i c r o s e r v i c e s , D e v O p s , a n d C I / C D . F o r D Z o n e s 2 0 2 4 C l o u d N a t i v e T r e n d R e p o r t , w e f u r t h e r e x p l o r e d t h e s e p i l l a r s , f o c u s i n g o u r r e s e a r c h o n l e a r n i n g h o w n u a n c e d t e c h n o l o g y a n d m e t h o d o l o g i e s a r e d r i v i n g t h e v i s i o n f o r w h a t c l o u d n a t i v e m e a n s a n d e n t a i l s t o d a y . T h e a r t i c l e s , c o n t r i b u t e d b y e x p e r t s i n t h e D Z o n e C o m m u n i t y , b r i n g t h e p i l l a r s i n t o c o n v e r s a t i o n v i a t o p i c s s u c h a s a u t o m a t i n g t h e c l o u d t h r o u g h o r c h e s t r a t i o n a n d A I , u s i n g s h i f t l e f t t o i m p r o v e d e l i v e r y a n d s t r e n g t h e n s e c u r i t y , s u r v i v i n g o b s e r v a b i l i t y c h a l l e n g e s , a n d s t r a t e g i z i n g c o s t o p t i m i z a t i o n s . D o w n l o a d R e f c a r d # 3 9 5 O p e n S o u r c e M i g r a t i o n P r a c t i c e s a n d P a t t e r n s B y N u w a n D i a s C O R E D o w n l o a d R e f c a r d # 1 7 1 M o n g o D B E s s e n t i a l s B y A b h i s h e k G u p t a C O R E D o w n l o a d M o r e A r t i c l e s C u s t o m H e a l t h C h e c k s i n S p r i n g B o o t S p r i n g B o o t p r o v i d e s h e a l t h i n d i c a t o r s t o m o n i t o r a p p l i c a t i o n h e a l t h a n d d a t a b a s e h e a l t h w i t h t h e h e l p o f S p r i n g B o o t A c t u a t o r . S p r i n g B o o t A c t u a t o r c o m e s w i t h v a r i o u s h e a l t h i n d i c a t o r s f o r m o s t r e l a t i o n a l d a t a b a s e s a n d n o n r e l a t i o n a l d a t a b a s e s l i k e M o n g o D B , R e d i s , E l a s t i c S e a r c h , e t c . S p r i n g B o o t A c t u a t o r a l s o p r o v i d e s h e a l t h i n d i c a t o r s f o r R a b b i t M Q , a n d I B M M Q o u t o f t h e b o x . W h y C h o o s e C u s t o m H e a l t h C h e c k s I f w e w a n t t o m o n i t o r t h e h e a l t h s t a t u s o f t h e e x t e r n a l s e r v i c e s o u r a p p l i c a t i o n c o n n e c t s t o , S p r i n g B o o t d o e s n ’ t p r o v i d e a n y h e a l t h i n d i c a t o r s f o r t h i s s c e n a r i o o u t o f t h e b o x , w e n e e d t o w r i t e c u s t o m h e a l t h i n d i c a t o r s . A l s o , S p r i n g B o o t d o e s n ’ t p r o v i d e a n y K a f k a h e a l t h i n d i c a t o r o u t o f t h e b o x a s o f t o d a y , s o i n t h i s s c e n a r i o , w e n e e d t o g o f o r a c u s t o m h e a l t h i n d i c a t o r . I m p l e m e n t a t i o n P r o j e c t S t r u c t u r e M a i n C l a s s J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i ; i m p o r t c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . c o n f i g . E n d p o i n t s R e g i s t r y ; i m p o r t o r g . s p r i n g f r a m e w o r k . b e a n s . f a c t o r y . a n n o t a t i o n . A u t o w i r e d ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . S p r i n g A p p l i c a t i o n ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a u t o c o n f i g u r e . S p r i n g B o o t A p p l i c a t i o n ; @ S p r i n g B o o t A p p l i c a t i o n p u b l i c c l a s s O r d e r s A p i A p p l i c a t i o n } a p p l i c a t i o n . y m l f i l e Y A M L s p r i n g : a p p l i c a t i o n : n a m e : o r d e r s a p i k a f k a : p r o d u c e r : b o o t s t r a p s e r v e r s : l o c a l h o s t : 9 0 9 2 d a t a : m o n g o d b : h o s t : l o c a l h o s t p o r t : 2 7 0 1 7 d a t a b a s e : o r d e r s _ d b u s e r n a m e : $ p a s s w o r d : $ a u t h e n t i c a t i o n d a t a b a s e : o r d e r s _ d b a p p : c l i e n t : p a y m e n t s s e r v i c e : h o s t : h t t p s : / / e x a m p l e . c o m p a t h s : h e a l t h c h e c k : / m o c k s e r v i c e / h e a l t h i n t i a t e p a y m e n t : / p a y m e n t s A p p l i c a t i o n C o n f i g J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . c o n f i g ; i m p o r t o r g . a p a c h e . k a f k a . c l i e n t s . a d m i n . A d m i n C l i e n t ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . d a t a . m o n g o . M o n g o H e a l t h I n d i c a t o r ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a u t o c o n f i g u r e . k a f k a . K a f k a P r o p e r t i e s ; i m p o r t o r g . s p r i n g f r a m e w o r k . c o n t e x t . a n n o t a t i o n . B e a n ; i m p o r t o r g . s p r i n g f r a m e w o r k . c o n t e x t . a n n o t a t i o n . C o n f i g u r a t i o n ; i m p o r t o r g . s p r i n g f r a m e w o r k . d a t a . m o n g o d b . c o r e . M o n g o T e m p l a t e ; i m p o r t j a v a . u t i l . P r o p e r t i e s ; @ C o n f i g u r a t i o n p u b l i c c l a s s A p p C o n f i g @ B e a n A d m i n C l i e n t k a f k a A d m i n C l i e n t ( K a f k a P r o p e r t i e s k a f k a P r o p e r t i e s ) } E n d p o i n t s R e g i s t r y T h i s c l a s s r e g i s t e r s a l l e x t e r n a l c l i e n t s t h a t t h e a p p l i c a t i o n c o n n e c t s t o . J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . c o n f i g ; i m p o r t l o m b o k . G e t t e r ; i m p o r t l o m b o k . S e t t e r ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . c o n t e x t . p r o p e r t i e s . C o n f i g u r a t i o n P r o p e r t i e s ; i m p o r t o r g . s p r i n g f r a m e w o r k . c o n t e x t . a n n o t a t i o n . C o n f i g u r a t i o n ; i m p o r t j a v a . u t i l . M a p ; @ G e t t e r @ S e t t e r @ C o n f i g u r a t i o n @ C o n f i g u r a t i o n P r o p e r t i e s ( p r e f i x = a p p ) p u b l i c c l a s s E n d p o i n t s R e g i s t r y p u b l i c S t r i n g g e t H e a l t h C h e c k U R L ( S t r i n g s e r v i c e N a m e ) r e t u r n n u l l ; } } P a y m e n t S e r v i c e M o n i t o r ( E x t e r n a l S e r v i c e M o n i t o r ) T h i s c l a s s o v e r r i d e s t h e d e f a u l t b e h a v i o r o f t h e A b s t r a c t H e a l t h I n d i c a t o r c l a s s . I t e x e c u t e s a G E T r e q u e s t o n t h e h e a l t h c h e c k U R L o f a n e x t e r n a l c l i e n t a n d u p d a t e s t h e s t a t u s a c c o r d i n g l y . J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . c o n f i g ; i m p o r t l o m b o k . R e q u i r e d A r g s C o n s t r u c t o r ; i m p o r t l o m b o k . e x t e r n . s l f 4 j . S l f 4 j ; i m p o r t o r g . a p a c h e . h c . c l i e n t 5 . h t t p . c l a s s i c . m e t h o d s . H t t p G e t ; i m p o r t o r g . a p a c h e . h c . c l i e n t 5 . h t t p . i m p l . c l a s s i c . C l o s e a b l e H t t p C l i e n t ; i m p o r t o r g . a p a c h e . h c . c l i e n t 5 . h t t p . i m p l . c l a s s i c . C l o s e a b l e H t t p R e s p o n s e ; i m p o r t o r g . a p a c h e . h c . c l i e n t 5 . h t t p . i m p l . c l a s s i c . H t t p C l i e n t B u i l d e r ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . h e a l t h . A b s t r a c t H e a l t h I n d i c a t o r ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . h e a l t h . H e a l t h ; i m p o r t o r g . s p r i n g f r a m e w o r k . s t e r e o t y p e . C o m p o n e n t ; i m p o r t j a v a . i o . I O E x c e p t i o n ; @ S l f 4 j @ C o m p o n e n t @ R e q u i r e d A r g s C o n s t r u c t o r p u b l i c c l a s s P a y m e n t S e r v i c e H e a l t h I n d i c a t o r e x t e n d s A b s t r a c t H e a l t h I n d i c a t o r e l s e } c a t c h ( I O E x c e p t i o n e x ) } } H o s t A v a i l a b i l i t y C l a s s T h i s c l a s s i s u s e d t o v e r i f y w h e t h e r t h e a p p l i c a t i o n i s a b l e t o c o n n e c t t o a g i v e n h o s t a n d p o r t n u m b e r . J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . s e r v i c e ; i m p o r t l o m b o k . e x t e r n . s l f 4 j . S l f 4 j ; i m p o r t j a v a . i o . I O E x c e p t i o n ; i m p o r t j a v a . n e t . * ; @ S l f 4 j p u b l i c c l a s s H o s t A v a i l a b i l i t y p u b l i c s t a t i c b o o l e a n i s A v a i l a b l e ( S t r i n g h o s t N a m e , i n t p o r t ) c a t c h ( I O E x c e p t i o n e ) , e . g e t M e s s a g e ( ) ) ; r e t u r n f a l s e ; } r e t u r n t r u e ; } } C u s t o m M o n g o H e a l t h I n d i c a t o r T h i s c l a s s e x t e n d s t h e M o n g o H e a l t h I n d i c a t o r ( p r o v i d e d b y S p r i n g B o o t ) a n d o v e r r i d e s t h e b e h a v i o r o f t h e h e a l t h c h e c k m e t h o d . F i r s t , w e v e r i f y w h e t h e r t h e a p p i s a b l e t o c o n n e c t t o t h e h o s t a n d p o r t a n d t h e n w e e x e c u t e a s m a l l c o m m a n d o n t h e d a t a b a s e t o c h e c k d a t a b a s e c o n n e c t i v i t y . I f w e e x e c u t e t h e c o m m a n d d i r e c t l y w i t h o u t v e r i f y i n g s e r v e r c o n n e c t i v i t y , i t t a k e s m o r e t i m e i f t h e s e r v e r i s n o t r e a c h a b l e f r o m t h e a p p l i c a t i o n . T h a t ’ s w h y w e a r e v e r i f y i n g s e r v e r c o n n e c t i v i t y f i r s t . J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . c o n f i g ; i m p o r t c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . s e r v i c e . H o s t A v a i l a b i l i t y ; i m p o r t l o m b o k . e x t e r n . s l f 4 j . S l f 4 j ; i m p o r t o r g . b s o n . D o c u m e n t ; i m p o r t o r g . s p r i n g f r a m e w o r k . b e a n s . f a c t o r y . a n n o t a t i o n . V a l u e ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . d a t a . m o n g o . M o n g o H e a l t h I n d i c a t o r ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . h e a l t h . H e a l t h ; i m p o r t o r g . s p r i n g f r a m e w o r k . d a t a . m o n g o d b . c o r e . M o n g o T e m p l a t e ; @ S l f 4 j p u b l i c c l a s s C u s t o m M o n g o H e a l t h I n d i c a t o r e x t e n d s M o n g o H e a l t h I n d i c a t o r ) p r i v a t e S t r i n g m o n g o d b H o s t ; @ V a l u e ( $ ) p r i v a t e i n t p o r t ; p u b l i c C u s t o m M o n g o H e a l t h I n d i c a t o r ( M o n g o T e m p l a t e m o n g o T e m p l a t e ) p u b l i c v o i d d o H e a l t h C h e c k ( H e a l t h . B u i l d e r b u i l d e r ) t h r o w s E x c e p t i o n ) ; b u i l d e r . u p ( ) . w i t h D e t a i l ( m a x W i r e V e r s i o n , r e s u l t . g e t I n t e g e r ( m a x W i r e V e r s i o n ) ) ; } e l s e } } K a f k a H e a l t h I n d i c a t o r T h i s c l a s s p r o v i d e s i m p l e m e n t a t i o n t o v e r i f y K a f k a c l u s t e r h e a l t h . I t u s e s K a f k a A d m i n C l i e n t t o d e s c r i b e t h e c l u s t e r , i f i t r e c e i v e s t h e r e s p o n s e t h e n t h e c l u s t e r i s u p e l s e t h e c l u s t e r i s d o w n . N o t e : D o e s n ’ t w o r k i f t h e p r o d u c e r i s c o n f i g u r e d t o s u p p o r t t r a n s a c t i o n s . J a v a p a c k a g e c o m . l i g h t s 5 . s e r v i c e s . o r d e r s . a p i . c o n f i g ; i m p o r t l o m b o k . R e q u i r e d A r g s C o n s t r u c t o r ; i m p o r t l o m b o k . e x t e r n . s l f 4 j . S l f 4 j ; i m p o r t o r g . a p a c h e . k a f k a . c l i e n t s . a d m i n . A d m i n C l i e n t ; i m p o r t o r g . a p a c h e . k a f k a . c o m m o n . N o d e ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . h e a l t h . A b s t r a c t H e a l t h I n d i c a t o r ; i m p o r t o r g . s p r i n g f r a m e w o r k . b o o t . a c t u a t e . h e a l t h . H e a l t h ; i m p o r t o r g . s p r i n g f r a m e w o r k . s t e r e o t y p e . C o m p o n e n t ; i m p o r t j a v a . u t i l . C o l l e c t i o n ; i m p o r t j a v a . u t i l . c o n c u r r e n t . T i m e U n i t ; @ S l f 4 j @ C o m p o n e n t @ R e q u i r e d A r g s C o n s t r u c t o r p u b l i c c l a s s K a f k a H e a l t h I n d i c a t o r e x t e n d s A b s t r a c t H e a l t h I n d i c a t o r , n o d e s . s i z e ( ) ) ; b u i l d e r . u p ( ) ; } e l s e } } W o r k i n g I f a n y o f t h e s e H e a l t h I n d i c a t o r s ( M o n g o D B , K a f k a , P a y m e n t s S e r v i c e ) i s d o w n , t h e n t h e h e a l t h c h e c k U R L o f t h e a p p l i c a t i o n r e t u r n s t h e s t a t u s a s t h e f o l l o w i n g : J S O N I f a l l t h e s e d e p e n d e n t s e r v i c e s a r e u p , t h e n t h e s t a t u s w i l l b e r e t u r n e d a s : J S O N E n d p o i n t t o v e r i f y a p p h e a l t h . C o n c l u s i o n C u s t o m h e a l t h c h e c k s a r e i m p o r t a n t a s t h e y p r o v i d e g r e a t e r v i s i b i l i t y o f e x t e r n a l s e r v i c e s a v a i l a b i l i t y . W e c a n t a k e a c t i o n i m m e d i a t e l y t h e r e b y d e c r e a s i n g a p p l i c a t i o n e r r o r s . B y S a i K r i s h n a R e d d y C h i t y a l a L e v e l l i n g U p : T h e N o n T e c h n i c a l S k i l l s E v e r y A s p i r i n g S e n i o r E n g i n e e r N e e d s A s a s o f t w a r e d e v e l o p e r , t h e p a t h t o w a r d b e c o m i n g a s e n i o r e n g i n e e r c a n s e e m d e c e p t i v e l y s t r a i g h t f o r w a r d — k e e p l e a r n i n g n e w t e c h n o l o g i e s , m a s t e r c o d i n g l a n g u a g e s , a n d d i v e d e e p e r i n t o s o f t w a r e a r c h i t e c t u r e a n d d e s i g n p a t t e r n s . H o w e v e r , t h e r e a l i t y i s t h a t r e a c h i n g t h e s e n i o r l e v e l r e q u i r e s m o r e t h a n j u s t t e c h n i c a l p r o w e s s . I t d e m a n d s a w e l l r o u n d e d s k i l l s e t t h a t e x t e n d s f a r b e y o n d c o d i n g a b i l i t i e s . T h e I m p o r t a n c e o f S o f t S k i l l s W h i l e t e c h n i c a l c o m p e t e n c y i s u n d o u b t e d l y c r u c i a l , m a n y e x p e r i e n c e d d e v e l o p e r s o f t e n o v e r l o o k t h e s i g n i f i c a n c e o f s o f t s k i l l s i n t h e i r p u r s u i t o f c a r e e r a d v a n c e m e n t . T h e s e n o n t e c h n i c a l a b i l i t i e s a r e t h e g l u e t h a t h o l d s t e a m s t o g e t h e r a n d e n a b l e s e f f e c t i v e c o l l a b o r a t i o n , c o m m u n i c a t i o n , a n d p r o b l e m s o l v i n g . S o m e k e y s o f t s k i l l s t h a t s e n i o r e n g i n e e r s s h o u l d c u l t i v a t e i n c l u d e : 1 . C o m m u n i c a t i o n T h e a b i l i t y t o c o m m u n i c a t e c o m p l e x t e c h n i c a l c o n c e p t s c l e a r l y a n d c o n c i s e l y , b o t h v e r b a l l y a n d i n w r i t i n g , i s i n v a l u a b l e . S e n i o r e n g i n e e r s o f t e n a c t a s t r a n s l a t o r s b e t w e e n s t a k e h o l d e r s a n d t e c h n i c a l t e a m s . 2 . T e a m w o r k a n d M e n t o r i n g L e a d i n g b y e x a m p l e , f o s t e r i n g c o l l a b o r a t i o n , a n d g u i d i n g j u n i o r t e a m m e m b e r s a r e h a l l m a r k s o f s e n i o r e n g i n e e r s . T h e y c r e a t e a n e n v i r o n m e n t t h a t e n c o u r a g e s l e a r n i n g a n d g r o w t h . 3 . P r o b l e m S o l v i n g S e n i o r e n g i n e e r s e x c e l a t b r e a k i n g d o w n c o m p l e x p r o b l e m s i n t o m a n a g e a b l e c o m p o n e n t s a n d d e v i s i n g i n n o v a t i v e s o l u t i o n s . T h e y c a n t h i n k c r i t i c a l l y a n d a p p r o a c h c h a l l e n g e s f r o m m u l t i p l e p e r s p e c t i v e s . 4 . T i m e M a n a g e m e n t W i t h m u l t i p l e p r o j e c t s a n d r e s p o n s i b i l i t i e s , s e n i o r e n g i n e e r s m u s t p r i o r i t i z e t a s k s e f f e c t i v e l y a n d m a n a g e t h e i r t i m e e f f i c i e n t l y t o m e e t d e a d l i n e s w i t h o u t s a c r i f i c i n g q u a l i t y . B e y o n d t h e C o d e : B r o a d e r P e r s p e c t i v e s I n a d d i t i o n t o s o f t s k i l l s , s e n i o r e n g i n e e r s n e e d t o d e v e l o p a b r o a d e r u n d e r s t a n d i n g o f t h e b u s i n e s s a n d t h e i n d u s t r y t h e y o p e r a t e i n . T h i s h o l i s t i c v i e w e n a b l e s t h e m t o m a k e m o r e i n f o r m e d d e c i s i o n s a n d a l i g n t h e i r w o r k w i t h o r g a n i z a t i o n a l g o a l s . B u s i n e s s a c u m e n : U n d e r s t a n d i n g t h e c o m p a n y ’ s b u s i n e s s m o d e l , t a r g e t m a r k e t , a n d c o m p e t i t i v e l a n d s c a p e a l l o w s s e n i o r e n g i n e e r s t o a p p r e c i a t e t h e b r o a d e r c o n t e x t a n d i m p a c t o f t h e i r w o r k . I n d u s t r y t r e n d s : S t a y i n g u p t o d a t e w i t h e m e r g i n g t e c h n o l o g i e s , b e s t p r a c t i c e s , a n d i n d u s t r y t r e n d s e n s u r e s t h a t s e n i o r e n g i n e e r s c a n a d a p t a n d e v o l v e w i t h t h e e v e r c h a n g i n g t e c h n o l o g i c a l l a n d s c a p e . C r o s s f u n c t i o n a l c o l l a b o r a t i o n : S o f t w a r e d e v e l o p m e n t r a r e l y h a p p e n s i n a v a c u u m . S e n i o r e n g i n e e r s m u s t c o l l a b o r a t e e f f e c t i v e l y w i t h d e s i g n e r s , p r o d u c t m a n a g e r s , a n d o t h e r s t a k e h o l d e r s t o d e l i v e r c o m p r e h e n s i v e s o l u t i o n s . C o n t i n u o u s L e a r n i n g a n d G r o w t h M i n d s e t P e r h a p s t h e m o s t c r u c i a l a s p e c t o f b e c o m i n g a s e n i o r e n g i n e e r i s t h e w i l l i n g n e s s t o e m b r a c e c o n t i n u o u s l e a r n i n g a n d m a i n t a i n a g r o w t h m i n d s e t . T e c h n o l o g y e v o l v e s r a p i d l y , a n d c o m p l a c e n c y c a n q u i c k l y r e n d e r e v e n t h e m o s t e x p e r i e n c e d e n g i n e e r s o b s o l e t e . S e e k o u t o p p o r t u n i t i e s t o l e a r n f r o m c o l l e a g u e s , a t t e n d c o n f e r e n c e s a n d w o r k s h o p s , a n d s t a y c u r i o u s a b o u t e m e r g i n g t r e n d s a n d t e c h n o l o g i e s . C u l t i v a t e a m i n d s e t o f h u m i l i t y , r e c o g n i z i n g t h a t t h e r e i s a l w a y s m o r e t o l e a r n a n d r o o m f o r i m p r o v e m e n t . C o n t r i b u t e B e y o n d C o d e A s d e v e l o p e r s p r o g r e s s i n t h e i r c a r e e r s , t h e i r i m p a c t e x t e n d s b e y o n d w r i t i n g c o d e . S e n i o r e n g i n e e r s o f t e n t a k e o n l e a d e r s h i p r o l e s , m e n t o r i n g j u n i o r t e a m m e m b e r s , c o n t r i b u t i n g t o a r c h i t e c t u r a l d e c i s i o n s , a n d s h a p i n g t h e o v e r a l l t e c h n i c a l d i r e c t i o n o f p r o j e c t s . E m b r a c e o p p o r t u n i t i e s t o s h a r e k n o w l e d g e t h r o u g h d o c u m e n t a t i o n , b l o g p o s t s , o r w o r k s h o p s . P a r t i c i p a t e i n c o d e r e v i e w s , p r o v i d i n g c o n s t r u c t i v e f e e d b a c k a n d f o s t e r i n g a c u l t u r e o f c o n t i n u o u s i m p r o v e m e n t . E n g a g e i n o p e n s o u r c e p r o j e c t s o r c o m m u n i t y i n i t i a t i v e s , f u r t h e r e x p a n d i n g y o u r i n f l u e n c e a n d c o n t r i b u t i n g t o t h e b r o a d e r t e c h c o m m u n i t y . C o n c l u s i o n B e c o m i n g a s e n i o r e n g i n e e r i s a j o u r n e y t h a t r e q u i r e s d e d i c a t i o n , p e r s e v e r a n c e , a n d a h o l i s t i c a p p r o a c h t o s k i l l d e v e l o p m e n t . W h i l e t e c h n i c a l e x p e r t i s e i s u n d o u b t e d l y c r u c i a l , i t i s m e r e l y t h e f o u n d a t i o n u p o n w h i c h a w e l l r o u n d e d s e n i o r e n g i n e e r i s b u i l t . I n v e s t i n c u l t i v a t i n g s o f t s k i l l s , b r o a d e n i n g y o u r p e r s p e c t i v e s , e m b r a c i n g c o n t i n u o u s l e a r n i n g , a n d c o n t r i b u t i n g b e y o n d c o d e . B y d o i n g s o , y o u ’ l l n o t o n l y e n h a n c e y o u r c h a n c e s o f c a r e e r a d v a n c e m e n t b u t a l s o b e c o m e a m o r e v a l u a b l e a s s e t t o y o u r t e a m a n d o r g a n i z a t i o n , c a p a b l e o f d r i v i n g i n n o v a t i o n a n d d e l i v e r i n g i m p a c t f u l s o l u t i o n s . R e m e m b e r : t h e p a t h t o b e c o m i n g a s e n i o r e n g i n e e r i s n o t a d e s t i n a t i o n , b u t a c o n t i n u o u s j o u r n e y o f g r o w t h , a d a p t a t i o n , a n d l e a r n i n g . E m b r a c e t h e c h a l l e n g e , a n d y o u ’ l l u n l o c k a w o r l d o f o p p o r t u n i t i e s a n d p e r s o n a l f u l f i l l m e n t i n y o u r c a r e e r . B y L a l i t h k u m a r P r a k a s h c h a n d D o c k e r + . N E T A P I s : S i m p l i f y i n g D e p l o y m e n t a n d S c a l i n g O v e r t h e y e a r s D o c k e r c o n t a i n e r s h a v e c o m p l e t e l y c h a n g e d h o w d e v e l o p e r s c r e a t e , s h a r e , a n d r u n a p p l i c a t i o n s . W i t h t h e i r f l e x i b l e d e s i g n , D o c k e r c o n t a i n e r s e n s u r e a n e n v i r o n m e n t , a c r o s s v a r i o u s p l a t f o r m s s i m p l i f y i n g t h e p r o c e s s o f d e p l o y i n g a p p l i c a t i o n s r e l i a b l y . W h e n i n t e g r a t e d w i t h . N E T , d e v e l o p e r s c a n h a r n e s s D o c k e r s c a p a b i l i t i e s t o s t r e a m l i n e t h e d e v e l o p m e n t a n d d e p l o y m e n t p h a s e s o f . N E T a p p l i c a t i o n s . T h i s a r t i c l e d e l v e s i n t o t h e a d v a n t a g e s o f u s i n g D o c k e r c o n t a i n e r s w i t h . N E T a p p l i c a t i o n s a n d o f f e r s a g u i d e o n g e t t i n g s t a r t e d . F i g u r e c o u r t e s y o f D o c k e r W h y C h o o s e D o c k e r f o r . N E T ? 1 . C o n s i s t e n t D e v e l o p m e n t E n v i r o n m e n t D o c k e r c o n t a i n e r s e n c a p s u l a t e a l l d e p e n d e n c i e s a n d c o n f i g u r a t i o n s f o r r u n n i n g a n a p p l i c a t i o n g u a r a n t e e i n g c o n s i s t e n c y a c r o s s d e v e l o p m e n t , t e s t i n g , a n d p r o d u c t i o n e n v i r o n m e n t s . B y l e v e r a g i n g D o c k e r , d e v e l o p e r s c a n a v o i d t h e t y p i c a l s t a t e m e n t o f i t w o r k s o n m y m a c h i n e i s s u e , a s t h e y c a n c r e a t e e n v i r o n m e n t s t h a t o p e r a t e f l a w l e s s l y a c r o s s v a r i o u s d e v e l o p m e n t t e a m s a n d d e v i c e s . 2 . S i m p l i f i e d D e p e n d e n c y M a n a g e m e n t D o c k e r e l i m i n a t e s t h e n e e d t o m a n u a l l y i n s t a l l a n d m a n a g e d e p e n d e n c i e s o n d e v e l o p e r m a c h i n e s . B y s p e c i f y i n g d e p e n d e n c i e s i n a D o c k e r f i l e d e v e l o p e r s c a n e f f o r t l e s s l y b u n d l e t h e i r . N E T a p p l i c a t i o n s w i t h l i b r a r i e s a n d d e p e n d e n c i e s r e d u c i n g s e t u p t i m e a n d m i n i m i z i n g c o m p a t i b i l i t y i s s u e s . 3 . S c a l a b i l i t y a n d R e s o u r c e E f f i c i e n c y D u e t o i t s n a t u r e a n d c o n t a i n e r i z a t i o n t e c h n o l o g y , D o c k e r i s w e l l s u i t e d f o r h o r i z o n t a l l y o r v e r t i c a l l y s c a l i n g . N E T a p p l i c a t i o n s . D e v e l o p e r s h a v e t h e a b i l i t y t o e a s i l y s e t u p i n s t a n c e s o f t h e i r a p p l i c a t i o n s u s i n g D o c k e r S w a r m o r K u b e r n e t e s w h i c h h e l p s o p t i m i z e r e s o u r c e u s a g e a n d e n h a n c e a p p l i c a t i o n p e r f o r m a n c e . 4 . S i m p l i f i e d D e p l o y m e n t P r o c e s s D o c k e r s i m p l i f i e s t h e d e p l o y m e n t o f . N E T a p p l i c a t i o n s . D e v e l o p e r s h a v e t h e a b i l i t y t o w r a p t h e i r a p p l i c a t i o n s i n t o D o c k e r i m a g e s . T h e s e c a n b e d e p l o y e d t o a n y D o c k e r c o m p a t i b l e e n v i r o n m e n t , i n c l u d i n g l o c a l s e r v e r s , c l o u d p l a t f o r m s l i k e A W S o r A z u r e , a n d e v e n I O T d e v i c e s . T h i s n o t o n l y s t r e a m l i n e s t h e d e p l o y m e n t p r o c e s s b u t a l s o a c c e l e r a t e s t h e r e l e a s e c y c l e o f . N E T a p p l i c a t i o n s S t a r t i n g W i t h D o c k e r a n d . N E T S t e p 1 : I n s t a l l i n g D o c k e r I n s t a l l i n g D o c k e r i s e a s y b y n a v i g a t i n g t o t h e D o c k e r d e s k t o p . D o c k e r d e s k t o p i s a v a i l a b l e f o r W i n d o w s , M a c , a n d L i n u x . I h a v e d o w n l o a d e d a n d i n s t a l l e d i t f o r W i n d o w s . O n c e i n s t a l l e d , t h e D o c k e r ( w h a l e ) i c o n i s s h o w n o n t h e s y s t e m s s i d e t r a y a s s h o w n b e l o w . W h e n y o u c l i c k o n t h e i c o n , i t w i l l o p e n t h e D o c k e r d e s k t o p d a s h b o a r d a s s h o w n b e l o w . Y o u c a n s e e t h e l i s t o f c o n t a i n e r s , i m a g e s , v o l u m e s , b u i l d s , a n d e x t e n s i o n s . I n t h e b e l o w f i g u r e , i t s h o w s t h e l i s t o f c o n t a i n e r s I h a v e c r e a t e d o n m y l o c a l m a c h i n e . S t e p 2 : C r e a t i n g a . N E T A p p l i c a t i o n C r e a t e a . N E T a p p l i c a t i o n u s i n g t h e t o o l o f y o u r c h o i c e l i k e V i s u a l S t u d i o , V i s u a l S t u d i o C o d e , o r t h e . N E T C L I . F o r e x a m p l e , y o u c a n u s e t h e f o l l o w i n g c o m m a n d d i r e c t l y f r o m t h e c o m m a n d l i n e . P o w e r S h e l l d o t n e t n e w w e b n M i n i m a l A p i D e m o S t e p 3 : S e t t i n g u p Y o u r A p p l i c a t i o n W i t h a D o c k e r C r e a t e a D o c k e r f i l e i n t h e r o o t f o l d e r o f y o u r . N E T p r o j e c t t o s p e c i f y t h e D o c k e r i m a g e f o r y o u r a p p l i c a t i o n . B e l o w i s a n e x a m p l e o f a D o c k e r f i l e f o r a n A S P . N E T C o r e a p p l i c a t i o n w h i c h w a s c r e a t e d i n t h e p r e v i o u s s t e p . D o c k e r f i l e # U s e t h e o f f i c i a l A S P . N E T C o r e r u n t i m e a s a b a s e i m a g e F R O M m c r . m i c r o s o f t . c o m / d o t n e t / a s p n e t : 8 . 0 A S b a s e W O R K D I R / a p p E X P O S E 8 0 8 0 # U s e t h e o f f i c i a l S D K i m a g e t o b u i l d t h e a p p l i c a t i o n F R O M m c r . m i c r o s o f t . c o m / d o t n e t / s d k : 8 . 0 A S b u i l d W O R K D I R / s r c C O P Y [ M i n i m a l A p i D e m o . c s p r o j , . / ] R U N d o t n e t r e s t o r e M i n i m a l A p i D e m o . c s p r o j C O P Y . . W O R K D I R / s r c / R U N d o t n e t b u i l d M i n i m a l A p i D e m o . c s p r o j c R e l e a s e o / a p p / b u i l d # P u b l i s h t h e a p p l i c a t i o n F R O M b u i l d A S p u b l i s h R U N d o t n e t p u b l i s h M i n i m a l A p i D e m o . c s p r o j c R e l e a s e o / a p p / p u b l i s h # F i n a l i m a g e w i t h o n l y t h e p u b l i s h e d a p p l i c a t i o n F R O M b a s e A S f i n a l W O R K D I R / a p p C O P Y f r o m = p u b l i s h / a p p / p u b l i s h . E N T R Y P O I N T [ d o t n e t , M i n i m a l A p i D e m o . d l l ] S t e p 4 : C r e a t i n g a n d L a u n c h i n g Y o u r D o c k e r I m a g e C r e a t e a D o c k e r i m a g e b y e x e c u t i n g t h e c o m m a n d f r o m a t e r m i n a l w i n d o w ( u s e l o w e r c a s e l e t t e r s ) . P o w e r S h e l l d o c k e r b u i l d t m i n i m a l a p i d e m o . A f t e r f i n i s h i n g t h e c o n s t r u c t i o n p r o c e s s y o u a r e r e a d y t o s t a r t u p y o u r D o c k e r i m a g e b y r u n n i n g i t i n s i d e a c o n t a i n e r . R u n t h e b e l o w d o c k e r c o m m a n d t o s p i n u p a n e w c o n t a i n e r . P o w e r S h e l l d o c k e r r u n d p 8 0 8 0 : 8 0 8 0 n a m e m y m i n i m a l a p i d e m o m i n i m a l a p i d e m o Y o u r A P I s e r v i c e i s c u r r e n t l y r u n n i n g w i t h i n a D o c k e r c o n t a i n e r a n d c a n b e r e a c h e d a t t h i s l o c a l h o s t a s s h o w n b e l o w . R e f e r t o m y p r e v i o u s a r t i c l e t o s e e h o w I c r e a t e d p r o d u c t s c o n t r o l l e r s u s i n g M i n i m a l A P I s w i t h d i f f e r e n t H T T P e n d p o i n t s . H e r e A r e S o m e R e c o m m e n d e d S t r a t e g i e s f o r D o c k e r i z i n g . N E T A p p l i c a t i o n s 1 . R e d u c e I m a g e S i z e E n h a n c e t h e e f f i c i e n c y o f y o u r D o c k e r i m a g e s b y u t i l i z i n g s t a g e b u i l d s e l i m i n a t i n g d e p e n d e n c i e s a n d m i n i m i z i n g l a y e r s i n y o u r D o c k e r f i l e . 2 . U t i l i z e . d o c k e r i g n o r e F i l e G e n e r a t e a . d o c k e r i g n o r e f i l e t o e x c l u d e f i l e s a n d d i r e c t o r i e s f r o m b e i n g t r a n s f e r r e d i n t o t h e D o c k e r i m a g e t h e r e b y d e c r e a s i n g i m a g e s i z e a n d e n h a n c i n g b u i l d s p e e d . 3 . E n s u r e C o n t a i n e r S e c u r i t y A d h e r e t o s e c u r i t y p r a c t i c e s d u r i n g t h e c r e a t i o n a n d o p e r a t i o n o f D o c k e r c o n t a i n e r s i n c l u d i n g u p d a t i n g b a s e i m a g e s c o n d u c t i n g v u l n e r a b i l i t y s c a n s a n d r e s t r i c t i n g c o n t a i n e r p r i v i l e g e s . 4 . E m p l o y D o c k e r C o m p o s e f o r M u l t i C o n t a i n e r A p p l i c a t i o n s F o r a p p l i c a t i o n s w i t h s e r v i c e s o r d e p e n d e n c i e s , l e v e r a g e D o c k e r C o m p o s e t o d e f i n e a n d m a n a g e m u l t i c o n t a i n e r a p p l i c a t i o n s s i m p l i f y i n g b o t h d e v e l o p m e n t a n d d e p l o y m e n t p r o c e s s e s . 5 . M o n i t o r a n d T r o u b l e s h o o t C o n t a i n e r s M o n i t o r t h e p e r f o r m a n c e a n d h e a l t h o f y o u r D o c k e r c o n t a i n e r s u s i n g D o c k e r ’ s o w n m o n i t o r i n g t o o l s o r t h i r d p a r t y s o l u t i o n s . M a k e u s e o f t o o l s s u c h a s D o c k e r l o g s a n d d e b u g g i n g u t i l i t i e s t o p r o m p t l y r e s o l v e i s s u e s a n d b o o s t t h e e f f i c i e n c y o f y o u r c o n t a i n e r s . C o n c l u s i o n D o c k e r c o n t a i n e r s o f f e r a n e f f i c i e n t p l a t f o r m f o r t h e d e v e l o p m e n t , p a c k a g i n g , a n d d e p l o y m e n t o f . N E T a p p l i c a t i o n s . B y c o n t a i n e r i z i n g t h e s e a p p l i c a t i o n s , d e v e l o p e r s c a n c r e a t e d e v e l o p m e n t e n v i r o n m e n t s , s i m p l i f y d e p e n d e n c y m a n a g e m e n t , a n d s t r e a m l i n e d e p l o y m e n t p r o c e s s e s . W h e t h e r t h e f o c u s i s o n m i c r o s e r v i c e s , w e b a p p s , o r A P I s , D o c k e r p r o v i d e s a p r o f i c i e n t m e t h o d t o o p e r a t e . N E T a p p l i c a t i o n s a c r o s s v a r i o u s e n v i r o n m e n t s . B y a d h e r i n g t o b e s t p r a c t i c e s a n d m a x i m i z i n g D o c k e r ’ s c a p a b i l i t i e s , d e v e l o p e r s c a n f u l l y l e v e r a g e t h e b e n e f i t s o f c o n t a i n e r i z a t i o n , t h e r e b y a c c e l e r a t i n g t h e p r o c e s s o f c o n s t r u c t i n g a n d d e p l o y i n g . N E T a p p l i c a t i o n s B y N a g a S a n t h o s h R e d d y V o o t u k u r i C O R E Y o u C a n S h a p e T r e n d R e p o r t s — P a r t i c i p a t e i n D Z o n e R e s e a r c h S u r v e y s + E n t e r t h e R a f f l e s ! H e l l o , D Z o n e C o m m u n i t y ! W e h a v e s e v e r a l s u r v e y s i n p r o g r e s s a s p a r t o f o u r r e s e a r c h f o r u p c o m i n g T r e n d R e p o r t s . W e w o u l d l o v e f o r y o u t o j o i n u s b y s h a r i n g y o u r e x p e r i e n c e s a n d i n s i g h t s ( a n o n y m o u s l y i f y o u c h o o s e ) — r e a d e r s j u s t l i k e y o u d r i v e t h e c o n t e n t t h a t w e c o v e r i n o u r T r e n d R e p o r t s . y o u c a n f i n d d e t a i l s f o r e a c h r e s e a r c h s u r v e y b e l o w O v e r t h e c o m i n g m o n t h s , w e w i l l c o m p i l e a n d a n a l y z e d a t a f r o m h u n d r e d s o f r e s p o n d e n t s ; r e s u l t s a n d o b s e r v a t i o n s w i l l b e f e a t u r e d i n t h e K e y R e s e a r c h F i n d i n g s o f o u r T r e n d R e p o r t s . D a t a E n g i n e e r i n g R e s e a r c h A s a c o n t i n u a t i o n o f o u r a n n u a l d a t a r e l a t e d r e s e a r c h , w e r e c o n s o l i d a t i n g o u r d a t a b a s e , d a t a p i p e l i n e , a n d d a t a a n d a n a l y t i c s s c o p e s i n t o a s i n g l e 1 2 m i n u t e s u r v e y t h a t w i l l g u i d e h e l p t h e n a r r a t i v e s o f o u r J u l y D a t a b a s e S y s t e m s T r e n d R e p o r t a n d d a t a e n g i n e e r i n g r e p o r t l a t e r i n t h e y e a r . O u r 2 0 2 4 D a t a E n g i n e e r i n g S u r v e y e x p l o r e s : D a t a b a s e t y p e s , l a n g u a g e s , a n d u s e c a s e s D i s t r i b u t e d d a t a b a s e d e s i g n + a r c h i t e c t u r e s D a t a o b s e r v a b i l i t y , s e c u r i t y , a n d g o v e r n a n c e D a t a p i p e l i n e s , r e a l t i m e p r o c e s s i n g , a n d s t r u c t u r e d s t o r a g e V e c t o r d a t a a n d d a t a b a s e s + o t h e r A I d r i v e n d a t a c a p a b i l i t i e s J o i n t h e D a t a E n g i n e e r i n g R e s e a r c h Y o u l l a l s o h a v e t h e c h a n c e t o e n t e r t h e $ 5 0 0 r a f f l e a t t h e e n d o f t h e s u r v e y — f i v e r a n d o m p e o p l e w i l l b e d r a w n a n d w i l l r e c e i v e $ 1 0 0 e a c h ( U S D ) ! C l o u d a n d K u b e r n e t e s R e s e a r c h T h i s y e a r , w e r e c o m b i n i n g o u r a n n u a l c l o u d n a t i v e a n d K u b e r n e t e s r e s e a r c h i n t o o n e 1 0 m i n u t e s u r v e y t h a t d i v e s f u r t h e r i n t o t h e s e t o p i c s a s t h e y r e l a t e t o b o t h o n e a n o t h e r a n d a t t h e i n t e r s e c t i o n o f s e c u r i t y , o b s e r v a b i l i t y , A I , a n d m o r e . D Z o n e s r e s e a r c h w i l l b e i n f o r m i n g t h e s e T r e n d R e p o r t s : M a y – C l o u d N a t i v e : C h a m p i o n i n g C l o u d D e v e l o p m e n t A c r o s s t h e S D L C S e p t e m b e r – K u b e r n e t e s i n t h e E n t e r p r i s e O u r 2 0 2 4 C l o u d N a t i v e S u r v e y c o v e r s : M i c r o s e r v i c e s , c o n t a i n e r o r c h e s t r a t i o n , a n d t o o l s / s o l u t i o n s K u b e r n e t e s u s e c a s e s , p a i n p o i n t s , a n d s e c u r i t y m e a s u r e s C l o u d i n f r a s t r u c t u r e , c o s t s , t e c h d e b t , a n d s e c u r i t y t h r e a t s A I f o r r e l e a s e m a n a g e m e n t + m o n i t o r i n g / o b s e r v a b i l i t y J o i n t h e C l o u d N a t i v e R e s e a r c h D o n t f o r g e t t o e n t e r t h e $ 7 5 0 r a f f l e a t t h e e n d o f t h e s u r v e y ! F i v e r a n d o m p e o p l e w i l l b e s e l e c t e d t o e a c h r e c e i v e $ 1 5 0 ( U S D ) . Y o u r r e s p o n s e s h e l p i n f o r m t h e n a r r a t i v e o f o u r T r e n d R e p o r t s , s o w e t r u l y c a n n o t d o t h i s w i t h o u t y o u . S t a y t u n e d f o r e a c h r e p o r t s l a u n c h a n d s e e h o w y o u r i n s i g h t s a l i g n w i t h t h e l a r g e r D Z o n e C o m m u n i t y . W e t h a n k y o u i n a d v a n c e f o r y o u r h e l p ! — T h e D Z o n e P u b l i c a t i o n s t e a m B y C a i t l i n C a n d e l m o F i n e T u n i n g P e r f o r m a n c e , R e s o l v i n g C o m m o n I s s u e s i n F i n T e c h A p p l i c a t i o n W i t h M y S Q L R e l a t i o n a l D a t a b a s e s a r e t h e b e d r o c k o f a n y F i n T e c h a p p l i c a t i o n , e s p e c i a l l y f o r O L T P ( O n l i n e t r a n s a c t i o n P r o c e s s i n g ) . T h i s f o u n d a t i o n a l c o m p o n e n t i n a n y a p p l i c a t i o n a r c h i t e c t u r e u s u a l l y p o s e s c h a l l e n g e s a r o u n d s c a l i n g a s t h e b u s i n e s s e x p a n d s r a p i d l y . S o , i t i s i m p e r a t i v e t h a t a l l d a t a b a s e a c t i v i t i e s a r e m o n i t o r e d c l o s e l y i n t h e p r o d u c t i o n e n v i r o n m e n t a n d i s s u e s l i k e l o n g r u n n i n g q u e r i e s a r e t r a c k e d a n d r e s o l v e d . T h i s a r t i c l e w i l l e x p l o r e t h e F i n T e c h c a s e s t u d y , w h i c h h a s b u i l t a L e n d i n g P l a t f o r m . T h e c o m p a n y u s e s t h e M y S Q L d a t a b a s e h o s t e d i n A W S a s p a r t o f t h e A W S R D S s e r v i c e . I t h a s m u l t i p l e m i c r o s e r v i c e s u s i n g d i f f e r e n t d a t a b a s e s c h e m a s h o s t e d o n t h e d a t a b a s e i n s t a n c e . T h e M V P p r o d u c t o f f e r i n g w a s l a u n c h e d a f e w y e a r s b a c k , a n d s i n c e t h e n , t h e y h a v e b e e n i n c o r p o r a t i n g n e w f e a t u r e s i n t o t h e F i n T e c h p l a t f o r m . W e w i l l c o v e r c o m m o n l y i d e n t i f i e d d a t a b a s e i s s u e s a n d w h a t w a s d o n e t o r e s o l v e t h e s e i s s u e s . C o m m o n M i s t a k e s T h i s s e c t i o n d i s c u s s e s c o m m o n m i s t a k e s i d e n t i f i e d , t h e s t e p s t o r e s o l v e t h e i s s u e s , a n d a d d i t i o n a l g u i d e l i n e s . U s i n g D a t a b a s e V i e w s I n s i d e S t o r e d P r o c e d u r e s A f t e r i t s t a r t e d s e e i n g d a t a b a s e g r o w t h , t h e m a j o r i s s u e i d e n t i f i e d i n t h e i n i t i a l d a y s w i t h t h e M y S Q L d a t a b a s e w a s t h a t u s a g e o f v i e w s i n s i d e s t o r e d p r o c e d u r e s r e s u l t e d i n l o n g r u n n i n g q u e r i e s a n d f u l l t a b l e s c a n s . T h e p a t t e r n w e s a w w i t h t h e d e v e l o p e r s w a s t h a t t h e y b u i l t m u l t i p l e r e u s a b l e v i e w s a n d u s e d t h o s e i n t h e s t o r e d p r o c e d u r e s . T h e e x a m p l e b e l o w i s a s t o r e d p r o c e d u r e i n v o k i n g a v i e w u v _ c o n s u l t a t i o n s : M y S Q L C R E A T E P R O C E D U R E ` u s p _ g e t _ c o n s u l t a t i o n ` ( i n _ d s o _ r e f _ i d v a r c h a r ( 4 5 ) ) B E G I N s e l e c t * f r o m u v _ c o n s u l t a t i o n s w h e r e d s o _ r e f _ i d = i n _ d s o _ r e f _ i d ; E N D H e r e i s w h a t t h e v i e w l o o k s l i k e : M y S Q L C R E A T E O R R E P L A C E V I E W u v _ c o n s u l t a t i o n s A S S E L E C T c . i d A S c o n s u l t a t i o n _ i d , c . d s o _ r e f _ i d A S d s o _ r e f _ i d , c . p a t _ i d A S p a t _ i d , p . f i r s t _ n a m e A S p a t _ f i r s t _ n a m e , p . l a s t _ n a m e A S p a t _ l a s t _ n a m e , p . d s o _ p a t _ i d A S d s o _ p a t _ i d , p . d o b A S p a t _ d o b , C O U N T ( c n . i d ) A S n o t i f s F R O M ( ( ( ( c o n s u l t a t i o n c J O I N p a t i e n t p O N ( ( c . p a t _ i d = p . i d ) ) ) L E F T J O I N a p p l i c a t i o n a p p O N ( ( c . i d = a p p . c o n s u l t a t i o n _ i d ) ) ) L E F T J O I N r e s p o n s i b l e _ p a r t y r p O N ( ( a p p . p r i m a r y _ r p _ i d = r p . i d ) ) ) L E F T J O I N c o n s u l t a t i o n _ n o t i f c n O N ( ( ( c n . c o n s u l t a t i o n _ i d = c . i d ) A N D ( c n . r e a d = 0 ) A N D ( c n . h i d e = 0 ) ) ) ) G R O U P B Y c . i d S o , i f w e l o o k a t t h e v i e w , i t h a s m u l t i p l e j o i n s a n d a g r o u p b y . I t s a c o m p l e x v i e w q u e r y . M y S Q L e x e c u t e s v i e w s i n t w o w a y s : v i e w m e r g i n g a n d v i e w m a t e r i a l i z a t i o n . V i e w M e r g i n g I n t h i s a p p r o a c h , M y S Q L m e r g e s t h e v i e w q u e r y w i t h t h e o u t e r q u e r y i n w h i c h t h e v i e w h a s b e e n r e f e r e n c e d . T h e b i g g e s t a d v a n t a g e i s t h a t i t u s e s u n d e r l y i n g t a b l e i n d e x e s o f t h e a c t u a l b a s e t a b l e , i m p r o v i n g t h e q u e r y t i m i n g . H o w e v e r , t h e r e a r e l i m i t a t i o n s t o v i e w m e r g i n g . T h e q u e r y w i t h i n t h e v i e w m u s t b e a s i m p l e s e l e c t s t a t e m e n t w i t h n o a g g r e g a t i o n s , j o i n s , s u b q u e r i e s , o r D I S T I N C T c l a u s e s . V i e w M a t e r i a l i z a t i o n W h e n M y S Q L c a n n o t p e r f o r m a m e r g e v i e w , i t d e f a u l t s t o V i e w M a t e r i a l i z a t i o n . I n t h i s a p p r o a c h , M y S Q L s t o r e s t h e v i e w r e s u l t s i n a t e m p o r a r y i n t e r n a l t a b l e a n d t h e n u s e s t h e q u e r y o n t h e v i e w t o q u e r y t h e i n t e r n a l t a b l e . T h e d r a w b a c k i s t h a t i t d o e s n o t u s e b a s e t a b l e i n d e x e s , c a u s i n g t h e q u e r i e s o n t h e v i e w t o r u n s l o w e r . V i e w s w i t h G R O U P B Y , a g g r e g a t i o n , D I S T I N C T , a n d c o m p l e x j o i n s t r i g g e r v i e w m a t e r i a l i z a t i o n . I n t h e a b o v e e x a m p l e , t h e v i e w h a s a g g r e g a t i o n a n d m u l t i p l e j o i n s , s o t h e s t o r e d p r o c e d u r e s e x e c u t i o n r e s u l t s i n v i e w m a t e r i a l i z a t i o n , w h i c h c a u s e s i t t o e x e c u t e s l o w l y . T o m i t i g a t e t h i s , r e f a c t o r e d t h e s t o r e d p r o c e d u r e t o u s e t h e d i r e c t c o m p l e x S Q L q u e r y a n d a v o i d t h e i n t e r m i t t e n t l a y e r o f v i e w s . L e a d i n g W i l d c a r d S t r i n g C o m p a r i s o n I f w e u s e t h e L I K E o p e r a t o r a n d t h e l e a d i n g w i l d c a r d s e a r c h , e . g . , L I K E ‘ % A M O L ’ , t h e n t h e q u e r y w i l l n o t u s e t h e i n d e x o n t h a t c o l u m n . B e l o w i s t h e s a m p l e q u e r y : M y S Q L S E L E C T C O U N T ( * ) I N T O v _ e x t _ p a r t n e r _ s e r v i c e _ c o u n t F R O M l o a n _ e x t _ p a y l o a d W H E R E l o a n _ a c c t _ i d = v _ l o a n _ a c c t _ i d A N D e x t _ p a r t n e r _ s e r v i c e L I K E % C R E D I T _ P U L L F o r L I K E ‘ C R E D I T _ P U L L % ’ , M y S Q L u s e s t h e i n d e x e f f i c i e n t l y a s t h e i n d e x e s a r e s t r u c t u r e d i n a w a y t h a t t h i s t y p e o f s e a r c h m a k e s t h e m i n h e r e n t l y f a s t e r . O n t h e c o n t r a r y , f o r t h e l e a d i n g w i l d c a r d L I K E ‘ % C R E D I T _ P U L L ’ , M y S Q L e x e c u t i o n e n g i n e l o o k s a t e a c h e n t r y i n t h e i n d e x i f i t e n d s w i t h ‘ C R E D I T _ P U L L . ’ T h e i n d e x i s o p t i m i z e d f o r p r e f i x i n g ( C R E D I T _ P U L L % ) , n o t s u f f i x i n g ( % C R E D I T _ P U L L ) ; i t s p e r f o r m a n c e b e n e f i t s a r e w i p e d o u t w i t h l e a d i n g w i l d c a r d s t r i n g c o m p a r i s o n s . T h e r e c o m m e n d a t i o n i s t o a v o i d u s i n g p r e f i x e d w i l d c a r d s t r i n g c o m p a r i s o n o r s e a r c h . I f t h i s i s u n a v o i d a b l e , u s e a f u l l t e x t s e a r c h . U s i n g F u n c t i o n s a s P a r t o f t h e W H E R E C l a u s e U s i n g f u n c t i o n s f o r f i l t e r i n g r e c o r d s u s i n g a W H E R E c o n d i t i o n c a n h a r m q u e r y p e r f o r m a n c e . F o r i n s t a n c e , u s i n g F I N D _ I N _ S E T ( ) m e t h o d a s i n t h e b e l o w q u e r y : M y S Q L S E L E C T c o d e , c o d e _ t y p e , m e s s a g e , m e s s a g e _ e s F R O M l o c a l e _ m e s s a g e s W H E R E c o d e _ t y p e = v _ c o d e _ t y p e A N D F I N D _ I N _ S E T ( c o d e , v _ c o d e s ) > 0 ; F I N D _ I N _ S E T r e t u r n s t h e p o s i t i o n o f a s t r i n g i f i t i s p r e s e n t ( a s a s u b s t r i n g ) w i t h i n a l i s t o f s t r i n g s . U s i n g F I N D _ I N _ S E T i n t h e q u e r y c a u s e s a f u l l t a b l e s c a n a s i t d o e s n o t u s e t h e i n d e x . M y S Q L h a s t o s c a n e a c h r e c o r d t o e v a l u a t e t h e f u n c t i o n , w h i c h c o u l d b e v e r y e x p e n s i v e f r o m a c o m p u t i n g p e r s p e c t i v e f o r l a r g e r t a b l e s . S i m i l a r l y , m a t h e m a t i c a l , s t r i n g , o r d a t e f u n c t i o n s w o u l d h a v e a s i m i l a r s i d e e f f e c t . B e l o w a r e t h e e x a m p l e s : M y S Q L S E L E C T l o a n _ i d , l o a n _ a c c t _ i d F R O M l o a n _ a p p l i c a t i o n W H E R E Y E A R ( c r e a t e _ d a t e ) = 2 0 2 4 ; M y S Q L S E L E C T l o a n _ i d , l o a n _ a c c t _ i d F R O M l o a n _ a p p l i c a t i o n W H E R E Y E A R ( c r e a t e _ d a t e ) = 2 0 2 4 ; M y S Q L S E L E C T l o a n _ i d , l o a n _ a c c t _ i d F R O M l o a n _ a p p l i c a t i o n W H E R E A B S ( m e r c h a n t _ d i s c o u n t _ f e e ) > 5 ; I f w e c a s t c o l u m n s a s p a r t o f t h e w h e r e c l a u s e , i t a g a i n l e a d s t o a f u l l t a b l e s c a n , i m p a c t i n g t h e q u e r y p e r f o r m a n c e . E x a m p l e a s b e l o w : M y S Q L S E L E C T l o a n _ i d , l o a n _ a c c t _ i d F R O M l o a n _ a p p l i c a t i o n W H E R E C A S T ( a p p r o v a l _ d a t e t i m e A S D A T E ) = 2 0 2 4 0 6 0 1 ; A s a r e s o l u t i o n f o r F I N D _ I N _ S E T , i t e n a b l e d f u l l t e x t s e a r c h . F o r a l l o t h e r f u n c t i o n b a s e d w h e r e c o n d i t i o n s , f u n c t i o n b a s e d i n d e x e s w e r e c r e a t e d . P e r f o r m i n g D e l e t e s a s P a r t o f R e g u l a r T r a n s a c t i o n s F r e q u e n t d e l e t e o p e r a t i o n s a s p a r t o f r e g u l a r t r a n s a c t i o n p r o c e s s i n g c a n d e g r a d e d a t a b a s e p e r f o r m a n c e . D e l e t i n g r o w s f r o m a t a b l e l e a d s t o i n d e x r e b a l a n c i n g . M y S Q L h a s t o u p d a t e t h e i n d e x e s o n t h e c o l u m n s f o r t h a t t a b l e a s i t h a s t o r e m o v e t h e i n d e x e n t r i e s . F o r r o l l b a c k a n d r e c o v e r y , t r a n s a c t i o n l o g s a r e c r e a t e d f o r a l l d e l e t e o p e r a t i o n s . T h i s c a n l e a d t o r a p i d g r o w t h o f t r a n s a c t i o n l o g s . T h e r o w s d e l e t e d i n r a n d o m o r d e r f r a g m e n t t a b l e s a n d i n d e x e s d e g r a d e p e r f o r m a n c e d u e t o s c a t t e r e d r e a d s . T o m i t i g a t e r e g u l a r d e l e t e o p e r a t i o n s , r o w s c a n b e s o f t d e l e t e d , a n d t h e n , a n o f f l i n e b a t c h j o b c o u l d p e r f o r m a h a r d d e l e t e d u r i n g n o n p e a k h o u r s . N o n p e a k h o u r s a l l o w t h e s y s t e m t o u s e i t s r e s o u r c e s e f f e c t i v e l y . B a t c h o r b u l k d e l e t e s a r e m o r e p e r f o r m a n t t h a n t h e d e l e t e s s p a n a c r o s s r e g u l a r i n t e r v a l s . E x e c u t i n g M u l t i p l e I n s e r t s F r o m t h e A p p l i c a t i o n I n s t e a d o f B a t c h i n g I f w e h a v e t o i n s e r t m u l t i p l e c h i l d r o w s f o r t h e p a r e n t r e c o r d f r o m t h e a p p l i c a t i o n l a y e r , w e w i l l e x e c u t e a s t o r e d p r o c e d u r e f o r e a c h i n s e r t i n s t e a d o f b a t c h i n g i t . E a c h c a l l o n i n s e r t n e e d s t o e s t a b l i s h a d a t a b a s e c o n n e c t i o n f r o m t h e a p p l i c a t i o n l a y e r a n d e x e c u t e i n d i v i d u a l s t o r e d p r o c e d u r e s f o r e a c h r e c o r d , w h i c h c o u l d b e i n e f f i c i e n t . T o a v o i d m u l t i p l e r o u n d t r i p s t o t h e d a t a b a s e s e r v e r , t h e m u l t i i n s e r t s t a t e m e n t w a s b u i l t a s b e l o w o n t h e a p p l i c a t i o n l a y e r a n d t h e n s e n t t o t h e d a t a b a s e s t o r e d p r o c e d u r e t o e x e c u t e i t . M y S Q L I N S E R T I N T O v e r i f _ u s e r _ a t t r i b _ r e s u l t ( i d , a p p l i c a t i o n _ i d , u s e r _ a t t r i b _ i d , d o c _ t y p e _ i d , v e r i f _ r e s u l t , v e r i f _ n o t e s , v e r i f _ d a t e , d o c _ u p l o a d _ c o u n t ) v a l u e s ( 1 4 8 7 1 2 , 1 4 6 2 3 5 , 1 , N U L L , 1 , N U L L , N U L L , 0 ) , ( 1 4 8 7 1 2 , 1 4 6 2 3 5 , 2 , N U L L , 1 , N U L L , N U L L , 0 ) , ( 1 4 8 7 1 2 , 1 4 6 2 3 5 , 3 , N U L L , 1 , N U L L , N U L L , 0 ) , ( 1 4 8 7 1 2 , 1 4 6 2 3 5 , 4 , N U L L , 1 , N U L L , N U L L , 0 ) ; M y S Q L C R E A T E P R O C E D U R E p _ v e r i f _ c r e a t e _ u s e r _ a t t r i b _ r e s u l t s ( I N v _ u s e r _ a t t r i b _ r e s u l t _ m u l t i _ i n s e r t T E X T , o u t v _ s t a t u s i n t ) B E G I N S E T v _ s t a t u s = 1 ; S E T @ q r y _ u s e r _ a t t r i b _ r e s u l t = v _ u s e r _ a t t r i b _ r e s u l t _ m u l t i _ i n s e r t ; P R E P A R E s t m t _ u s e r _ a t t r i b _ r e s u l t f r o m @ q r y _ u s e r _ a t t r i b _ r e s u l t ; E X E C U T E s t m t _ u s e r _ a t t r i b _ r e s u l t ; D E A L L O C A T E P R E P A R E s t m t _ u s e r _ a t t r i b _ r e s u l t ; S E T v _ s t a t u s = 0 ; E N D R e c o m m e n d a t i o n s C o n n e c t i o n L a b e l s I n t h e m i c r o s e r v i c e s w o r l d , w h e r e m u l t i p l e m i c r o s e r v i c e s c o n n e c t t o d i f f e r e n t o r t h e s a m e s c h e m a s o f t h e d a t a b a s e s e r v e r , m o n i t o r i n g t h e c o n n e c t i o n r e q u e s t s f r o m t h e d i f f e r e n t m i c r o s e r v i c e s o f t e n b e c o m e s d i f f i c u l t . I f t h e r e i s a n i s s u e w i t h c o n n e c t i o n p o o l s , c o n n e c t i o n d r a i n i n g , o r d a t a b a s e p e r f o r m a n c e i s s u e s , w e c a n n o t i d e n t i f y w h i c h c o n n e c t i o n b e l o n g s t o w h i c h s e r v i c e . T h i s i s w h e r e p r o g r a m _ n a m e c o n n e c t i o n a t t r i b u t e s c o m e i n h a n d y . J a v a j d b c : m y s q l : / / d b . f i n t e c h . c o m : 3 3 0 6 / i c w d e v ? c a c h e C a l l a b l e S t m t s = t r u e i n s t e a d , u s e b a t c h i n g . D e f i n e a p u r g i n g s t r a t e g y . H a v e i n d e x e s d e f i n e d o n a l l j o i n c o l u m n s , a n d f i n a l l y , t r y t o k e e p t h e t r a n s a c t i o n s c o p e s m a l l e r . W i t h t h e s e r e c o m m e n d a t i o n s i n c o r p o r a t e d , w e c a n p r o v i d e o p t i m a l d a t a b a s e p e r f o r m a n c e a n d f a s t e r e n d u s e r a p p l i c a t i o n s . C o n t i n u o u s m o n i t o r i n g a n d p r o a c t i v e i s s u e r e s o l u t i o n h e l p m a i n t a i n c o n s i s t e n t a p p l i c a t i o n p e r f o r m a n c e a n d a v a i l a b i l i t y . B y A m o l G o t e C O R E M a s t e r i n g B G P N e i g h b o r s h i p : E f f e c t i v e T r o u b l e s h o o t i n g S t r a t e g i e s B o r d e r G a t e w a y P r o t o c o l ( B G P ) i s t h e c o r n e r s t o n e o f t h e i n t e r n e t s r o u t i n g a r c h i t e c t u r e , e n a b l i n g d a t a e x c h a n g e b e t w e e n d i f f e r e n t a u t o n o m o u s s y s t e m s ( A S ’ s ) a n d e n s u r i n g s e a m l e s s c o m m u n i c a t i o n a c r o s s d i v e r s e n e t w o r k s . H o w e v e r , t h e c o m p l e x i t y o f B G P c a n m a k e t r o u b l e s h o o t i n g a d a u n t i n g t a s k , e v e n f o r e x p e r i e n c e d n e t w o r k e n g i n e e r s . W h e t h e r y o u r e d e a l i n g w i t h c o n n e c t i v i t y i s s u e s , s e s s i o n e s t a b l i s h m e n t p r o b l e m s , o r r o u t i n g a n o m a l i e s , a s y s t e m a t i c a p p r o a c h t o B G P t r o u b l e s h o o t i n g i s e s s e n t i a l f o r m a i n t a i n i n g n e t w o r k s t a b i l i t y a n d p e r f o r m a n c e . T o p o l o g y T h e t w o r o u t e r s h a v e b e e n c o n f i g u r e d w i t h E B G P b u t w e s e e t h a t t h e n e i g h b o r s h i p d i d n o t e s t a b l i s h . 1 . V e r i f y B G P C o n f i g u r a t i o n A . E n s u r e R o u t e r I D a n d A S N u m b e r I s C o n f i g u r e d T h e r o u t e r I D a n d A u t o n o m o u s S y s t e m ( A S ) n u m b e r m u s t b e c o r r e c t l y c o n f i g u r e d f o r B G P t o f u n c t i o n p r o p e r l y . T h e r o u t e r I D i s a u n i q u e i d e n t i f i e r f o r t h e B G P r o u t e r w i t h i n a n A S , t y p i c a l l y a n I P a d d r e s s . T h e A S n u m b e r i d e n t i f i e s t h e a d m i n i s t r a t i v e b o u n d a r y o f t h e n e t w o r k . R o u t e r I D : C h o o s e a s t a b l e I P a d d r e s s , o f t e n t h e h i g h e s t I P a d d r e s s o n t h e r o u t e r o r m a n u a l l y s e t f o r c o n s i s t e n c y . A S N u m b e r : E n s u r e t h e c o r r e c t A S n u m b e r i s c o n f i g u r e d , e s p e c i a l l y i n e B G P ( E x t e r n a l B G P ) s c e n a r i o s , a s a m i s m a t c h c a n p r e v e n t n e i g h b o r s h i p f o r m a t i o n . B . V e r i f y t h e N e i g h b o r A d d r e s s a n d t h e R e m o t e A S V a l u e I s C o r r e c t E n s u r e t h e I P a d d r e s s o f t h e n e i g h b o r a n d t h e r e m o t e A S n u m b e r m a t c h t h e c o n f i g u r a t i o n o n t h e p e e r d e v i c e . M i s c o n f i g u r a t i o n c a n l e a d t o t h e B G P s e s s i o n n o t e s t a b l i s h i n g . N e i g h b o r A d d r e s s : V e r i f y t h a t t h e n e i g h b o r s I P a d d r e s s i s r e a c h a b l e . R e m o t e A S : E n s u r e t h e r e m o t e A S n u m b e r m a t c h e s t h e n e i g h b o r s c o n f i g u r e d A S . C . I f A n y A u t h e n t i c a t i o n I s C o n f i g u r e d P l e a s e E n s u r e t h e P a s s w o r d M a t c h e s o n B o t h D e v i c e s B G P s u p p o r t s M D 5 a u t h e n t i c a t i o n t o s e c u r e B G P s e s s i o n s . E n s u r e t h e p a s s w o r d s ( k e y s ) m a t c h o n b o t h s i d e s o f t h e B G P c o n n e c t i o n . A u t h e n t i c a t i o n : C h e c k f o r a n y c o n f i g u r e d p a s s w o r d s u s i n g c o m m a n d s s p e c i f i c t o t h e d e v i c e v e n d o r a n d e n s u r e t h e y m a t c h o n b o t h e n d s . D . V e r i f y t h e B G P N e i g h b o r T i m e r s o n B o t h D e v i c e s , K e e p a l i v e a n d H o l d T i m e B G P u s e s K e e p a l i v e a n d H o l d t i m e r s t o m a i n t a i n t h e s e s s i o n . E n s u r e t h e s e t i m e r s a r e c o n s i s t e n t a c r o s s b o t h d e v i c e s . K e e p a l i v e T i m e : T h e i n t e r v a l b e t w e e n K e e p a l i v e m e s s a g e s s e n t t o t h e n e i g h b o r . H o l d T i m e : T h e m a x i m u m t i m e t o w a i t f o r a K e e p a l i v e m e s s a g e b e f o r e c o n s i d e r i n g t h e n e i g h b o r d o w n . 2 . N e t w o r k C o n n e c t i v i t y N e t w o r k c o n n e c t i v i t y i s e s s e n t i a l f o r B G P n e i g h b o r s h i p . T h e f o l l o w i n g s t e p s h e l p v e r i f y a n d t r o u b l e s h o o t c o n n e c t i v i t y : A . P i n g T e s t C h e c k I P c o n n e c t i v i t y o f t h e n e i g h b o r i n g a d d r e s s b y p i n g i n g i t . A s u c c e s s f u l p i n g i n d i c a t e s b a s i c c o n n e c t i v i t y . I f t h e p i n g f a i l s , t r o u b l e s h o o t I P c o n n e c t i v i t y i s s u e s . T h i s i n c l u d e s c h e c k i n g i n t e r f a c e s t a t u s e s , r o u t i n g c o n f i g u r a t i o n s , a n d p h y s i c a l c o n n e c t i o n s . C h e c k r o u t i n g t a b l e t o v e r i f y t h e p a t h t o t h e n e i g h b o r . E n s u r e t h e c o r r e c t r o u t e e x i s t s t o r e a c h t h e n e i g h b o r ’ s I P a d d r e s s . B . E n s u r e A n y A C L s o r F i r e w a l l s A r e C o n f i g u r e d T o A l l o w B G P T r a f f i c o n T C P P o r t 1 7 9 A c c e s s C o n t r o l L i s t s ( A C L s ) a n d f i r e w a l l s c a n b l o c k B G P t r a f f i c i f n o t c o r r e c t l y c o n f i g u r e d . A C L s a n d F i r e w a l l s : E n s u r e r u l e s a l l o w t r a f f i c o n T C P p o r t 1 7 9 , w h i c h B G P u s e s f o r e s t a b l i s h i n g c o n n e c t i o n s . 3 . B G P S e s s i o n S t a t e s U n d e r s t a n d i n g B G P s e s s i o n s t a t e s h e l p s d i a g n o s e i s s u e s w h e n a B G P s e s s i o n f a i l s t o e s t a b l i s h . A . C h e c k t h e B G P S u m m a r y S t a t e U s i n g t h e ‘ S u m m a r y ’ C o m m a n d B G P S u m m a r y C o m m a n d : U s e t h e c o m m a n d t o g e t a n o v e r v i e w o f B G P n e i g h b o r s a n d t h e i r s t a t e s . B . T h e B G P S t a t e s I d l e , E s t a b l i s h e d A c t i v e , o r C o n n e c t W o u l d G i v e a n I d e a o f t h e F a i l u r e I d l e : T h e i n i t i a l s t a t e w h e r e B G P i s w a i t i n g t o s t a r t . A c t i v e : B G P i s a t t e m p t i n g t o e s t a b l i s h a c o n n e c t i o n . C o n n e c t : B G P i s w a i t i n g f o r t h e T C P c o n n e c t i o n t o c o m p l e t e . E s t a b l i s h e d : B G P n e i g h b o r s h i p i s f o r m e d C . I f I t I s N o t i n a n E s t a b l i s h e d S t a t e , I n v e s t i g a t e F u r t h e r E s t a b l i s h e d : I n d i c a t e s a s u c c e s s f u l B G P s e s s i o n . I f n o t i n t h i s s t a t e , f u r t h e r i n v e s t i g a t i o n i s r e q u i r e d t o i d e n t i f y t h e c a u s e o f t h e i s s u e . 4 . M u l t i H o p e B G P N e i g h b o r s h i p A . F o r E B G P P e e r i n g , G e n e r a l l y , t h e D e f a u l t H o p C o u n t I s 1 e B G P P e e r i n g : T y p i c a l l y i n v o l v e s d i r e c t l y c o n n e c t e d p e e r s . I f m u l t i p l e h o p s a r e r e q u i r e d , u p d a t e t h e c o n f i g u r a t i o n a c c o r d i n g l y . B . I f T h e r e A r e M u l t i p l e H o p C o u n t s t h e N u m b e r S h o u l d B e C h a n g e d A c c o r d i n g l y M u l t i h o p e B G P : C o n f i g u r e t h e n u m b e r o f h o p s w i t h t h e a p p r o p r i a t e c o m m a n d s t o e n s u r e t h e s e s s i o n i s e s t a b l i s h e d c o r r e c t l y . I t i s o f t e n u s e d w h e n p e e r i n g w i t h l o o p b a c k i n t e r f a c e s . 5 . A n a l y z e L o g s , D e b u g g i n g M e s s a g e s , a n d P a c k e t C a p t u r e L o g s a n d d e b u g g i n g t o o l s a r e i n v a l u a b l e f o r d i a g n o s i n g B G P i s s u e s . A . P e r f o r m B G P D e b u g g i n g a n d C h e c k f o r E r r o r s D e b u g g i n g : E n a b l e B G P d e b u g g i n g o n t h e d e v i c e s t o c a p t u r e r e a l t i m e d a t a a n d e r r o r s . B . R e v i e w B G P L o g s o n t h e D e v i c e L o g s : C h e c k s y s t e m a n d B G P s p e c i f i c l o g s f o r a n y e r r o r m e s s a g e s o r w a r n i n g s . C . P a c k e t C a p t u r e W i l l B e H e l p f u l T o A n a l y z e t h e T C P C o n n e c t i o n , M T U , a n d B G P C o m m u n i c a t i o n P a c k e t C a p t u r e : U s e t o o l s l i k e W i r e s h a r k t o c a p t u r e a n d a n a l y z e p a c k e t s , e n s u r i n g p r o p e r T C P c o n n e c t i o n e s t a b l i s h m e n t , c o r r e c t M T U s e t t i n g s , a n d p r o p e r B G P m e s s a g e e x c h a n g e . N o t e : D i f f e r e n t d e v i c e v e n d o r s h a v e d i f f e r e n t c o m m a n d s t o v e r i f y t h e a b o v e s t e p s . T h e C L I e x a m p l e s p r o v i d e d a r e b a s e d o n F o r t i G a t e d e v i c e s . E n s u r e y o u u s e t h e a p p r o p r i a t e c o m m a n d s f o r y o u r s p e c i f i c d e v i c e s . B y S a n j a y P o d d a r T h e B e n e f i t s o f U s i n g R T K Q u e r y : A S c a l a b l e a n d E f f i c i e n t S o l u t i o n A s d e v e l o p e r s , w e r e c o n s t a n t l y s e e k i n g w a y s t o s t r e a m l i n e o u r w o r k f l o w s a n d e n h a n c e t h e p e r f o r m a n c e o f o u r a p p l i c a t i o n s . O n e t o o l t h a t h a s g a i n e d s i g n i f i c a n t t r a c t i o n i n t h e R e a c t e c o s y s t e m i s R e d u x T o o l k i t Q u e r y ( R T K Q u e r y ) . T h i s l i b r a r y , b u i l t o n t o p o f R e d u x T o o l k i t , p r o v i d e s a s o l u t i o n f o r m a n a g i n g a s y n c h r o n o u s d a t a f e t c h i n g a n d c a c h i n g . I n t h i s a r t i c l e , w e l l e x p l o r e t h e k e y b e n e f i t s o f u s i n g R T K Q u e r y . T h e B e n e f i t s o f U s i n g R T K Q u e r y : A S c a l a b l e a n d E f f i c i e n t S o l u t i o n 1 . S i m p l i c i t y a n d E a s e o f U s e O n e o f t h e m o s t c o m p e l l i n g a d v a n t a g e s o f R T K Q u e r y i s i t s s i m p l i c i t y . T h i s i s h o w o n e w o u l d e a s i l y d e f i n e e n d p o i n t s f o r v a r i o u s o p e r a t i o n s , s u c h a s q u e r y i n g d a t a , a n d c r e a t i n g , u p d a t i n g , a n d d e l e t i n g r e s o u r c e s . T h e i n j e c t E n d p o i n t s m e t h o d a l l o w s y o u t o d e f i n e t h e s e e n d p o i n t s i n a c o n c i s e a n d d e c l a r a t i v e m a n n e r , r e d u c i n g b o i l e r p l a t e c o d e a n d i m p r o v i n g r e a d a b i l i t y . T y p e S c r i p t b o o k s A p i . i n j e c t E n d p o i n t s ( ) , c r e a t e B u n d l e : b u i l d e r . m u t a t i o n ( ) , a d d B o o k : b u i l d e r . m u t a t i o n ( ) , / / . . . } ) , } ) ; 2 . A u t o m a t i c C a c h i n g a n d I n v a l i d a t i o n O n e o f t h e f e a t u r e s o f R T K Q u e r y i s i t s b u i l t i n c a c h i n g m e c h a n i s m . T h e l i b r a r y a u t o m a t i c a l l y c a c h e s t h e d a t a f e t c h e d f r o m y o u r e n d p o i n t s , e n s u r i n g t h a t s u b s e q u e n t r e q u e s t s f o r t h e s a m e d a t a a r e s e r v e d f r o m t h e c a c h e , r e d u c i n g n e t w o r k o v e r h e a d a n d i m p r o v i n g p e r f o r m a n c e . T h e s e e x a m p l e s d e m o n s t r a t e h o w R T K Q u e r y h a n d l e s c a c h e i n v a l i d a t i o n u s i n g t h e i n v a l i d a t e s T a g s o p t i o n . T y p e S c r i p t c r e a t e B u n d l e : b u i l d e r . m u t a t i o n ( ) , a d d B o o k : b u i l d e r . m u t a t i o n ( ) , B y s p e c i f y i n g t h e B o o k s T a g , R T K Q u e r y k n o w s w h i c h c a c h e e n t r i e s t o i n v a l i d a t e w h e n a m u t a t i o n ( e . g . , c r e a t e B u n d l e o r a d d B o o k ) i s p e r f o r m e d , e n s u r i n g t h a t t h e c a c h e s t a y s u p t o d a t e a n d c o n s i s t e n t w i t h t h e s e r v e r d a t a . 3 . S c a l a b i l i t y a n d M a i n t a i n a b i l i t y A s y o u r a p p l i c a t i o n g r o w s i n c o m p l e x i t y , m a n a g i n g a s y n c h r o n o u s d a t a f e t c h i n g a n d c a c h i n g c a n b e c o m e i n c r e a s i n g l y c h a l l e n g i n g . R T K Q u e r y s m o d u l a r a p p r o a c h a n d s e p a r a t i o n o f c o n c e r n s m a k e i t e a s i e r t o s c a l e a n d m a i n t a i n y o u r c o d e b a s e . E a c h e n d p o i n t i s d e f i n e d i n d e p e n d e n t l y , a l l o w i n g y o u t o e a s i l y a d d , m o d i f y , o r r e m o v e e n d p o i n t s a s n e e d e d w i t h o u t a f f e c t i n g t h e r e s t o f y o u r a p p l i c a t i o n . T y p e S c r i p t e n d p o i n t s : b u i l d e r = > ( ) , c r e a t e B u n d l e : b u i l d e r . m u t a t i o n ( ) , / / . . . } ) T h i s m o d u l a r s t r u c t u r e p r o m o t e s c o d e r e u s a b i l i t y a n d m a k e s i t e a s i e r t o r e a s o n a b o u t t h e d i f f e r e n t p a r t s o f y o u r a p p l i c a t i o n , l e a d i n g t o b e t t e r m a i n t a i n a b i l i t y a n d c o l l a b o r a t i o n w i t h i n y o u r t e a m . 4 . E f f i c i e n t D a t a F e t c h i n g a n d N o r m a l i z a t i o n R T K Q u e r y p r o v i d e s b u i l t i n s u p p o r t f o r e f f i c i e n t d a t a f e t c h i n g a n d n o r m a l i z a t i o n . T h e q u e r y F n s h o w s h o w y o u c a n f e t c h d a t a f r o m m u l t i p l e s o u r c e s a n d n o r m a l i z e t h e d a t a u s i n g t h e t o S i m p l e B o o k s f u n c t i o n . H o w e v e r , t h e c u r r e n t i m p l e m e n t a t i o n c a n b e o p t i m i z e d t o r e d u c e c o d e d u p l i c a t i o n a n d i m p r o v e r e a d a b i l i t y . H e r e s a n o p t i m i z e d v e r s i o n o f t h e c o d e : T y p e S c r i p t a s y n c q u e r y F n ( c o l l e c t i o n s ) ; } c a t c h ( e r r o r ) ; } } I n t h i s o p t i m i z e d v e r s i o n , w e r e u s i n g P r o m i s e . a l l t o f e t c h t h e t w o c o l l e c t i o n s ( l a t e s t b o o k s 1 q u e r y a n d l a t e s t b o o k s 2 q u e r y ) c o n c u r r e n t l y . T h i s a p p r o a c h e n s u r e s t h a t w e d o n t h a v e t o w a i t f o r o n e c o l l e c t i o n t o f i n i s h f e t c h i n g b e f o r e s t a r t i n g t h e o t h e r , p o t e n t i a l l y r e d u c i n g t h e o v e r a l l f e t c h i n g t i m e . A d d i t i o n a l l y , w e v e m o v e d t h e g e t B o o k s B u n d l e c a l l i n s i d e t h e t r y b l o c k , e n s u r i n g t h a t i t s e x e c u t e d o n l y i f t h e c o l l e c t i o n s a r e f e t c h e d s u c c e s s f u l l y . T h i s c h a n g e h e l p s m a i n t a i n a c l e a r s e p a r a t i o n o f c o n c e r n s a n d m a k e s t h e c o d e e a s i e r t o r e a s o n a b o u t . B y l e v e r a g i n g R T K Q u e r y s e f f i c i e n t d a t a f e t c h i n g c a p a b i l i t i e s a n d e m p l o y i n g b e s t p r a c t i c e s l i k e P r o m i s e . a l l , y o u c a n e n s u r e t h a t y o u r a p p l i c a t i o n f e t c h e s a n d n o r m a l i z e s d a t a i n a n o p t i m i z e d a n d e f f i c i e n t m a n n e r , l e a d i n g t o i m p r o v e d p e r f o r m a n c e a n d a b e t t e r u s e r e x p e r i e n c e . 5 . E a s e o f U s e W i t h E x p o s e d H o o k s O n e o f t h e s t a n d o u t f e a t u r e s o f R T K Q u e r y i s t h e e a s e o f u s e i t p r o v i d e s t h r o u g h i t s e x p o s e d h o o k s . F i n a l l y , I l i k e t o e x p o r t t h e a v a i l a b l e g e n e r a t e d t y p e d h o o k s s o y o u c a n u s e t h e m ( i . e , u s e G e t B o o k s Q u e r y , u s e C r e a t e B u n d l e M u t a t i o n , e t c . ) t o i n t e r a c t w i t h t h e d e f i n e d e n d p o i n t s w i t h i n y o u r R e a c t c o m p o n e n t s . T h e s e h o o k s a b s t r a c t a w a y t h e c o m p l e x i t i e s o f m a n a g i n g a s y n c h r o n o u s d a t a f e t c h i n g a n d c a c h i n g , a l l o w i n g y o u t o f o c u s o n b u i l d i n g y o u r a p p l i c a t i o n s l o g i c . T y p e S c r i p t e x p o r t c o n s t = b o o k s A p i ; B y l e v e r a g i n g t h e s e h o o k s , y o u c a n f e t c h d a t a , t r i g g e r m u t a t i o n s , a n d h a n d l e l o a d i n g a n d e r r o r s t a t e s , a l l w h i l e b e n e f i t i n g f r o m t h e c a c h i n g a n d i n v a l i d a t i o n m e c h a n i s m s p r o v i d e d b y R T K Q u e r y . C o n c l u s i o n B y a d o p t i n g R T K Q u e r y , y o u g a i n a c c e s s t o a s o l u t i o n f o r m a n a g i n g a s y n c h r o n o u s d a t a f e t c h i n g a n d c a c h i n g , w h i l e e x p e r i e n c i n g t h e s i m p l i c i t y , s c a l a b i l i t y , a n d e a s e o f u s e p r o v i d e d b y i t s e x p o s e d h o o k s . W h e t h e r y o u r e b u i l d i n g a s m a l l a p p l i c a t i o n o r a l a r g e s c a l e p r o j e c t , R T K Q u e r y c a n h e l p y o u s t r e a m l i n e y o u r d e v e l o p m e n t p r o c e s s a n d d e l i v e r h i g h p e r f o r m a n c e , r e s p o n s i v e a p p l i c a t i o n s . T h e c o d e w i t h i n t h i s p o s t i s t a k e n f r o m a l i v e a p p i n p r o d u c t i o n , R e a d M , a R e a l t i m e A I f o r R e a d i n g F l u e n c y A s s e s s m e n t s t h u s p r o v i d i n g a s t r o n g f o u n d a t i o n f o r w o r k i n g w i t h h u g e a m o u n t s o f d a t a i n P y t h o n . B y S a n d i p G a m i B e n c h m a r k i n g J a v a S t r e a m s I n m y p r e v i o u s a r t i c l e , I t o o k a c l o s e r l o o k a t t h e J a v a E x e c u t o r S e r v i c e i n t e r f a c e a n d i t s i m p l e m e n t a t i o n s , w i t h s o m e f o c u s o n t h e F o r k / J o i n f r a m e w o r k a n d T h r e a d P e r T a s k E x e c u t o r . T o d a y , I w o u l d l i k e t o t a k e a s t e p f o r w a r d a n d c h e c k h o w w e l l t h e y b e h a v e w h e n p u t u n d e r p r e s s u r e . I n s h o r t , I a m g o i n g t o m a k e b e n c h m a r k s , a l o t o f b e n c h m a r k s . A l l t h e c o d e f r o m b e l o w , a n d m o r e , w i l l b e a v a i l a b l e i n a d e d i c a t e d G i t H u b r e p o s i t o r y . L o g i c U n d e r B e n c h m a r k I w o u l d l i k e t o s t a r t t h i s t e x t w i t h a w a l k t h r o u g h t h e l o g i c t h a t w i l l b e t h e b a s e f o r b e n c h m a r k s a s i t i s s p l i t i n t o t w o b a s i c c a t e g o r i e s : B a s e d o n t h e c l a s s i c s t r e a m B a s e d o n t h e F o r k / J o i n a p p r o a c h C l a s s i c S t r e a m L o g i c J a v a p u b l i c s t a t i c M a p g r o u p B y I n c o m i n g I p ( S t r e a m r e q u e s t s , L o c a l D a t e T i m e u p p e r T i m e B o u n d , L o c a l D a t e T i m e l o w e r T i m e B o u n d ) I n t h e o r y , t h e p u r p o s e o f t h i s p i e c e o f c o d e i s t o t r a n s f o r m a l i s t o f s t r i n g s , t h e n d o s o m e f i l t e r i n g a n d g r o u p i n g a r o u n d a n d r e t u r n t h e m a p . S u p p l i e d s t r i n g s a r e i n t h e f o l l o w i n g f o r m a t : 1 , 1 9 2 . 1 6 8 . 1 . 1 , 2 0 2 3 1 0 2 9 T 1 7 : 3 3 : 3 3 . 6 4 7 6 4 1 5 7 4 I t r e p r e s e n t s t h e e v e n t o f r e a d i n g a n I P a d d r e s s t r y i n g t o a c c e s s a p a r t i c u l a r s e r v e r . T h e o u t p u t m a p s a n I P a d d r e s s t o t h e n u m b e r o f a c c e s s a t t e m p t s i n a p a r t i c u l a r p e r i o d , e x p r e s s e d b y l o w e r a n d u p p e r t i m e b o u n d a r i e s . F o r k / J o i n L o g i c J a v a @ O v e r r i d e p u b l i c M a p c o m p u t e ( ) r e t u r n p r o c e s s ( ) ; } p r i v a t e v o i d u p d a t e O u t p u t ( I p k , I n t e g e r v , M a p o u t p u t ) e l s e } p r i v a t e L i s t c r e a t e S u b T a s k s ( ) p r i v a t e M a p p r o c e s s ( ) T h e o n l y i m p a c t f u l d i f f e r e n c e h e r e i s t h a t I s p l i t t h e d a t a s e t i n t o s m a l l e r b a t c h e s u n t i l a c e r t a i n t h r e s h o l d i s r e a c h e d . B y d e f a u l t , t h e t h r e s h o l d i s s e t t o 2 0 . A f t e r t h i s o p e r a t i o n , I s t a r t t o p e r f o r m t h e c o m p u t a t i o n s . C o m p u t a t i o n s a r e t h e s a m e a s i n t h e c l a s s i c s t r e a m a p p r o a c h l o g i c d e s c r i b e d a b o v e I a m u s i n g t h e g r o u p B y I n c o m i n g I p m e t h o d . J M H S e t u p A l l t h e b e n c h m a r k s a r e w r i t t e n u s i n g J a v a M i c r o b e n c h m a r k H a r n e s s ( o r J M H f o r s h o r t ) . I h a v e u s e d J M H i n v e r s i o n 1 . 3 7 t o r u n b e n c h m a r k s . B e n c h m a r k s s h a r e t h e s a m e s e t u p : f i v e w a r m u p i t e r a t i o n s a n d t w e n t y m e a s u r e m e n t i t e r a t i o n s . T h e r e a r e t w o d i f f e r e n t m o d e s h e r e : a v e r a g e t i m e a n d t h r o u g h p u t . I n t h e c a s e o f a v e r a g e t i m e , t h e J M H m e a s u r e s t h e a v e r a g e e x e c u t i o n t i m e o f c o d e u n d e r b e n c h m a r k , a n d o u t p u t t i m e i s e x p r e s s e d i n m i l l i s e c o n d s . F o r t h r o u g h p u t , J M H m e a s u r e s t h e n u m b e r o f o p e r a t i o n s f u l l e x e c u t i o n o f c o d e i n a p a r t i c u l a r u n i t o f t i m e , m i l l i s e c o n d s i n t h i s c a s e . T h e r e s u l t i s e x p r e s s e d i n o p s p e r m i l l i s e c o n d . I n m o r e J M H s y n t a x : J a v a @ W a r m u p ( i t e r a t i o n s = 5 , t i m e = 1 0 , t i m e U n i t = S E C O N D S ) @ M e a s u r e m e n t ( i t e r a t i o n s = 2 0 , t i m e = 1 0 , t i m e U n i t = S E C O N D S ) @ B e n c h m a r k M o d e ( ) @ O u t p u t T i m e U n i t ( M I L L I S E C O N D S ) @ F o r k ( 1 ) @ T h r e a d s ( 1 ) F u r t h e r m o r e , e a c h b e n c h m a r k h a s i t s u n i q u e S t a t e w i t h a B e n c h m a r k s c o p e c o n t a i n i n g a l l t h e d a t a a n d v a r i a b l e s n e e d e d b y a p a r t i c u l a r b e n c h m a r k . B e n c h m a r k S t a t e C l a s s i c S t r e a m T h e b a s e b e n c h m a r k s t a t e f o r C l a s s i c S t r e a m c a n b e v i e w e d b e l o w . J a v a @ S t a t e ( S c o p e . B e n c h m a r k ) p u b l i c c l a s s B e n c h m a r k S t a t e ) p u b l i c i n t s i z e ; p u b l i c L i s t i n p u t ; p u b l i c C l a s s i c D e f i n i t i o n d e f i n i t i o n s ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 4 ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 8 ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 1 6 ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 3 2 ; p r i v a t e f i n a l L o c a l D a t e T i m e n o w = L o c a l D a t e T i m e . n o w ( ) ; @ S e t u p ( L e v e l . T r i a l ) p u b l i c v o i d t r i a l U p ( ) @ S e t u p ( L e v e l . I t e r a t i o n ) p u b l i c v o i d u p ( ) @ T e a r D o w n ( L e v e l . I t e r a t i o n ) p u b l i c v o i d d o w n ( ) } F i r s t , I s e t u p a l l t h e v a r i a b l e s n e e d e d t o p e r f o r m b e n c h m a r k s . A p a r t f r o m t h e s i z e p a r a m e t e r , w h i c h i s p a r t i c u l a r l y s p e c i a l i n t h i s p a r t , t h r e a d p o o l s w i l l b e u s e d o n l y i n t h e b e n c h m a r k . T h e s i z e p a r a m e t e r , o n t h e o t h e r h a n d , i s q u i t e a n i n t e r e s t i n g m e c h a n i s m o f J M H . I t a l l o w s t h e p a r a m e t r i z a t i o n o f a c e r t a i n v a r i a b l e u s e d d u r i n g t h e b e n c h m a r k . Y o u w i l l s e e h o w I t o o k a d v a n t a g e o f t h i s l a t e r w h e n w e m o v e t o r u n n i n g b e n c h m a r k s . A s f o r n o w , I a m u s i n g t h i s p a r a m e t e r t o g e n e r a t e t h e i n p u t d a t a s e t t h a t w i l l r e m a i n u n c h a n g e d t h r o u g h o u t t h e w h o l e b e n c h m a r k t o a c h i e v e b e t t e r r e p e a t a b i l i t y o f r e s u l t s . T h e s e c o n d p a r t i s a n u p m e t h o d t h a t w o r k s s i m i l a r l y t o @ B e f o r e E a c h f r o m t h e J U n i t l i b r a r y . I t w i l l b e t r i g g e r e d b e f o r e e a c h o f t h e 2 0 i t e r a t i o n s o f m y b e n c h m a r k a n d r e s e t a l l t h e v a r i a b l e s u s e d i n t h e b e n c h m a r k . T h a n k s t o s u c h a s e t t i n g , I s t a r t w i t h a c l e a r s t a t e f o r e v e r y i t e r a t i o n . T h e l a s t p a r t i s t h e d o w n m e t h o d t h a t w o r k s s i m i l a r l y t o @ A f t e r E a c h f r o m t h e J U n i t l i b r a r y . I t w i l l b e t r i g g e r e d a f t e r e a c h o f t h e 2 0 i t e r a t i o n s o f m y b e n c h m a r k a n d s h u t d o w n a l l t h e t h r e a d p o o l s u s e d i n t h e i t e r a t i o n m o s t l y t o h a n d l e p o s s i b l e m e m o r y l e a k s . F o r k / J o i n T h e s t a t e f o r t h e F o r k / J o i n v e r s i o n l o o k s a s b e l o w . J a v a @ S t a t e ( S c o p e . B e n c h m a r k ) p u b l i c c l a s s F o r k J o i n S t a t e ) p u b l i c i n t s i z e ; p u b l i c L i s t i n p u t ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 4 ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 8 ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 1 6 ; p u b l i c F o r k J o i n P o o l f o r k J o i n P o o l _ 3 2 ; p u b l i c f i n a l L o c a l D a t e T i m e n o w = L o c a l D a t e T i m e . n o w ( ) ; @ S e t u p ( L e v e l . T r i a l ) p u b l i c v o i d t r i a l U p ( ) @ S e t u p ( L e v e l . I t e r a t i o n ) p u b l i c v o i d u p ( ) @ T e a r D o w n ( L e v e l . I t e r a t i o n ) p u b l i c v o i d d o w n ( ) } T h e r e i s n o b i g d i f f e r e n c e b e t w e e n t h e s e t u p f o r c l a s s i c s t r e a m a n d F o r k / J o i n . T h e o n l y d i f f e r e n c e c o m e s f r o m p l a c i n g t h e d e f i n i t i o n s i n s i d e b e n c h m a r k s t h e m s e l v e s , n o t i n s t a t e a s i n t h e c a s e o f t h e C l a s s i c a p p r o a c h . S u c h c h a n g e c o m e s f r o m h o w R e c u r s i v e T a s k w o r k s t a s k e x e c u t i o n s a r e m e m o i z e d a n d s t o r e d t h u s , i t c a n i m p a c t o v e r a l l b e n c h m a r k r e s u l t s . B e n c h m a r k I n p u t T h e b a s i c i n p u t f o r b e n c h m a r k s i s a l i s t o f s t r i n g s i n t h e f o l l o w i n g f o r m a t : 1 , 1 9 2 . 1 6 8 . 1 . 1 , 2 0 2 3 1 0 2 9 T 1 7 : 3 3 : 3 3 . 6 4 7 6 4 1 5 7 4 O r i n a m o r e g e n e r a l i z e d d e s c r i p t i o n : , , T h e r e a r e f i v e d i f f e r e n t i n p u t s i z e s : 1 0 0 1 0 0 0 1 0 0 0 0 1 0 0 0 0 0 1 0 0 0 0 0 0 T h e r e i s s o m e d e e p e r m e a n i n g b e h i n d t h e s i z e s , a s I b e l i e v e t h a t s u c h a s i z e r a n g e c a n i l l u s t r a t e h o w w e l l t h e s o l u t i o n w i l l s c a l e a n d p o t e n t i a l l y s h o w s o m e p e r f o r m a n c e b o t t l e n e c k . A d d i t i o n a l l y , t h e o v e r a l l s e t u p o f t h e b e n c h m a r k i s v e r y f l e x i b l e , s o a d d i n g a n e w s i z e s h o u l d n o t b e d i f f i c u l t i f s o m e o n e i s i n t e r e s t e d i n d o i n g s o . B e n c h m a r k S e t u p C l a s s i c S t r e a m T h e r e i s o n l y a s i n g l e c l a s s r e l a t e d t o t h e c l a s s i c s t r e a m b e n c h m a r k . D i f f e r e n t s i z e s a r e h a n d l e d o n a S t a t e l e v e l . J a v a p u b l i c c l a s s C l a s s i c S t r e a m B e n c h m a r k e x t e n d s B a s e B e n c h m a r k C o n f i g @ B e n c h m a r k p u b l i c v o i d b e n c h _ d e f a u l t P a r a l l e l S t r e a m ( S i n g l e S t r e a m S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 4 ( S i n g l e S t r e a m S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 8 ( S i n g l e S t r e a m S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 1 6 ( S i n g l e S t r e a m S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 3 2 ( S i n g l e S t r e a m S t a t e s t a t e , B l a c k h o l e b h ) } T h e r e a r e s i x d i f f e r e n t b e n c h m a r k s e t u p s o f t h e s a m e l o g i c : b e n c h _ s e q u e n t i a l : S i m p l e b e n c h m a r k w i t h j u s t a s i n g u l a r s e q u e n t i a l s t r e a m b e n c h _ d e f a u l t P a r a l l e l S t r e a m : B e n c h m a r k w i t h d e f a u l t J a v a p a r a l l e l s t r e a m v i a . p a r a l l e l S t r e a m ( ) m e t h o d o f S t r e a m c l a s s i n p r a c t i c e a c o m m o n P o o l f r o m F o r k J o i n P o o l a n d p a r a l l e l i s m o f 1 9 ( a t l e a s t o n m y m a c h i n e ) b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 4 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 4 b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 8 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 8 b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 1 6 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 1 6 b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 3 2 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 3 2 F o r c l a s s i c s t r e a m l o g i c , I h a v e 6 d i f f e r e n t s e t u p s a n d 5 d i f f e r e n t i n p u t s i z e s r e s u l t i n g i n a t o t a l o f 3 0 d i f f e r e n t u n i q u e c o m b i n a t i o n s o f b e n c h m a r k s . F o r k / J o i n J a v a p u b l i c c l a s s F o r k J o i n B e n c h m a r k e x t e n d s B a s e B e n c h m a r k C o n f i g @ B e n c h m a r k p u b l i c v o i d b e n c h _ c u s t o m F o r k J o i n P o o l _ 4 ( F o r k J o i n S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ c u s t o m F o r k J o i n P o o l _ 8 ( F o r k J o i n S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ c u s t o m F o r k J o i n P o o l _ 1 6 ( F o r k J o i n S t a t e s t a t e , B l a c k h o l e b h ) @ B e n c h m a r k p u b l i c v o i d b e n c h _ c u s t o m F o r k J o i n P o o l _ 3 2 ( F o r k J o i n S t a t e s t a t e , B l a c k h o l e b h ) } T h e r e a r e s i x d i f f e r e n t b e n c h m a r k s e t u p s o f t h e s a m e l o g i c : b e n c h s i m p l e b e n c h m a r k w i t h j u s t a s i n g u l a r s e q u e n t i a l s t r e a m b e n c h _ c u s t o m F o r k J o i n P o o l _ 4 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 4 b e n c h _ c u s t o m F o r k J o i n P o o l _ 8 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 8 b e n c h _ c u s t o m F o r k J o i n P o o l _ 1 6 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 1 6 b e n c h _ c u s t o m F o r k J o i n P o o l _ 3 2 : C u s t o m F o r k J o i n P o o l w i t h p a r a l l e l i s m l e v e l e q u a l t o 3 2 F o r c l a s s i c s t r e a m l o g i c , I h a v e 5 d i f f e r e n t s e t u p s a n d 5 d i f f e r e n t i n p u t s i z e s r e s u l t i n g i n a t o t a l o f 2 5 d i f f e r e n t u n i q u e c o m b i n a t i o n s o f b e n c h m a r k s . W h a t i s m o r e , i n b o t h c a s e s I a m a l s o u s i n g t h e B l a c k h o l e c o n c e p t f r o m J M H t o “ c h e a t ” t h e c o m p i l e r o p t i m i z a t i o n o f d e a d c o d e . T h e r e ’ s m o r e a b o u t B l a c k h o l e s a n d t h e i r u s e c a s e h e r e . B e n c h m a r k E n v i r o n m e n t M a c h i n e 1 T h e t e s t s w e c o n d u c t e d o n m y D e l l X P S w i t h t h e f o l l o w i n g p a r a m e t e r s : O S : U b u n t u 2 0 . 0 4 . 6 L T S C P U : i 9 1 2 9 0 0 H K × 2 0 M e m o r y : 6 4 G B J V M O p e n J D K v e r s i o n 2 1 2 0 2 3 0 9 1 9 O p e n J D K R u n t i m e E n v i r o n m e n t ( b u i l d 2 1 + 3 5 2 5 1 3 ) O p e n J D K 6 4 B i t S e r v e r V M ( b u i l d 2 1 + 3 5 2 5 1 3 , m i x e d m o d e , s h a r i n g ) M a c h i n e 2 T h e t e s t s w e c o n d u c t e d o n m y L e n o v o Y 7 0 0 w i t h t h e f o l l o w i n g p a r a m e t e r s : O S : U b u n t u 2 0 . 0 4 . 6 L T S C P U : i 7 6 7 0 0 H Q × 8 M e m o r y : 3 2 G B J V M O p e n J D K v e r s i o n 2 1 2 0 2 3 0 9 1 9 O p e n J D K R u n t i m e E n v i r o n m e n t ( b u i l d 2 1 + 3 5 2 5 1 3 ) O p e n J D K 6 4 B i t S e r v e r V M ( b u i l d 2 1 + 3 5 2 5 1 3 , m i x e d m o d e , s h a r i n g ) F o r b o t h m a c h i n e s , a l l s i d e / i n s i g n i f i c a n t a p p l i c a t i o n s w e r e c l o s e d . I t r i e d t o m a k e t h e r u n t i m e s y s t e m a s p u r e a s p o s s i b l e s o a s t o n o t g e n e r a t e a n y u n w a n t e d p e r f o r m a n c e o v e r h e a d . H o w e v e r , o n a p u r e U b u n t u s e r v e r o r w h e n r u n i n s i d e a c o n t a i n e r , t h e o v e r a l l p e r f o r m a n c e m a y d i f f e r . B e n c h m a r k R e p o r t T h e r e s u l t s o f r u n n i n g b e n c h m a r k s a r e s t o r e d i n . c s v f i l e s a n d t h e G i t H u b r e p o s i t o r y i n t h e r e p o r t s d i r e c t o r y . F u r t h e r m o r e , t o e a s e t h e d o w n l o a d o f r e p o r t s , t h e r e i s a s e p a r a t e . z i p f i l e n a m e d r e p o r t s . z i p t h a t c o n t a i n s a l l t h e . c s v f i l e s w i t h d a t a . R e p o r t s d i r e c t o r i e s a r e s t r u c t u r e d o n p e r s i z e b a s i s w i t h t h r e e s p e c i a l r e p o r t s f o r a l l i n p u t s i z e s : r e p o r t _ c l a s s i c : A l l i n p u t s i z e s f o r c l a s s i c s t r e a m r e p o r t _ f o r k j o i n : A l l i n p u t s i z e s f o r f o r k / j o i n s t r e a m r e p o r t _ w h o l e : A l l i n p u t s i z e s f o r b o t h c l a s s i c a n d f o r k / j o i n s t r e a m E a c h r e p o r t d i r e c t o r y f r o m t h e a b o v e 3 s e p a r a t e f i l e s : a v e r a g e t i m e . c s v : R e s u l t s f o r a v e r a g e t i m e m o d e b e n c h m a r k s t h r o u g h p u t . c s v : R e s u l t s f o r t h r o u g h p u t m o d e b e n c h m a r k s t o t a l . c s v : C o m b i n e r e s u l t s f o r b o t h m o d e s F o r t h e p a r t i c u l a r r e p o r t s , I h a v e t w o f o r m a t s : a v e r a g e t i m e . c s v a n d t h r o u g h p u t . c s v s h a r e o n e f o r m a t , a n d t o t a l . c s v h a s a s e p a r a t e o n e . L e t ’ s c a l l t h e m m o d e s a n d t o t a l f o r m a t s . T h e m o d e s r e p o r t c o n t a i n s e i g h t c o l u m n s : L a b e l : N a m e o f t h e b e n c h m a r k I n p u t S i z e : B e n c h m a r k i n p u t s i z e T h r e a d s : N u m b e r o f t h r e a d s u s e d i n b e n c h m a r k f r o m s e t 1 , 4 , 7 , 8 , 1 6 , 1 9 , 3 2 M o d e : B e n c h m a r k m o d e , e i t h e r a v e r a g e t i m e o r t h r o u g h p u t C n t : T h e n u m b e r o f b e n c h m a r k i t e r a t i o n s s h o u l d a l w a y s b e e q u a l t o 2 0 S c o r e : A c t u a l r e s u l t s o f b e n c h m a r k S c o r e M e a n E r r o r : B e n c h m a r k m e a s u r e m e n t e r r o r U n i t s : U n i t s o f b e n c h m a r k e i t h e r m s / o p ( f o r a v e r a g e t i m e ) o r o p s / m s ( f o r t h r o u g h p u t ) T h e t o t a l r e p o r t c o n t a i n s 1 0 c o l u m n s : L a b e l : N a m e o f t h e b e n c h m a r k I n p u t S i z e : B e n c h m a r k i n p u t s i z e T h r e a d s : N u m b e r o f t h r e a d s u s e d i n b e n c h m a r k f r o m s e t 1 , 4 , 7 , 8 , 1 6 , 1 9 , 3 2 C n t : T h e n u m b e r o f b e n c h m a r k i t e r a t i o n s s h o u l d a l w a y s b e e q u a l t o 2 0 A v g T i m e S c o r e : A c t u a l r e s u l t s o f b e n c h m a r k f o r a v e r a g e t i m e m o d e A v g T i m e M e a n E r r o r : B e n c h m a r k m e a s u r e m e n t e r r o r f o r a v e r a g e t i m e m o d e A v g U n i t s : U n i t s o f b e n c h m a r k f o r a v e r a g e t i m e m o d e i n m s / o p T h r o u g h p u t S c o r e : A c t u a l r e s u l t s o f b e n c h m a r k T h r o u g h p u t M e a n E r r o r : B e n c h m a r k m e a s u r e m e n t e r r o r f o r t h r o u g h p u t m o d e T h r o u g h p u t U n i t s : U n i t s o f b e n c h m a r k f o r t h r o u g h p u t m o d e i n o p s / m s R e s u l t s A n a l y s i s A s s u m p t i o n s B a s e l i n e I w i l l p r e s e n t g e n e r a l r e s u l t s a n d i n s i g h t s b a s e d o n t h e s i z e o f 1 0 0 0 0 – s o I w i l l b e u s i n g t h e . c s v f i l e s f r o m t h e r e p o r t _ 1 0 0 0 0 d i r e c t o r y . T h e r e a r e t w o m a i n r e a s o n s b e h i n d c h o o s i n g t h i s p a r t i c u l a r d a t a s i z e . T h e e x e c u t i o n t i m e i s h i g h e n o u g h t o s h o w a n y d i f f e r e n c e b a s e d o n d i f f e r e n t s e t u p s . D a t a s i z e s 1 0 0 a n d 1 0 0 0 a r e , i n m y o p i n i o n , t o o s m a l l t o n o t i c e s o m e p e r f o r m a n c e b o t t l e n e c k s T h u s , I t h i n k t h a t a n i n d e p t h a n a l y s i s o f t h i s p a r t i c u l a r d a t a s i z e w o u l d b e t h e m o s t i m p a c t f u l . O f c o u r s e , o t h e r s i z e s w i l l a l s o g e t a r e s u l t s o v e r v i e w b u t i t w i l l n o t b e a s t h o r o u g h a s t h i s o n e u n l e s s I e n c o u n t e r s o m e a n o m a l i e s – i n c o m p a r i s o n t o t h e b e h a v i o r f o r s i z e 1 0 0 0 0 . A W o r d O n F o r k / J o i n N a t i v e A p p r o a c h W i t h t h e c u r r e n t c o d e u n d e r b e n c h m a r k , t h e r e w i l l b e p e r f o r m a n c e o v e r h e a d a s s o c i a t e d w i t h F o r k / J o i n b e n c h m a r k s . A s t h e f o r k j o i n b e n c h m a r k l o g i c h e a v i l y r e l i e s o n s p l i t t i n g t h e i n p u t d a t a s e t t h e r e m u s t b e a m o m e n t w h e n a l l o f t h e r e s u l t s a r e c o m b i n e d i n t o a s i n g l e c o h e s i v e o u t p u t . T h i s i s t h e f r a g m e n t t h a t i s n o t i n c l u d e d i n n o r m a l b e n c h m a r k s , s o c o r r e c t l y u n d e r s t a n d i n g i t s i m p a c t o n o v e r a l l p e r f o r m a n c e i s c r u c i a l . P l e a s e r e m e m b e r a b o u t t h i s . A n a l y s i s M a c h i n e 1 ( 2 0 c o r e s ) A s y o u c a n s e e a b o v e t h e b e s t o v e r a l l r e s u l t f o r i n p u t v o l u m e 1 0 t h o u s a n d s o n m a c h i n e 1 b e l o n g s t o v e r s i o n s w i t h d e f a u l t P a r a l l e l S t r e a m . F o r C l a s s i c S t r e a m b a s e d b e n c h m a r k s , b e n c h _ d e f a u l t P a r a l l e l S t r e a m r e t u r n s b y f a r t h e b e s t r e s u l t . E v e n w h e n w e t a k e i n t o c o n s i d e r a t i o n a p o s s i b l e e r r o r i n m e a s u r e m e n t s , i t s t i l l c o m e s o n t o p . S e t u p f o r F o r k J o i n P o o l w i t h p a r a l l e l i s m 3 2 a n d 1 6 a n d r e t u r n w o r s e r e s u l t s . O n o n e h a n d , i t i s s u r p r i s i n g f o r p a r a l l e l i s m 3 2 , I w o u l d e x p e c t a b e t t e r s c o r e t h a n f o r t h e d e f a u l t p o o l ( p a r a l l e l i s m 1 9 ) . H o w e v e r , p a r a l l e l i s m 1 6 h a s w o r s e r e s u l t s t h a n b o t h p a r a l l e l i s m 1 9 a n d 3 2 . W i t h 2 0 C P U t h r e a d s o n M a c h i n e 1 , p a r a l l e l i s m 3 2 i s n o t e n o u g h t o p i c t u r e p e r f o r m a n c e d e g r a d a t i o n c a u s e d b y a n o v e r a b u n d a n c e o f t h r e a d s . H o w e v e r , y o u w o u l d b e a b l e t o n o t i c e s u c h b e h a v i o r f o r M a c h i n e 2 . I w o u l d a s s u m e t h a t t o s h o w s u c h b e h a v i o r o n M a c h i n e 1 , t h e p a r a l l e l i s m s h o u l d b e s e t t o 6 4 o r m o r e . W h a t i s c u r i o u s h e r e i s t h a t t h e r e l a t i o n s h i p w i t h b e n c h _ d e f a u l t P a r a l l e l S t r e a m c o m i n g o n t o p s e e m s n o t t o h o l d f o r h i g h e r i n p u t s i z e s o f 1 0 0 k a n d o n e m i l l i o n . T h e b e s t p e r f o r m a n c e b e l o n g s t o b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 1 6 w h i c h m a y i n d i c a t e t h a t i n t h e e n d , r e a s o n a b l y s m a l l e r p a r a l l e l i s m m a y b e a g o o d i d e a . T h e F o r k / J o i n b a s e d i m p l e m e n t a t i o n i s n o t i c e a b l y s l o w e r t h a n t h e d e f a u l t p a r a l l e l s t r e a m i m p l e m e n t a t i o n , w i t h a r o u n d 1 0 % w o r s e p e r f o r m a n c e . T h i s p a t t e r n a l s o o c c u r s f o r o t h e r s i z e s . I t c o n f i r m s m y a s s u m p t i o n f r o m a b o v e t h a t j o i n i n g d i f f e r e n t s m a l l e r p a r t s o f a s p l i t d a t a s e t h a s a n o t i c e a b l e i m p a c t . O f c o u r s e , t h e w o r s t s c o r e b e l o n g s t o t h e s i n g l e t h r e a d e d a p p r o a c h a n d i s a r o u n d 5 t i m e s s l o w e r t h a n t h e b e s t r e s u l t . S u c h a s i t u a t i o n i s e x p e c t e d , a s a s i n g l e t h r e a d e d b e n c h m a r k i s a k i n d o f b a s e l i n e f o r m e . I w a n t t o c h e c k h o w f a r w e c a n m o v e i t s e x e c u t i o n t i m e a n d 5 t i m e s b e t t e r a v e r a g e e x e c u t i o n t i m e i n t h e b e s t c a s e s c e n a r i o s e e m s l i k e a g o o d s c o r e . A s f o r t h e v a l u e o f t h e s c o r e m e a n e r r o r i t i s v e r y v e r y s m a l l . I n t h e w o r s t c a s e ( t h e h i g h e s t e r r o r ) , i t i s w i t h i n 1 , 5 % o f i t s r e s p e c t a b l e s c o r e ( r e s u l t f o r C l a s s i c S t r e a m B e n c h m a r k . b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 4 ) . I n o t h e r c a s e s , i t v a r i e s f r o m 0 , 1 % t o 0 , 7 % o f t h e o v e r a l l s c o r e . T h e r e s e e m s t o b e n o d i f f e r e n c e i n r e s u l t p o s i t i o n s f o r s i z e s a b o v e 1 0 t h o u s a n d . M a c h i n e 2 ( 8 c o r e s ) A s i n t h e c a s e o f M a c h i n e 1 , t h e f i r s t s c o r e a l s o b e l o n g s t o b e n c h _ d e f a u l t P a r a l l e l S t r e a m . A g a i n , e v e n w h e n w e c o n s i d e r a p o s s i b l e m e a s u r e m e n t e r r o r , i t s t i l l c o m e s o u t o n t o p : n o t h i n g e s p e c i a l l y i n t e r e s t i n g . W h a t i s i n t e r e s t i n g , h o w e v e r , i s t h a t t h e p a t t e r n o f t h e f i r s t 3 p o s i t i o n s f o r M a c h i n e 2 c h a n g e s q u i t e a l o t b a s e d o n h i g h e r i n p u t s i z e s . F o r i n p u t 1 0 0 t o 1 0 0 0 0 , w e h a v e s o m e w h a t s i m i l a r b e h a v i o r , w i t h b e n c h _ d e f a u l t P a r a l l e l S t r e a m o c c u p y i n g 1 p o s i t i o n a n d b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 8 f o l l o w i n g s h o r t l y a f t e r . O n t h e o t h e r h a n d , f o r i n p u t s 1 0 0 0 0 0 a n d 1 0 0 0 0 0 0 , t h e f i r s t p o s i t i o n b e l o n g s t o b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 8 f o l l o w e d b y b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 3 2 . W h i l e b e n c h _ d e f a u l t P a r a l l e l S t r e a m i s m o v e d t o 4 t h a n d 3 r d p o s i t i o n s . A n o t h e r c u r i o u s t h i n g a b o u t M a c h i n e 2 m a y b e t h a t f o r s m a l l e r i n p u t s i z e s , p a r a l l e l i s m 3 2 i s q u i t e f a r a w a y f r o m t h e t o p . S u c h p e r f o r m a n c e d e g r a d a t i o n m a y b e c a u s e d b y t h e o v e r a b u n d a n c e o f t h r e a d s c o m p a r e d t o t h e 8 C P U t h r e a d s t o t a l a v a i l a b l e o n t h e m a c h i n e . N e v e r t h e l e s s , o n i n p u t s 1 0 0 0 0 0 a n d 1 0 0 0 0 0 0 , F o r k J o i n P o o l w i t h p a r a l l e l i s m 3 2 i s i n t h e s e c o n d p o s i t i o n , w h i c h m a y i n d i c a t e t h a t f o r l o n g e r t i m e s p a n s , s u c h o v e r a b u n d a n c e o f t h r e a d s i s n o t a p r o b l e m . S o m e o t h e r a s p e c t s t h a t a r e v e r y s i m i l a r t o t h e b e h a v i o r o f M a c h i n e 1 a r e s k i p p e d h e r e a n d a r e m e n t i o n e d b e l o w . C o m m o n P o i n t s T h e r e a r e a f e w o b s e r v a t i o n s v a l i d f o r b o t h m a c h i n e s : M y F o r k J o i n N a t i v e ( “ n a i v e ” ) b a s e d b e n c h m a r k s y i e l d r e s u l t s t h a t a r e n o t i c e a b l y w o r s e , a r o u n d 1 0 % o n b o t h m a c h i n e s , t h a n t h o s e d e l i v e r e d b y d e f a u l t v e r s i o n s o f a p a r a l l e l s t r e a m o r e v e n o n e s w i t h c u s t o m F o r k J o i n P o o l . O f c o u r s e , o n e o f t h e r e a s o n s i s t h a t t h e y a r e n o t o p t i m i z e d i n a n y w a y . T h e r e a r e p r o b a b l y s o m e l o w h a n g i n g p e r f o r m a n c e f r u i t s h e r e . T h u s , I s t r o n g l y r e c o m m e n d g e t t i n g f a m i l i a r w i t h t h e F o r k / J o i n f r a m e w o r k , b e f o r e m o v i n g i t s i m p l e m e n t a t i o n s t o p r o d u c t i o n . T h e t i m e d i f f e r e n c e b e t w e e n p o s i t i o n s o n e t o t h r e e i s v e r y , v e r y s m a l l l e s s t h a n a m i l l i s e c o n d . T h u s , i t m a y b e h a r d t o a c h i e v e a n y t y p e o f r e p e a t a b i l i t y f o r t h e s e b e n c h m a r k s . W i t h s u c h a s m a l l d i f f e r e n c e i t i s e a s y f o r t h e r e s u l t s d i s t r i b u t i o n t o d i f f e r b e t w e e n b e n c h m a r k r u n s . T h e m e a n e r r o r o f t h e s c o r e s i s a l s o v e r y , v e r y s m a l l , u p t o 2 % o f t h e o v e r a l l s c o r e i n w o r s e c a s e s m o s t l y l e s s t h a n 1 % . S u c h l o w e r r o r m a y i n d i c a t e t w o t h i n g s . T h e f i r s t , b e n c h m a r k s a r e r e l i a b l e b e c a u s e r e s u l t s a r e f o c u s e d a r o u n d s o m e p o i n t . I f t h e r e w e r e s o m e a n o m a l i e s a l o n g t h e w a y t h e e r r o r w o u l d b e h i g h e r . S e c o n d , J M H i s g o o d a t m a k i n g m e a s u r e m e n t s . T h e r e i s n o b r e a k i n g d i f f e r e n c e i n r e s u l t s b e t w e e n t h r o u g h p u t a n d a v e r a g e t i m e m o d e s . I f o n e o f t h e b e n c h m a r k s p e r f o r m e d w e l l i n a v e r a g e t i m e m o d e , i t w o u l d a l s o p e r f o r m w e l l i n t h r o u g h p u t m o d e . A b o v e y o u c a n s e e a l l t h e d i f f e r e n c e s a n d s i m i l a r i t i e s I f o u n d i n s i d e t h e r e p o r t f i l e s . I f y o u f i n d a n y t h i n g e l s e t h a t s e e m s t o b e i n t e r e s t i n g d o n o t h e s i t a t e t o m e n t i o n i t i n t h e c o m m e n t s e c t i o n b e l o w . S u m m a r y B e f o r e w e f i n a l l y s p l i t w a y s f o r t o d a y , I w o u l d l i k e t o m e n t i o n o n e m o r e v e r y i m p o r t a n t t h i n g : J A V A I S N O T S L O W P r o c e s s i n g t h e l i s t w i t h o n e m i l l i o n e l e m e n t s , a l l p o t e n t i a l J M H o v e r h e a d , a n d a s i n g l e t h r e a d t a k e s 5 6 0 m i l l i s e c o n d s ( M a c h i n e 1 ) a n d 1 1 4 2 m i l l i s e c o n d s ( M a c h i n e 2 ) . T h e r e a r e n o s p e c i a l o p t i m i z a t i o n s o r m a g i c i n c l u d e d , j u s t p u r e d e f a u l t J V M . T h e t o t a l b e s t t i m e f o r p r o c e s s i n g o n e m i l l i o n e l e m e n t s f o r M a c h i n e 1 w a s 8 8 m i l l i s e c o n d s f o r C l a s s i c S t r e a m B e n c h m a r k . b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 1 6 . I n t h e c a s e o f M a c h i n e 2 , i t w a s 3 2 1 m i l l i s e c o n d s f o r C l a s s i c S t r e a m B e n c h m a r k . b e n c h _ p a r a l l e l S t r e a m W i t h C u s t o m F o r k J o i n P o o l _ 8 . A l t h o u g h b o t h r e s u l t s m a y n o t b e a s g o o d a s C / C + + b a s e d s o l u t i o n s , t h e r e l a t i v e s i m p l i c i t y a n d d e s c r i p t i v e n e s s o f t h e a p p r o a c h m a k e i t v e r y i n t e r e s t i n g , i n m y o p i n i o n . O v e r a l l , i t i s q u i t e a n i c e a d d i t i o n t o J a v a ’ s o n e b i l l i o n r o w s c h a l l e n g e . I w o u l d j u s t l i k e t o m e n t i o n t h a t a l l t h e r e p o r t s a n d b e n c h m a r k c o d e a r e i n t h e G i t H u b r e p o s i t o r y ( l i n k e d i n t h e i n t r o d u c t i o n o f t h i s a r t i c l e ) . Y o u c a n e a s i l y v e r i f y m y r e s u l t s a n d c o m p a r e t h e m t o t h e b e n c h m a r k b e h a v i o r o n y o u r m a c h i n e . F u r t h e r m o r e , t o e a s e u p t h e d o w n l o a d o f r e p o s t s t h e r e i s a s e p a r a t e . z i p f i l e n a m e d r e p o r t s . z i p t h a t c o n t a i n s a l l t h e . c s v f i l e s w i t h d a t a . B e s i d e s , r e m e m b e r J a v a i s n o t s l o w . T h a n k y o u f o r y o u r t i m e . R e v i e w b y : K r z y s z t o f C i e s i e l s k i , Ł u k a s z R o l a B y B a r t ł o m i e j Ż y l i ń s k i C O R E C u l t u r e a n d M e t h o d o l o g i e s A g i l e C a r e e r D e v e l o p m e n t M e t h o d o l o g i e s T e a m M a n a g e m e n t S c r u m M a s t e r J o b G P T J u n e 1 8 , 2 0 2 4 b y S t e f a n W o l p e r s C O R E L o w C o d e D e v e l o p m e n t : C r e a t e A p p l i c a t i o n s W i t h o u t P r o g r a m m i n g K n o w l e d g e J u n e 1 7 , 2 0 2 4 b y I l e a n a D i a z O p e r a t i o n a l T e s t i n g T u t o r i a l : C o m p r e h e n s i v e G u i d e W i t h B e s t P r a c t i c e s M a y 1 6 , 2 0 2 3 b y H a r s h i t P a u l D a t a E n g i n e e r i n g A I / M L B i g D a t a D a t a b a s e s I o T M L O p s i n S o f t w a r e D e f i n e d V e h i c l e s : A C e n t r a l i z e d P l a t f o r m A p p r o a c h J u n e 1 8 , 2 0 2 4 b y P a v a n V e m u r i T o b i k o D a t a : R e v o l u t i o n i z i n g D a t a T r a n s f o r m a t i o n W i t h S Q L M e s h J u n e 1 8 , 2 0 2 4 b y T o m S m i t h C O R E E x p l a i n a b l e A I : M a k i n g t h e B l a c k B o x T r a n s p a r e n t M a y 1 6 , 2 0 2 3 b y Y i f e i W a n g C O R E S o f t w a r e D e s i g n a n d A r c h i t e c t u r e C l o u d A r c h i t e c t u r e I n t e g r a t i o n M i c r o s e r v i c e s P e r f o r m a n c e B u i l d i n g R e s i l i e n t S e c u r i t y S y s t e m s : C o m p o s a b l e S e c u r i t y J u n e 1 8 , 2 0 2 4 b y D e e p a A j i s h C u c u m b e r a n d S p r i n g B o o t I n t e g r a t i o n : P a s s i n g A r g u m e n t s T o S t e p D e f i n i t i o n s E x p l a i n e d J u n e 1 8 , 2 0 2 4 b y G u n t e r R o t s a e r t C O R E L o w C o d e v s . T r a d i t i o n a l D e v e l o p m e n t : A C o m p r e h e n s i v e C o m p a r i s o n M a y 1 6 , 2 0 2 3 b y T i e n N g u y e n C o d i n g F r a m e w o r k s J a v a J a v a S c r i p t L a n g u a g e s T o o l s C u c u m b e r a n d S p r i n g B o o t I n t e g r a t i o n : P a s s i n g A r g u m e n t s T o S t e p D e f i n i t i o n s E x p l a i n e d J u n e 1 8 , 2 0 2 4 b y G u n t e r R o t s a e r t C O R E G e t t i n g S t a r t e d W i t h V a l k e y U s i n g J a v a S c r i p t J u n e 1 8 , 2 0 2 4 b y A b h i s h e k G u p t a C O R E S c a l i n g E v e n t D r i v e n A p p l i c a t i o n s M a d e E a s y W i t h S v e l t o s C r o s s C l u s t e r C o n f i g u r a t i o n M a y 1 5 , 2 0 2 3 b y G i a n l u c a M a r d e n t e T e s t i n g , D e p l o y m e n t , a n d M a i n t e n a n c e D e p l o y m e n t D e v O p s a n d C I / C D M a i n t e n a n c e M o n i t o r i n g a n d O b s e r v a b i l i t y C u c u m b e r a n d S p r i n g B o o t I n t e g r a t i o n : P a s s i n g A r g u m e n t s T o S t e p D e f i n i t i o n s E x p l a i n e d J u n e 1 8 , 2 0 2 4 b y G u n t e r R o t s a e r t C O R E D e b u g g i n g K u b e r n e t e s : T r o u b l e s h o o t i n g G u i d e J u n e 1 8 , 2 0 2 4 b y S h a i A l m o g C O R E L o w C o d e v s . T r a d i t i o n a l D e v e l o p m e n t : A C o m p r e h e n s i v e C o m p a r i s o n M a y 1 6 , 2 0 2 3 b y T i e n N g u y e n P o p u l a r A I / M L J a v a J a v a S c r i p t O p e n S o u r c e M L O p s i n S o f t w a r e D e f i n e d V e h i c l e s : A C e n t r a l i z e d P l a t f o r m A p p r o a c h J u n e 1 8 , 2 0 2 4 b y P a v a n V e m u r i C u c u m b e r a n d S p r i n g B o o t I n t e g r a t i o n : P a s s i n g A r g u m e n t s T o S t e p D e f i n i t i o n s E x p l a i n e d J u n e 1 8 , 2 0 2 4 b y G u n t e r R o t s a e r t C O R E F i v e I n t e l l i J I d e a P l u g i n s T h a t W i l l C h a n g e t h e W a y Y o u C o d e M a y 1 5 , 2 0 2 3 b y T o x i c D e v A B O U T U S A b o u t D Z o n e S e n d f e e d b a c k C o m m u n i t y r e s e a r c h S i t e m a p A D V E R T I S E A d v e r t i s e w i t h D Z o n e C O N T R I B U T E O N D Z O N E A r t i c l e S u b m i s s i o n G u i d e l i n e s B e c o m e a C o n t r i b u t o r C o r e P r o g r a m V i s i t t h e W r i t e r s Z o n e L E G A L T e r m s o f S e r v i c e P r i v a c y P o l i c y C O N T A C T U S 3 3 4 3 P e r i m e t e r H i l l D r i v e S u i t e 1 0 0 N a s h v i l l e , T N 3 7 2 1 1 s u p p o r t @ d z o n e . c o m L e t s b e f r i e n d s :

域名(dzone.com)由网友主动性提交被自动秒收录整理收录的，本页最后更新时间为：2024-06-19 23:08:04，自动秒收录仅提供dzone.com的基础信息并免费向广大游客展示，该站IP地址为3.210.235.164 [美国弗吉尼亚阿什本 亚马逊云]，该站打开速度为612毫秒，该站的百度权重为0、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在-之间、百度手机端来访流量大约在-之间、dzone.com的备案号是-、备案人叫-、被百度收录的关键词有2个、手机端关键词有0个、迄今为止已经创建26年1个月2天，其内容不代表本站赞成被显示该站点的内容或立场，相关资料: txt下载、docx下载、pdf下载、rar下载、zip下载，本页地址：http://www.aidhw.com/wangluodh/a3790cb0e4e3ca9ec45d.html。