"ตำบลป่าตอง" มีลักษณะภูมิประเทศ เป็นพื้นที่ราบลุ่มอยู่ระหว่างภูเขา ที่ล้อมรอบลักษณะเป็นรูปโค้ง (คล้ายอัฒจันทร์) เหมือนกำแพง อยู่ทางด้านทิศตะวันออก ทิศเหนือ และทิศใต้ ส่วนทางทิศตะวันตกเป็นอ่าว ติดต่อกับมหาสมุทรอันดามัน ป่าตองจึงสันนิษฐานว่าน่าจะเป็นชื่อของบ้านที่มีกำแพงล้อมรอบ ภาษามาลายูออกเสียงว่า บุเก๊ะกอตอ แปลว่า ภูเขากำแพง ส่วนอ่าวที่อยู่ด้านทิศตะวันตกเรียกว่า กรากอตอ เมื่อออกเสียงสั้นๆ เร็วๆ จะเพี้ยนเป็น กรากะตอ-กระตอ และกะตอง ในที่สุดซึ่งภายหลังมีการเปลี่ยนคำว่า กะ ในภาษามาลายูให้เป็นภาษาไทย ตรงกับคำว่า ปาก จึงเป็น "ปากตอง" และเพี้ยนเป็น "ปะตอง" แต่คนดั้งเดิมมักจะพูดว่า "กะตอง" มากกว่า

ในสมัยแรกๆ ของตำบลป่าตอง จะเป็นพื้นที่ราบลุ่มซึ่งเหมาะกับการทำการเกษตรมาก มีความอุดมสมบูรณ์ และบริเวณภูเขาก็เหมาะกับการทำงานของราษฎร แต่การคมนาคมมีความลำบากมาก เพราะยังไม่มีถนน การติดต่อกับตำบลกะทู้ จะใช้การเดินเท้าข้ามภูเขา การขนส่งสินค้า หรือผลิตผลทางการเกษตรก็ใช้วิธีหาบไปขาย โดยมีพ่อค้าคนกลางคอยรับซื้อสินค้า ถ้าต้องการไปเมืองภูเก็ตก็จะต้องไปขึ้นรถที่บ้านสี่กอตำบลกะทู้ เส้นทางที่ใช้เดินนั้นเป็นเส้นทางที่ผ่านโบสถ์เก่า ของวัดสุวรรณคีรีวงศ์ ตัดไปทางช่องเขา ซึ่งเป็นเส้นทางเดียวกับแนวถนนในปัจจุบัน

จากประวัติของตำบลป่าตองที่กล่าวมาข้างต้น ในระยะแรก มีความเป็นเมืองเกษตรกรรม แต่ในระยะประมาณ 20 ปีที่ผ่านมา ตำบลป่าตองมีการพัฒนา และเปลี่ยนแปลงสภาพของเมืองเป็นชุมชนที่หนาแน่น อาชีพเกษตรกรรมแต่เดิมไม่ปรากฏให้เห็น เนื่องจากการท่องเที่ยวเข้ามามีบทบาทสำคัญเปลี่ยนวิถีชีวิตของประชาชนจากเกษตรกรไปสู่การดำเนินธุรกิจการท่องเที่ยว